Make base64_decode() check actual decoded length

base64_decode() was applying an overly conservative check on the
output buffer length that could incorrectly produce an error if the
input encoding contained padding or newlines.  Fix this by checking
the output buffer length against the actual decoded length produced
during decoding.

Merge branch 'maint-0.3.0'

Merge remote-tracking branch 'public/bug21894_029' into maint-0.3.0

Merge branch 'ticket21842_squashed'

Remove tor-checkkey as obsolete

CVE-2008-0166 is long gone, and we no longer need a helper tool to
dump out public key moduli so folks can detect it.

Closes ticket 21842.

Merge remote-tracking branch 'dgoulet/ticket21893_031_01'

Never read off the end of a buffer in base32_encode()

When we "fixed" #18280 in 4e4a7d2b0c199227252a742541461ec4cc35d358
in 0291 it appears that we introduced a bug: The base32_encode
function can read off the end of the input buffer, if the input
buffer size modulo 5 is not equal to 0 or 3.

This is not completely horrible, for two reasons:
   * The extra bits that are read are never actually used: so this
     is only a crash when asan is enabled, in the worst case.  Not a
     data leak.

   * The input sizes passed to base32_encode are only ever multiples
      of 5. They are all either DIGEST_LEN (20), REND_SERVICE_ID_LEN
      (10), sizeof(rand_bytes) in addressmap.c (10), or an input in
      crypto.c that is forced to a multiple of 5.

So this bug can't actually trigger in today's Tor.

Closes bug 21894; bugfix on 0.2.9.1-alpha.

Comment fix. (Catalyst spotted this)

Merge branch 'isolate_openssl'

Use DIGEST512_LEN macro in crypto_hash_sha512.h in ref10

Make the warnings about terminating nuls a bit stronger

It looks like 32_encoded_size/64_encode_size APIs are inconsistent
not only in the number of "d"s they have, but also in whether they
count the terminating NUL.  Taylor noted this in 86477f4e3fedb316,
but I think we should note the inconsistently more loudly in order
to avoid trouble.

(I ran into trouble with this when writing 30b13fd82e243713c6a0d.)

Merge remote-tracking branch 'argonblue/baseXXlen'

Add test for expected output from encode{,d}_length functions

prop224: Flag router with HSIntro/HSDir using protover

Note down in the routerstatus_t of a node if the router supports the HSIntro=4
version for the ed25519 authentication key and HSDir=2 version for the v3
descriptor supports.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Use macros for base64 lengths in shared_random.h

Fixes #19564.

Use baseXX length macros in baseXX_encode()

Use the new baseXX length macros to clean up the length checks in the
baseXX_encode() functions.

Add macros for baseXX encoding lengths

Make CEIL_DIV() slightly more overflow-safe

changes file for 21873

Merge remote-tracking branch 'arthuredelstein/21873'

Merge branch 'storage_labeled_squashed'

Explain config_line_find() behavior on duplicates.

Add an assertion to config_line_append().

Additional unit tests to improve conscache coverage

Tests for cleanup and reference counting on conscache

Tests for simple cases of conscache code.

Add a 'consensus cache' type on top of storagedir.

Every file in the cache is labeled.  The labels are held in memory;
the bodies are mapped on demand.

Unit tests for labelled storagedir entries

Add some "labeled storagedir" abstractions.

These add a tiny bit of structure on top of the regular storagedir
abstractions in order to store key-value lists at the head of each
document.

Merge branch 'maint-0.3.0'

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.7-redux' into maint-0.2.8

Merge branch 'maint-0.2.6' into maint-0.2.7-redux

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Update geoip and geoip6 to the April 4 2017 database.

Bug 21873: Clarify KeepAliveIsolateSOCKSAuth behavior

Merge branch 'maint-0.3.0'

"ours" merge to avoid the version bump.

forward-port the 0.3.0.5-rc changelog

bump to 0.3.0.5-rc-dev

Move config line parsing function to confline.c

Move config_line_t functions from confparse.c into common.

I'm doing this to storagedir to used config_line_t.

Merge branch 'maint-0.3.0'

hs: Expose hs_service.c functions for unit tests

In order to avoid src/or/hs_service.o to contain no symbols and thus making
clang throw a warning, the functions are now exposed not just to unit tests.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Capture expected log in test_circuitbuild.c

Capture the warning for the unhandled circuit purpose test case, both
to clean up the test log and to confirm that it gets logged.

Merge branch 'bug13790_rebased'

Test unhandled purpose in route_len_for_purpose()

Check that route_len_for_purpose() (helper for new_route_len())
correctly fails a non-fatal bug assertion if it encounters an
unhandled circuit purpose when it is called with exit node info.

Refactor and comment new_route_len()

Add a new helper function route_len_for_purpose(), which explicitly
lists all of the known circuit purposes for a circuit with a chosen
exit node (unlike previously, where the default route length for a
chosen exit was DEFAULT_ROUTE_LEN + 1 except for two purposes).  Add a
non-fatal assertion for unhandled purposes that conservatively returns
DEFAULT_ROUTE_LEN + 1.

Add copious comments documenting which circuits need an extra hop and
why.

Thanks to nickm and dgoulet for providing background information.

Add tests for new_route_len()

Add a release checklist step to highlight changes

In an effort to better communicate with our users that they might need
to take certain actions when upgrading, we should extract from the
changelog the items that require some action (example: the new version
automatically generates keys, if you want them to be offline - make sure
to create them before upgrading).

Merge branch 'maint-0.3.0'

("Ours" merge to avoid version bump.)

version bump

Merge branch 'maint-0.3.0'

Merge remote-tracking branch 'teor/bug21596_030' into maint-0.3.0

Merge remote-tracking branch 'public/bug21415_testfix_030' into maint-0.3.0

Changes file for openssl header isolation.

Move "change cert expiration and re-sign" fn into tortls.c

This lets test_link_handshake stop including openssl headers.

Mark many private tortls.h APIs as openssl-only.

This change lets us remove the openssl/ssl.h include from
test_link_handshake.c.

Change many tortls.h declarations of private APIs to use structs

This change makes it so those those APIs will not require prior
inclusion of openssl headers.  I've left some APIs alone-- those
will change to be extra-private.

Remove some now-needless openssl includes from src/test.

It would appear that these includes weren't actually used.

Remove openssl/evp.h dependency from test_crypto.c

Remove crypto/rand include from test_crypto.c

Create a new test_crypto_openssl to test openssl-only crypto.c
functionality.

Make our ed25519 implementations no longer use openssl directly.

Make crypto_ed25519.c no longer depend on openssl

Now it calls through our own crypto API.

Isolate dmalloc/openssl bridge code to crypto.c

This makes it so main.c, and the rest of src/or, no longer need to
include any openssl headers.

Fix utimbuf initialization in storagedir/cleaning test

Fix another 32-bit warning in the spooling code

Fix i386 compilation from spooling patch. I seem to be good at breaking that.

Merge branch 'spooling_squashed'

Add nonfatal asserts for return val of dirserv_flushed_some

Improve documentation for connection_dirserv_flushed_some.

Refactor the directory spool implementation

The old implementation had duplicated code in a bunch of places, and
it interspersed spool-management with resource management.  The new
implementation should make it easier to add new resource types and
maintain the spooling code.

Closing ticket 21651.

Merge remote-tracking branch 'origin/maint-0.3.0'

Fix max sampled size logic when in bridge mode.

When calculating max sampled size, Tor would only count the number of
bridges in torrc, without considering that our state file might already
have sampled bridges in it. This caused problems when people swap
bridges, since the following error would trigger:

         [warn] Not expanding the guard sample any further; just hit the
                maximum sample threshold of 1

Storagedir test fix: save strings in binary mode to preserve length

Merge remote-tracking branch 'ahf/bugs/21757'

changes file for 21788

Merge remote-tracking branch 'jigsaw52/fix_leak_21788'

Check and cast st_size to size_t in storagedir code

This prevents an i386 compilation warning and fixes bug 21828. Bug not
in any released Tor.

Merge remote-tracking branch 'origin/maint-0.3.0'

Tweak test_entrynodes comment

Merge branch 'ticket21799' into maint-0.3.0

Add calltool cache files to gitignore

Use update_approx_time() to run a test 100 days in the past.

Fixes bug21799.

Fix very small memory leak #21788

Leak caused by clean_up_backtrace_handler not being called
on shutdown.

21151: document datadir default decently.

Merge branch 'ahf_bugs_21641_squashed'

Check onion key consensus parameters every hour.

This patch changes the way we decide when to check for whether it's time
to rotate and/or expiry our onion keys. Due to proposal #274 we can now
have the keys rotate at different frequencies than before and we thus
do the check once an hour when our Tor daemon is running in server mode.

This should allow us to quickly notice if the network consensus
parameter have changed while we are running instead of having to wait
until the current parameters timeout value have passed.

See: See: https://bugs.torproject.org/21641

Add periodic timer for expiring old onion keys.

This patch adds a new timer that is executed when it is time to expire
our current set of old onion keys. Because of proposal #274 this can no
longer be assumed to be at the same time we rotate our onion keys since
they will be updated less frequently.

See: https://bugs.torproject.org/21641

Add API to query the current onion key grace period.

This patch adds an API to get the current grace period, in days, defined
as the consensus parameter "onion-key-grace-period-days".

As per proposal #274 the values for "onion-key-grace-period-days" is a
default value of 7 days, a minimum value of 1 day, and a maximum value
defined by other consensus parameter "onion-key-rotation-days" also
defined in days.

See: https://bugs.torproject.org/21641

Make MIN_ONION_KEY_LIFETIME a consensus parameter defined value.

This patch turns `MIN_ONION_KEY_LIFETIME` into a new function
`get_onion_key_lifetime()` which gets its value from a network consensus
parameter named "onion-key-rotation-days". This allows us to tune the
value at a later point in time with no code modifications.

We also bump the default onion key lifetime from 7 to 28 days as per
proposal #274.

See: https://bugs.torproject.org/21641

Split strings at newline in tor_get_lines_from_handle().

This patch fixes a regression described in bug #21757 that first
appeared after commit 6e78ede73f which was an attempt to fix bug #21654.

When switching from buffered I/O to direct file descriptor I/O our
output strings from get_string_from_pipe() might contain newline
characters (\n). In this patch we modify tor_get_lines_from_handle() to
ensure that the function splits the newly read string at the newline
character and thus might return multiple lines from a single call to
get_string_from_pipe().

Additionally, we add a test case to test_util_string_from_pipe() to
ensure that get_string_from_pipe() correctly returns multiple lines in a
single call.

See: https://bugs.torproject.org/21757
See: https://bugs.torproject.org/21654

Generate src/test/fuzz/include.am from a script

It was very error-prone to maintain this by hand.

Merge branch 'storagedir_squashed'

Define a "storagedir" abstraction to hold numerous similar files

We could use one of these for holding "junk" descriptors and
unparseable things -- but we'll _need_ it for having cached
consensuses and diffs between them.

Now, resolve a new 64-bit warning in compat_threads.c

consdiff: Fix 32-bit compilation.

Thanks, jenkins!

changes file for consdiff backend

Merge branch 'prop140_21643_diff_only_squashed'