Merge branch 'maint-0.2.8' into maint-0.2.9

(ours merge, to avoid taking 20865 fix)

Backport the other sierra fix in 20865.

They added clock_gettime(), but with tv_nsec as a long, whereas
tv_usec is a __darwin_suseconds_t (a.k.a. 'int').  Now, why would
they do that? Are they preparing for a world where there are more
than 2 billion nanoseconds per second?  Are they planning for having
int be less than 32 bits again?  Or are they just not paying
attention to the Darwin API?

Also, they forgot to mark clock_gettime() as Sierra-only, so even
if we fixed the issue here, we'd still be stick with portability
breakage like we were for 0.2.9.

So, just disable clock_gettime() on apple.

Increase verbosity on options/validate__transproxy

This is an attempt to figure out what's up with #19960

Fix a BUG() warning from next_random_exponential_delay().

Fixes 20875; this code is as suggested by teor on the ticket.  Thanks!

Increase tolerances in util/monotonic_time tests

This is an attempt to fix #19974.

Merge branch 'bug20710_025' into maint-0.2.9

Forgot to add changes file for 20710.

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'getentropy_028' into maint-0.2.8

20865: Don't use getentropy() on OSX Sierra.

Tor 0.2.9 has a broader range of fixes and workarounds here, but for
0.2.8, we're just going to maintain the existing behavior.

(The alternative would be to backport both
1eba088054eca1555b455ee4a2adfafecb888af9 and
16fcbd21c963a9a65bf55024680c8323c8b7175d , but the latter is kind of
a subtle kludge in the configure.ac script, and I'm not a fan of
backporting that kind of thing.)

Test for .git as readable instead of a dir to support worktrees

Fixes #20492.

Fix changes file for 20864: 20638 _did_ get into 0.2.9

Merge remote-tracking branch 'teor/bug20864-029' into maint-0.2.9

Merge branch 'maint-0.2.8' into maint-0.2.9

Always Use EVP_aes_*_ctr() with openssl 1.1

(OpenSSL 1.1 makes EVP_CIPHER_CTX opaque, _and_ adds acceleration
for counter mode on more architectures.  So it won't work if we try
the older approach, and it might help if we try the newer one.)

Fixes bug 20588.

Changes file for 20864

Move a comment in test_single_onion_poisoning

Add a missing return value check in test_single_onion_poisoning

Remove a double-free in test_single_onion_poisoning

We were freeing both dir{1,2} directly, and service_{1,2}->directory via
rend_service_free, even though they are the same pointer.

Refactor poison_dir allocation and free in test_single_onion_poisoning

This pattern is much less error-prone when future changes are made.

protover: Fix old tor hardcoded version check

When computing old Tor protocol line version in protover, we were looking at
0.2.7.5 twice instead of the specific case for 0.2.9.1-alpha.

Fixes #20810

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'bug20716_026' into maint-0.2.9

Merge branch 'maint-0.2.8' into maint-0.2.9

Bump to 0.2.9.6-rc-dev

Bump to 0.2.8.10-dev

test_single_onion_poisoning: Free dir[12] on all paths

Coverity doesn't like it when there are paths to the end of the
function where something doesn't get freed, even when those paths
are only reachable on unit test failure.

Fixes CID 1372899 and CID 1372900. Bug not in any released Tor.

Bump to 0.2.9.6-rc

Merge branch 'maint-0.2.8' into maint-0.2.9

Bump to 0.2.8.10

Fix major errors in freeing getaddrinfo sandbox cache

Patch from cypherpunks. Fixes bug 20710; bugfix on 0.2.5.5-alpha.

Fix memory leak in bug 20716

newconn->address is strdup'ed twice when new_type == CONN_TYPE_AP
and conn->socket_family == AF_UNIX. Whilst here, juggle code to
make sure newconn->port is assigned from an initialised value in
the above case.

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'bug20638_029_v2_squashed' into maint-0.2.9

Stop ignoring hidden service key anonymity when first starting tor

Instead, refuse to start tor if any hidden service key has been used in
a different hidden service anonymity mode.

Fixes bug 20638; bugfix on 17178 in 0.2.9.3-alpha; reported by ahf.

The original single onion service poisoning code checked poisoning state
in options_validate, and poisoned in options_act. This was problematic,
because the global array of hidden services had not been populated in
options_validate (and there were ordrering issues with hidden service
directory creation).

This patch fixes this issue in rend_service_check_dir_and_add, which:
* creates the directory, or checks permissions on an existing directory, then
* checks the poisoning state of the directory, then
* poisons the directory.

When validating, only the permissions checks and the poisoning state checks
are perfomed (the directory is not modified).

Update unit tests for 20484, 20529

Add extra logging and extra validity checks for hidden services.

Try to work around breakage in the OSX 10.12 SDK.

Apple is supposed to decorate their function declarations with
macros to indicate which OSX version introduced them, so that you
can tell the compiler that you want to build against certain
versions of OSX.  But they forgot to do that for clock_gettime() and
getentropy(), both of which they introduced in 10.12.

This patch adds a kludge to the configure.ac script where, if we
detect that we are targeting OSX 10.11 or earlier, we don't even probe
to see if the two offending functions are present.

Closes ticket 20235.

Merge remote-tracking branch 'arma/bug20423' into maint-0.2.9

Refactor rend_service_check_dir_and_add

Make the function flatter, and prepare for #20559.

No behaviour change.

Refactor duplicate code out of rend_config_services

Put that code in rend_service_check_dir_and_add.

No behaviour change.

This is a defence in depth measure against similar bugs to 20529.

Create HS directories in rend_config_services, then check before use

(We only create HS directories if we are acting on the config.)

Log a BUG warning if the directories aren't present immediately before they
are used, then fail.

Merge remote-tracking branch 'teor/bug20634_029' into maint-0.2.9

don't attempt a resolve when the cached answer will do

For relays that don't know their own address, avoid attempting
a local hostname resolve for each descriptor we download. Also cut
down on the number of "Success: chose address 'x.x.x.x'" log lines.

Fixes bugs 20423 and 20610; bugfix on 0.2.8.1-alpha.

refactor router_pick_published_address to have another arg

no change in behavior except fewer log entries in the case where we use
a cached result.

Changes file for bug 20634

fixup! Add expect_log_msg_containing_either3() and expect_log_msg_containing_either4()

Fix typos:
    * extra '('
    * use assert_log_predicate (without 3 or 4 at the end)

Tidy whitespace.
Wrap long lines.

Add all four error messages to test_address_get_if_addrs6_list_no_internal()

Add all four error messages to test_address_get_if_addrs6_list_internal()

Add expect_log_msg_containing_either3() and expect_log_msg_containing_either4()

Fix grammar in HiddenServiceSingleHopMode description

Merge remote-tracking branch 'teor/bug20613' into maint-0.2.9

Stop logging single onion and Tor2web long-term one-hop circuits

Single onion services and Tor2web deliberately create long-term one-hop
circuits to their intro and rend points, respectively.

These log messages are intended to diagnose issue 8387, which relates to
circuits hanging around forever for no reason.

Fixes bug 20613; bugfix on 0.2.9.1-alpha. Reported by "pastly".

In torrc.sample.in, note that bandwidth must be >=75 KB.

Queue a corresponding change for torrc.minimal.in.

Closes ticket 20085.

Call get_options() once at the top of circuit_log_ancient_one_hop_circuits()

Refactoring, no behaviour change.

Merge remote-tracking branch 'public/bug20306_029' into maint-0.2.9

Use va_copy() in pure-windows version of tor_asprintf().

It's not okay to use the same varargs list twice, and apparently
some windows build environments produce code here that would leave
tor_asprintf() broken. Fix for bug 20560; bugfix on 0.2.2.11-alpha
when tor_asprintf() was introduced.

Bump version to 0.2.9.5-alpha-dev

When using exponential backoff in test networks, use a lower exponent

Lower exponents mean that delays do not vary as much. This helps test
networks bootstrap consistently.

Bugfix on 20499.

bump version to 0.2.9.5-alpha

Make new changes files pass lintchanges

Merge remote-tracking branch 'teor/bug20484_029_v2' into maint-0.2.9

Fix another 20499-broken test

Fix a unit test (broken by recent 20499 hacking)

Add onion_service_non_anonymous file to man page

Merge branch 'bug20534_029_squashed' into maint-0.2.9

Reduce multiplier to 3, per teor's recommendation on #20534

(Three _is_ a good number for anonymity!)

Always increment delays by at least 1.

Avoid integer overflow in delay calculation.

Count HTTP 503 as a download failure.

Because as Teor puts it: "[Resetting on 503] is exactly what we
don't want when relays are busy - imagine clients doing an automatic
reset every time they DoS a relay..."

Fixes bug 20593.

Adjust download schedules per teor's #20534 recommendataions

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.7' into maint-0.2.8

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Merge branch '20499_part1_029_squashed', remote-tracking branches 'teor/bug20591_029' and 'teor/bug20533_029' into maint-0.2.9

Allow infinitely long delays in exponential-backoff downloads

It's only safe to remove the failure limit (per 20536) if we are in
fact waiting a bit longer each time we try to download.

Fixes bug 20534; bugfix on 0.2.9.1-alpha.

Merge branch 'bug20588' into maint-0.2.9

Update geoip and geoip6 to the November 3 2016 database.

When downloading certificates, check for related failures

If a consensus expires while we are waiting for certificates to download,
stop waiting for certificates.

If we stop waiting for certificates less than a minute after we started
downloading them, do not consider the certificate download failure a
separate failure.

Fixes bug 20533; bugfix on commit e0204f21 in 0.2.0.9-alpha.

Ensure relays don't make multiple connections during bootstrap

Relays do not deliberately launch multiple attempts, so the impact of this
bug should be minimal. This fix also defends against bugs like #20499.

Bugfix on 0.2.8.1-alpha.

Always Use EVP_aes_*_ctr() with openssl 1.1

(OpenSSL 1.1 makes EVP_CIPHER_CTX opaque, _and_ adds acceleration
for counter mode on more architectures.  So it won't work if we try
the older approach, and it might help if we try the newer one.)

Fixes bug 20588.

Finish a sentence in a comment. Close 20576.

In test_tortls_classify_client_ciphers(), s/ECDH/ECDHE/

(We weren't actually using these ciphers; we were just requing that
ciphers of that name existed.)

Patch from rubiate.  Fixes 20460

Do not apply 'max_failures' to random-exponential schedules.

Fixes bug 20536; bugfix on 0.2.9.1-alpha.

Change a BUG warning to be a warning, not an info.

Fix get_delay() code to avoid TIME_MAX overflow, not INT_MAX.

Fixes bug 20587; bugfix on 35bbf2e4a4e8ccb in 0.2.8.1-alpha.

Fix warnings from lintChanges.py

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'bug20551_028' into maint-0.2.8

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge remote-tracking branch 'arma/bug19969_028_squashed' into maint-0.2.8

Merge branch 'maint-0.2.8' into maint-0.2.9

Work around a behavior change in openssl's BUF_MEM code

In our code to write public keys to a string, for some unfathomable
reason since 253f0f160e1185c, we would allocate a memory BIO, then
set the NOCLOSE flag on it, extract its memory buffer, and free it.
Then a little while later we'd free the memory buffer with
BUF_MEM_free().

As of openssl 1.1 this doesn't work any more, since there is now a
BIO_BUF_MEM structure that wraps the BUF_MEM structure.  This
BIO_BUF_MEM doesn't get freed in our code.

So, we had a memory leak!

Is this an openssl bug?  Maybe.  But our code was already pretty
silly.  Why mess around with the NOCLOSE flag here when we can just
keep the BIO object around until we don't need the buffer any more?

Fixes bug 20553; bugfix on 0.0.2pre8

Use explicit casts to avoid warnings when building with openssl 1.1

fixes bug 20551; bugfix on 0.2.1.1-alpha

Use the latest options in rend_service_check_private_dir

Fixup on both:
* Refactor, adding a create argument... and
* Check every hidden service directory's permissions...

Check every hidden service directory's permissions when configuring

Previously, we would only check the last hidden service directory.

Fixes #20529, bugfix on ticket 13942 commit 85bfad1 in 0.2.6.2-alpha.

Test single onion service configs where the directory does not exist

Runs a test for each combination of create/don't create directories.

Tests #20484.

Make sure passthrough_test_setup doesn't inadvertently fail or skip tests

passthrough_test_setup doesn't pass through arguments if the argument
is equal to 0 or TT_SKIP. Instead, it fails or skips the test.

Assert on this, so we don't accidentally fail or skip tests.

Add get_fname_rnd for unit tests that want a unique path every time

Create get_fname_suffix, and refactor get_fname to use it