Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'onionk/rust-allsupported1' into maint-0.3.3

Merge branch 'maint-0.3.2' into maint-0.3.3

hs-v3: Don't BUG() on directory permission check failure

In hs_config.c, we do validate the permission of the hidden service directory
but we do not try to create it. So, in the event that the directory doesn't
exists, we end up in the loading key code path which checks for the
permission and possibly creates the directory. On failure, don't BUG() since
there is a perfectly valid use case for that function to fail.

Fixes #27335

Signed-off-by: David Goulet <dgoulet@torproject.org>

rust/protover: delete ProtoSet::retain

As the comment noted, it was horribly inefficient.

rust/protover: use .and_not_in() instead of .retain() in all_supported()

.retain() would allocating a Vec of billions of integers and check them
one at a time to separate the supported versions from the unsupported.
This leads to a memory DoS.

Closes ticket 27206. Bugfix on e6625113c98c281b0a649598d7daa347c28915e9.

rust/protover: add ProtoSet::and_not_in()

This is a way more efficient version of retain().

If options_act() fails, restore the previous value of global_options

Before 0.3.3.1-alpha, we would exit() in this case immediately.  But
now that we leave tor_main() more conventionally, we need to make
sure we restore things so as not to cause a double free.

Fixes bug 27708; bugfix on 0.3.3.1-alpha.

protover: reject invalid protocol names

The spec only allows the characters [A-Za-z0-9-].

Fix on b2b2e1c7f24d9b65059e3d089768d6c49ba4f58f.
Fixes #27316; bugfix on 0.2.9.4-alpha.

rust/protover: validate unknown protocol names use only allowed characters

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'bug27658_029' into maint-0.2.9

fixup! changes file

Check waitpid return value and exit status in tinytest.c

It's possible for a unit test to report success via its pipe, but to
fail as it tries to clean up and exit.  Notably, this happens on a
leak sanitizer failure.

Fixes bug 27658; bugfix on 0.2.2.4-alpha when tinytest was
introduced.

rust/protover: fix check for overlapping ranges

Closes ticket 27649. Bugfix on e6625113c98c281b0a649598d7daa347c28915e9.

rust/protover: remove version zero from tests

This isn't legal according to dir-spec.txt.

We can write separate tests for it if the spec
is changed to make it legal.

test/protover: remove version zero from tests

This isn't legal according to dir-spec.txt.

We can write separate tests for it if the spec
is changed to make it legal.

Bug 25505: Check circuitmux queues before padding.

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge remote-tracking branch 'teor/ticket27252-033' into maint-0.3.3

Merge remote-tracking branch 'teor/ticket27252-032' into maint-0.3.2

Merge remote-tracking branch 'teor/ticket27252-029' into maint-0.2.9

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Update geoip and geoip6 to the September 6 2018 database.

Bump to 0.3.3.10-dev.

Merge branch 'maint-0.3.2' into maint-0.3.3

"ours" to avoid version bump.

Merge branch 'maint-0.2.9' into maint-0.3.2

"ours" to avoid version bump.

Bump to 0.3.2.12-dev

Bump to 0.2.9.17-dev

Merge branch 'maint-0.3.2' into maint-0.3.3

"ours" to avoid bump

Merge branch 'maint-0.2.9' into maint-0.3.2

"ours" to avoid bump

Bump to 0.3.3.10

Bump to 0.3.2.12

Bump to 0.2.9.17

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'ticket27344_029' into maint-0.2.9

Tell openssl to build its TLS contexts with security level 1

Fixes bug 27344, where we'd break compatibility with old tors by
rejecting RSA1024 and DH1024.

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/bug27461-032' into maint-0.3.2

Merge remote-tracking branch 'teor/bug27461-029' into maint-0.2.9

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/bug27463-029' into maint-0.2.9

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'bug27461-029' into bug27461-032

Fix a minor merge conflict due to an #endif comment.

Windows: Stop calling SetProcessDEPPolicy() on 64-bit Windows

It is not supported, and always fails. Some compilers warn about the
function pointer cast on 64-bit Windows.

Fixes bug 27461; bugfix on 0.2.2.23-alpha.

hs: Silence a spurious warning in rend_client_send_introduction()

gcc 8 warns that extend_info_t.nickname might be truncated by strncpy().

But it doesn't know that nickname can either contain a hex id, or a
nicknames. hex ids are only used for general and HSDir circuits.

Fixes bug 27463; bugfix on 0.1.1.2-alpha.

Windows: Silence a spurious warning in the GetAdaptersAddresses cast

GetProcAddress() returns FARPROC, which is (long long int(*)()) on
64-bit Windows:
https://msdn.microsoft.com/en-us/library/windows/desktop/ms683212(v=vs.85).aspx

But GetAdaptersAddresses() is (long unsigned int(*)()), on both 32-bit
and 64-bit Windows:
https://docs.microsoft.com/en-us/windows/desktop/api/iphlpapi/nf-iphlpapi-getadaptersaddresses

So gcc 8 issues a spurious "incompatible function pointer" warning
about the cast to GetAdaptersAddresses_fn_t.

Silence this warning by casting to a void function pointer, before
the cast to GetAdaptersAddresses_fn_t.

This issue is already fixed by 26481 in 0.3.5 and later, by removing
the lookup and cast.

Fixes bug 27465; bugfix on 0.2.3.11-alpha.

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/bug27418-029' into maint-0.2.9

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Travis: don't call echo with a --flag as the first argument

When we use echo in Travis, don't pass a --flag as the first argument.

Fixes bug 27418; bugfix on 0.3.4.7-rc.

Travis: when showing a log fails, keep trying to show other logs

When a Travis build fails, and showing a log fails, keep trying to
show the other logs.

Fixes bug 27453; bugfix on 0.3.4.7-rc.

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Test: avoid spurious failures in make test-network-all

Before running make test-network-all, delete old logs and test result
files, to avoid spurious failures.

Fixes bug 27295; bugfix on 0.2.7.3-rc.

Test: consistently use $(TEST_NETWORK_ALL_LOG_DIR) in Makefile.am

Part of 27295.

Merge branch 'maint-0.3.2' into maint-0.3.3

When running make test-network-all, use the mixed+hs-v2 network

No behaviour change.

A previous fix to chutney removed v3 onion services from the
mixed+hs-v23 network, so seeing "mixed+hs-v23" in tests is
confusing.

Fixes bug 27345; bugfix on 0.3.2.1-alpha.

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'ticket27286_032_v2' into maint-0.3.2

Update the protocol versions recommendations to remove LinkAuth=1

LinkAuth method 1 is the one where we pull the TLS master secrets
out of the OpenSSL data structures and authenticate them with
RSA. Right now we list method 1 as required for clients and relays.
That's a problem, since we can't reasonably support it with NSS. So
let's remove it as a requirement and a recommendation.

As for method 3: I'd like to recommend it it, but that would make
0.2.9 start warning.  Let's not do that till at least some time
after 0.3.5 (the next LTS) is stable.

Closes ticket 27286

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Silence a compilation warning on MSVC 2017 and clang-cl

test.c no longer uses lround(), so we don't need to declare it,
and we can use math.h for fabs().

Fixes bug 27185; bugfix on 0.2.2.2-alpha.

Merge branch 'ticket27252-032' into ticket27252-033

Semantic merge:
- Rust offline and online were swapped in ticket27252-032
- TOR_RUST_DEPENDENCIES is spelt RUST_DEPENDENCIES in 0.3.2

Travis: Skip offline rust builds for Linux gcc

We already do an online rust build for Linux gcc.

Part of 27252.

Travis: Only run one online rust build, to reduce network errors

Part of 27252.

Merge branch 'ticket27252-029' into ticket27252-032

This commit is already implemented in 0.3.2 and later:
- Travis: Skip a duplicate hardening-off build in Tor 0.2.9

Travis: Skip gcc on Linux with default settings

It's redundant, because all the non-default builds use gcc on Linux.

Part of 27252.

Travis: make the exclude descriptions shorter

Part of 27252.

Travis: Skip a duplicate hardening-off build in Tor 0.2.9

Part of 27252.

Travis: skip gcc on OSX, because the default compiler is clang

Part of #27252.

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'maint-0.3.2' into maint-0.3.3

Mark cert_matches_key as not-intrusive; fix stretch compilation.

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge remote-tracking branch 'teor/travis-osx-033' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/travis-osx-032' into maint-0.3.2

Merge remote-tracking branch 'teor/travis-osx-029' into maint-0.2.9

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Add changes file for 26873. I missed this when merging earlier.

Rewrite test_tortls_cert_matches_key()

Unlike the old test, this test no will no longer mess around with
the forbidden internals of any openssl data structures.

Additionally, it verifies several other behaviors of
tor_tls_cert_matches_key() that we had wanted to verify, such as
the possibility of the certificate's key not matching.

Fixes bug 27226; bugfix on 0.2.5.1-alpha.

Use our x509 wrapper code in tor_tls_cert_matches_key()

This allows us to mock our own tor_tls_get_peer_certificate()
function in order to test ..cert_matches_key(), which will in turn
allow us to simplify test_tortls_cert_matches_key() considerably.

Prep work for the fix for 27226.

Merge remote-tracking branch 'onionk/rust-protospace' into maint-0.3.3

rust/protover: don't accept whitespace in ProtoSet::from_str()

It's impossible for spaces to get here, since spaces are used as
separators between individual protocol entries higher up.

And it shouldn't ignore whitespace that isn't a literal space
character, because that would differ from the C implementation.

These were added in 9925d2e68709aa7346f4c5bc98ea1349df6741f3.

Fixes #27177. Bugfix on 0.3.3.5-rc.

rust/protover: fix hyphen parsing bug in ProtoSet::from_str()

It was parsing "1-2-3" as if it were 1-2, ignoring the 2nd hyphen
and everything after.

Introduced in d1820c1516a31a149fc51a9e5126bf899e4c4e08.

Fixes #27164; bugfix on 0.3.3.1-alpha.

Merge branch 'maint-0.3.2' into maint-0.3.3

Keep descriptor rotation time after HUP occurs.