Merge branch 'maint-0.2.9' into maint-0.3.2

hs-v3: Don't BUG() on directory permission check failure

In hs_config.c, we do validate the permission of the hidden service directory
but we do not try to create it. So, in the event that the directory doesn't
exists, we end up in the loading key code path which checks for the
permission and possibly creates the directory. On failure, don't BUG() since
there is a perfectly valid use case for that function to fail.

Fixes #27335

Signed-off-by: David Goulet <dgoulet@torproject.org>

protover: reject invalid protocol names

The spec only allows the characters [A-Za-z0-9-].

Fix on b2b2e1c7f24d9b65059e3d089768d6c49ba4f58f.
Fixes #27316; bugfix on 0.2.9.4-alpha.

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'bug27658_029' into maint-0.2.9

Check waitpid return value and exit status in tinytest.c

It's possible for a unit test to report success via its pipe, but to
fail as it tries to clean up and exit.  Notably, this happens on a
leak sanitizer failure.

Fixes bug 27658; bugfix on 0.2.2.4-alpha when tinytest was
introduced.

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/ticket27252-032' into maint-0.3.2

Merge remote-tracking branch 'teor/ticket27252-029' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.2

Update geoip and geoip6 to the September 6 2018 database.

Merge branch 'maint-0.2.9' into maint-0.3.2

"ours" to avoid version bump.

Bump to 0.3.2.12-dev

Bump to 0.2.9.17-dev

Merge branch 'maint-0.2.9' into maint-0.3.2

"ours" to avoid bump

Bump to 0.3.2.12

Bump to 0.2.9.17

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'ticket27344_029' into maint-0.2.9

Tell openssl to build its TLS contexts with security level 1

Fixes bug 27344, where we'd break compatibility with old tors by
rejecting RSA1024 and DH1024.

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/bug27461-032' into maint-0.3.2

Merge remote-tracking branch 'teor/bug27461-029' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/bug27463-029' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'bug27461-029' into bug27461-032

Fix a minor merge conflict due to an #endif comment.

Windows: Stop calling SetProcessDEPPolicy() on 64-bit Windows

It is not supported, and always fails. Some compilers warn about the
function pointer cast on 64-bit Windows.

Fixes bug 27461; bugfix on 0.2.2.23-alpha.

hs: Silence a spurious warning in rend_client_send_introduction()

gcc 8 warns that extend_info_t.nickname might be truncated by strncpy().

But it doesn't know that nickname can either contain a hex id, or a
nicknames. hex ids are only used for general and HSDir circuits.

Fixes bug 27463; bugfix on 0.1.1.2-alpha.

Windows: Silence a spurious warning in the GetAdaptersAddresses cast

GetProcAddress() returns FARPROC, which is (long long int(*)()) on
64-bit Windows:
https://msdn.microsoft.com/en-us/library/windows/desktop/ms683212(v=vs.85).aspx

But GetAdaptersAddresses() is (long unsigned int(*)()), on both 32-bit
and 64-bit Windows:
https://docs.microsoft.com/en-us/windows/desktop/api/iphlpapi/nf-iphlpapi-getadaptersaddresses

So gcc 8 issues a spurious "incompatible function pointer" warning
about the cast to GetAdaptersAddresses_fn_t.

Silence this warning by casting to a void function pointer, before
the cast to GetAdaptersAddresses_fn_t.

This issue is already fixed by 26481 in 0.3.5 and later, by removing
the lookup and cast.

Fixes bug 27465; bugfix on 0.2.3.11-alpha.

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/bug27418-029' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.2

Travis: don't call echo with a --flag as the first argument

When we use echo in Travis, don't pass a --flag as the first argument.

Fixes bug 27418; bugfix on 0.3.4.7-rc.

Travis: when showing a log fails, keep trying to show other logs

When a Travis build fails, and showing a log fails, keep trying to
show the other logs.

Fixes bug 27453; bugfix on 0.3.4.7-rc.

Merge branch 'maint-0.2.9' into maint-0.3.2

Test: avoid spurious failures in make test-network-all

Before running make test-network-all, delete old logs and test result
files, to avoid spurious failures.

Fixes bug 27295; bugfix on 0.2.7.3-rc.

Test: consistently use $(TEST_NETWORK_ALL_LOG_DIR) in Makefile.am

Part of 27295.

When running make test-network-all, use the mixed+hs-v2 network

No behaviour change.

A previous fix to chutney removed v3 onion services from the
mixed+hs-v23 network, so seeing "mixed+hs-v23" in tests is
confusing.

Fixes bug 27345; bugfix on 0.3.2.1-alpha.

Merge branch 'ticket27286_032_v2' into maint-0.3.2

Update the protocol versions recommendations to remove LinkAuth=1

LinkAuth method 1 is the one where we pull the TLS master secrets
out of the OpenSSL data structures and authenticate them with
RSA. Right now we list method 1 as required for clients and relays.
That's a problem, since we can't reasonably support it with NSS. So
let's remove it as a requirement and a recommendation.

As for method 3: I'd like to recommend it it, but that would make
0.2.9 start warning.  Let's not do that till at least some time
after 0.3.5 (the next LTS) is stable.

Closes ticket 27286

Merge branch 'maint-0.2.9' into maint-0.3.2

Silence a compilation warning on MSVC 2017 and clang-cl

test.c no longer uses lround(), so we don't need to declare it,
and we can use math.h for fabs().

Fixes bug 27185; bugfix on 0.2.2.2-alpha.

Travis: Skip offline rust builds for Linux gcc

We already do an online rust build for Linux gcc.

Part of 27252.

Travis: Only run one online rust build, to reduce network errors

Part of 27252.

Merge branch 'ticket27252-029' into ticket27252-032

This commit is already implemented in 0.3.2 and later:
- Travis: Skip a duplicate hardening-off build in Tor 0.2.9

Travis: Skip gcc on Linux with default settings

It's redundant, because all the non-default builds use gcc on Linux.

Part of 27252.

Travis: make the exclude descriptions shorter

Part of 27252.

Travis: Skip a duplicate hardening-off build in Tor 0.2.9

Part of 27252.

Travis: skip gcc on OSX, because the default compiler is clang

Part of #27252.

Merge branch 'maint-0.2.9' into maint-0.3.2

Mark cert_matches_key as not-intrusive; fix stretch compilation.

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/travis-osx-032' into maint-0.3.2

Merge remote-tracking branch 'teor/travis-osx-029' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.2

Rewrite test_tortls_cert_matches_key()

Unlike the old test, this test no will no longer mess around with
the forbidden internals of any openssl data structures.

Additionally, it verifies several other behaviors of
tor_tls_cert_matches_key() that we had wanted to verify, such as
the possibility of the certificate's key not matching.

Fixes bug 27226; bugfix on 0.2.5.1-alpha.

Use our x509 wrapper code in tor_tls_cert_matches_key()

This allows us to mock our own tor_tls_get_peer_certificate()
function in order to test ..cert_matches_key(), which will in turn
allow us to simplify test_tortls_cert_matches_key() considerably.

Prep work for the fix for 27226.

Keep descriptor rotation time after HUP occurs.

Rust: Say that we support rust stable in GettingStartedRust.md

In 24765, we said that we supported rust stable in CodingStandardsRust.md.
But we left GettingStartedRust.md saying that we support rust nightly.

Closes 27160.

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'github/bug27081_029' into maint-0.2.9

Merge branch 'travis-osx-029' into travis-osx-032

Merge asciidoc from 029 with rust from 032.

Travis: add a missing macOS asciidoc env var

Merge branch 'travis-osx-029' into travis-osx-032

Simple merge to resolve order conflicts.

Travis: Improve Rust comments

Travis: add a missing macOS asciidoc dependency

Travis: put distcheck first for readability

Changes file for Travis: enable macOS builds

Changes file for Rust: backport src/test/test_rust.sh from master

Travis: Use cargo cache

Closes ticket 26952.

Fix $abs_top_srcdir in test_rust.sh

Consistently use ../../.. as a fallback for $abs_top_srcdir in
test_rust.sh.

Fixes bug 27093; bugfix on 0.3.4.3-alpha.

Stop setting $CARGO_HOME

cargo will use the user's $CARGO_HOME, or $HOME/.cargo by default.

Fixes bug 26497; bugfix on 0.3.1.5-alpha.

Rust: backport src/test/test_rust.sh from master

Preparation for 26497.

Travis: fix a typo

Travis: fix a typo

Travis: add rust cargo offline mode

Backports parts of the 0.3.3 travis config.

Part of 24629.

Travis: add rust cargo online mode

Forward-ports parts of the 0.3.2 travis config on top of the 0.2.9
merge.

Also:
* build rust on clang and gcc, Linux and macOS
* build combinations of non-default options on gcc Linux
* exclude broken builds
* log the rustup version

Part of 24629.

Merge branch 'maint-0.2.9' into maint-0.3.2

Travis: add lzma and zstd, where available

Forward-ports parts of the 0.3.2 travis config on top of the 0.2.9
merge.

Part of 24629, also fixes 27090.

Merge branch 'travis-osx-029' into travis-osx-032

Replace 032 .travis.yml with 029 .travis.yml.
Subsequent commits will restore 032 functionality.

Travis: list installed package versions before building

Part of 24629.

Travis: run an asciidoc build

Implements 27087.

Travis: Use ccache

Part of ticket 26952.

Travis: make macOS builds work for Tor 0.2.9

Tor 0.2.9 needs extra help to find OpenSSL on macOS.

Part of 24629.

Travis: create configure flags once, then echo the flags

Creating the configure flags once avoids inconsistent flags
between configure and distcheck configure.

Echoing the flags helps developers work out what configure is
doing.

(Backported to 0.2.9 and later as a precaution.)

Fixes 27088 on 0.3.4.1-alpha, adds logging in previous releases.

Travis: enable macOS builds

Also:
* explain why we don't install zlib

Part of 24629.

Travis: Rewrite .travis.yml

Build on all compilers:
* default options + hardening

Build on gcc:
* coverage (+ no hardening)
* distcheck
* no hardening

Add some extra logging:
* tail config.log on failure
  (config.log is too long for travis to render)

Put the config in a more logical order
* Sort config items in chronological order
* Put related items together

Part of 24629.

Update geoip and geoip6 to the August 7 2018 database.

Add more optional packages to Travis

Apparently we weren't building with either libcap or libseccomp on
Travis.  Install libcap-dev and libseccomp-dev in .travis.yml.  Closes
ticket 26560.

Don't search for -lpthread on Windows

If we're building for Windows, we want to use windows threads no
matter what, and we don't want to link a pthread library even if it
is present.  Fixes bug 27081; bugfix on 1790dc67607799a in 0.1.0.1-rc.

Merge branch 'maint-0.2.9' into maint-0.3.2

Changes file for 25440

Fix crash when calling openat with sandbox enabled #25440

The seccomp rule for the openat syscall checks for the AT_FDCWD
constant. Because this constant is usually a negative value, a
cast to unsigned int is necessary to make sure it does not get
converted to uint64_t used by seccomp.

More info on:
https://github.com/seccomp/libseccomp/issues/69#issuecomment-273805980

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'fix_nonstandard_malloc_029' into maint-0.2.9

Merge remote-tracking branch 'teor/bug26924_032' into maint-0.3.2

Don't disable an unsupported compiler warning

Conditionalize the pragma that temporarily disables
-Wunused-const-variable.  Some versions of gcc don't support it.  We
need to do this because of an apparent bug in some libzstd headers.
Fixes bug 26785; bugfix on 0.3.2.11.

Improve connection auth logging

Improve the log message when connection initiators fail to authenticate
direct connections to relays.

Fixes bug 26927; bugfix on 0.3.0.1-alpha.

Merge branch 'bug26924_029' into bug26924_032