Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'bug33212_035' into maint-0.3.5

Fix a Rust compilation warning; resolve bug 33212.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1614' into maint-0.3.5

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1513' into maint-0.3.5

Correct how we use libseccomp

This fixes a startup crash with libseccomp v2.4.0 if Sandbox is
set to 1.

Merge branch 'bug32240_32242_035' into bug32240_32242_040

Merge:
* libzstd-dev from ticket32242_035
* shellcheck from maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1459' into bug32240_32242_035

Merge branch 'bug32240_035' into bug32240_040

Merge branch 'bug32240_029' into bug32240_035

Merge
* Chutney Trusty deletion in bug32240_029
* NSS addition in maint-0.3.5

changes: file for 32240

Travis: Run Chutney jobs in Ubuntu Bionic images

Closes 32240.

Travis: Turn off Tor's Sandbox in Chutney jobs

We need to set "Sandbox 0", until we fix sandbox errors that are
triggered by Ubuntu Xenial and Bionic. See 32722.

Part of 32240.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1576' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1575' into maint-0.2.9

Bump version to 0.4.0.6-dev

Merge branch 'maint-0.3.5' into maint-0.4.0

"ours" to avoid version bump.

bump to 0.3.5.9-dev

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Update geoip and geoip6 to the December 3 2019 database.

changes: file for 32629

changes: file for 32629

Bump to 0.4.0.6

Merge branch 'maint-0.3.5' into maint-0.4.0

"ours" to avoid version bump.

Bump version to 0.3.5.9

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1424' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1277' into maint-0.3.5

Merge branch 'maint-0.3.5' into maint-0.4.0

Travis: use -std=gnu99 with NSS, and clang with Chutney

NSS:
* test NSS-specific code with -std=gnu99
* use a recent gcc version from the latest Ubuntu image

Chutney:
* use clang, so we keep one clang Linux job
* keep clang on a fast job, so the overall build finishes quickly

Closes ticket 32500 for 0.3.5.

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge C_DIALECT_OPTIONS from ticket32500_029 with
other configure options from maint-0.3.5.

Travis: use -std=gnu99 in some jobs

Require C99 standards-conforming code in Travis CI, but allow GNU gcc
extensions. Also activates clang's -Wtypedef-redefinition warnings.

Builds some jobs with -std=gnu99, and some jobs without.

Closes ticket 32500.

Travis: Disable the macOS Rust job

This time, we're disabling it because it's the lowest priority job.
(And also slow.)

Part of 32629.

Merge branch 'ticket32629_029' into ticket32629_035

Merge re-enable chutney from ticket32629_029 with
stem from maint-0.3.5.

Revert "Travis: Disable the Rust macOS build"

This reverts commit 4c4a0d50ff4fd01862b78e8cbfaabfa9e4d4ae12.

Revert "Travis: Disable all but one macOS build"

This reverts commit 511aeba8eeb24a953228e00917f64703059a7673.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1441' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1396' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1464' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1422' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1405' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1395' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1394' into maint-0.3.5

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge branch 'maint-0.3.5' into maint-0.4.0

Appveyor: Install OpenSSL to resolve a header/library mismatch

Install the mingw OpenSSL package in Appveyor. This makes sure that
the OpenSSL headers and libraries match in Tor's Appveyor builds.

(This bug was triggered by an Appveyor image update.)

Fixes bug 32449; bugfix on 0.3.5.6-rc.

Update geoip and geoip6 to the November 6 2019 database.

Do not try to shut down the event loop when it is not initialized.

Doing so caused us to crash in some unusual circumstances, such as
using --verify-config to verify a configuration that failed during
the options_act() stage.

Fixes bug 32407; bugfix on 0.3.3.1-alpha.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1354' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1348' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1340' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1343' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1342' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/1330' into maint-0.2.9

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1460' into maint-0.2.9

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

changes: file for 31919's bionic Travis image change

Merge branch 'ticket31919_bionic_029' into ticket31919_bionic_035

Travis: Use Ubuntu Bionic, but keep Trusty for chutney

Bionic has a recent coccinelle version, which passes our CI tests.

But Bionic (and Xenial) cause permissions errors for chutney.
We'll fix those in 32240.

Part of 31919.

hs-v3: Remove a BUG() caused by an acceptable race

hs_client_purge_state() and hs_cache_clean_as_client() can remove a descriptor
from the client cache with a NEWNYM or simply when the descriptor expires.

Which means that for an INTRO circuit being established during that time, once
it opens, we lookup the descriptor to get the IP object but hey surprised, no
more descriptor.

The approach here is minimalist that is accept the race and close the circuit
since we can not continue. Before that, the circuit would stay opened and the
client wait the SockTimeout.

Fixers #28970.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Travis: Use macOS 10.14 with Xcode 11.2

Closes ticket 32241.

Travis: Use zstd in our Travis Linux builds

Recent Ubuntu versions have zstd >= 1.1, which is an optional tor build
dependency.

Closes ticket 32242.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1361' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1360' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1351' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/1284' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1256' into maint-0.3.5

Merge branch 'maint-0.2.9' into maint-0.3.5

`git merge --strategy ours` to take the 0.3.5 changes for 31001,
and ignore the conflicting 0.2.9 changes.

Merge remote-tracking branch 'tor-github/pr/1178' into maint-0.2.9

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1376' into maint-0.3.5

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'origin/maint-0.3.5' into maint-0.3.5

Travis: Disable the Rust macOS build

This build was added in 0.3.5.

We need to mitigate slow scheduling of Travis macOS jobs.

Closes ticket 32177.

Merge branch 'ticket32177_029' into ticket32177_035

Stem from maint-0.3.5, disabled macOS chutney from ticket32177_029.

Travis: Disable all but one macOS build

We need to mitigate slow scheduling of Travis macOS jobs.

Closes ticket 32177.

Merge branch 'maint-0.3.5' into maint-0.4.0

respect accountingmax during soft hibernation

Relays now respect their AccountingMax bandwidth again. When relays
entered "soft" hibernation (which typically starts when we've hit
90% of our AccountingMax), we had stopped checking whether we should
enter hard hibernation. Soft hibernation refuses new connections and
new circuits, but the existing circuits can continue, meaning that
relays could have exceeded their configured AccountingMax.

This commit rolls back some of the cpu-saving fixes, where we tried
to avoid calling so many of our events while we're off the network.

That's because PERIODIC_EVENT_FLAG_NEED_NET checks net_is_disabled(),
which returns true even if we're only in soft hibernation.

Fixes bug 32108; bugfix on 0.4.0.1-alpha.

Appveyor: Use Windows Server 2019

Instead of Windows Server 2016.

Closes ticket 32086.

test/rebind: Make control formatting and log parsing more robust

* actually sleep when tor has not logged anything
* log at debug level when waiting for tor to log something
* backslash-replace bad UTF-8 characters in logs
* format control messages as ASCII: tor does not accept UTF-8 control commands

Fixes bug 31837; bugfix on 0.3.5.1-alpha.

Remove overly strict assertions in transports.c.

This patch removes an overly strict tor_assert() and an ignorable BUG()
expression. Both of these would trigger if a PT was unable to configure
itself during startup. The easy way to trigger this is to configure an
obfs4 bridge where you make the obfs4 process try to bind on a port
number under 1024.

See: https://bugs.torproject.org/31091

Add test to check if the exit callback is called in process_t upon process_exec() failures.

This patch adds a test to check for whether the exit callback is always
called when process_exec() fails, both on Windows and Unix.

See: https://bugs.torproject.org/31810

Ensure that the exit callback is called if CreateProcessA() fails on Windows.

This patch fixes an issue where the exit handler is not called for the
given process_t in case CreateProcessA() fails. This could, for example,
happen if the user tries to execute a binary that does not exist.

See: https://bugs.torproject.org/31810

Handle errors from execve() in the Unix process backend more gracefully.

This patch removes a call to tor_assert_unreached() after execve()
failed. This assertion leads to the child process emitting a stack trace
on its standard output, which makes the error harder for the user to
demystify, since they think it is an internal error in Tor instead of
"just" being a "no such file or directory" error.

The process will now instead output "Error from child process: X" where
X is the stringified version of the errno value.

See: https://bugs.torproject.org/31810

mainloop: Disable periodic events before a destroy

When tearing down all periodic events during shutdown, disable them first so
their enable flag is updated.

This allows the tor_api.h to relaunch tor properly after a clean shutdown.

Fixes #32058

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.0