log: Don't close file log fds that are being used by the err module

Instead, dup() file log fds, before passing them to the err module.

Closes 31613, part of 31594.

torerr: Close sigsafe fds on shutdown

And clear the list of error fds.

Part of 31594.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1271' into maint-0.3.5

Merge commit '763fd0ad66' into maint-0.4.0

tor-github/pr/1174, but with the last commit re-worded to remove
the fixup, because fixups break our push rules.

Fix bugfix version in Bug 30649: Changes file.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1181' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1117' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1114' into maint-0.3.5

test: Change "make test-stem" so it only runs the stem tests that use tor

This change makes test-stem faster and more reliable.

Use "make test-stem-full" to run all of stem's tests.

Closes ticket 31554.

Merge branch 'maint-0.3.5' into maint-0.4.0

Fix gcc build exclude on travis

The main build doesn't use HARDENING_OPTIONS, so the exclude shouldn't,
either. Reduces the number of builders by one.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

dirauth: Change dizum IP address

New IP address from 194.109.206.212 to 45.66.33.45.

Signed request from Alex de Joode, operator of dizum:
https://trac.torproject.org/projects/tor/ticket/31406

Published descriptor by dizum on August 12th, 2019:

--
r dizum fqbq1v2DCDxTj0QDi7+gd1h911U GZmZtCLaPDQNxkhIFj8UcgTRAuA 2019-08-12 15:28:40 45.66.33.45 443 80
s Authority Fast Running Stable V2Dir Valid
v Tor 0.4.0.5
pr Cons=1-2 Desc=1-2 DirCache=1-2 HSDir=1-2 HSIntro=3-4 HSRend=1-2 Link=1-5 LinkAuth=1,3 Microdesc=1-2 Relay=1-2 Padding=1
w Bandwidth=20 Unmeasured=1
p reject 1-65535
--

Finally, confirmed by DNS:

  $ dig +short tor.dizum.com
  45.66.33.45

Closes #31406

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1049' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1077' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1066' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1065' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1056' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1039' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1034' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1020' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/987' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/952' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/951' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/937' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/926' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/911' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/848' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/741' into maint-0.3.5

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Delete src/or/buffers.c which was fixup'ed in 0.2.9 but moved in 0.3.5.
The 0.2.9 fix is not required for the 0.3.5 patch.
Resolves merge conflict caused by 30041.

Merge remote-tracking branch 'tor-github/pr/1078' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/1052' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/1229' into maint-0.2.9

Modify "Protect buffers against INT_MAX datalen overflows." for 0.2.9

Merge remote-tracking branch 'tor-github/pr/1081' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1080' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1054' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/920' into maint-0.3.5

Fix #28525 changes file that is breaking CI.

Fix #28525 changes file that is breaking CI.

Merge remote-tracking branch 'tor-github/pr/763' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/762' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/958' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/957' into maint-0.2.9

Merge branch 'bug31343_31374_035' into bug31343_31374_040

Merge branch 'bug31343_31374_029' into bug31343_31374_035

Merge remote-tracking branch 'tor-github/pr/1211' into test31343_040

Merge remote-tracking branch 'tor-github/pr/1222' into combined31343_31374_035

Merge remote-tracking branch 'tor-github/pr/1210' into combined31343_31374_035

Merge remote-tracking branch 'tor-github/pr/1221' into combined31343_31374_029

Merge remote-tracking branch 'tor-github/pr/1209' into combined31343_31374_029

Merge branch 'ticket31374_029' into ticket31374_035

Fix a warning about casting the results of GetProcAddress.

Fixes bug 31374; bugfix on 0.2.9.1-alpha.

Merge branch 'ticket31343_035' into ticket31343_040

Merge branch 'ticket31343_029' into ticket31343_035

Fix another time_t/long warning for 31343.

Merge branch 'ticket31343_029' into ticket31343_035

Restore proper behavior of netinfo skew check

My previous fix removed a comparison, which would have caused us to
warn about every skew instead of skews of over an hour.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1044' into maint-0.3.5

Merge changed chutney and stem script lines from 29280 with changed
stem script lines from 30591.

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge rust additions in 0.3.5 with sudo deletions in 0.2.9.

Merge remote-tracking branch 'tor-github/pr/1157' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1156' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1155' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/991' into maint-0.2.9

Merge branch 'ticket31343_035' into ticket31343_040

Merge branch 'ticket31343_029' into ticket31343_035

Avoid using labs() on time_t in channeltls.c

On some windows builds, time_t is 64 bits but long is not.  This is
causing appveyor builds to fail.

Also, one of our uses of labs() on time_t was logically incorrect:
it was telling us to accept NETINFO cells up to three minutes
_before_ the message they were responding to, which doesn't make
sense.

This patch adds a time_abs() function that we should eventually move
to intmath.h or something.  For now, though, it will make merges
easier to have it file-local in channeltls.c.

Fixes bug 31343; bugfix on 0.2.4.4-alpha.

circpad: some more logging changes.

- Add an info log when receiving a STOP command.
- Keep warning if we receive padding from a wrong hop.

More LOG_PROTOCOL_WARN.

Make origin-side messages about padding negotiation failure into
LOG_PROTOCOL_WARN.

I'm not sure I like this either.. But the negotiation refusal case might
happen naturally due to consensus drift, and is functionally no different than
a corrupted cell.

Make some warns into protocol warns

I'm not sure I agree with this option.

Bug 30649: Changes file.

Bug 30649: Check that machine is absent before warn

Set 'routerlist' global to NULL before freeing it.

There is other code that uses this value, and some of it is
apparently reachable from inside router_dir_info_changed(), which
routerlist_free() apparently calls.  (ouch!)  This is a minimal fix
to try to resolve the issue without causing other problems.

Fixes bug 31003. I'm calling this a bugfix on 0.1.2.2-alpha, where
the call to router_dir_info_changed() was added to routerlist_free().

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge branch 'chutney_ci_v4_035' into chutney_ci_v4_040

This merge removes an incorrect comment about the stem version
and commit script.

Travis: SKIP_MAKE_CHECK="yes" when running stem

And add some comments about stem

Part of 29280.

Merge branch 'chutney_ci_v4_029' into chutney_ci_v4_035

Travis: remove a redundant os: linux line

Linux is the first item in the os matrix, so we don't need to specify
it under matrix: include: .

Part of 29280.

Travis: show the chutney commit and python version

Part of 29280.

Travis: show chutney logs on chutney job failure

Part of 29280.

Travis: Log stem's TRACE logs to a file, and tail it on failure

Also filter out stem's SocketClosed logs, and fix some nearby comments.

Part of 30591.

changes: file for 28795

Replace the 157 fallbacks originally introduced in Tor 0.3.5.6-rc
in December 2018 (of which ~122 were still functional), with a
list of 148 fallbacks (70 new, 78 existing, 79 removed) generated
in June 2019.

Closes ticket 28795.

Note that we created extra lists from DE and US, but they didn't add
any more fallbacks when we tried to merge them.

fallback: apply the second fallback list from 2019

Update the fallback directory mirrors by merging the current list with:
fallback_dirs_2019-06-28-08-58-39_AU_f0437a39ddbc8459.inc

Part of 28795, see that ticket for logs.

fallback: apply the first fallback list from 2019

Update the fallback directory mirrors by replacing the old list with:
fallback_dirs_2019-06-25-11-49-10_AU_a37adb956fbb5cd2.inc

Part of 28795, see that ticket for logs.

guard: Ignore marked for close circuit when changing state to open

When we consider all circuits in "waiting for guard" state to be promoted to
an "open" state, we were considering all circuits, even the one marked for
close.

This ultiamtely triggers a "circuit_has_opened()" called on the circuit that
is marked for close which then leads to possible undesirable behaviors within
a subsystem.

For instance, the HS subsystem would be unable to find the authentication key
of the introduction point circuit leading to a BUG() warning and a duplicate
mark for close on the circuit.

This commit also adds a unit test to make sure we never select marked for
close circuits when upgrading its guard state from waiting for guard to open.

Fixes #30871

Signed-off-by: David Goulet <dgoulet@torproject.org>

Fix memleak when failing to parse a CSV_INTERVAL.

Fixes bug 30894; bugfix on 0.3.4.1-alpha

Travis: Don't log stem's SocketClosed TRACE logs to the console

And fix some nearby comments.

Part of 30591.

Add a chutney mode to travis.yml.

Travis: control "make check" with its own flag

Previously we had "make check" launched whenever DISTCHECK was
false.  Now we'd like to turn it off in a few other circumstances,
like running chutney.  Maybe stem too?

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Update geoip and geoip6 to the June 10 2019 database.