Merge branch 'maint-0.2.9' into maint-0.3.4

Update geoip and geoip6 to the May 13 2019 database.

Merge branch 'maint-0.2.9' into maint-0.3.4

"ours" merge, to avoid taking any changes from PR 792 in 0.3.4.
(We already merged PR 791 for 29665 into 0.3.4.)

Merge remote-tracking branch 'tor-github/pr/946' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/638' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/791' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/792' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.4

"ours" merge, to avoid taking any changes from PR 772 in 0.3.4.
(We already merged a different fix for 23790 into 0.3.2 and later.)

Merge remote-tracking branch 'tor-github/pr/772' into maint-0.2.9

Merge branch 'rust-panic1' into rust-panic1-034

Merge branch 'maint-0.2.9' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/878' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/902' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/877' into maint-0.2.9

Merge branch 'bug29036-029' into bug29036-29962-034

Makefile: actually, don't delete the gcno files

We need to keep the gcno files, because they are created at compile time.

Do not cache bogus results from classifying client ciphers

When classifying a client's selection of TLS ciphers, if the client
ciphers are not yet available, do not cache the result. Previously,
we had cached the unavailability of the cipher list and never looked
again, which in turn led us to assume that the client only supported
the ancient V1 link protocol.  This, in turn, was causing Stem
integration tests to stall in some cases.  Fixes bug 30021; bugfix
on 0.2.4.8-alpha.

Merge branch 'maint-0.2.9' into maint-0.3.4

Update geoip and geoip6 to the April 2 2019 database.

Merge branch 'maint-0.2.9' into maint-0.3.4

Travis: merge before_cache from 29036 and 29962

And add some useful comments

Add changes file

Cleanup cargo registry before each Rust-enabled build

Also, refrain from caching target/.

See: https://levans.fr/rust_travis_cache.html

Merge branch 'bug29036-029' into bug29036-29962-034

Makefile: delete all the gcov-related files in reset-gcov

And fix a comment.

See:
https://gcc.gnu.org/onlinedocs/gcc/Gcov-Data-Files.html#Gcov-Data-Files

changes: Use the first Tor version with CI coverage for the 29036 changes file

Otherwise, "make check-changes" will complain when we backport the change.

Merge remote-tracking branch 'tor-github/pr/820' into maint-0.3.4

test: Backport the 0.3.4 src/test/test-network.sh to 0.2.9

We need a recent test-network.sh to use new chutney features in CI.

Fixes bug 29703; bugfix on 0.2.9.1-alpha.

bwauth: Ignore bandwidth file lines with "vote=0"

so that the relays that would be "excluded" from the bandwidth
file because of something failed can be included to diagnose what
failed, without still including these relays in the bandwidth
authorities vote.

Closes #29806.

Handle errors from coveralls more gracefully.

Since we have moved coveralls to the script target the entire build will
now fail if coveralls fail. We handle it more gracefully by echo'ing the
failure instead of doing a hard-failure.

See: https://bugs.torproject.org/29036

Run `make reset-gcov` after the script target in Travis CI is done.

This should ensure that GCDA files are never entering the cache of
Travis CI.

See: https://bugs.torproject.org/29036

Merge branch 'maint-0.2.9' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/774' into maint-0.2.9

test/sr: update sr_state_free() to sr_state_free_all() in a comment

Merge branch 'bug29706_029_minimal' into bug29706_034_minimal_merge

test/sr: Clear SRVs after init, and before setup

Already merged to 0.4.0 and later in tor-github/pr/776.
Backported to 0.2.9 and later with minor comment changes.

Part of 29706.

relays shouldn't close idle rend circuits

Allow connections to single onion services to remain idle without being
disconnected.

Relays acting as rendezvous points for single onion services were
mistakenly closing idle established rendezvous circuits after 60 seconds,
thinking that they are unused directory-fetching circuits that had served
their purpose.

Fixes bug 29665; bugfix on 0.2.1.26.

relays shouldn't close idle rend circuits

Allow connections to single onion services to remain idle without being
disconnected.

Relays acting as rendezvous points for single onion services were
mistakenly closing idle established rendezvous circuits after 60 seconds,
thinking that they are unused directory-fetching circuits that had served
their purpose.

Fixes bug 29665; bugfix on 0.2.1.26.

Merge branch 'maint-0.2.9' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/795' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/794' into maint-0.3.4

Merge branch 'bug28096-029-squashed' into bug28096-034-squashed

Merge the new code, and preserve the #else macro comment from 0.3.4.

Merge remote-tracking branch 'nickm/bug27073_029' into bug27073_034

Replace == with OP_EQ in test macros.

Merge remote-tracking branch 'tor-github/pr/771' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/770' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/765' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/746' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/510' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/331' into maint-0.2.9

test/sr: Free SRVs before replacing them in test_sr_setup_srv()

Stop leaking parts of the shared random state in the shared-random unit
tests. The previous fix in 29599 was incomplete.

Fixes bug 29706; bugfix on 0.2.9.1-alpha.

hs-v2: Copy needed information between service on prunning

Turns out that when reloading a tor configured with hidden service(s), we
weren't copying all the needed information between the old service object to
the new one.

For instance, the desc_is_dirty timestamp wasn't which could lead to the
service uploading its descriptor much later than it would need to.

The replaycache wasn't also moved over and some intro point information as
well.

Fixes #23790

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'bug23512-v4-029-fixes-keep-typedef' into bug23512-v4-034-fixes

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

Update geoip and geoip6 to the March 4 2019 database.

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

Merge remote-tracking branch 'tor-github/pr/749' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/748' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/747' into maint-0.2.9

Bug 25733: Avoid assert failure if all circuits time out.

Prior to #23100, we were not counting HS circuit build times in our
calculation of the timeout. This could lead to a condition where our timeout
was set too low, based on non HS circuit build times, and then we would
abandon all HS circuits, storing no valid timeouts in the histogram.

This commit avoids the assert.

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/731' into maint-0.3.3

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

test/shared-random: use sr_state_free_all() rather than sr_state_free()

sr_state_free() was renamed to sr_state_free_all() between 0.2.9 and 0.3.3.

Part of 29599.

Merge branch 'bug29599_029' into bug29599_033

test/shared-random: Stop leaking shared random state in the unit tests

Stop leaking parts of the shared random state in the shared-random unit
tests.

Fixes bug 29599; bugfix on 0.2.9.1-alpha.

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

Bump to 0.3.4.11-dev

Merge branch 'maint-0.3.3' into maint-0.3.4

"ours" to avoid version bump

Bump to 0.3.3.12-dev

Merge branch 'maint-0.3.3' into maint-0.3.4

kist: Don't write above the highwater outbuf mark

KIST works by computing how much should be allowed to write to the kernel for
a given socket, and then it writes that amount to the outbuf.

The problem is that it could be possible that the outbuf already has lots of
data in it from a previous scheduling round (because the kernel is full/busy
and Tor was not able to flush the outbuf yet). KIST ignores that the outbuf
has been filling (is above its "highwater") and writes more anyway. The end
result is that the outbuf length would exceed INT_MAX, hence causing an
assertion error and a corresponding "Bug()" message to get printed to the
logs.

This commit makes it for KIST to take into account the outbuf length when
computing the available space.

Bug found and patch by Rob Jansen.

Closes #29168. TROVE-2019-001.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Bump to 0.3.4.11

Merge branch 'maint-0.3.3' into maint-0.3.4

Update to 0.3.3.12

Fix a compiler warning on OpenBSD

malloc_options needs to be declared extern (and declaring it extern
means we need to initialize it separately)

Fixes bug 29145; bugfix on 0.2.9.3-alpha

Signed-off-by: Kris Katterjohn <katterjohn@gmail.com>

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

Update geoip and geoip6 to the February 5 2019 database.

Merge branch 'maint-0.3.3' into maint-0.3.4

Update Cargo.lock with new comment; suppress 29244.

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

"ours" merge to avoid dropping non-broken changes files after
removal of merged 0.2.9 changes files.

maint-0.2.9: remove changes files that are merged in 0.2.9 releases

Many of these files cause check-changes to fail, which will be a
long-term problem as we continue to support 0.2.9.

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

rend: stop warning when clients send multiple rend establish cells

Stop logging "Tried to establish rendezvous on non-OR circuit..." as
a warning. Instead, log it as a protocol warning, because there is
nothing that relay operators can do to fix it.

Fixes bug 29029; bugfix on 0.2.5.7-rc.

stats: Make PaddingStatistics depend on ExtraInfoStatistics

When ExtraInfoStatistics is 0, stop including PaddingStatistics in
relay and bridge extra-info documents.

Fixes bug 29017; bugfix on 0.3.1.1-alpha.

Update to 0.3.4.10-dev

Merge branch 'maint-0.3.3' into maint-0.3.4

"Ours" to avoid version bump.

Update to 0.3.3.3.11-dev

Bump to 0.3.4.10

Merge branch 'maint-0.3.3' into maint-0.3.4

"ours" merge to avoid version bump.

Bump to 0.3.3.11

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

Update geoip and geoip6 to the January 3 2019 database.