geoip: Increment and decrement functions for the geoip client cache

These functions protect againts over and underflow. They BUG() in case we
overflow the counter.

Signed-off-by: David Goulet <dgoulet@torproject.org>

geoip: Hook the client history cache into the OOM handler

If the cache is using 20% of our maximum allowed memory, clean 10% of it. Same
behavior as the HS descriptor cache.

Closes #25122

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/bug24895_029_02' into maint-0.2.9

hs: Use hs_service_max_rdv_failures consensus param, defaulting to 2

Merge branch 'maint-0.2.5' into maint-0.2.9

turn MAX_REND_FAILURES into a function

no actual changes in behavior

MAX_REND_FAILURES is 1, but we would try three times

Fix an "off by 2" error in counting rendezvous failures on the onion
service side.

While we thought we would stop the rendezvous attempt after one failed
circuit, we were actually making three circuit attempts before giving up.

Fixes bug 24895; bugfix on 0.0.6.

Work around Travis CI ptrace regression

Travis CI deployed a change that disables ptrace capabilities in
container builds, which prevents LeakSanitizer on clang from working
properly.  Set "sudo: required" to force non-container builds for
clang and work around this.

Add changes file for new fallback directory list.

Add 7 other fallback dirs from teor's tests

These are from "fallback_dirs_2018_01_06_2323_UTC_44aa1adf35_AU.inc"

Update the fallback_dirs.inc file: part 1

This takes the updated fallback_dirs_2018_01_06_CA.inc from
pastly's scan.

Merge branch 'maint-0.2.5' into maint-0.2.9

Update geoip and geoip6 to the January 5 2018 database.

Merge branch 'teor_ticket24681_028' into maint-0.2.9

fix a wide line

Merge branch 'bug24633_029' into maint-0.2.9

Merge remote-tracking branch 'teor/bug24736_028' into maint-0.2.9

Clear the address when we can't choose a reachable address

When the fascist_firewall_choose_address_ functions don't find a
reachable address, set the returned address to the null address and port.

This is a precautionary measure, because some callers do not check the
return value.

Fixes bug 24736; bugfix on 0.2.8.2-alpha.

Make the default DirAuthorityFallbackRate 0.1

This makes clients on the public tor network prefer to bootstrap off fallback
directory mirrors.

This is a follow-up to 24679, which removed weights from the default fallbacks.

Implements ticket 24681.

Use monotime_coarse_absolute_msec() in destroy queue

This way it will match the insert queue in 029 and later.

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Merge branch 'bug24666_squashed_025' into maint-0.2.5

Move free to end of test function so coverity won't complain.

Move destroy cells into a separate queue type of their own, to save RAM

We've been seeing problems with destroy cells queues taking up a
huge amount of RAM.  We can mitigate this, since while a full packed
destroy cell takes 514 bytes, we only need 5 bytes to remember a
circuit ID and a reason.

Fixes bug 24666. Bugfix on 0.2.5.1-alpha, when destroy cell queues
were introduced.

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Update geoip and geoip6 to the December 6 2017 database.

Fix the clz32 and clz64 settings on MSVC.

Fixes bug 24633; bugfix on 0.2.9.1-alpha.

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Merge branch 'bug24167_025' into maint-0.2.5

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Merge remote-tracking branch 'public/ticket23856_025_01' into maint-0.2.5

Merge remote-tracking branch 'public/bug23985_029' into maint-0.2.9

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Fix a clang compilation warning in rendservice.c

Fixes bug 24480; bugfix on 0.2.5.16.

Merge branch 'maint-0.2.8' into maint-0.2.9

"ours" merge to avoid version bump.

Merge branch 'maint-0.2.5' into maint-0.2.8

"ours" merge to avoid version bump.

bump to 0.2.9.14-dev

bump to 0.2.8.17-dev

bump to 0.2.5.16-dev

version bump to 0.2.9.14

Merge branch 'maint-0.2.8' into maint-0.2.9

"ours" merge to avoid version bump.

version bump to 0.2.8.17

Merge branch 'maint-0.2.5' into maint-0.2.8

"ours" to avoid version bump

bump to 0.2.5.16

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Merge branch 'trove-2017-010_029' into maint-0.2.9

Merge branch 'trove-2017-012_025' into maint-0.2.5

Merge branch 'trove-2017-011_025' into maint-0.2.5

Merge branch 'trove-2017-009_025' into maint-0.2.5

Fix changes file

Merge branch 'bug21394_029' into maint-0.2.9

Use local descriptor object to exclude self in path selection

TROVE-2017-12. Severity: Medium

When choosing a random node for a circuit, directly use our router
descriptor to exclude ourself instead of the one in the global
descriptor list. That list could be empty because tor could be
downloading them which could lead to not excluding ourself.

Closes #21534

hs-v2: Remove any expiring intro from the retry list

TROVE-2017-13. Severity: High.

In the unlikely case that a hidden service could be missing intro circuit(s),
that it didn't have enough directory information to open new circuits and that
an intro point was about to expire, a use-after-free is possible because of
the intro point object being both in the retry list and expiring list at the
same time.

The intro object would get freed after the circuit failed to open and then
access a second time when cleaned up from the expiring list.

Fixes #24313

Avoid asking for passphrase on junky PEM input

Fixes bug 24246 and TROVE-2017-011.

This bug is so old, it's in Matej's code.  Seems to have been
introduced with e01522bbed6eea.

Handle NULL input to protover_compute_for_old_tor()

Fixes bug 24245; bugfix on 0.2.9.4-alpha. TROVE-2017-010.

Fix length of replaycache-checked data.

This is a regression; we should have been checking only the
public-key encrypted portion.  Fixes bug 24244, TROVE-2017-009, and
CVE-2017-8819.

relay: Change bandwidth stats interval to 24 hours

Going from 4 hours to 24 hours in order to try reduce the efficiency of guard
discovery attacks.

Closes #23856

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.2.8' into maint-0.2.9

Add bastet's ipv6 address

Implements ticket 24394

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Merge branch 'ticket18329_minimal_025' into maint-0.2.5

Fix a traceback when closing a blocked connection "immediately".

When we close a connection via connection_close_immediately, we kill
its events immediately. But if it had been blocked on bandwidth
read/write, we could try to re-add its (nonexistent) events later
from connection_bucket_refill -- if we got to that callback before
we swept the marked connections.

Fixes bug 24167.  Fortunately, this hasn't been a crash bug since we
introduced connection_check_event in 0.2.9.10, and backported it.

This is a bugfix on commit 89d422914a0c3cb, I believe, which
appeared in Tor 0.1.0.1-rc.

Minimal implementation of bridge-distribution-request

Just advertise the line when we're a bridge, using "any" if we're
published or "none" if we aren't.

This is done in lieu of a full backport of #18329.

Merge branch 'bug22895_027' into maint-0.2.9

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'bug23291_028' into maint-0.2.8

Merge remote-tracking branch 'teor/bug23470-029' into maint-0.2.9

Merge branch 'bug8185_025' into maint-0.2.9

Merge branch 'ticket21953_029' into maint-0.2.9

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Update geoip and geoip6 to the November 6 2017 database.

Don't delay descriptor fetches when missing info needed for circuits

When we have fewer than 15 descriptors to fetch, we will delay the
fetch for a little while.  That's fine, if we can go ahead and build
circuits... but if not, it's a poor choice indeed.

Fixes bug 23985; bugfix on 0.1.1.11-alpha.

In 0.3.0.3-alpha, when we made primary guard descriptors necessary
for circuit building, this situation got worse.

Fix DNS resolution on busy exit relays

Thanks to Dhalgren who analyzed this issue two years ago and found a
solution!

Merge remote-tracking branch 'public/bug23693_029' into maint-0.2.9

Merge branch 'maint-0.2.8' into maint-0.2.9

"ours" merge to avoid version bump

Merge branch 'maint-0.2.5' into maint-0.2.8

"ours" merge to avoid version bump

bump to 0.2.9.13-dev

bump to 0.2.8.16-dev

bump to 0.2.5.15-dev

bump version in the other places :/

Merge branch 'maint-0.2.8' into maint-0.2.9

"ours" merge to avoid version bump

Merge branch 'maint-0.2.5' into maint-0.2.8

"ours" merge to avoid version bump

bump to 0.2.9.13

bump to 0.2.8.16

bump to 0.2.5.15

Merge remote-tracking branch 'teor/bug23874-029' into maint-0.2.9

Merge branch 'maint-0.2.8' into maint-0.2.9

Adjust test, now that there are 9 dirauths again

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

dirauth: Add bastet to the default authorities

Fixes #23910

Based on a patch by dgoulet; backported to 0.2.5

Merge branch 'maint-0.2.8' into maint-0.2.9