Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'maint-0.2.5' into maint-0.2.9

Update geoip and geoip6 to the April 3 2018 database.

Merge branch 'maint-0.2.9' into maint-0.3.1

Fix CID 1430932

Coverity found a null pointer reference in nodelist_add_microdesc().
This is almost certainly impossible assuming that the routerstatus_t
returned by router_get_consensus_status_by_descriptor_digest() always
corresponds to an entry in the nodelist.  Fixes bug 25629.

Merge branch 'maint-0.2.9' into maint-0.3.1

Remove sb_poll check: all poll() calls are ok.

Add the poll() syscall as permitted by the sandbox

Apparently, sometimes getpwnam will call this.

Fixes bug 25513.

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'maint-0.2.5' into maint-0.2.9

Merge remote-tracking branch 'catalyst-github/bug25388-025' into maint-0.2.5

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'maint-0.2.5' into maint-0.2.9

Update geoip and geoip6 to the March 8 2018 database.

version bump to 0.3.1.10-dev

Merge branch 'maint-0.2.9' into maint-0.3.1

"ours" merge to avoid version bump.

Bump version to 0.2.9.15-dev

Update to 0.3.1.10

Merge branch 'maint-0.2.9' into maint-0.3.1

"ours" merge to avoid version bump.

version bump to 0.2.9.15

Merge branch 'maint-0.2.9' into maint-0.3.1

Protover tests: disable some obsoleted tests

These were meant to demonstrate old behavior, or old rust behavior.

One of them _should_ work in Rust, but won't because of
implementation details.  We'll fix that up later.

Spec conformance on protover: always reject ranges where lo>hi

Forbid UINT32_MAX as a protocol version

The C code and the rust code had different separate integer overflow
bugs here.  That suggests that we're better off just forbidding this
pathological case.

Also, add tests for expected behavior on receiving a bad protocol
list in a consensus.

Fixes another part of 25249.

Forbid "-0" as a protocol version.

Fixes part of 24249; bugfix on 0.2.9.4-alpha.

Add more of Teor's protover tests.

These are as Teor wrote them; I've disabled the ones that don't pass
yet, with XXXX comments.

Add some protover vote round-trip tests from Teor.

I've refactored these to be a separate function, to avoid tricky
merge conflicts.

Some of these are disabled with "XXXX" comments; they should get
fixed moving forward.

Add another NULL-pointer fix for protover.c.

This one can only be exploited if you can generate a correctly
signed consensus, so it's not as bad as 25074.

Fixes bug 25251; also tracked as TROVE-2018-004.

Correctly handle NULL returns from parse_protocol_list when voting.

In some cases we had checked for it, but in others we had not.  One
of these cases could have been used to remotely cause
denial-of-service against directory authorities while they attempted
to vote.

Fixes TROVE-2018-001.

Document how to allow partial Travis failures

Add some commented-out allow_failures clauses to make it easier to
temporarily allow less-critical sub-builds to fail while still
reporting success.

Update the .gitmodules to refer to project-level tor-rust-dependencies

Closes most of #25323.

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge remote-tracking branch 'dgoulet/ticket24902_029_05' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.1

"ours" merge to avoid conflicts with the cherry-picked fix for 24898.

stop calling channel_mark_client in response to a create_fast

since all it does is produce false positives

this commit should get merged into 0.2.9 and 0.3.0 *and* 0.3.1, even
though the code in the previous commit is already present in 0.3.1. sorry
for the mess.

[Cherry-picked]

stop calling channel_mark_client in response to a create_fast

since all it does is produce false positives

this commit should get merged into 0.2.9 and 0.3.0 *and* 0.3.1, even
though the code in the previous commit is already present in 0.3.1. sorry
for the mess.

backport to make channel_is_client() accurate

This commit takes a piece of commit af8cadf3a9 and a piece of commit
46fe353f25, with the goal of making channel_is_client() be based on what
sort of connection handshake the other side used, rather than seeing
whether the other side ever sent a create_fast cell to us.

Merge branch 'maint-0.2.9' into maint-0.3.1

fix make check-changes

Make check-changes happy

Signed-off-by: David Goulet <dgoulet@torproject.org>

man: Document default values if not in the consensus for DoS mitigation

Fixes #25236

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/bug25223_029_01' into ticket24902_029_05

dos: Add extra safety asserts in cc_stats_refill_bucket()

Never allow the function to set a bucket value above the allowed circuit
burst.

Closes #25202

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Don't set consensus param if we aren't a public relay

We had this safeguard around dos_init() but not when the consensus changes
which can modify consensus parameters and possibly enable the DoS mitigation
even if tor wasn't a public relay.

Fixes #25223

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.2.9' into maint-0.3.1

dirserv: Improve returned message when relay is rejected

Explicitly inform the operator of the rejected relay to set a valid email
address in the ContactInfo field and contact bad-relays@ mailing list.

Fixes #25170

Signed-off-by: David Goulet <dgoulet@torproject.org>

Have tor_addr hashes return a randomized hash for AF_UNSPEC.

We don't expect this to come up very much, but we may as well make
sure that the value isn't predictable (as we do for the other
addresses) in case the issue ever comes up.

Spotted by teor.

Fix a typo in an address_set.c comment.

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'bug23318-redux_029' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge remote-tracking branch 'public/bug24198_029' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'ticket24315_029' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge remote-tracking branch 'public/bug21074_029' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'bug24978_029_enable' into maint-0.2.9

test: DoS test to make sure we exclude known relays

Part of #25193

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Exclude known relays from client connection count

This is to avoid positively identifying Exit relays if tor client connection
comes from them that is reentering the network.

One thing to note is that this is done only in the DoS subsystem but we'll
still add it to the geoip cache as a "client" seen. This is done that way so
to avoid as much as possible changing the current behavior of the geoip client
cache since this is being backported.

Closes #25193

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket25183_029_01' into ticket24902_029_05

test: Add unit tests for addressset.c

This also adds one that tests the integration with the nodelist.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Add an address_set to the nodelist.

This set is rebuilt whenever a consensus arrives.  In between
consensuses, it is add-only.

Function to add an ipv4 address to an address_set

This is a convenience function, so callers don't need to wrap
the IPv4 address.

Add an address-set backend using a bloom filter.

We're going to need this to make our anti-DoS code (see 24902) more
robust.

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'maint-0.2.5' into maint-0.2.9

Update geoip and geoip6 to the February 7 2018 database.

remove a redundant semicolon

geoip: Make geoip_client_cache_total_allocation() return the counter

The HT_FOREACH() is insanely heavy on the CPU and this is part of the fast
path so make it return the nice memory size counter we added in
4d812e29b9b1ec88.

Fixes #25148

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: We can put less token than the current amount

Becasue the circuit creation burst and rate can change at runtime it is
possible that between two refill of a bucket, we end up setting the bucket
value to less than there currently is.

Fixes #25128

Signed-off-by: David Goulet <dgoulet@torproject.org>

Use tt_u64_op() for uint64_t inputs.

Merge branch 'ticket25122_029_02' into ticket24902_029_05

geoip: Add clientmap_entry_new() function

Signed-off-by: David Goulet <dgoulet@torproject.org>

geoip: Increment and decrement functions for the geoip client cache

These functions protect againts over and underflow. They BUG() in case we
overflow the counter.

Signed-off-by: David Goulet <dgoulet@torproject.org>

geoip: Hook the client history cache into the OOM handler

If the cache is using 20% of our maximum allowed memory, clean 10% of it. Same
behavior as the HS descriptor cache.

Closes #25122

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'teor/bug25070_031' into maint-0.3.1

channel_tls_get_remote_addr_method now returns real_addr.

The accurate address of a connection is real_addr, not the addr member.
channel_tls_get_remote_addr_method() now returns real_addr instead.

Fixes #24952; bugfix on 707c1e2 in 0.2.4.11-alpha.

Signed-off-by: Fernando Fernandez Mancera <ffmancera@riseup.net>

But in most Earth cultures, there are 60s in a minute.

add a rate-limit.

test: Add unit tests for overflows and underflows in cc_stats_refill_bucket

Closes #25094.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Make sure cc_stats_refill_bucket can't overflow while calculating

Debug log the elapsed time in cc_stats_refill_bucket

Part of #25094.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Remove a redundant round from test_dos_bucket_refill

This round is left over from the tenths of a second code.

Part of #25094.

dos: Add changes file for ticket 24902

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Make circuit rate limit per second, not tenths anymore

Because this touches too many commits at once, it is made into one single
commit.

Remove the use of "tenths" for the circuit rate to simplify things. We can
only refill the buckets at best once every second because of the use of
approx_time() and our token system is set to be 1 token = 1 circuit so make
the rate a flat integer of circuit per second.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Man page entry for DoS mitigation

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add unit tests for the DoS subsystem

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Clear connection tracked flag if geoip entry is removed

Imagine this scenario. We had 10 connections over the 24h lifetime of a geoip
cache entry. The lifetime of the entry has been reached so it is about to get
freed but 2 connections remain for it. After the free, a third connection
comes in thus making us create a new geoip entry for that address matching the
2 previous ones that are still alive. If they end up being closed, we'll have
a concurrent count desynch from what the reality is.

To mitigate this probably very rare scenario in practice, when we free a geoip
entry and it has a concurrent count above 0, we'll go over all connections
matching the address and clear out the tracked flag. So once they are closed,
we don't try to decrement the count.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Add a heartbeat log

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Add the DoSRefuseSingleHopClientRendezvous option

This option refuses any ESTABLISH_RENDEZVOUS cell arriving from a client
connection. Its default value is "auto" for which we can turn it on or off
with a consensus parameter. Default value is 0.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Add the connection DoS mitigation subsystem

Defend against an address that has reached the concurrent connection count
threshold.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Apply defense for circuit creation DoS

If the client address was detected as malicious, apply a defense which is at
this commit to return a DESTROY cell.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Detect circuit creation denial of service

Add a function that notifies the DoS subsystem that a new CREATE cell has
arrived. The statistics are updated accordingly and the IP address can also be
marked as malicious if it is above threshold.

At this commit, no defense is applied, just detection with a circuit creation
token bucket system.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Track new and closed OR client connections

Implement a basic connection tracking that counts the number of concurrent
connections when they open and close.

This commit also adds the circuit creation mitigation data structure that will
be needed at later commit to keep track of the circuit rate.

Signed-off-by: David Goulet <dgoulet@torproject.org>

geoip: Remember client stats if DoS mitigation is enabled

Make the geoip cache track client address if the DoS subsystem is enabled.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Initial code of Denial of Service mitigation

This commit introduces the src/or/dos.{c|h} files that contains the code for
the Denial of Service mitigation subsystem. It currently contains basic
functions to initialize and free the subsystem. They are used at this commit.

The torrc options and consensus parameters are defined at this commit and
getters are implemented.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Changes file for 25070

Add Link protocol version 5 to the supported protocols list in protover.c

Part of #25070, bugfix on 0.3.1.1-alpha.

If out-of-disk when saving a consensus cache entry, don't BUG.

Just warn instead.

Fixes bug 24859.

geoip: Add a lookup function for client map entry

The upcoming DoS mitigation subsytem needs to keep information on a per-IP
basis which is also what the geoip clientmap does.

For another subsystem to access that clientmap, this commit adds a lookup
function that returns the entry. For this, the clientmap_entry_t had to be
moved to the header file.

Signed-off-by: David Goulet <dgoulet@torproject.org>