Merge remote-tracking branch 'dgoulet/ticket24902_029_05'

Make check-changes happy

Signed-off-by: David Goulet <dgoulet@torproject.org>

man: Document default values if not in the consensus for DoS mitigation

Fixes #25236

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/bug25223_029_01' into ticket24902_029_05

dos: Add extra safety asserts in cc_stats_refill_bucket()

Never allow the function to set a bucket value above the allowed circuit
burst.

Closes #25202

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Don't set consensus param if we aren't a public relay

We had this safeguard around dos_init() but not when the consensus changes
which can modify consensus parameters and possibly enable the DoS mitigation
even if tor wasn't a public relay.

Fixes #25223

Signed-off-by: David Goulet <dgoulet@torproject.org>

Remove 25170 changes file from master: it was already merged in 0.3.3.2-alpha

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.2.9' into maint-0.3.1

dirserv: Improve returned message when relay is rejected

Explicitly inform the operator of the rejected relay to set a valid email
address in the ContactInfo field and contact bad-relays@ mailing list.

Fixes #25170

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/ticket24902_029_05'

Have tor_addr hashes return a randomized hash for AF_UNSPEC.

We don't expect this to come up very much, but we may as well make
sure that the value isn't predictable (as we do for the other
addresses) in case the issue ever comes up.

Spotted by teor.

Fix a typo in an address_set.c comment.

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'bug23318-redux_029' into maint-0.2.9

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge remote-tracking branch 'public/bug24198_029' into maint-0.2.9

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'ticket24315_029' into maint-0.2.9

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge remote-tracking branch 'public/bug21074_029' into maint-0.2.9

Merge remote-tracking branch 'isis/bug25127_redux'

fix compilation.

chnages file for 25120

Merge branch 'bug25120'

Lower log-level in different error conditions in entropy selection.

This patch lowers the log-level from warning to info in the cases where
we are going to attempt another method as entropy source to hopefully
make the user feel less concerned.

See: https://bugs.torproject.org/25120

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'bug24978_029_enable' into maint-0.2.9

Bump version to 0.3.3.2-alpha-dev

Increment the release date in the changelog.

   "We fray into the future, rarely wrought
     save in the tapestries of afterthought"
       -- Richard Wilbur, _Years End_

rust: Replace two `unwrap()`s in FFI code with `unwrap_or()`s.

Bump to 0.3.3.2-alpha

Re-wrap and sort the changelog

final mucking. all yours, nick

more changelog cleanup

whitespace and typo cleanups

changelog cleanups

Tweak blurb, re-sort changelog

Write a blurb

Begin work on a changelog

Merge remote-tracking branch 'dgoulet/ticket24902_029_05'

test: DoS test to make sure we exclude known relays

Part of #25193

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Exclude known relays from client connection count

This is to avoid positively identifying Exit relays if tor client connection
comes from them that is reentering the network.

One thing to note is that this is done only in the DoS subsystem but we'll
still add it to the geoip cache as a "client" seen. This is done that way so
to avoid as much as possible changing the current behavior of the geoip client
cache since this is being backported.

Closes #25193

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'frewsxcv/frewsxcv-protover'

Stop claiming that compute_for_old_tor() returns pairs

Remove new unsafe {} use.

Rationale: this helps for performance only, but we don't actually
have any reason to think that the checks here are
performance-critical.  Let's not normalize the use of unsafe {}.

Merge remote-tracking branch 'isis/bug25127'

Merge branch 'ticket25183_029_01' into ticket24902_029_05

test: Add unit tests for addressset.c

This also adds one that tests the integration with the nodelist.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Add an address_set to the nodelist.

This set is rebuilt whenever a consensus arrives.  In between
consensuses, it is add-only.

Function to add an ipv4 address to an address_set

This is a convenience function, so callers don't need to wrap
the IPv4 address.

Add an address-set backend using a bloom filter.

We're going to need this to make our anti-DoS code (see 24902) more
robust.

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'maint-0.2.5' into maint-0.2.9

dirserv: Improve returned message when relay is rejected

Explicitly inform the operator of the rejected relay to set a valid email
address in the ContactInfo field and contact bad-relays@ mailing list.

Fixes #25170

Signed-off-by: David Goulet <dgoulet@torproject.org>

Update geoip and geoip6 to the February 7 2018 database.

protover: Fix memleak in Rust impl of protover_compute_for_old_tor.

 * FIXES #25127: https://bugs.torproject.org/25127
 * ADDS a new module to the Rust tor_util crate for small utilities
   for working with static strings between languages.
 * CHANGES the return type of protover_compute_for_old_tor to point to
   immutable data.
 * CHANGES the code from the previous commit to use the new static
   string utilities.

remove blank line between function-comment and function

also be more consistent about punctuation in doxygen comments

Merge remote-tracking branch 'dgoulet/ticket25163_033_01'

more fixes for typos, grammar, whitespace, etc

some of these ought to have been noticed by the "misspell" tool,
so if anybody is debugging it, here are some bug reports :)

Merge remote-tracking branch 'dgoulet/bug25113_029_01'

test: Bump to 10 msec gap in the monotonic test

On slow system, 1 msec between one read and the other was too tight. For
instance, it failed on armel with a 4msec gap:

  https://buildd.debian.org/status/package.php?p=tor&suite=experimental

Increase to 10 msec for now to address slow system. It is important that we
keep this OP_LE test in so we make sure the msec/usec/nsec read aren't
desynchronized by huge gaps. We'll adjust again if we ever encounter a system
that goes slower than 10 msec between calls.

Fixes #25113

Signed-off-by: David Goulet <dgoulet@torproject.org>

Fix wide lines from typo-fix patch.

changes file for 23650 typo fixes

Fix spelling mistakes corresponding to ticket #23650

Improve doc of `primary_guards_up_to_date`.

rephist: Stop tracking relay connection status

Remove a series of connection counters that were only used when dumping the
rephist statistics with SIGUSR1 signal.

This reduces the or_history_t structure size.

Closes #25163

Signed-off-by: David Goulet <dgoulet@torproject.org>

rephist: Stop tracking EXTEND attempts

This removes the code that tracks the extend attemps a client makes. We don't
use it and it was only used to provide statistics on a SIGUSR1 from the
rephist dump stats function.

Part of #25163

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/bug25116_029_01'

Merge branch 'arma_bug22212_031'

Add a category for the 22212-forreal changes file

Merge remote-tracking branch 'arma/bug22212'

remove a redundant semicolon

protover: Fix memleak in Rust implementation.

 * FIXES #25127: https://bugs.torproject.org/25127.

Merge remote-tracking branch 'dgoulet/ticket24902_029_05'

Make circuit_log_ancient_one_hop_circuits() ignore established service rendezvous

Services can keep rendezvous circuits for a while so don't log them if tor is
a single onion service.

Fixes #25116

Signed-off-by: David Goulet <dgoulet@torproject.org>

geoip: Make geoip_client_cache_total_allocation() return the counter

The HT_FOREACH() is insanely heavy on the CPU and this is part of the fast
path so make it return the nice memory size counter we added in
4d812e29b9b1ec88.

Fixes #25148

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/ticket24902_029_05'

fuzz: Move init_protocol_warning_severity_level() into global_init()

This is needed so llvm_fuzz will see it too.

dos: We can put less token than the current amount

Becasue the circuit creation burst and rate can change at runtime it is
possible that between two refill of a bucket, we end up setting the bucket
value to less than there currently is.

Fixes #25128

Signed-off-by: David Goulet <dgoulet@torproject.org>

Use tt_u64_op() for uint64_t inputs.

Merge remote-tracking branch 'dgoulet/ticket24902_029_05'

Merge branch 'ticket25122_029_02' into ticket24902_029_05

geoip: Add clientmap_entry_new() function

Signed-off-by: David Goulet <dgoulet@torproject.org>

geoip: Increment and decrement functions for the geoip client cache

These functions protect againts over and underflow. They BUG() in case we
overflow the counter.

Signed-off-by: David Goulet <dgoulet@torproject.org>

geoip: Hook the client history cache into the OOM handler

If the cache is using 20% of our maximum allowed memory, clean 10% of it. Same
behavior as the HS descriptor cache.

Closes #25122

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.2'