Merge branch 'maint-0.4.5' into maint-0.4.7

fallbackdir: Update list generated on January 12, 2023

Update geoip files to match ipfire location db, 2023/01/12.

Merge branch 'maint-0.4.5' into maint-0.4.7

Merge branch 'ticket40730_045_01' into maint-0.4.5

dirauth: Reject 0.4.6.x series at the authority level

Closes #40664

Signed-off-by: David Goulet <dgoulet@torproject.org>

Coverity CID 1518991: Tighter bounds on consensus param value.

This prevents sign extension overflow in cwnd_became_full().

Merge branch 'maint-0.4.5' into maint-0.4.7

Merge branch 'tor-gitlab/mr/538' into maint-0.4.5

Do not reset our RTT in slow start.

If a circuit only sends a tiny amount of data such that its cwnd is not
full, it won't increase its cwnd above the minimum. Since slow start circuits
should never hit the minimum otherwise, we can just ignore them for RTT reset
to handle this.

cc: Rename function to avoid confusion

Signed-off-by: David Goulet <dgoulet@torproject.org>

Changes file for bug 40732

Safety fixes to RFC3742

Reduce size of congestion control next_*_event fields.

Since these are derived from the number of SENDMEs in a cwnd/cc update,
and a cwnd should not exceed ~10k, there's plenty of room in uint16_t
for them, even if the network gets significantly faster.

Clean up next_cc_event handling.

Avoid increasing the congestion window if it is not full.

Also provides some stickiness, so that once full, the congestion window is
considered still full for the rest of an update cycle, or the entire
congestion window.

In this way, we avoid increasing the congestion window if it is not fully
utilized, but we can still back off in this case. This substantially reduces
queue use in Shadow.

Merge branch 'tor-gitlab/mr/675' into maint-0.4.7

shellcheck: Fix new warnings

Nothing important, mostly false positive except one case.

Signed-off-by: David Goulet <dgoulet@torproject.org>

sandbox: Allow my-consensus-* files for an authority

Fixes #40729

Signed-off-by: David Goulet <dgoulet@torproject.org>

Enable IP_BIND_ADDRESS_NO_PORT if supported

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/667' into maint-0.4.7

socks: Make SafeSocks refuse SOCKS4 and accept SOCKS4a

The logic was inverted. Introduced in commit
9155e08450fe7a609f8223202e8aa7dfbca20a6d.

This was reported through our bug bounty program on H1. It fixes the
TROVE-2022-002.

Fixes #40730

Signed-off-by: David Goulet <dgoulet@torproject.org>

Add issue40613

Replace socket_failed_from_resource_exhaustion() by socket_failed_from_fd_exhaustion()

Isolate warn_about_resource_exhaution()

metrics: Fix typo in a label

Fixes #40727

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.7

version: Bump version to 0.4.7.12-dev

version: Bump version to 0.4.5.15-dev

Merge branch 'maint-0.4.5' into maint-0.4.7

version: Bump version to 0.4.7.12

version: Bump version to 0.4.5.15

Merge branch 'maint-0.4.5' into maint-0.4.7

fallbackdir: Update list generated on December 06, 2022

Update geoip files to match ipfire location db, 2022/12/06.

Merge branch 'maint-0.4.5' into maint-0.4.7

fallbackdir: Update files from latest 047 release

We need the fallbackdir file to be the same so our release CI can
generate a new list and apply it uniformly on all series.

(Same as geoip)

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.7

geoip: Update files from latest 047 release

We need all geoip files to be the same so our release CI can generate a
new list and apply it uniformly on all series.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.7

Ticket 40724: Add metrics for CC circuit counts

Ticket 40724: Changes file

Ticket 40724: Additional congestion control metrics

dirauth: rotate moria1 keys and ports

Rotate the relay identity key and v3 identity key for moria1. They
have been online for more than a decade, there was a known potential
compromise, and anyway refreshing keys periodically is good practice.

Advertise new ports too, to avoid confusion.

Closes ticket 40722.

Merge branch 'maint-0.4.5' into maint-0.4.7

changes: Add file for ticket 40674

Signed-off-by: David Goulet <dgoulet@torproject.org>

dns: Make TTLs fuzzy at exit relays

This change mitigates DNS-based website oracles by making the time that
a domain name is cached uncertain (+- 4 minutes of what's measurable).

Resolves TROVE-2021-009.

Fixes #40674

Clip DNS TTL values once in event callback

This change ensures that other parts of the code base always operate on
the same clipped TTL values, notably without being aware of clipping.

relay: Use the configured number of threads for worker work calculation

We cap our number of CPU worker threads to at least 2 even if we have a
single core. But also, before we used to always add one extra thread
regardless of the number of core.

This meant that we were off when re-using the get_num_cpus() function
when calculating our onionskin work overhead because we were always off
by one.

This commit makes it that we always use the number of thread our actual
thread pool was configured with.

Fixes #40719

Signed-off-by: David Goulet <dgoulet@torproject.org>

version: Bump version to 0.4.7.11-dev

version: Bump version to 0.4.7.11

fallbackdir: Update list generated on November 10, 2022

Update geoip files to match ipfire location db, 2022/11/10.

metrics: Split cc with counters and gauges

Part of #40712

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Split connections with a counter and gauge

Created and Rejected connections are ever going up counters. While
Opened connections are gauges going up and down.

Fixes #40712

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 40674

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket40674_047_01' into maint-0.4.7

dns: Make TTLs fuzzy at exit relays

This change mitigates DNS-based website oracles by making the time that
a domain name is cached uncertain (+- 4 minutes of what's measurable).

Resolves TROVE-2021-009.

Fixes #40674

relay: Cache onion queue parameters on consensus change

This is part of the fast path so we need to cache consensus parameters
instead of querying it everytime we need to learn a value.

Part of #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Make the max pending tasks per CPU a consensus parameter

Until now, there was this magic number (64) used as the maximum number
of tasks a CPU worker can take at once.

This commit makes it a consensus parameter so our future selves can
think of a better value depending on network conditions.

Part of #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add the onion_queue_wait_cutoff consensus param

Transform the hardcoded value ONIONQUEUE_WAIT_CUTOFF into a consensus
parameter so we can control it network wide.

Closes #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Make MaxOnionQueueDelay into a consensus param

Part of #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/654' into maint-0.4.7

metrics: Reorganize state labels so rate() can be applied

Part of #40708.

metrics: Use N_EWMA for moving avg, with N=100.

Part of #40708.

Merge branch 'maint-0.4.5' into maint-0.4.7

build: fix -Wstrict-prototypes (Clang 16)

Clang 16 warns on -Wstrict-prototypes in preparation for C23 which can
among other things, lead to some configure tests silently failing/returning the wrong result.

Fixes this error:
```
-ignoreme: warning: a function declaration without a prototype is deprecated in all versions of C [-Wstrict-prototypes]
+ignoreme: error: a function declaration without a prototype is deprecated in all versions of C [-Werror,-Wstrict-prototypes]
 main ()
```

For more information, see LWN.net [0] or LLVM's Discourse [1], gentoo-dev@ [2],
or the (new) c-std-porting mailing list [3].

[0] https://lwn.net/Articles/913505/
[1] https://discourse.llvm.org/t/configure-script-breakage-with-the-new-werror-implicit-function-declaration/65213
[2] https://archives.gentoo.org/gentoo-dev/message/dd9f2d3082b8b6f8dfbccb0639e6e240
[3] hosted at lists.linux.dev.

Bug: https://bugs.gentoo.org/879747
Signed-off-by: Sam James <sam@gentoo.org>
---

Merge branch 'tor-gitlab/mr/651' into maint-0.4.7

metrics: Record percentage of blocked channels

Part of #40708.

metrics: Report amount of cwnd drop from delta and gamma

Part of #40708.

Merge branch 'tor-gitlab/mr/650' into maint-0.4.7

relay: Remove unused conn->ext_or_conn_id

This also incidently removes a use of uninitialized stack data from the
connection_or_set_ext_or_identifier() function.

Fixes #40648

Signed-off-by: David Goulet <dgoulet@torproject.org>

math: Replace naughty macro by an inline function

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add flow control metrics.

Part of #40708.

metrics: Add stats when the clock stalls.

Part of #40708.

metrics: Add running average of CC cwnd in slow start when closing circuit

Count slow start separately.

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 40708

Closes #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add stats when reaching vegas delta or ss_cwnd_max

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add running average of CC cwnd when closing circuit

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add running average of CC cwnd when exiting slow start

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add connection socket family to metrics

Adds either ipv4 or ipv6 to the "tor_relay_connections_total" stats.

Closes #40710

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add stats for num circ reaching max cell outq

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

Clip DNS TTL values once in event callback

This change ensures that other parts of the code base always operate on
the same clipped TTL values, notably without being aware of clipping.

sandbox: Add my-consensus-<flavor-name> to sandbox for dirauth

Fixese #40663

Signed-off-by: David Goulet <dgoulet@torproject.org>

thread: Bump max detectable CPU from 16 to 128

Lets take advantage of those beefy machines ;).

Closes #40703

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/645' into maint-0.4.7

Merge branch 'tor-gitlab/mr/644' into maint-0.4.7

metrics: Treat relay connections as gauge, not counter

Fixes #40699

Signed-off-by: David Goulet <dgoulet@torproject.org>

Changes file for 40683

Strip "__.SYMDEF*" before re-archiving in combine_libs on macOS and iOS.

This patch changes how combine_libs works on Darwin like platforms to
make sure we don't include any `__.SYMDEF` and `__.SYMDEF SORTED`
symbols on the archive before we repack and run ${RANLIB} on the
archive.

See: tpo/core/tor#40683.

changes: Update changes for ticket 40194

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add number of opened circuits to MetricsPort

Related to #40194

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add our consensus relay flag to MetricsPort

Related to #40194

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add traffic related stats to MetricsPort

At this commit, bytes read and written are exported.

Related to #40194

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add DoS subsystem stats to MetricsPort

Related to #40194

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Fix naming and documentation

After nickm's review, minor changes to names and comments.

Related to #40194

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Change the connection metrics name

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add CC RTT reset stats to MetricsPort

Related to #40194

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add total number of streams seen on MetricsPort

Related to #40194

Signed-off-by: David Goulet <dgoulet@torproject.org>

rephist: Track number of streams seen per type

Related to #40194

Signed-off-by: David Goulet <dgoulet@torproject.org>