Merge branch 'maint-0.4.7'

Merge branch 'tor-gitlab/mr/678'

cc: Rename function to avoid confusion

Signed-off-by: David Goulet <dgoulet@torproject.org>

Changes file for bug 40732

Safety fixes to RFC3742

Reduce size of congestion control next_*_event fields.

Since these are derived from the number of SENDMEs in a cwnd/cc update,
and a cwnd should not exceed ~10k, there's plenty of room in uint16_t
for them, even if the network gets significantly faster.

Clean up next_cc_event handling.

Avoid increasing the congestion window if it is not full.

Also provides some stickiness, so that once full, the congestion window is
considered still full for the rest of an update cycle, or the entire
congestion window.

In this way, we avoid increasing the congestion window if it is not fully
utilized, but we can still back off in this case. This substantially reduces
queue use in Shadow.

Merge branch 'tor-gitlab/mr/676'

Merge branch 'mr-674-fixup' into main+mr-674-fixup

Merge branch 'maint-0.4.7'

Merge branch 'tor-gitlab/mr/675' into maint-0.4.7

cc: Rename function to avoid confusion

Signed-off-by: David Goulet <dgoulet@torproject.org>

Changes file for bug 40732

Safety fixes to RFC3742

Reduce size of congestion control next_*_event fields.

Since these are derived from the number of SENDMEs in a cwnd/cc update,
and a cwnd should not exceed ~10k, there's plenty of room in uint16_t
for them, even if the network gets significantly faster.

Clean up next_cc_event handling.

Avoid increasing the congestion window if it is not full.

Also provides some stickiness, so that once full, the congestion window is
considered still full for the rest of an update cycle, or the entire
congestion window.

In this way, we avoid increasing the congestion window if it is not fully
utilized, but we can still back off in this case. This substantially reduces
queue use in Shadow.

state: Fix segfault on malformed file

Having no TotalBuildTimes along a positive CircuitBuildAbandonedCount
count lead to a segfault. We check for that condition and then BUG + log
warn if that is the case.

It should never happened in theory but if someone modified their state
file, it can lead to this problem so instead of segfaulting, warn.

Fixes #40437

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

shellcheck: Fix new warnings

Nothing important, mostly false positive except one case.

Signed-off-by: David Goulet <dgoulet@torproject.org>

sandbox: Allow my-consensus-* files for an authority

Fixes #40729

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/668'

Add back comments about Stable/familiar decay

Closes: #40734.

Fix duplicate code after tor-gitlab/mr/671 forward merge

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Enable IP_BIND_ADDRESS_NO_PORT if supported

Signed-off-by: David Goulet <dgoulet@torproject.org>

Fix typos

circ: Add function to learn if queue is full

Related to #40731

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/660'

Merge branch 'tor-gitlab/mr/667' into maint-0.4.7

Merge branch 'maint-0.4.7'

Add issue40613

Replace socket_failed_from_resource_exhaustion() by socket_failed_from_fd_exhaustion()

Isolate warn_about_resource_exhaution()

metrics: Fix typo in a label

Fixes #40727

Signed-off-by: David Goulet <dgoulet@torproject.org>

changelog: Update it with latest releases

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

version: Bump version to 0.4.7.12-dev

version: Bump version to 0.4.5.15-dev

Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

version: Bump version to 0.4.7.12

version: Bump version to 0.4.5.15

Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

fallbackdir: Update list generated on December 06, 2022

Update geoip files to match ipfire location db, 2022/12/06.

Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

fallbackdir: Update files from latest 047 release

We need the fallbackdir file to be the same so our release CI can
generate a new list and apply it uniformly on all series.

(Same as geoip)

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

geoip: Update files from latest 047 release

We need all geoip files to be the same so our release CI can generate a
new list and apply it uniformly on all series.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

Merge branch 'maint-0.4.7'

Ticket 40724: Add metrics for CC circuit counts

Ticket 40724: Changes file

Ticket 40724: Additional congestion control metrics

dirauth: rotate moria1 keys and ports

Rotate the relay identity key and v3 identity key for moria1. They
have been online for more than a decade, there was a known potential
compromise, and anyway refreshing keys periodically is good practice.

Advertise new ports too, to avoid confusion.

Closes ticket 40722.

changes: Fix file without ticket number

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

changes: Add file for ticket 40674

Signed-off-by: David Goulet <dgoulet@torproject.org>

dns: Make TTLs fuzzy at exit relays

This change mitigates DNS-based website oracles by making the time that
a domain name is cached uncertain (+- 4 minutes of what's measurable).

Resolves TROVE-2021-009.

Fixes #40674

Clip DNS TTL values once in event callback

This change ensures that other parts of the code base always operate on
the same clipped TTL values, notably without being aware of clipping.

Merge branch 'tor-gitlab/mr/652'

Merge branch 'tor-gitlab/mr/657'

Merge branch 'tor-gitlab/mr/658'

perform proper 'OR' while checking defined vars

  * the || is not possible with #ifdef statement;
  * here the #ifdef turns into '#if defined()'.

Rely on kernel errno when logging resource exhaustion

Signed-off-by: qontinuum <qontinuum@monaco.mc>

Merge branch 'maint-0.4.7'

relay: Use the configured number of threads for worker work calculation

We cap our number of CPU worker threads to at least 2 even if we have a
single core. But also, before we used to always add one extra thread
regardless of the number of core.

This meant that we were off when re-using the get_num_cpus() function
when calculating our onionskin work overhead because we were always off
by one.

This commit makes it that we always use the number of thread our actual
thread pool was configured with.

Fixes #40719

Signed-off-by: David Goulet <dgoulet@torproject.org>

cpu: Set number of threads to number of cores

Cap this to 2 threads always because we need a low and high priority
thread even with a single core.

Fixes #40713

Signed-off-by: David Goulet <dgoulet@torproject.org>

log: Remove extra newline in a log statement

Signed-off-by: David Goulet <dgoulet@torproject.org>

add chagelog file related to MR!652

changelog: Add 0.4.7.11 stable

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

version: Bump version to 0.4.7.11-dev

Merge branch 'maint-0.4.7'

version: Bump version to 0.4.7.11

Merge branch 'maint-0.4.7'

fallbackdir: Update list generated on November 10, 2022

Update geoip files to match ipfire location db, 2022/11/10.

Merge branch 'maint-0.4.7'

metrics: Split cc with counters and gauges

Part of #40712

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Split connections with a counter and gauge

Created and Rejected connections are ever going up counters. While
Opened connections are gauges going up and down.

Fixes #40712

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

changes: Add file for ticket 40674

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket40674_047_01' into maint-0.4.7

dns: Make TTLs fuzzy at exit relays

This change mitigates DNS-based website oracles by making the time that
a domain name is cached uncertain (+- 4 minutes of what's measurable).

Resolves TROVE-2021-009.

Fixes #40674

Merge branch 'maint-0.4.7'

relay: Cache onion queue parameters on consensus change

This is part of the fast path so we need to cache consensus parameters
instead of querying it everytime we need to learn a value.

Part of #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Make the max pending tasks per CPU a consensus parameter

Until now, there was this magic number (64) used as the maximum number
of tasks a CPU worker can take at once.

This commit makes it a consensus parameter so our future selves can
think of a better value depending on network conditions.

Part of #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add the onion_queue_wait_cutoff consensus param

Transform the hardcoded value ONIONQUEUE_WAIT_CUTOFF into a consensus
parameter so we can control it network wide.

Closes #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Make MaxOnionQueueDelay into a consensus param

Part of #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'