Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

Merge branch 'maint-0.4.7'

Ticket 40724: Add metrics for CC circuit counts

Ticket 40724: Changes file

Ticket 40724: Additional congestion control metrics

dirauth: rotate moria1 keys and ports

Rotate the relay identity key and v3 identity key for moria1. They
have been online for more than a decade, there was a known potential
compromise, and anyway refreshing keys periodically is good practice.

Advertise new ports too, to avoid confusion.

Closes ticket 40722.

changes: Fix file without ticket number

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

changes: Add file for ticket 40674

Signed-off-by: David Goulet <dgoulet@torproject.org>

dns: Make TTLs fuzzy at exit relays

This change mitigates DNS-based website oracles by making the time that
a domain name is cached uncertain (+- 4 minutes of what's measurable).

Resolves TROVE-2021-009.

Fixes #40674

Clip DNS TTL values once in event callback

This change ensures that other parts of the code base always operate on
the same clipped TTL values, notably without being aware of clipping.

Merge branch 'tor-gitlab/mr/652'

Merge branch 'tor-gitlab/mr/657'

Merge branch 'tor-gitlab/mr/658'

perform proper 'OR' while checking defined vars

  * the || is not possible with #ifdef statement;
  * here the #ifdef turns into '#if defined()'.

Merge branch 'maint-0.4.7'

relay: Use the configured number of threads for worker work calculation

We cap our number of CPU worker threads to at least 2 even if we have a
single core. But also, before we used to always add one extra thread
regardless of the number of core.

This meant that we were off when re-using the get_num_cpus() function
when calculating our onionskin work overhead because we were always off
by one.

This commit makes it that we always use the number of thread our actual
thread pool was configured with.

Fixes #40719

Signed-off-by: David Goulet <dgoulet@torproject.org>

cpu: Set number of threads to number of cores

Cap this to 2 threads always because we need a low and high priority
thread even with a single core.

Fixes #40713

Signed-off-by: David Goulet <dgoulet@torproject.org>

log: Remove extra newline in a log statement

Signed-off-by: David Goulet <dgoulet@torproject.org>

add chagelog file related to MR!652

changelog: Add 0.4.7.11 stable

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

version: Bump version to 0.4.7.11-dev

Merge branch 'maint-0.4.7'

version: Bump version to 0.4.7.11

Merge branch 'maint-0.4.7'

fallbackdir: Update list generated on November 10, 2022

Update geoip files to match ipfire location db, 2022/11/10.

Merge branch 'maint-0.4.7'

metrics: Split cc with counters and gauges

Part of #40712

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Split connections with a counter and gauge

Created and Rejected connections are ever going up counters. While
Opened connections are gauges going up and down.

Fixes #40712

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

changes: Add file for ticket 40674

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket40674_047_01' into maint-0.4.7

dns: Make TTLs fuzzy at exit relays

This change mitigates DNS-based website oracles by making the time that
a domain name is cached uncertain (+- 4 minutes of what's measurable).

Resolves TROVE-2021-009.

Fixes #40674

Merge branch 'maint-0.4.7'

relay: Cache onion queue parameters on consensus change

This is part of the fast path so we need to cache consensus parameters
instead of querying it everytime we need to learn a value.

Part of #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Make the max pending tasks per CPU a consensus parameter

Until now, there was this magic number (64) used as the maximum number
of tasks a CPU worker can take at once.

This commit makes it a consensus parameter so our future selves can
think of a better value depending on network conditions.

Part of #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add the onion_queue_wait_cutoff consensus param

Transform the hardcoded value ONIONQUEUE_WAIT_CUTOFF into a consensus
parameter so we can control it network wide.

Closes #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Make MaxOnionQueueDelay into a consensus param

Part of #40704

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Merge branch 'tor-gitlab/mr/654' into maint-0.4.7

metrics: Reorganize state labels so rate() can be applied

Part of #40708.

metrics: Use N_EWMA for moving avg, with N=100.

Part of #40708.

Merge branch 'maint-0.4.7'

Merge branch 'maint-0.4.5' into maint-0.4.7

build: fix -Wstrict-prototypes (Clang 16)

Clang 16 warns on -Wstrict-prototypes in preparation for C23 which can
among other things, lead to some configure tests silently failing/returning the wrong result.

Fixes this error:
```
-ignoreme: warning: a function declaration without a prototype is deprecated in all versions of C [-Wstrict-prototypes]
+ignoreme: error: a function declaration without a prototype is deprecated in all versions of C [-Werror,-Wstrict-prototypes]
 main ()
```

For more information, see LWN.net [0] or LLVM's Discourse [1], gentoo-dev@ [2],
or the (new) c-std-porting mailing list [3].

[0] https://lwn.net/Articles/913505/
[1] https://discourse.llvm.org/t/configure-script-breakage-with-the-new-werror-implicit-function-declaration/65213
[2] https://archives.gentoo.org/gentoo-dev/message/dd9f2d3082b8b6f8dfbccb0639e6e240
[3] hosted at lists.linux.dev.

Bug: https://bugs.gentoo.org/879747
Signed-off-by: Sam James <sam@gentoo.org>
---

changelog: Add the missing latest stables

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Merge branch 'tor-gitlab/mr/651' into maint-0.4.7

metrics: Record percentage of blocked channels

Part of #40708.

Merge branch 'maint-0.4.7'

metrics: Report amount of cwnd drop from delta and gamma

Part of #40708.

Merge branch 'maint-0.4.7'

Merge branch 'tor-gitlab/mr/650' into maint-0.4.7

Merge branch 'maint-0.4.7'

relay: Remove unused conn->ext_or_conn_id

This also incidently removes a use of uninitialized stack data from the
connection_or_set_ext_or_identifier() function.

Fixes #40648

Signed-off-by: David Goulet <dgoulet@torproject.org>

math: Replace naughty macro by an inline function

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add flow control metrics.

Part of #40708.

metrics: Add stats when the clock stalls.

Part of #40708.

metrics: Add running average of CC cwnd in slow start when closing circuit

Count slow start separately.

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 40708

Closes #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add stats when reaching vegas delta or ss_cwnd_max

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add running average of CC cwnd when closing circuit

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add running average of CC cwnd when exiting slow start

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

fix: %s/param.sh/param.h

  while here also reflect the check for __NETBSD_SOURCE on
tor_libc_get_version_str

fix: we shall not produce warnings compiling tor

present __DragonFly_version, from DragonFlyBSD

once NetBSD was presented, return its version

  * defined by __NetBSD_Version__ on <sys/param.h> too.

make tor_libc_get_name aware of NetBSD

  * __NETBSD_SOURCE was used here to verify if we are running on NetBSD

return what OpenBSD gives as base system version

  * it also uses sys/param.h to track its version;
  * present that to tor_libc_get_version_str() as libc version;

  while here, we also fix the return of FreeBSD version

  * __FreeBSD_version is the correct var tracking the OSVERSION

should we identify __FreeBSD__, return its version

  * we use OSVERSION here (defined by __FreeBSD__);
  * it's part of the <sys/param.h> include;
  * that tracks all noteworthy changes made to the base system.

return BSD if tor_libc_get_name sees __BSD_VISIBLE

  * __BSD_VISIBLE is defined by systems like FreeBSD and OpenBSD;
  * that also extends to DragonFlyBSD;
  * it's used on stdlib.h and ctypes.h on those systems.

Merge branch 'tor-gitlab/mr/627'

metrics: Add connection socket family to metrics

Adds either ipv4 or ipv6 to the "tor_relay_connections_total" stats.

Closes #40710

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add stats for num circ reaching max cell outq

Part of #40708

Signed-off-by: David Goulet <dgoulet@torproject.org>

added check for compiler support of Wextra-semi

update AX_CHECK_COMPILE_FLAG function call

Clip DNS TTL values once in event callback

This change ensures that other parts of the code base always operate on
the same clipped TTL values, notably without being aware of clipping.

Merge branch 'tor-gitlab/mr/649'

Merge branch 'tor-gitlab/mr/594'

Remove `BUG()` in Windows process read callback.

This BUG() was added when the code was written to see if this callback
was ever executed after we marked the handle as EOF. It turns out, it
does, but we handle it gracefully. We can therefore remove the BUG().

Fixes tpo/core/tor#40596.

Merge branch 'tor-gitlab/mr/579'

Merge branch 'maint-0.4.7'

Merge branch 'tor-gitlab/mr/636'

sandbox: Add my-consensus-<flavor-name> to sandbox for dirauth

Fixese #40663

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Merge branch 'tor-gitlab/mr/646'

thread: Bump max detectable CPU from 16 to 128

Lets take advantage of those beefy machines ;).

Closes #40703

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Skip warnings for single onion services

Single onion services are not secret, so there is no added risk from
using accounting or running a relay in the same instance.

Related to #40691

resolve a BUG() on relays at startup

Remove a harmless "Bug" log message that can happen in
relay_addr_learn_from_dirauth() on relays during startup:

tor_bug_occurred_(): Bug: ../src/feature/relay/relay_find_addr.c:225: relay_addr_learn_from_dirauth: Non-fatal assertion !(!ei) failed. (on Tor 0.4.7.10 )
Bug: Tor 0.4.7.10: Non-fatal assertion !(!ei) failed in relay_addr_learn_from_dirauth at ../src/feature/relay/relay_find_addr.c:225. Stack trace: (on Tor 0.4.7.10 )

Finishes fixing bug 40231.

Fixes bug 40523; bugfix on 0.4.5.4-rc.

Merge branch 'maint-0.4.7'

Merge branch 'tor-gitlab/mr/645' into maint-0.4.7

Merge branch 'maint-0.4.7'

Merge branch 'tor-gitlab/mr/644' into maint-0.4.7

Merge branch 'maint-0.4.7'

metrics: Treat relay connections as gauge, not counter

Fixes #40699

Signed-off-by: David Goulet <dgoulet@torproject.org>

Changes file for 40683

Strip "__.SYMDEF*" before re-archiving in combine_libs on macOS and iOS.

This patch changes how combine_libs works on Darwin like platforms to
make sure we don't include any `__.SYMDEF` and `__.SYMDEF SORTED`
symbols on the archive before we repack and run ${RANLIB} on the
archive.

See: tpo/core/tor#40683.