Merge branch 'maint-0.4.8' into release-0.4.8

Make an exception to one of the NONSTRINGs

Older GCCs accept the attribute but don't believe it can appear
before an array.

Add a changes file for 41079.

Fix a new GCC warning about strings.

When we say something like

```
const char foo[3] = "foo";
```

GCC now complains, because there is no space for the terminating NUL.
But we use this construction in a lot of places in our tests to
initialize test digests, keys, and so on.  So to resolve the issue,
we have to mark these strings with a new attribute.

Convince gcc that we will not access an array out of bounds

Merge branch 'maint-0.4.8' into release-0.4.8

crypt_openssl_mgt: define DISABLE_ENGINES after OPENSSL_NO_ENGINE

With LibreSSL-3.8.1 these engines are no long available causing a build
failure, but LibreSSL correctly defines OPENSSL_NO_ENGINE as part of its
opensslfeatures.h. However Tor includes crypto_openssl_mgt.h before any
of the openssl includes which would define OPENSSL_NO_ENGINE and then
fails to define DISABLE_ENGINES.

As the define is used in only a single .c file it is best to move it
there.

Signed-off-by: orbea <orbea@riseup.net>

compat_openssl: fix for LibreSSL 4.1.0

Starting with LibreSSL 4.1.0 this now causes a build failure:

src/lib/tls/tortls_openssl.c: In function 'tor_tls_setup_session_secret_cb':
src/lib/tls/tortls_openssl.c:1059:39: error: passing argument 2 of 'SSL_set_session_secret_cb' from incompatible pointer type [-Wincompatible-pointer-types]
 1059 |   SSL_set_session_secret_cb(tls->ssl, tor_tls_session_secret_cb, NULL);
      |                                       ^~~~~~~~~~~~~~~~~~~~~~~~~
      |                                       |
      |                                       int (*)(SSL *, void *, int *, struct stack_st_SSL_CIPHER *, SSL_CIPHER **, void *) {aka int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, struct ssl_cipher_st **, void *)}
In file included from src/lib/tls/tortls_openssl.c:48:
/usr/include/openssl/ssl.h:1489:30: note: expected 'tls_session_secret_cb_fn' {aka 'int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, const struct ssl_cipher_st **, void *)'} but argument is of type 'int (*)(SSL *, void *, int *, struct stack_st_SSL_CIPHER *, SSL_CIPHER **, void *)' {aka 'int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, struct ssl_cipher_st **, void *)'}
 1489 |     tls_session_secret_cb_fn tls_session_secret_cb, void *arg);
      |     ~~~~~~~~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~~~~~~~~~~

Signed-off-by: orbea <orbea@riseup.net>

Merge branch 'maint-0.4.8' into release-0.4.8

Promote "list of supported groups" message to notice.

I have a feeling that this might help diagnosing
any other problems similar to #41058.

Only try more complex OpenSSL group list syntax with OpenSSL 3.5.

Closes #41058.

Merge branch 'maint-0.4.8' into release-0.4.8

TLS: When possible, enable ML-KEM768.

Closes ticket 41041.

Correctly detect error from SSL_CTX_set1_groups_list.

Previously our code was checking for '< 0', but the error return value for
this function _is_ zero.

Remove TOR_TLS_USE_ECDHE_P* flags.

They have been unused since 0.3.1.1-alpha, when we removed the
TLSECGroups option.

Make two 1-bit fields unsigned

This should be a completely harmless warning as we only check whether
the fields are true or false.

Closes #40911.

(Backported by nickm so that I can compile 0.4.8 without warnings.)

Merge branch 'maint-0.4.8' into release-0.4.8

Fix: Crash on SIGSEGV if at least one worker thread cannot be launched

Perform a clean shutdown in case worker threads cannot be lauched.

Merge branch 'maint-0.4.8' into release-0.4.8

Merge branch 'tor-gitlab/mr/874' into maint-0.4.8

Merge branch 'fix/memleaks-cpuworker' into 'maint-0.4.8'

Re: Coverity report Oct 31st, 2024 (Issue #40991)

See merge request tpo/core/tor!844

Re: Coverity report Oct 31st, 2024 (Issue #40991)

conflux: Avoid non fatal assert in CIRCUIT_IS_CONFLUX()

In the circuit_about_to_free(), we clear the circ->conflux object and then we
end up trying to emit an event on the control port which calls
CIRCUIT_IS_CONFLUX() and non fatal assert on the false branch.

Fixes #41037

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8' into release-0.4.8

Require FlowCtrl=1 (authenticated sendmes) for clients

This will cause clients before 0.4.1.1-alpha to shut down.

Part of #40836.

protover: Vote for additional protocols to be required/recommended

Note that the changes here will require all relays
to be 0.4.7.4-alpha or later, which is lower than
our current lowest-supported relay version.

Part of #40836.

Merge branch 'maint-0.4.8' into release-0.4.8

fix two comment typos from 0.4.8.15

Merge branch 'maint-0.4.8' into release-0.4.8

version: Bump version to 0.4.8.16-dev

Merge branch 'maint-0.4.8' into release-0.4.8

version: Bump version to 0.4.8.16

release: ChangeLog and ReleaseNotes for 0.4.8.16

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8' into release-0.4.8

Update geoip files to match ipfire location db, 2025/03/24.

Merge branch 'maint-0.4.8' into release-0.4.8

dirauth: Fix typo in flag relay assignment token

Unfortunately, we wanted to be able to control the Guard flag here but the
token used mentionned "exit" instead.

Oh well, s*** happens :).

Fixes #41035

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8' into release-0.4.8

version: Bump version to 0.4.8.15-dev

Merge branch 'maint-0.4.8' into release-0.4.8

version: Bump version to 0.4.8.15

release: ChangeLog and ReleaseNotes for 0.4.8.15

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8' into release-0.4.8

fallbackdir: Update list generated on March 20, 2025

Update geoip files to match ipfire location db, 2025/03/20.

Merge branch 'maint-0.4.8' into release-0.4.8

Bug 41023 changes file

hs: Never pick a MiddleOnly node for HS circuit purposes

Related to #41023

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Remove HSv3 rendezvous circuit flag used for node selection

This was put in when HSv2 and v3 were co-existing. Now, the network requires
HSRend=2 which is v3 by default.

This is a simple cleanup of an internal flag used to identify a launch of a
RPv3 circuit.

Related to #41023

Signed-off-by: David Goulet <dgoulet@torproject.org>

Provide dirauth ability to strip specific flags.

Merge branch 'maint-0.4.8' into release-0.4.8

CI: Add changes file related to 41029.

CI: Enable venv before running ci-driver.sh for Chutney.

CI: Install python3-venv.

CI: Use local pip instead of python3-pip.

CI: Disable redundant-decls warnings for NSS in crypto_nss_mgt.c.

CI: Install libclang-rt-dev when build with hardening enabled.

CI: Install libubsan1 when building with hardening enabled.

CI: Use bookworm instead of bullseye.

CI: use a fixed version of chutney

While chutney currently runs tor's chutney test in its own CI,
it's difficult to guarantee the two won't accidentally diverge.
Probably best to use a fixed version here so that we can control
chutney version bumps and avoid surprise breakage in tor's CI.

This will also free us to intentionally make breaking changes in
chutney (though I don't have any immediate plans for any).

Merge branch 'maint-0.4.8' into release-0.4.8

CI: Remove physical tags from gitlab-ci runner requirements.

Merge branch 'maint-0.4.8' into release-0.4.8

scripts: Remove 0.4.7 from list tor branches

Not maintained anymore.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8' into release-0.4.8

fix sandbox for bandwidth authority

Merge branch 'maint-0.4.8' into release-0.4.8

Ticket 40872: Changes file

Ticket 40872: Output conflux nonce and circ rtt to control port

Ticket 40872: Add conflux helper functions for control port info

Merge branch 'maint-0.4.8' into release-0.4.8

version: Bump version to 0.4.8.14-dev

Merge branch 'maint-0.4.8' into release-0.4.8

version: Bump version to 0.4.8.14

release: ChangeLog and ReleaseNotes for 0.4.8.14

Merge branch 'maint-0.4.8' into release-0.4.8

fallbackdir: Update list generated on February 05, 2025

Update geoip files to match ipfire location db, 2025/02/05.

Merge branch 'maint-0.4.8' into release-0.4.8

hs: Make Windows CI 32bit happy

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8' into release-0.4.8

hashx: Move Windows function within another ifdef

Function only used within the hugepage ifdef for Windows so move it there so we
avoid a unused function warning on our Windows CI:

src/ext/equix/hashx/src/virtual_memory.c:30:13: error: 'set_privilege' defined but not used [-Werror=unused-function]
   30 | static bool set_privilege(const char* pszPrivilege, BOOL bEnable) {
      |             ^~~~~~~~~~~~~

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8' into release-0.4.8

scripts: Fix rust clippy warning

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8' into release-0.4.8

changes: Add file for ticket 40996

Part of #40996

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add HS cache OOM cleanup test

Part of #40996

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Use downloaded counter for HSDir OOM cache cleanup

The OOM cache cleanup is now done by looking at the downloaded counter. The
cleanup process start at 0 and increment it to the next lowest value until
enough bytes have been removed.

This process could be expensive for large amount of descriptors in the cache
but since it is very expensive to increment counters, most cleanup should
happen within a tight range of downloaded counter target.

Fixes #40996

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Add downloaded counter to an HSDir cache entry

This adds a counter for the number of times a descriptor is downloaded from an
HSDir. Future commit will change the OOM subsystem to clean that cache based on
the lowest downloaded counts instead of time in cache.

In order to raise the bar even more for an attacker, the downloaded counter is
only marked when the directory request stream is closed. To pull this off, the
HS identifier on the directory connection is populated with the blinded key
requested (only on success). Finally, when the connection closes, we can then
lookup the cache entry with it and increment the counter.

Part of #40996

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8' into release-0.4.8

test-network-run: refactor away test_network_ipv6

This should be a pure refactor to simplify the logic a bit now that we
no longer probe for IPv6 support.

test-network: include IPv6 tests unconditionally

Previously we would incorrectly detect that ipv6 isn't supported if the
ping binary isn't present (as it may not be in a relatively stripped
down container image), or if ICMP packets aren't permitted (as they
often aren't in containers).

We don't really have a need to run these network tests on non-IPv6
systems, so it makes more sense to just run them unconditionally.

Merge branch 'maint-0.4.8' into release-0.4.8

debian-i386-minimal: explicitly set platform

This is to work around
https://github.com/docker-library/official-images/issues/17896

CI: Use TPA-based images

debian-gpl: Run on debian:bullseye instead of buster

* buster is now very old
* all the other jobs run bullseye
* This will facilitate switching to a TPA-maintained image (there is no
  buster image).

Merge branch 'maint-0.4.8' into release-0.4.8

Fix: Use FREE_AND_NULL() for releasing workqueue resources

See issue #40989

Merge branch 'maint-0.4.8' into release-0.4.8

Merge branch 'tor-gitlab/mr/840' into maint-0.4.8