Merge branch 'maint-0.4.8'

CI: Remove physical tags from gitlab-ci runner requirements.

Merge branch 'maint-0.4.8'

scripts: Remove 0.4.7 from list tor branches

Not maintained anymore.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'happy-families' into 'main'

Implement proposal 321 (happy families)

Closes #41009

See merge request tpo/core/tor!857

Document that --keygen-family overwrites

Make --keygen-family save a key ID file too.

(Requested by @nusenu)

Fill in URL for FamilyId support.

Update interface for happy families

I'm hoping that this design will be a bit more ergonomic
than my first idea; the improvement here is that you have to list the family
IDs you expect in your torrc.  This way, there's a cross-check between the
actual keys we use and your configuration for them.

Fix compilation with --disable-module-relay

Add a changes file for happy families.

It's kind of long, but I think we might want to explain this stuff?
Maybe we can cut it down.

Document new options for happy families.

Add --keygen-family support.

Happy families: finish implementing relay side.

Dirauth: generate microdescs with family-ids.

Add protover for prop321 (happy families) support

nodelist: Additionally use family IDs to decide family membership.

This implements the client side of happy families.

nodelist: Rename functions that look at the family list.

We want to be really careful to make it clear that the family-list
is not the same as the family itself.

Cache values of use_family_{keys,lists} params.

Parse and validate family-certs in routerdescs

Add internal support for publishing family-certs

This will eventually be used by relays, but for now it's only going to get used
for round-trip testing.

Parse microdesc family-ids lines.

Add "family_ids" fields to routerinfo and microdescs.

Add definition for family cert type

Merge branch 'maint-0.4.8'

fix sandbox for bandwidth authority

Merge branch 'maint-0.4.8'

Ticket 40872: Changes file

Ticket 40872: Output conflux nonce and circ rtt to control port

Ticket 40872: Add conflux helper functions for control port info

Merge branch 'floating-point-fuzzing' into 'main'

float-divide-by-zero set in libfuzzer

Closes #24745

See merge request tpo/core/tor!859

Merge branch 'settings_distribution' into 'main'

relay: add settings distribution setting and remove moat

See merge request tpo/core/tor!860

relay: add settings distribution setting and remove moat

moat is being deprecated and replaced by settings. Let's not give a
warning if 'settings' is set but do if 'moat' is set.

float-divide-by-zero set in libfuzzer

Merge branch 'maint-0.4.8'

version: Bump version to 0.4.8.14-dev

Merge branch 'maint-0.4.8'

version: Bump version to 0.4.8.14

Merge branch 'maint-0.4.8'

fallbackdir: Update list generated on February 05, 2025

Update geoip files to match ipfire location db, 2025/02/05.

Merge branch 'maint-0.4.8'

hs: Make Windows CI 32bit happy

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8'

hashx: Move Windows function within another ifdef

Function only used within the hugepage ifdef for Windows so move it there so we
avoid a unused function warning on our Windows CI:

src/ext/equix/hashx/src/virtual_memory.c:30:13: error: 'set_privilege' defined but not used [-Werror=unused-function]
   30 | static bool set_privilege(const char* pszPrivilege, BOOL bEnable) {
      |             ^~~~~~~~~~~~~

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'vuln' into 'main'

cargo: fix RUSTSEC-2024-0006

See merge request tpo/core/tor!856

cargo: fix RUSTSEC-2024-0006

Merge branch 'maint-0.4.8'

scripts: Fix rust clippy warning

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8'

Bug 40976: Ensure conflux guards obey family and subnet restrictions

Add unit test for selecting guards with exit restrictions

This test checks to see whether guard selection for circuits honor exit
family restrictions.

scripts: Fix rust clippy warning

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 40996

Part of #40996

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add HS cache OOM cleanup test

Part of #40996

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Use downloaded counter for HSDir OOM cache cleanup

The OOM cache cleanup is now done by looking at the downloaded counter. The
cleanup process start at 0 and increment it to the next lowest value until
enough bytes have been removed.

This process could be expensive for large amount of descriptors in the cache
but since it is very expensive to increment counters, most cleanup should
happen within a tight range of downloaded counter target.

Fixes #40996

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Add downloaded counter to an HSDir cache entry

This adds a counter for the number of times a descriptor is downloaded from an
HSDir. Future commit will change the OOM subsystem to clean that cache based on
the lowest downloaded counts instead of time in cache.

In order to raise the bar even more for an attacker, the downloaded counter is
only marked when the directory request stream is closed. To pull this off, the
HS identifier on the directory connection is populated with the blinded key
requested (only on success). Finally, when the connection closes, we can then
lookup the cache entry with it and increment the counter.

Part of #40996

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'fix-changelogs' into 'main'

clean up the 0.4.9.1-alpha changelog/releasenotes

See merge request tpo/core/tor!849

remove redundant change entries

they are already in a released stable, so they are not new to
this alpha

forward-port the 0.4.8.13 changes

remove the 0.4.9.1-alpha entries from releasenotes

releasenotes is for stables, and 1-alpha is not a stable

version: Bump version to 0.4.9.1-alpha-dev

version: Bump version to 0.4.9.1-alpha

release: ChangeLog and ReleaseNotes for 0.4.9.1-alpha

Merge branch 'ticket40990_049_01' into 'main'

process: Don't close all FDs on new spawn

Closes #40990

See merge request tpo/core/tor!848

process: Don't close all FDs on new spawn

Fixes #40990

Signed-off-by: David Goulet <dgoulet@torproject.org>

Revert "Rework of worker threads' start and exit + slight changes in cleanup code"

This reverts commit 4f3aafa1e422e9aa005b74c8a1d40cc3e9143346.

Once merged upstream, the CI failed here with:

Warning: Failed to confirm worker threads' start up after timeout.
Warning: Bug:     /builds/tpo/core/tor/build/src/app/tor(_start+0x2a) [0x56404d21ddaa] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug:     /builds/tpo/core/tor/build/src/app/tor(cpuworker_init+0x53) [0x56404d373d53] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug:     /builds/tpo/core/tor/build/src/app/tor(log_backtrace_impl+0x57) [0x56404d29e1f7] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug:     /builds/tpo/core/tor/build/src/app/tor(main+0x19) [0x56404d21dd59] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug:     /builds/tpo/core/tor/build/src/app/tor(run_tor_main_loop+0xce) [0x56404d22188e] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug:     /builds/tpo/core/tor/build/src/app/tor(threadpool_new+0x295) [0x56404d3e28f5] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug:     /builds/tpo/core/tor/build/src/app/tor(tor_assertion_failed_+0x148) [0x56404d2a9248] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug:     /builds/tpo/core/tor/build/src/app/tor(tor_main+0x49) [0x56404d21e179] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug:     /builds/tpo/core/tor/build/src/app/tor(tor_run_main+0x1e5) [0x56404d221db5] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug:     /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xea) [0x7f6aa3b1cd7a] (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)
Warning: Bug: Tor 0.4.9.0-alpha-dev (git-4f3aafa1e422e9aa): Assertion 0 failed in threadpool_new at /builds/tpo/core/tor/src/lib/evloop/workqueue.c:641: . Stack trace: (on Tor 0.4.9.0-alpha-dev 4f3aafa1e422e9aa)

We are figuring it out but revert this so we can release an alpha.

Rework of worker threads' start and exit + slight changes in cleanup code

See issue #40991

Merge branch 'maint-0.4.8'

test-network-run: refactor away test_network_ipv6

This should be a pure refactor to simplify the logic a bit now that we
no longer probe for IPv6 support.

test-network: include IPv6 tests unconditionally

Previously we would incorrectly detect that ipv6 isn't supported if the
ping binary isn't present (as it may not be in a relatively stripped
down container image), or if ICMP packets aren't permitted (as they
often aren't in containers).

We don't really have a need to run these network tests on non-IPv6
systems, so it makes more sense to just run them unconditionally.

Merge branch 'maint-0.4.8'

debian-i386-minimal: explicitly set platform

This is to work around
https://github.com/docker-library/official-images/issues/17896

CI: Use TPA-based images

debian-gpl: Run on debian:bullseye instead of buster

* buster is now very old
* all the other jobs run bullseye
* This will facilitate switching to a TPA-maintained image (there is no
  buster image).

Merge branch 'tpa-images' into 'main'

Update images

See merge request tpo/core/tor!846

debian-i386-minimal: explicitly set platform

This is to work around
https://github.com/docker-library/official-images/issues/17896

CI: Use TPA-based images

debian-gpl: Run on debian:bullseye instead of buster

* buster is now very old
* all the other jobs run bullseye
* This will facilitate switching to a TPA-maintained image (there is no
  buster image).

Merge branch 'maint-0.4.8'

Fix: Use FREE_AND_NULL() for releasing workqueue resources

See issue #40989

Merge branch 'pin-chutney' into 'main'

CI: use a fixed version of chutney

See merge request tpo/core/tor!843

CI: use a fixed version of chutney

While chutney currently runs tor's chutney test in its own CI,
it's difficult to guarantee the two won't accidentally diverge.
Probably best to use a fixed version here so that we can control
chutney version bumps and avoid surprise breakage in tor's CI.

This will also free us to intentionally make breaking changes in
chutney (though I don't have any immediate plans for any).

Merge branch 'whitespace' into 'main'

whitespace fix while debugging #40981

See merge request tpo/core/tor!841

whitespace fix while debugging #40981

Merge branch 'maint-0.4.8'

Merge branch 'tor-gitlab/mr/840' into maint-0.4.8

Use pip to install chutney's python dependencies

Merge branch 'maint-0.4.8'

version: Bump version to 0.4.8.13-dev

Re-format CHUTNEY installation block into multiple lines

We're about to add a few more steps, which would make the single-line
format a bit unwieldy.

Merge branch 'maint-0.4.8'

version: Bump version to 0.4.8.13

Merge branch 'maint-0.4.8'

fallbackdir: Update list generated on October 24, 2024

Update geoip files to match ipfire location db, 2024/10/24.

Revert "Handle empty DNS reply without error as NOERROR"

Closes #40984

This reverts commit 3d2f7c3467e7aff545d8e22ffd4153d7598c6d7c.

Merge branch 'maint-0.4.8'

Merge branch 'tor-resolve-bugfix' into 'main'

Create socket with correct family as given by sockshost

See merge request tpo/core/tor!836

Add changes file