CI: Diagnostic for failure in test_rebind cleanup

I saw this test fail intermittently due to what seemed like a filesystem
race in docker? The cleanup task was failing with a 'directory not
empty' error, despite trying to do a recursive 'rm'. This patch adds an
'ls' to the same directory, hoping the output might be useful to
diagnose future intermittent failures.

CI: Add Rust tests and clippy

This adds a new "rust-latest" CI target that runs tests and clippy for
everything in the workspace. It's a subset of the equivalent on Arti.

cargo: Move lockfile to root and update

Change 3f66ff9b000d1fbaae106e58269fe2aa306bc453 added geoip-db-tool to
the main workspace, so it's no longer using a local lockfile. Move its
lock to the crate root, remove from gitignore, and update it.

(We could also choose to not keep the lockfiles checked in, but it seems
useful to have them in our test and maintenance tooling here.)

tor-c-equix: Fix clippy warning

Clippy found a transmute that could have been a reborrow.

geoip-db-tool: Fix clippy warnings

This fixes warnings found by clippy 0.1.71 on Rust 1.71.1

Tested this by doing a geoip update without committing changes.

Merge branch 'maint-0.4.7'

Merge branch 'bug40834' into 'main'

Revert "Nullify on_circuit if last conflux leg"

See merge request tpo/core/tor!744

Changes file for bug40834

Bug 40834: Remove assert and add logs to track no-leg case

Revert "Nullify on_circuit if last conflux leg"

This reverts commit 5487476fd919703b55cb1f1544d575224c9b685e.

Merge branch 'main' into 'main'

Clean up torify

See merge request tpo/core/tor!740

zstd: Check errors right affer compressing/decompressing

Considering a compression bomb before looking for errors led to false negative
log warnings. Instead, it is possible the work failed for whatever reasons
which is not indicative of a compression bomb.

Fixes #40739

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'hashx_sizet_mr' into 'main'

hashx: Fix a few more compiler warnings

See merge request tpo/core/tor!739

Clean up torify

Replace pathfind() which tries to parse $PATH manually with command -v.

exec is always fatal, regardless of if it managed to execute.

hashx: Fix a few more compiler warnings

Fix a couple cases where size_t values were being confused with int.

Signed-off-by: Micah Elizabeth Scott <beth@torproject.org>

version: Bump version to 0.4.8.3-rc-dev

version: Bump version to 0.4.8.3-rc

release: ChangeLog update for 0.4.8.3-rc

Signed-off-by: David Goulet <dgoulet@torproject.org>

fallbackdir: Update list generated on August 04, 2023

Update geoip files to match ipfire location db, 2023/08/04.

geoip: Fix cargo target directory

Signed-off-by: David Goulet <dgoulet@torproject.org>

cargo: Add geoip db tool to top level workspace

Signed-off-by: David Goulet <dgoulet@torproject.org>

ci: Move tag to the x86-64 template

Signed-off-by: David Goulet <dgoulet@torproject.org>

ci: Tag physical our i386 minimal job

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'remove-conflux-bug-log' into 'main'

relay: Remove logging for a bug. It triggers a BUG() later

See merge request tpo/core/tor!738

relay: Remove logging for a bug. It triggers a BUG() later

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'cargo_hashx_rng' into 'main'

hashx: Rust hook for inspecting and modifying the random number stream

See merge request tpo/core/tor!734

Merge branch 'bug40827' into 'main'

Fix assert crash on relay-side due to on_circuit backpointer

See merge request tpo/core/tor!737

Changes file for bug 40827

Bug 40827: Add additional logs and checks for 0-leg conflux case

Nullify on_circuit if last conflux leg

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'bug40828' into 'main'

Bug40828

See merge request tpo/core/tor!736

Changes file for bug40828

Bug 40828: Add more log scrubbing to protocol warnings

hashx: Rust hook for inspecting and modifying the random number stream

This patch has no effect on the C tor build.

Adds a function hashx_rng_callback() to the hashx API, defined only
when HASHX_RNG_CALLBACK is defined. This is then used in the Rust
wrapper to implement a similar rng_callback().

Included some minimal test cases. This code is intented for
use in cross-compatibility fuzzing tests which drive multiple
implementations of hashx with the same custom Rng stream.

Signed-off-by: Micah Elizabeth Scott <beth@torproject.org>

Merge branch 'cargo' into 'main'

Include a basic Rust wrapper for Equi-X and HashX

See merge request tpo/core/tor!733

Include a basic Rust wrapper for Equi-X and HashX

The idea behind this is that we may want to start exporting more pieces
of c-tor as Rust crates so that Arti can perform cross compatibility and
comparison testing using Rust tooling.

This turns the 'tor' repo into a Cargo workspace, and adds one crate to
start with: "tor-c-equix", rooted in src/ext/equix. This actually
includes both Equi-X itself and HashX, since there's less overall
duplication if we package these together instead of packaging HashX
separately.

This patch adds a basic safe Rust interface, but doesn't expose any
additional internals for testing purposes.

No changes to the C code here or the normal Tor build system.

Signed-off-by: Micah Elizabeth Scott <beth@torproject.org>

Merge branch 'maint-0.4.7'

version: Bump version to 0.4.7.14-dev

Merge branch 'maint-0.4.7'

version: Bump version to 0.4.7.14

Merge branch 'maint-0.4.7'

fallbackdir: Update list generated on July 26, 2023

Update geoip files to match ipfire location db, 2023/07/26.

Merge branch 'maint-0.4.7'

fallback: Take file from main for our release CI

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

geoip: Take the database from main

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.7'

Fix all -Werror=enum-int-mismatch warnings

Close #40824

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'warn-bridge-exit' into 'main'

Warn when operating as bridge and exit

Closes #40819

See merge request tpo/core/tor!730

Merge branch 'no-assert-rotate-onion-key-fails' into 'main'

fix non-fatal assertion when rotate_onion_key fails

Closes #40554

See merge request tpo/core/tor!729

Warn when operating as bridge and exit

Merge branch 'fix-apt-syntax' into 'main'

gitlab-ci: fix apt conf syntax for Acquire::Retries

See merge request tpo/core/tor!705

Merge branch 'geoip-db-prefix-more' into 'main'

Clarify where geoip-db-tool is.

See merge request tpo/core/tor!728

fix non-fatal assertion when rotate_onion_key fails

Clarify where geoip-db-tool is.

Somebody emailed me to ask where to find the tool that generated our
geoip file. I was about to suggest that they search for "geoip-db-tool",
when I found that you can't actually search for that and find our code.

Therefore, I'm adding a link.

version: Bump version to 0.4.8.2-alpha-dev

version: Bump version to 0.4.8.2-alpha

release: ChangeLog and ReleaseNotes for 0.4.8.2-alpha

fallbackdir: Update list generated on July 12, 2023

Update geoip files to match ipfire location db, 2023/07/12.

Merge branch 'maint-0.4.7'

Merge branch 'trivial-typo-fix' into 'main'

trivial typo fix in comment

See merge request tpo/core/tor!726

replace L2 vanguards that aren't Fast or Stable

Rotate to a new L2 vanguard whenever an existing one loses the
Stable or Fast flag. Previously, we would leave these relays in the
L2 vanguard list but never use them, and if all of our vanguards
end up like this we wouldn't have any middle nodes left to choose
from so we would fail to make onion-related circuits.

Fixes bug 40805; bugfix on 0.4.7.1-alpha.

trivial typo fix in comment

Merge branch 'bug40566' into 'main'

Remove unused congestion control and BDP algs

See merge request tpo/core/tor!725

Changes file for bug 40566

Bug 40566: Remove unused BDP estimators

Bug 40566: Remove unused congestion control alg structs.

Bug 40566: Unhook unused congestion control algs

Bug 40566: Remove unused cc alg files

Merge branch 'bug40569+40709+40443' into 'main'

Update congestion control params and add test vectors

See merge request tpo/core/tor!724

Add congestion control tests to build.

Add CWND test vectors

Add RTT Test Vectors

Add clock heuristic test vector for congestion control.

Export variables and functions for CC unit tests.

Changes file for bug 40709

Bug 40709: Update and clean up tests for consensus params

Bug 40709: Update congestion control parameters

This brings us into sync with the consensus, and will be useful for test
vectors, to ensure behavior consistent with the consensus params.

Changes file for 40569

Bug 40569: Reduce accepted range for negotiated cc_sendme_inc

Merge branch 'maint-0.4.7'

gitignore: Add .cache used by clangd LSP

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'bug40808' into 'main'

Bug40808

See merge request tpo/core/tor!723

Changes file for bug40808

Bug 40808: Change KISTSchedRunInterval range and default; add KISTSchedRunIntervalClient

scripts: Update git scripts with new gitlab canonical repository

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket40773' into 'main'

Fix compilation error on older gcc versions and MSVC.

See merge request tpo/core/tor!717

Merge branch 'maint-0.4.7'

Change git.tpo URLs to gitlab.tpo

Signed-off-by: David Goulet <dgoulet@torproject.org>

Use the new Stem repository on Gitlab

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/722'

Change git.tpo URLs to gitlab.tpo

Signed-off-by: David Goulet <dgoulet@torproject.org>

Changes file for Bug 40811

Bug 40811: Count conflux leg launch attempts early.

Also, double check that the consensus has enough overall exits before
attempting conflux set launch.

Merge branch 'tor-gitlab/mr/721'

Changes file for bug40810

Bug 40810: Avoid using 0 RTT legs