Merge branch 'maint-0.4.8'

Merge branch 'unix-processes/cloexec-pipes' into 'main'

Unix processes / IPC / Utilize pipes with "close-on-exec" flag set

See merge request tpo/core/tor!916

Unix processes / IPC / Utilize pipes with "close-on-exec" flag set

Fix: "Bug: Duplicate call to circuit_mark_for_close()"

Second attempt

Closes issues #41106, #40951

Merge branch 'maint-0.4.8'

geoip: Fix Rust clippy warning

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'changelogs' into 'main'

forward port changelogs 0.4.8.14 - 0.4.8.17

See merge request tpo/core/tor!914

Merge branch 'tabs' into 'main'

clean up tabs/whitespace in automake files

See merge request tpo/core/tor!913

forward port changelogs 0.4.8.14 - 0.4.8.17

clean up tabs/whitespace in automake files

it used to be a clean set of tabs but it accumulated chaos
over the years

diff is best viewed with git diff -w

Merge branch 'maint-0.4.8'

version: Bump version to 0.4.8.17-dev

Merge branch 'maint-0.4.8'

version: Bump version to 0.4.8.17

Merge branch 'maint-0.4.8'

fallbackdir: Update list generated on June 30, 2025

Update geoip files to match ipfire location db, 2025/06/30.

Merge branch 'maint-0.4.8'

tls: Set TLSv1.3 ciphers to preserve ciphersuites order

This commit fixes two issues:

1. ciphers.inc has TLSv1.3 ciphers prefixed with "TXT", while current version
   has "RFC". TLS1_3_RFC_AES_128_GCM_SHA256 should be instead of
   TLS1_3_TXT_AES_128_GCM_SHA256, in both define and CIPHER() macro.

2. Tor calls only SSL_set_cipher_list() in tlstls_openssl.c, this sets only
   TLSv1.2 ciphers, while TLSv1.3 ciphers stay in default state. TLSv1.3
   ciphersuites are set with SSL_set_ciphersuites(), but the list require to
   contain only TLSv1.3 suites (no v1.2).

Contrary to SSL_set_cipher_list(), TLSv1.3 SSL_set_ciphersuites() does NOT
accept finalizing :, so it should be stripped out.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'unix-processes/code-cleanup/1' into 'main'

Unix processes / Remove dead code

See merge request tpo/core/tor!911

Unix processes / Remove dead code

Merge branch 'tor-gitlab/mr/905'

Merge branch 'maint-0.4.8'

Merge branch 'tor-gitlab/mr/910' into maint-0.4.8

Merge branch 'of_development' into 'main'

channel.h: missed channel state transition comment added

See merge request tpo/core/tor!888

channel.h: missed channel state transition comment added

Merge branch 'tor-gitlab/mr/901'

Merge branch 'tor-gitlab/mr/891'

Merge branch 'hsdir-interval' into 'main'

hs-common: Reduce HS_TIMER_PERIOD_LENGTH_MIN from 30 to 5

See merge request tpo/core/tor!909

Unix processes / Obtain exit status code

The actual way for obtaining the exit code
of an exited child process

Changes file for CGO (ticket 41047, prop359).

Remove circuit_sendme_cell_is_next

We needed this function previously, when we only computed a SENDME
tag conditionally, depending on whether we were about to need it.
But as part of the CGO refactoring, we now compute and store SENDME
tags unconditionally, whenever a cell is originated or recognized.
Therefore this function is no longer needed anywhere.

Enforce that SENDME tags have the expected length

The length is no longer a constant 20, but now depends on the
relay crypto algorithm in use.

Remove XXXs about Making CGO disable-able

Make SENDME tag lengths defined in a single place.

sendme: Use a simpler and more correct init for sendme tags.

Give relay_crypto.c access to cpath private members.

I'd considered moving all the relevant functions to crypt_path.c,
but after some experimentation it didn't seem to improve matters.

Set the key material length correctly based on crypto algorithm.

With this change, it appears that we can successfully negotiate
CGO.

Add some warnings for client create failures

Make extend_info_supports_ntor_v3 correct.

Previously it returned true if the extend_info was for an exit where we
intended to use congestion control, which is not exactly the same thing
as supporting ntor v3.

Relays: Advertise support for cgo.

Enable CGO at the client side when a relay supports it

client-side support for negotiating CGO via subprotocol request

This has been a bit tricky, since the old code assumed that
we never wanted to use extensions besides CC.

Accept subproto_request extensions for CGO.

Move responsibility for extension parsing to onion_crypto.c

Move responsibility for ntorv3 extension lookup to a function.

Add a negotiation message for subprotocol requests.

Use protovers to detect cgo support.

Remove incorrect note about supports_conflux flag

remove debug log with relay digest material

This will no longer always be a subset of the relay digest initial keys;
it's better just not to log this.

Move parameter initialization to the start of the client handshake

Since we're going to be determining cell format and relay crypto
algorithm when we send our negotiation message, we'll need to
initialize it here.

Remove rend_dh_handshake_state

It became useless when we removed v2 onion services.

Add cell format and crypto alg to circ_params

This allows them to be negotiated as part of the handshake.

relay_crypto: Implement support for CGO.

Turn relay_crypto_t into a tagged union.

Refactor relay_crypto_init API to take an algorithm.

Turn tor1_crypt_t into a distinct type.

Move relay_crypto_st.h to core/crypto.

Propagate longer keylens through onion handshakes.

relay crypto: functions to get key material length.

Allow SENDME tags to be 16 or 20 bytes.

Move tor1 crypto functions into new file

(I'd recommend reviewing this with "show -b --color-moved")

Refactor and simplify save_sendme logic in tor1.

Every time that we want a sendme_digest, we have already computed it
once, either to originate a cell or to recognize a cell.  Rather
than figuring out when to compute the digest a second time, we
instead refactor our tor1 digest code to _always_ store such digests
in the relay_crypto_t.

This saves a bit of complexity, and shouldn't involve a performance
hit; rather, it has potential to speed things up by saving a sha1
call.

Refactor tor1 relay crypto functions into per-layer calls.

We'll need this for mixed circuits.

Also, the APIs here are a bit closer to the CGO APIs.

Rename two "record_*_digest functions to "save".

This makes an important distinction: "recording" a digest puts
it in the expected-sendme queue, whereas "saving" a digest makes
a temporary copy inside the relay_crypto_t.

Rename a couple of relay crypto functions to "tor1".

(I've designated the existing encryption algorithm "tor1".

hs_common.h: delete duplicate definitions

hs-common: Reduce HS_TIMER_PERIOD_LENGTH_MIN from 30 to 5

This matches the tor-spec change
<https://gitlab.torproject.org/tpo/core/torspec/-/merge_requests/406>

Progress on
<https://gitlab.torproject.org/tpo/core/chutney/-/issues/40038>

Merge branch 'tor_41091' into 'main'

cgo: Use the correct operation to re-align AES.

Closes #41091

See merge request tpo/core/tor!906

Merge branch 'maint-0.4.8'

Merge branch 'tor-gitlab/mr/903' into maint-0.4.8

Merge branch 'maint-0.4.8'

Fix: "Bug: Duplicate call to circuit_mark_for_close()"

Closes issue #40951

log "list of supported TLS groups" only once

We had been logging it every two hours forever, even though it's based
on the version of OpenSSL we're using it so it will never change.

Fixes bug #41093.

The fix is an improvement on commit ba88ad6b which addressed #41058.

Not adding a changes file since those commits haven't gone out in a
release yet either.

cgo: Use the correct operation to re-align AES.

By accident, this doesn't cause a bug, since 480 = 15*16*2.
Still, it's better to avoid problems in the future.

Closes #41091.

Merge branch 'cloexec-pipes' into 'main'

start_daemon: open pipe with cloexec

Closes #41013 and #41088

See merge request tpo/core/tor!904

start_daemon: open pipe with cloexec

Fixes #41013
Fixes #41088

Add tor_pipe_cloexec

Merge branch 'remove-tor_tls_get_num_server_handshakes' into 'main'

Remove tor_tls_get_num_server_handshakes declaration

See merge request tpo/core/tor!902

Remove tor_tls_get_num_server_handshakes declaration

This function has not been defined since 5205c7fd903c ("Initial NSS support for
TLS.").

test_crypto: rename a test

Based on a comment from Alex Xu.

polyval: clean up cpuid code

(Based on comments by Alex Xu)

Merge branch 'cgo-faster' into 'main'

Portability and speed improvements to cgo crypto

See merge request tpo/core/tor!900

Fix a bug with less optimized polyval variants.

Using "0" to mean "doesn't support multi-block processing"
ran us into trouble: (n > 0 * 16) is always true for n > 0,
so we were always running a loop with no termination condition.

Additionally, the >s in this block should have been >=s,
since we want to process multi-blocks as long as there are any.
This won't have a performance impact for our current input sizes,
but it's nice to be correct.

Merge branch 'openssl-cleanup' into 'main'

Clean up some legacy OpenSSL code

See merge request tpo/core/tor!895

Merge branch 'cgo-fixes-misc' into 'main'

Fix a few bugs from #41051 (CGO cell format)

Closes #41071 and #41070

See merge request tpo/core/tor!892

Remove AES support for old OpenSSLs

Optimize the everloving heck out of OpenSSL AES as used by CGO.

Optimizations:

1. Calling EVP_CryptInit with a cipher returned by
   e.g. EVP_aes_128_ctr() is quite slow, since it needs to look
   up the _actual_ EVP_CIPHER corresponding to the given EVP,
   which involves grabbing locks, doing a search through a
   provider, and so on.  We use EVP_CIPHER_fetch to speed
   that up a lot.

2. There is not in fact any need to EVP_CIPHER_CTX_Reset a
   cipher before calling EVP_CryptInit on it a second time

2. Using an ECB cipher + CRYPTO_ctr128_encrypt was not in fact
   the most efficient way to implement a counter mode with an
   adjustable IV.  Instead, the fastest way seems to be:
     - Set the IV manually
     - Ensure that we are always aligned to block boundary
       when we do so.

polyval: use real pclmul intrinsics on clang.

Modern clangs don't appear to have a problem with it.

Use polyvalx in cgo.

Add support for pre-expanded polyval keys with pclmul.

We don't want to do this without pclmul, since it doesn't help in that case.

We don't want to do this unconditionally, since many of our polyval keys
are only used for 16 byte inputs.

(Yes, this makes a difference in practice!)

Speed up polyval through pipelining.

This optimization helps because:
  - We're not blocking the computation of each block on the computation of the
    previous one, which leads to fewer pipeline stalls.
  - We're deferring reduction until the end of handling a bunch of blocks.

Add benchmarks for cgo and polyval.

Improve tor1 encryption benchmarks

Include cell origination (which costs more) and cycles per byte.

Rename benchmark to "tor1", since cgo is coming next.

polyval: Detect pclmul presence using cpuid.

polyval: Allow PV_DECLARE declare multiple variants.

polyval: move declarations into a macro

I'll be using this to implement CPUID-based dispatch, which will require
multiple backends to coexist.

Merge branch '41052_cgo_encryption' into 'main'

CGO: Crypto implementation

Closes #41052

See merge request tpo/core/tor!879

polyval: Remove precomputation for ctmul64 case.

In my benchmarks it saved less than 1%, so it really
doesn't make sense to keep it.

CGO: Fix authenticated-sendme tag handling.

See discussion at torspec#328: it's important that our
SENDME authentication tag always be taken based on the
_encrypted_ cell.