Merge branch 'bug41043' into 'main'

Avoid crash on failure to read FamilyKeyDir

See merge request tpo/core/tor!886

Merge branch '41051_cell_format' into 'main'

Prop359: Add functions to encode/decode new relay message format for CGO

Closes #41051 and #41056

See merge request tpo/core/tor!878

relay_msg: Document and enforce length invariants.

This takes a slightly different approach from suggested in the MR:
we document that a relay_msg_t must _always_ have a valid length,
and note that this warning still applies for relay_msg_copy.

relay_msg: Use relay_cell_max_payload_size when setting maxlen

Fix tests when built with --all-bugs-are-fatal.

Use FREE_AND_NULL with conflux_msg_t.

Changes file for #41051.

Fill in XXXX for relay_msg.c

Remove the unused relay_msg_set function

Change relay_msg_t to _not_ hold a copy of the message.

Previously we had to memdup every time we parsed a relay_msg_t;
but that's unnecessary, since (most) every time we use it, we have
a longer-lived cell object.

This _did_ require some hacking in relay_msg_copy, but I think the
gain in simplicity is worth it.

Remove redundant relay_cell_proto fields

These did not turn out to be useful for anything.

Fix a bug in conflux_send_switch_command.

Using RELAY_PAYLOAD_SIZE(_MAX) here would send a relay message that used up
more than the actual length of the cell.  Instead, send only the actual
CONFLUX_SWITCH message.

Closes #41056; bugfix on 0.4.8.1-alpha.

Rename and hand-audit all users of RELAY_PAYLOAD_SIZE.

Since the maximum number of bytes you can put in a relay message
is no longer constant, it doesn't make sense to have a "size" for this.
Instead, we can only have a "max" or "min" size.

Move circuit accessors to relay.c

Add a much-needed convenience accessor for max payload len.

Rename relay_msg_get_format to circuit_get_relay_format.

More tolerance for packaging too-long payloads

(There are _lots_ of places that build a payload that would be long enough
to fit into a V0 cell, then pass it to relay_send_command_from_edge.)

relay_msg: use IF_BUG_ONCE

If these bugs are reachable, they're likely to fill up the logs.

Abolish RELAY_HEADER_SIZE.

It was frequently used before to index into a cell, which
is never right any more.

Fold relay_cell.h into relay_msg.h

It no longer needs an independent existence.

Abolish relay_header_t, except for testing.

With this change we no longer have a separate and possibly divergent
encoder for cells.

Also, abolish the accessors in relay_cell.c: It turns out that they
don't make sense with CGO.

prop340: Use relay messages accross the code

Author: David Goulet <dgoulet@torproject.org>

(This won't yet compile; for now I am _only_ taking the parts as
dgoulet wrote them, minus a codec-only piece.)

Modified by nickm:

Encode and decode relay messages using our new functions.

In David's original branch, this was done using codec objects,
but since we aren't doing prop340, this is simpler.

prop340: Implement useful helper functions

Author: David Goulet <dgoulet@torproject.org>

(modified by nickm: no longer refers to codecs.)

Add relay cell format field to circuits

For client circuits, it is a per-hop field;
for OR circuits, it is a per-circuit field.

prop359: Implement relay cell encoder/decoders

I decided not to use a codec-based approach here.
Since we aren't implementing prop340, there is exactly one cell
per message, so we don't need to keep any state
in between cells or messages.

Function to test whether a relay command is recognized.

Cherry-picked from dgoulet's 8fe1c503

Author: David Goulet <dgoulet@torproject.org>

or.h: Extend comment about cell format to include v1 format.

prop359: Introduce an enum for cell format.

(Using u8 everywhere makes me nervous.)

prop359: Add relay msg basics.

Add some TODOs for CGO msg format

prop359: Add relay cell access functions

Author: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8'

crypt_openssl_mgt: define DISABLE_ENGINES after OPENSSL_NO_ENGINE

With LibreSSL-3.8.1 these engines are no long available causing a build
failure, but LibreSSL correctly defines OPENSSL_NO_ENGINE as part of its
opensslfeatures.h. However Tor includes crypto_openssl_mgt.h before any
of the openssl includes which would define OPENSSL_NO_ENGINE and then
fails to define DISABLE_ENGINES.

As the define is used in only a single .c file it is best to move it
there.

Signed-off-by: orbea <orbea@riseup.net>

compat_openssl: fix for LibreSSL 4.1.0

Starting with LibreSSL 4.1.0 this now causes a build failure:

src/lib/tls/tortls_openssl.c: In function 'tor_tls_setup_session_secret_cb':
src/lib/tls/tortls_openssl.c:1059:39: error: passing argument 2 of 'SSL_set_session_secret_cb' from incompatible pointer type [-Wincompatible-pointer-types]
 1059 |   SSL_set_session_secret_cb(tls->ssl, tor_tls_session_secret_cb, NULL);
      |                                       ^~~~~~~~~~~~~~~~~~~~~~~~~
      |                                       |
      |                                       int (*)(SSL *, void *, int *, struct stack_st_SSL_CIPHER *, SSL_CIPHER **, void *) {aka int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, struct ssl_cipher_st **, void *)}
In file included from src/lib/tls/tortls_openssl.c:48:
/usr/include/openssl/ssl.h:1489:30: note: expected 'tls_session_secret_cb_fn' {aka 'int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, const struct ssl_cipher_st **, void *)'} but argument is of type 'int (*)(SSL *, void *, int *, struct stack_st_SSL_CIPHER *, SSL_CIPHER **, void *)' {aka 'int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, struct ssl_cipher_st **, void *)'}
 1489 |     tls_session_secret_cb_fn tls_session_secret_cb, void *arg);
      |     ~~~~~~~~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~~~~~~~~~~

Signed-off-by: orbea <orbea@riseup.net>

Merge branch 'openssl_cleanup_part2_v2' into 'main'

Require OpenSSL >= 1.1.1 or LibreSSL >= 3.7

See merge request tpo/core/tor!885

Merge branch 'openssl_cleanup_part1' into 'main'

Remove support for clients < 0.2.3.17-beta

Closes #41031

See merge request tpo/core/tor!883

Avoid crash on failure to read FamilyKeyDir

Previously we could try to iterate over `files`
even if it were NULL.

Fixes bug #41043; bugfix on 0.4.9.2-alpha.

Warn when OpenSSL is older than 3.0

Running with an unsupported version of openssl is not IMO
a very good idea.

changes file for new *ssl version requirements.

Remove code based on OPENSSL_VERSION_NUMBER

(Except for some code in aes_openssl.c, which has potential to conflict
with CGO-related branches.)

Remove NEW_THREAD_API

Every supported OpenSSL version and fork has the modern API.

Remove OPENSSL_1_1_API macro

We no longer support any version without this API.

Remove HAVE_STRUCT_SSL_METHOD_ST_GET_CIPHER_BY_CHAR as unused

It was for a compatibility kludge which, mercifully, we no longer need.

Remove HAVE_SSL_STATE and SIZEOF_SHA_CTX

HAVE_SSL_STATE is always "no"; SIZEOF_SHA_CTX is never used.

Require OpenSSL >= 1.1.1 or LibreSSL >= 3.7

3.0 is the oldest supported version of OpenSSL; it was first released
in September 2021.  OpenSSL 1.1.1 (the previous series) reached EOL in
September 2023, but it is still used in Debian oldstable, which will
be around till September 2026.

LibreSSL 3.7 is not quite supported, but I don't have as firm a conviction
about which LibreSSL versions we should handle.  It was released in 2022.

Remove tor_tls_verify

Despite its name, it was only used for the v1 handshake.

Fix compilation on Libressl

Restore a pair of erroneously removed cases

The one in connection_or.c was crucial: it's the
thing that made OR negotiation actually work.

The one in channeltls.c was just defensive programming, but it's
valid defensive programming: by the time we enter from
channel_handle_var_cell, channel_tls_process_vesions_cell,
we have changed our state via enter_v3_handshake_with_cell.

Fix compilation for nss.

Changes file for 41031.

Remove support for client cipher classification.

For a long time, clients would lie about the set of ciphersuites
they supported, in a misguided pre-pluggable-transport attempt
to avoid protocol identification.

Such clients are now long gone; clients stopped lying
about ciphersuites after 0.2.3.17-beta.

Renumber OR_CONN_STATE_*

Rename "RENEGOTIATING state.

Completely remove support for the v2 link handshake

The v2 link handshake was one of the silliest things we ever did:
in an attempt to avoid sending our funny-looking certs back and forth,
we would first negotiate with a dummy set of certs and ciphers,
and then renegotiate with the ciphersuites we _really_ wanted.

We removed client-side support for this handshake back in
0.2.8.1-alpha, with ticket 11150.

Remove server support for the v1 link handshake.

In the v1 handshake we would send two very specialized certificates.
We'd identify that the client wanted to use this handshake by
the ciphers that it sent, or didn't sent.

We already removed client-side support for the v1 link handshake
back in 0.2.8.1-alpha, with ticket 11150.

Merge branch 'man-safelogging' into 'main'

remove tiny ambiguity in man page for SafeLogging

See merge request tpo/core/tor!882

remove tiny ambiguity in man page for SafeLogging

Merge branch 'maint-0.4.8'

Promote "list of supported groups" message to notice.

I have a feeling that this might help diagnosing
any other problems similar to #41058.

Only try more complex OpenSSL group list syntax with OpenSSL 3.5.

Closes #41058.

typo: Fix unfinished HTML tag in comment

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8'

TLS: When possible, enable ML-KEM768.

Closes ticket 41041.

Correctly detect error from SSL_CTX_set1_groups_list.

Previously our code was checking for '< 0', but the error return value for
this function _is_ zero.

Remove TOR_TLS_USE_ECDHE_P* flags.

They have been unused since 0.3.1.1-alpha, when we removed the
TLSECGroups option.

Make two 1-bit fields unsigned

This should be a completely harmless warning as we only check whether
the fields are true or false.

Closes #40911.

(Backported by nickm so that I can compile 0.4.8 without warnings.)

ci: Remove 047 from CI builds and put in 049

Signed-off-by: David Goulet <dgoulet@torproject.org>

version: Bump version to 0.4.9.2-alpha-dev

version: Bump version to 0.4.9.2-alpha

release: ChangeLog for 0.4.9.2-alpha

Merge branch 'dont-redefine-o_nofollow' into 'main'

Don't redefine O_NOFOLLOW.

See merge request tpo/core/tor!877

Don't redefine O_NOFOLLOW.

Merge branch 'maint-0.4.8'

Merge branch 'happy-families-ux' into 'main'

Improved UX for happy families based on relay op requests

Closes #41033

See merge request tpo/core/tor!875

Merge branch 'ahf/049-ci-i386' into 'main'

Use bullseye on main for i386 for now.

See merge request tpo/core/tor!876

Use bullseye on main for i386 for now.

Fix: Crash on SIGSEGV if at least one worker thread cannot be launched

Perform a clean shutdown in case worker threads cannot be lauched.

Merge branch 'maint-0.4.8'

Merge branch 'tor-gitlab/mr/874' into maint-0.4.8

Clarify family ID key file names

New 'FamilyId *' to say "use all the family IDs you find."

Allow searching for family keys in a FamilyKeyDirectory

changes: Add file for MR 839

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'empty-dns' into 'main'

Handle empty DNS reply without error as NOERROR

Closes #40248

See merge request tpo/core/tor!839

changes: Add file for MR 835

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/835'

Merge branch 'fix/bw-cache-spikes' into 'main'

Fix: bw cache entry spikes (Issue: #31524)

See merge request tpo/core/tor!826

Fix: bw cache entry spikes (Issue: #31524)

Merge branch 'fix/memleaks-cpuworker' into 'maint-0.4.8'

Re: Coverity report Oct 31st, 2024 (Issue #40991)

See merge request tpo/core/tor!844

Re: Coverity report Oct 31st, 2024 (Issue #40991)

conflux: Avoid non fatal assert in CIRCUIT_IS_CONFLUX()

In the circuit_about_to_free(), we clear the circ->conflux object and then we
end up trying to emit an event on the control port which calls
CIRCUIT_IS_CONFLUX() and non fatal assert on the false branch.

Fixes #41037

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'remove-tlssecrets-tests' into 'main'

Remove TLSSecrets tests

See merge request tpo/core/tor!872

Merge branch 'maint-0.4.8'

Merge branch 'bug40802' into 'main'

resolve scary vanguard-related log msgs on dir auths

See merge request tpo/core/tor!873

resolve scary vanguard-related log msgs on dir auths

After we added layer-two vanguards, directory authorities wouldn't
think any of their vanguards were suitable for circuits, leading
to a "Failed to find node for hop #2 of our path. Discarding
this circuit." log message once per second from startup until
they made a fresh consensus. Now they look to their existing
consensus on startup, letting them build circuits properly from
the beginning.

Fixes bug 40802; bugfix on 0.4.7.1-alpha.

Remove TLSSecrets tests

These would fail if anybody actually still used OpenSSL 1.0, but in any case
there's no need to leave them around.

Follow-up from https://gitlab.torproject.org/tpo/core/tor/-/merge_requests/862#note_3178084.

Require FlowCtrl=1 (authenticated sendmes) for clients

This will cause clients before 0.4.1.1-alpha to shut down.

Part of #40836.

protover: Vote for additional protocols to be required/recommended

Note that the changes here will require all relays
to be 0.4.7.4-alpha or later, which is lower than
our current lowest-supported relay version.

Part of #40836.

Merge branch 'maint-0.4.8'

fix two comment typos from 0.4.8.15