CGO: Fix authenticated-sendme tag handling.

See discussion at torspec#328: it's important that our
SENDME authentication tag always be taken based on the
_encrypted_ cell.

CGO: Split modes into forward and backward variants.

I'll need this for getting tags right wrt torspec!328.

Implement the encryption operations for counter galois onion.

Implement low-level encryption functions for CGO.

These include a regular LRW2 tweakable block cipher,
a pseudorandom function,
and a UIV+ tweakable wide-block rugged pseudorandom permutation.

Also included are a few test vectors from the reference
 implementation.

aes: Support for replacing an AES key without free+alloc

Support for counter mode with raw AES.

We'll want this for CGO because we want the ability to use the same AES
key several times with multiple different IVs: neither OpenSSL's EVP
interface nor NSS's PK11 API has a good interface to do that.
(This is usually expressed in terms of "seeking" to a new position
on the stream, but there isn't an API for that either.)

crypto: Add support for raw (ECB) AES

We'll need this to define the LRW2 tweakable block cipher used in CGO.

Polyval: add ability to store key separately.

This will help reduce storage, since we never actually need
to keep a running total outside of a function.

Integrate polyval into our build system and give a test

polyval: comments throughout.

Detect correct polyval implementation (mostly)

I'm saying "mostly" because this will be wrong on really old intel;
we'll need a cpuid workaround if we need to support those.

Adapt pclmul.c to work with polyval.c

adapt 32-bit ctmul.c to work with polyval.c

Adapt ctmul64.c to work with polyval.c.

Unfinished polyval implementation, without a multiplier.

Rename files so it no longer looks like we are doing ghash

Add code from BearSSL's ghash implementation.

Polyval (which we need for CGO) is very similar to ghash,
and most of this code should be reusable with suitable adaptation.

Unrelated: fix warnings about NSS kex algorithms.

Merge branch 'openssl_cleanup_part3' into 'main'

Improve various OpenSSL settings

Closes #41067

See merge request tpo/core/tor!889

Define a DH2048_KEY_LEN.

Merge branch 'ticket41064' into 'main'

Use RELAY_PAYLOAD_SIZE_MIN for some cc calculations

Closes #41064

See merge request tpo/core/tor!890

Merge branch 'bug41043' into 'main'

Avoid crash on failure to read FamilyKeyDir

See merge request tpo/core/tor!886

Use RELAY_PAYLOAD_SIZE_MIN for some cc calculations

These are for the cases where mikeperry and dgoulet had suggestions
on !878.

Closes #41064.

Merge branch '41051_cell_format' into 'main'

Prop359: Add functions to encode/decode new relay message format for CGO

Closes #41051 and #41056

See merge request tpo/core/tor!878

Fix compilation with NSS.

Remove check for unaccelerated ECC

The "enable-ec_nistp_64_gcc_128" option does not appear to be necessary
in any of our supported versions.

Change our TLS finite-field diffie-hellman group to ffdhe2048.

(We should never actually _use_ finite-field Diffie-Hellman
with TLS.)

Update client cipher list to match current firefox

(Shelikhoo says that this countermeasure is still likely to be
helpful for some users, and so we might as well keep it.)

Update get_mozillia_ciphers to work with current firefox.

This script is _still_ a complete kludge, and I don't currently propose to
un-kludge it.  With luck, today will be the last day we run it.

Remove attempt to override TLS 1.3 server ciphersuites

This was unnecessary _and_ broken!

It was unnecessary because the default list of TLS 1.3 ciphersuites
has always been pretty reasonable.

It was broken because:
 - SSL_CTX_set_cipher_list only affects the list of TLS 1.2 ciphersuites.
 - There have _never_ been a set of macros  named TLS1_3_TXT_*
   in any openssl version, as far as I can tell.

Remove check and test for SSL_CIPHER_find

Nothing uses it any more.

Stop detecting HKDF: Our supported OpenSSL versions always have it

Stop detecting SSL_get_client_ciphers: we enver use it.

OpenSSL: Require TLS ≥ 1.2

TLS 1.2 was added in OpenSSL version 1.0.1,
which was our minimal supported openssl version for a long time:
so we can be sure that all clients and relays have it.

(I'd like to require TLS 1.3, but that would break everybody
who built with 1.0.1.)

Part of #41067.

openssl: Use TLS_method unconditionally.

Every version of openssl/libressl we support has this.

relay_msg: Document and enforce length invariants.

This takes a slightly different approach from suggested in the MR:
we document that a relay_msg_t must _always_ have a valid length,
and note that this warning still applies for relay_msg_copy.

relay_msg: Use relay_cell_max_payload_size when setting maxlen

Fix tests when built with --all-bugs-are-fatal.

Use FREE_AND_NULL with conflux_msg_t.

Changes file for #41051.

Fill in XXXX for relay_msg.c

Remove the unused relay_msg_set function

Change relay_msg_t to _not_ hold a copy of the message.

Previously we had to memdup every time we parsed a relay_msg_t;
but that's unnecessary, since (most) every time we use it, we have
a longer-lived cell object.

This _did_ require some hacking in relay_msg_copy, but I think the
gain in simplicity is worth it.

Remove redundant relay_cell_proto fields

These did not turn out to be useful for anything.

Fix a bug in conflux_send_switch_command.

Using RELAY_PAYLOAD_SIZE(_MAX) here would send a relay message that used up
more than the actual length of the cell.  Instead, send only the actual
CONFLUX_SWITCH message.

Closes #41056; bugfix on 0.4.8.1-alpha.

Rename and hand-audit all users of RELAY_PAYLOAD_SIZE.

Since the maximum number of bytes you can put in a relay message
is no longer constant, it doesn't make sense to have a "size" for this.
Instead, we can only have a "max" or "min" size.

Move circuit accessors to relay.c

Add a much-needed convenience accessor for max payload len.

Rename relay_msg_get_format to circuit_get_relay_format.

More tolerance for packaging too-long payloads

(There are _lots_ of places that build a payload that would be long enough
to fit into a V0 cell, then pass it to relay_send_command_from_edge.)

relay_msg: use IF_BUG_ONCE

If these bugs are reachable, they're likely to fill up the logs.

Abolish RELAY_HEADER_SIZE.

It was frequently used before to index into a cell, which
is never right any more.

Fold relay_cell.h into relay_msg.h

It no longer needs an independent existence.

Abolish relay_header_t, except for testing.

With this change we no longer have a separate and possibly divergent
encoder for cells.

Also, abolish the accessors in relay_cell.c: It turns out that they
don't make sense with CGO.

prop340: Use relay messages accross the code

Author: David Goulet <dgoulet@torproject.org>

(This won't yet compile; for now I am _only_ taking the parts as
dgoulet wrote them, minus a codec-only piece.)

Modified by nickm:

Encode and decode relay messages using our new functions.

In David's original branch, this was done using codec objects,
but since we aren't doing prop340, this is simpler.

prop340: Implement useful helper functions

Author: David Goulet <dgoulet@torproject.org>

(modified by nickm: no longer refers to codecs.)

Add relay cell format field to circuits

For client circuits, it is a per-hop field;
for OR circuits, it is a per-circuit field.

prop359: Implement relay cell encoder/decoders

I decided not to use a codec-based approach here.
Since we aren't implementing prop340, there is exactly one cell
per message, so we don't need to keep any state
in between cells or messages.

Function to test whether a relay command is recognized.

Cherry-picked from dgoulet's 8fe1c503

Author: David Goulet <dgoulet@torproject.org>

or.h: Extend comment about cell format to include v1 format.

prop359: Introduce an enum for cell format.

(Using u8 everywhere makes me nervous.)

prop359: Add relay msg basics.

Add some TODOs for CGO msg format

prop359: Add relay cell access functions

Author: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8'

crypt_openssl_mgt: define DISABLE_ENGINES after OPENSSL_NO_ENGINE

With LibreSSL-3.8.1 these engines are no long available causing a build
failure, but LibreSSL correctly defines OPENSSL_NO_ENGINE as part of its
opensslfeatures.h. However Tor includes crypto_openssl_mgt.h before any
of the openssl includes which would define OPENSSL_NO_ENGINE and then
fails to define DISABLE_ENGINES.

As the define is used in only a single .c file it is best to move it
there.

Signed-off-by: orbea <orbea@riseup.net>

compat_openssl: fix for LibreSSL 4.1.0

Starting with LibreSSL 4.1.0 this now causes a build failure:

src/lib/tls/tortls_openssl.c: In function 'tor_tls_setup_session_secret_cb':
src/lib/tls/tortls_openssl.c:1059:39: error: passing argument 2 of 'SSL_set_session_secret_cb' from incompatible pointer type [-Wincompatible-pointer-types]
 1059 |   SSL_set_session_secret_cb(tls->ssl, tor_tls_session_secret_cb, NULL);
      |                                       ^~~~~~~~~~~~~~~~~~~~~~~~~
      |                                       |
      |                                       int (*)(SSL *, void *, int *, struct stack_st_SSL_CIPHER *, SSL_CIPHER **, void *) {aka int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, struct ssl_cipher_st **, void *)}
In file included from src/lib/tls/tortls_openssl.c:48:
/usr/include/openssl/ssl.h:1489:30: note: expected 'tls_session_secret_cb_fn' {aka 'int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, const struct ssl_cipher_st **, void *)'} but argument is of type 'int (*)(SSL *, void *, int *, struct stack_st_SSL_CIPHER *, SSL_CIPHER **, void *)' {aka 'int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, struct ssl_cipher_st **, void *)'}
 1489 |     tls_session_secret_cb_fn tls_session_secret_cb, void *arg);
      |     ~~~~~~~~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~~~~~~~~~~

Signed-off-by: orbea <orbea@riseup.net>

Merge branch 'openssl_cleanup_part2_v2' into 'main'

Require OpenSSL >= 1.1.1 or LibreSSL >= 3.7

See merge request tpo/core/tor!885

Merge branch 'openssl_cleanup_part1' into 'main'

Remove support for clients < 0.2.3.17-beta

Closes #41031

See merge request tpo/core/tor!883

Avoid crash on failure to read FamilyKeyDir

Previously we could try to iterate over `files`
even if it were NULL.

Fixes bug #41043; bugfix on 0.4.9.2-alpha.

Warn when OpenSSL is older than 3.0

Running with an unsupported version of openssl is not IMO
a very good idea.

changes file for new *ssl version requirements.

Remove code based on OPENSSL_VERSION_NUMBER

(Except for some code in aes_openssl.c, which has potential to conflict
with CGO-related branches.)

Remove NEW_THREAD_API

Every supported OpenSSL version and fork has the modern API.

Remove OPENSSL_1_1_API macro

We no longer support any version without this API.

Remove HAVE_STRUCT_SSL_METHOD_ST_GET_CIPHER_BY_CHAR as unused

It was for a compatibility kludge which, mercifully, we no longer need.

Remove HAVE_SSL_STATE and SIZEOF_SHA_CTX

HAVE_SSL_STATE is always "no"; SIZEOF_SHA_CTX is never used.

Require OpenSSL >= 1.1.1 or LibreSSL >= 3.7

3.0 is the oldest supported version of OpenSSL; it was first released
in September 2021.  OpenSSL 1.1.1 (the previous series) reached EOL in
September 2023, but it is still used in Debian oldstable, which will
be around till September 2026.

LibreSSL 3.7 is not quite supported, but I don't have as firm a conviction
about which LibreSSL versions we should handle.  It was released in 2022.

Remove tor_tls_verify

Despite its name, it was only used for the v1 handshake.

Fix compilation on Libressl

Restore a pair of erroneously removed cases

The one in connection_or.c was crucial: it's the
thing that made OR negotiation actually work.

The one in channeltls.c was just defensive programming, but it's
valid defensive programming: by the time we enter from
channel_handle_var_cell, channel_tls_process_vesions_cell,
we have changed our state via enter_v3_handshake_with_cell.

Fix compilation for nss.

Changes file for 41031.

Remove support for client cipher classification.

For a long time, clients would lie about the set of ciphersuites
they supported, in a misguided pre-pluggable-transport attempt
to avoid protocol identification.

Such clients are now long gone; clients stopped lying
about ciphersuites after 0.2.3.17-beta.

Renumber OR_CONN_STATE_*

Rename "RENEGOTIATING state.

Completely remove support for the v2 link handshake

The v2 link handshake was one of the silliest things we ever did:
in an attempt to avoid sending our funny-looking certs back and forth,
we would first negotiate with a dummy set of certs and ciphers,
and then renegotiate with the ciphersuites we _really_ wanted.

We removed client-side support for this handshake back in
0.2.8.1-alpha, with ticket 11150.

Remove server support for the v1 link handshake.

In the v1 handshake we would send two very specialized certificates.
We'd identify that the client wanted to use this handshake by
the ciphers that it sent, or didn't sent.

We already removed client-side support for the v1 link handshake
back in 0.2.8.1-alpha, with ticket 11150.

Merge branch 'man-safelogging' into 'main'

remove tiny ambiguity in man page for SafeLogging

See merge request tpo/core/tor!882

remove tiny ambiguity in man page for SafeLogging

Merge branch 'maint-0.4.8'

Promote "list of supported groups" message to notice.

I have a feeling that this might help diagnosing
any other problems similar to #41058.

Only try more complex OpenSSL group list syntax with OpenSSL 3.5.

Closes #41058.

typo: Fix unfinished HTML tag in comment

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8'

TLS: When possible, enable ML-KEM768.

Closes ticket 41041.

Correctly detect error from SSL_CTX_set1_groups_list.

Previously our code was checking for '< 0', but the error return value for
this function _is_ zero.

Remove TOR_TLS_USE_ECDHE_P* flags.

They have been unused since 0.3.1.1-alpha, when we removed the
TLSECGroups option.

Make two 1-bit fields unsigned

This should be a completely harmless warning as we only check whether
the fields are true or false.

Closes #40911.

(Backported by nickm so that I can compile 0.4.8 without warnings.)

ci: Remove 047 from CI builds and put in 049

Signed-off-by: David Goulet <dgoulet@torproject.org>