Use polyvalx in cgo.

Add support for pre-expanded polyval keys with pclmul.

We don't want to do this without pclmul, since it doesn't help in that case.

We don't want to do this unconditionally, since many of our polyval keys
are only used for 16 byte inputs.

(Yes, this makes a difference in practice!)

Speed up polyval through pipelining.

This optimization helps because:
  - We're not blocking the computation of each block on the computation of the
    previous one, which leads to fewer pipeline stalls.
  - We're deferring reduction until the end of handling a bunch of blocks.

Add benchmarks for cgo and polyval.

Improve tor1 encryption benchmarks

Include cell origination (which costs more) and cycles per byte.

Rename benchmark to "tor1", since cgo is coming next.

polyval: Detect pclmul presence using cpuid.

polyval: Allow PV_DECLARE declare multiple variants.

polyval: move declarations into a macro

I'll be using this to implement CPUID-based dispatch, which will require
multiple backends to coexist.

Merge branch '41052_cgo_encryption' into 'main'

CGO: Crypto implementation

Closes #41052

See merge request tpo/core/tor!879

polyval: Remove precomputation for ctmul64 case.

In my benchmarks it saved less than 1%, so it really
doesn't make sense to keep it.

CGO: Fix authenticated-sendme tag handling.

See discussion at torspec#328: it's important that our
SENDME authentication tag always be taken based on the
_encrypted_ cell.

CGO: Split modes into forward and backward variants.

I'll need this for getting tags right wrt torspec!328.

Implement the encryption operations for counter galois onion.

Implement low-level encryption functions for CGO.

These include a regular LRW2 tweakable block cipher,
a pseudorandom function,
and a UIV+ tweakable wide-block rugged pseudorandom permutation.

Also included are a few test vectors from the reference
 implementation.

aes: Support for replacing an AES key without free+alloc

Support for counter mode with raw AES.

We'll want this for CGO because we want the ability to use the same AES
key several times with multiple different IVs: neither OpenSSL's EVP
interface nor NSS's PK11 API has a good interface to do that.
(This is usually expressed in terms of "seeking" to a new position
on the stream, but there isn't an API for that either.)

crypto: Add support for raw (ECB) AES

We'll need this to define the LRW2 tweakable block cipher used in CGO.

Polyval: add ability to store key separately.

This will help reduce storage, since we never actually need
to keep a running total outside of a function.

Integrate polyval into our build system and give a test

polyval: comments throughout.

Detect correct polyval implementation (mostly)

I'm saying "mostly" because this will be wrong on really old intel;
we'll need a cpuid workaround if we need to support those.

Adapt pclmul.c to work with polyval.c

adapt 32-bit ctmul.c to work with polyval.c

Adapt ctmul64.c to work with polyval.c.

Unfinished polyval implementation, without a multiplier.

Rename files so it no longer looks like we are doing ghash

Add code from BearSSL's ghash implementation.

Polyval (which we need for CGO) is very similar to ghash,
and most of this code should be reusable with suitable adaptation.

Unrelated: fix warnings about NSS kex algorithms.

Merge branch 'bug41077' into 'main'

Fix log message claiming that LibreSSL is OpenSSL

Closes #41077

See merge request tpo/core/tor!897

Merge branch 'bug40176' into 'main'

Fix linking on systems without a working stdatomic.h

See merge request tpo/core/tor!896

Merge branch 'style-tweaks' into 'main'

trivial whitespace formatting fixes

See merge request tpo/core/tor!893

Merge branch 'maint-0.4.8'

Merge branch 'tor-gitlab/mr/894' into maint-0.4.8

Merge branch 'gcc-15-warnings-049' into 'main'

Fix GCC warnings from GCC 15 (0.4.9)

See merge request tpo/core/tor!899

Fix another gcc 15 warning in 0.4.9.

Merge branch 'gcc-15-warnings-048' into gcc-15-warnings-049

Make an exception to one of the NONSTRINGs

Older GCCs accept the attribute but don't believe it can appear
before an array.

Add a changes file for 41079.

Fix a new GCC warning about strings.

When we say something like

```
const char foo[3] = "foo";
```

GCC now complains, because there is no space for the terminating NUL.
But we use this construction in a lot of places in our tests to
initialize test digests, keys, and so on.  So to resolve the issue,
we have to mark these strings with a new attribute.

Convince gcc that we will not access an array out of bounds

Fix log message claiming that LibreSSL is OpenSSL

(We only want to check the OpenSSL version when it's actually OpenSSL
we're using.)

Fixes #41077; bug not in any released Tor.

Fix linking on systems without a working stdatomic.h

Static libraries need to be sorted in a dependency order, with the
most low-level libraries last.  When we added an atomic counter to
util_bug.c in !760, we introduced a dependency from "log" to
"threads".  This didn't show up immediately, since the dependency
only exists when we're emulating atomic operations due to lack of
platform support.

Fixes bug #41076; bugfix on 0.4.9.1-alpha.

reindent code from previous commit

Allow pow-params to appear multiple times.

Relatedly, we only require that a pow-params line has _1_ argument
(since future versions might have nothing but a scheme).

See torspec#272 for discussion;
also see proposal 356 for why the fingerprinting opportunity here
isn't a big deal.

We probably shouldn't merge this until torspec!390 is in,
just in case we decide _not_ to take this approach.

(I haven't reindented some code here yet, to make the diff easier to read.)

trivial whitespace formatting fixes

Merge branch 'openssl_cleanup_part3' into 'main'

Improve various OpenSSL settings

Closes #41067

See merge request tpo/core/tor!889

Define a DH2048_KEY_LEN.

Merge branch 'ticket41064' into 'main'

Use RELAY_PAYLOAD_SIZE_MIN for some cc calculations

Closes #41064

See merge request tpo/core/tor!890

Merge branch 'bug41043' into 'main'

Avoid crash on failure to read FamilyKeyDir

See merge request tpo/core/tor!886

Use RELAY_PAYLOAD_SIZE_MIN for some cc calculations

These are for the cases where mikeperry and dgoulet had suggestions
on !878.

Closes #41064.

Merge branch '41051_cell_format' into 'main'

Prop359: Add functions to encode/decode new relay message format for CGO

Closes #41051 and #41056

See merge request tpo/core/tor!878

Fix compilation with NSS.

Remove check for unaccelerated ECC

The "enable-ec_nistp_64_gcc_128" option does not appear to be necessary
in any of our supported versions.

Change our TLS finite-field diffie-hellman group to ffdhe2048.

(We should never actually _use_ finite-field Diffie-Hellman
with TLS.)

Update client cipher list to match current firefox

(Shelikhoo says that this countermeasure is still likely to be
helpful for some users, and so we might as well keep it.)

Update get_mozillia_ciphers to work with current firefox.

This script is _still_ a complete kludge, and I don't currently propose to
un-kludge it.  With luck, today will be the last day we run it.

Remove attempt to override TLS 1.3 server ciphersuites

This was unnecessary _and_ broken!

It was unnecessary because the default list of TLS 1.3 ciphersuites
has always been pretty reasonable.

It was broken because:
 - SSL_CTX_set_cipher_list only affects the list of TLS 1.2 ciphersuites.
 - There have _never_ been a set of macros  named TLS1_3_TXT_*
   in any openssl version, as far as I can tell.

Remove check and test for SSL_CIPHER_find

Nothing uses it any more.

Stop detecting HKDF: Our supported OpenSSL versions always have it

Stop detecting SSL_get_client_ciphers: we enver use it.

OpenSSL: Require TLS ≥ 1.2

TLS 1.2 was added in OpenSSL version 1.0.1,
which was our minimal supported openssl version for a long time:
so we can be sure that all clients and relays have it.

(I'd like to require TLS 1.3, but that would break everybody
who built with 1.0.1.)

Part of #41067.

openssl: Use TLS_method unconditionally.

Every version of openssl/libressl we support has this.

relay_msg: Document and enforce length invariants.

This takes a slightly different approach from suggested in the MR:
we document that a relay_msg_t must _always_ have a valid length,
and note that this warning still applies for relay_msg_copy.

relay_msg: Use relay_cell_max_payload_size when setting maxlen

Fix tests when built with --all-bugs-are-fatal.

Use FREE_AND_NULL with conflux_msg_t.

Changes file for #41051.

Fill in XXXX for relay_msg.c

Remove the unused relay_msg_set function

Change relay_msg_t to _not_ hold a copy of the message.

Previously we had to memdup every time we parsed a relay_msg_t;
but that's unnecessary, since (most) every time we use it, we have
a longer-lived cell object.

This _did_ require some hacking in relay_msg_copy, but I think the
gain in simplicity is worth it.

Remove redundant relay_cell_proto fields

These did not turn out to be useful for anything.

Fix a bug in conflux_send_switch_command.

Using RELAY_PAYLOAD_SIZE(_MAX) here would send a relay message that used up
more than the actual length of the cell.  Instead, send only the actual
CONFLUX_SWITCH message.

Closes #41056; bugfix on 0.4.8.1-alpha.

Rename and hand-audit all users of RELAY_PAYLOAD_SIZE.

Since the maximum number of bytes you can put in a relay message
is no longer constant, it doesn't make sense to have a "size" for this.
Instead, we can only have a "max" or "min" size.

Move circuit accessors to relay.c

Add a much-needed convenience accessor for max payload len.

Rename relay_msg_get_format to circuit_get_relay_format.

More tolerance for packaging too-long payloads

(There are _lots_ of places that build a payload that would be long enough
to fit into a V0 cell, then pass it to relay_send_command_from_edge.)

relay_msg: use IF_BUG_ONCE

If these bugs are reachable, they're likely to fill up the logs.

Abolish RELAY_HEADER_SIZE.

It was frequently used before to index into a cell, which
is never right any more.

Fold relay_cell.h into relay_msg.h

It no longer needs an independent existence.

Abolish relay_header_t, except for testing.

With this change we no longer have a separate and possibly divergent
encoder for cells.

Also, abolish the accessors in relay_cell.c: It turns out that they
don't make sense with CGO.

prop340: Use relay messages accross the code

Author: David Goulet <dgoulet@torproject.org>

(This won't yet compile; for now I am _only_ taking the parts as
dgoulet wrote them, minus a codec-only piece.)

Modified by nickm:

Encode and decode relay messages using our new functions.

In David's original branch, this was done using codec objects,
but since we aren't doing prop340, this is simpler.

prop340: Implement useful helper functions

Author: David Goulet <dgoulet@torproject.org>

(modified by nickm: no longer refers to codecs.)

Add relay cell format field to circuits

For client circuits, it is a per-hop field;
for OR circuits, it is a per-circuit field.

prop359: Implement relay cell encoder/decoders

I decided not to use a codec-based approach here.
Since we aren't implementing prop340, there is exactly one cell
per message, so we don't need to keep any state
in between cells or messages.

Function to test whether a relay command is recognized.

Cherry-picked from dgoulet's 8fe1c503

Author: David Goulet <dgoulet@torproject.org>

or.h: Extend comment about cell format to include v1 format.

prop359: Introduce an enum for cell format.

(Using u8 everywhere makes me nervous.)

prop359: Add relay msg basics.

Add some TODOs for CGO msg format

prop359: Add relay cell access functions

Author: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.8'

crypt_openssl_mgt: define DISABLE_ENGINES after OPENSSL_NO_ENGINE

With LibreSSL-3.8.1 these engines are no long available causing a build
failure, but LibreSSL correctly defines OPENSSL_NO_ENGINE as part of its
opensslfeatures.h. However Tor includes crypto_openssl_mgt.h before any
of the openssl includes which would define OPENSSL_NO_ENGINE and then
fails to define DISABLE_ENGINES.

As the define is used in only a single .c file it is best to move it
there.

Signed-off-by: orbea <orbea@riseup.net>

compat_openssl: fix for LibreSSL 4.1.0

Starting with LibreSSL 4.1.0 this now causes a build failure:

src/lib/tls/tortls_openssl.c: In function 'tor_tls_setup_session_secret_cb':
src/lib/tls/tortls_openssl.c:1059:39: error: passing argument 2 of 'SSL_set_session_secret_cb' from incompatible pointer type [-Wincompatible-pointer-types]
 1059 |   SSL_set_session_secret_cb(tls->ssl, tor_tls_session_secret_cb, NULL);
      |                                       ^~~~~~~~~~~~~~~~~~~~~~~~~
      |                                       |
      |                                       int (*)(SSL *, void *, int *, struct stack_st_SSL_CIPHER *, SSL_CIPHER **, void *) {aka int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, struct ssl_cipher_st **, void *)}
In file included from src/lib/tls/tortls_openssl.c:48:
/usr/include/openssl/ssl.h:1489:30: note: expected 'tls_session_secret_cb_fn' {aka 'int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, const struct ssl_cipher_st **, void *)'} but argument is of type 'int (*)(SSL *, void *, int *, struct stack_st_SSL_CIPHER *, SSL_CIPHER **, void *)' {aka 'int (*)(struct ssl_st *, void *, int *, struct stack_st_SSL_CIPHER *, struct ssl_cipher_st **, void *)'}
 1489 |     tls_session_secret_cb_fn tls_session_secret_cb, void *arg);
      |     ~~~~~~~~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~~~~~~~~~~

Signed-off-by: orbea <orbea@riseup.net>

Merge branch 'openssl_cleanup_part2_v2' into 'main'

Require OpenSSL >= 1.1.1 or LibreSSL >= 3.7

See merge request tpo/core/tor!885

Merge branch 'openssl_cleanup_part1' into 'main'

Remove support for clients < 0.2.3.17-beta

Closes #41031

See merge request tpo/core/tor!883

Avoid crash on failure to read FamilyKeyDir

Previously we could try to iterate over `files`
even if it were NULL.

Fixes bug #41043; bugfix on 0.4.9.2-alpha.

Warn when OpenSSL is older than 3.0

Running with an unsupported version of openssl is not IMO
a very good idea.

changes file for new *ssl version requirements.

Remove code based on OPENSSL_VERSION_NUMBER

(Except for some code in aes_openssl.c, which has potential to conflict
with CGO-related branches.)