Merge branch 'pr1870_squashed'

Define and use TOR_ADDRPORT_BUF_LEN

practracker: Accept the connection buf refactor

Accept a few extra lines from the connection_buf_read_from_socket()
refactor.

Cleanup after 33131.

relay: Fix a comment typo in the selftest.c header

Merge remote-tracking branch 'tor-github/pr/1864/head'

practracker: Allow an extra line in tor_addr_parse_mask_ports()

We added a cast, and wrapped a line.

relay: Refactor can extend over IPv6 checks

Split "can extend over IPv6" and "has advertised IPv6 ORPort" into
separate functions. They currently have the same result, but this may
change in 33818 with ExtendAllowIPv6Addresses.

Part of 33817.

channel: Refactor matches target address function

Refactor channel_matches_target_addr_for_extend() to return a boolean
result.

Part of 33817.

relay: Refactor extend address validity function

Rename the function, and give it a boolean return value.

No behaviour change.

Part of 33817.

net: Make all address bytes functions take uint8_t *

Part of 33817.

Rename tor_addr_get_ipv6_bytes to tor_addr_copy_ipv6_bytes

This is an automated commit, generated by this command:

./scripts/maint/rename_c_identifier.py \
        tor_addr_get_ipv6_bytes tor_addr_copy_ipv6_bytes

changes: file for 33817

relay: Refactor choosing extend IPs

Flatten the logic in circuit_choose_ip_ap_for_extend().

Part of 33817.

relay: Add tests for choosing extend IPs

Part of 33817.

relay: Refactor circuit_open_connection_for_extend()

Refactor circuit_open_connection_for_extend(), splitting out the IP
address choice code into a new function.

Adds unit tests. No behaviour changes in tor.

Part of 33817.

relay: Add IP version tests for circuit extends

Add IPv4-only and IPv6-only tests for
circuit_open_connection_for_extend().

Part of 33817.

relay: Choose between IPv4 and IPv6 extends at random

When an EXTEND2 cell has an IPv4 and an IPv6 address, choose one of them
uniformly at random.

Part of 33817.

relay/circuitbuild: Refactor open connection for extend

Re-use the newly created extend_info to launch the connection in
circuit_open_connection_for_extend().

No behaviour change.

Part of 33817.

test/circuitbuild: Disable some tests when ALL_BUGS_ARE_FATAL

Some tests use IF_BUG_ONCE(), which is fatal when ALL_BUGS_ARE_FATAL,
after the fixes in 33917.

Also run "make autostyle" on these changes.

Part of 33817.

log/util_bug: Make IF_BUG_ONCE() support ALL_BUGS_ARE_FATAL

... and DISABLE_ASSERTS_IN_UNIT_TESTS.

Make all of tor's assertion macros support the ALL_BUGS_ARE_FATAL and
DISABLE_ASSERTS_IN_UNIT_TESTS debugging modes.

Implements these modes for IF_BUG_ONCE(). (It used to log a non-fatal
warning, regardless of the debugging mode.)

Fixes bug 33917; bugfix on 0.2.9.1-alpha.

relay/circuitbuild: Re-use IPv6 connections for circuits

Search for existing connections using the remote IPv4 and IPv6
addresses.

Part of 33817.

relay/circuitbuild: Report IPv6 addresses in a debug log

Part of 33817.

channel: Make channel_matches_target_addr_for_extend() static

It isn't used outside channel.c.

Part of 33817.

relay/circuitbuild: Consider IPv6-only extends valid

Allow extend cells with IPv6-only link specifiers.
Warn and fail if both IPv4 and IPv6 are invalid.

Also warn if the IPv4 or IPv6 addresses are unexpectedly internal,
but continue with the valid address.

Part of 33817.

test/circuitbuild: Show bad addresses in some logs

Disable SafeLogging for some extend tests, so we can check the actual
addresses.

Part of 33817.

relay: Log the address in circuit protocol warnings

Always log the address family in extend protocol warnings.

If SafeLogging is 0, also log the address and port.

Diagnostics for 33817.

net: Add fmt_addrport_ap() and fmt_addr_family()

Add fmt_addrport_ap(), a macro that takes a tor_addr_port_t, and uses
it to call fmt_addrport().

Add fmt_addr_family(), a function that returns a string constant
describing the address family.

Utility functions for 33817.

net: Remove an extra space in address.h

relay: Refactor address checks into a function

No behaviour change.

Part of 33817.

relay: Refactor address and port checks

tor_addr_port_is_valid_ap(ap, 0) checks if the address or port are
zero, exactly like the previous code.

Preparation for 33817.

core/or: Check extends for zero addresses and ports

Check for invalid zero IPv4 addresses and ports, when sending and
receiving extend cells.

Fixes bug 33900; bugfix on 0.2.4.8-alpha.

test/cell_formats: Expand the IPv6-only EXTEND2 test

Part of 33901.

core/or: Support IPv6 EXTEND2 cells

Allow clients and relays to send dual-stack and IPv6-only EXTEND2 cells.
Parse dual-stack and IPv6-only EXTEND2 cells on relays.

Relays do not make connections or extend circuits via IPv6: that's the
next step.

Closes ticket 33901.

Merge remote-tracking branch 'tor-github/pr/1868/head'

Run "make autostyle"

rand: Clarify the crypto_rand_uint() range

nodelist: Remove an outdated comment

Part of 33817.

channeltls: Clarify a relay impersonation defence

Clarify the comments in channel_tls_matches_target_method(), and make
it clear that the attack is a covert attack.

Merge remote-tracking branch 'onionk/inbufoverflow1-043' into ticket33131_044

Merge remote-tracking branch 'tor-github/pr/1862/head'

Merge branch 'maint-0.4.3'

channeltls: Stop truncating IPv6 in logs

Stop truncating IPv6 addresses and ports in channel and connection logs.

Fixes bug 33918; bugfix on 0.2.4.4-alpha.

test/channel: Fix a comment typo

Merge remote-tracking branch 'tor-github/pr/1860/head'

Run practracker regen

Lock-in improvements.
Accept some small function size increases.
Allow a small amount of extra file size increase.

core/or: Update file comment in connection_or.c

Fix a typo, and say "v3 (and later) handshake".

Comment-only change.

core/or: Accurately log remote relay IPv6 addresses

Log IPv6 addresses on connections where this relay is the responder.

Previously, responding relays would replace the remote IPv6 address with
the IPv4 address from the consensus.

(The port is replaced with the IPv6 ORPort from the consensus, we will
resolve this issue in 33898.)

Fixes bug 33899; bugfix on 0.3.1.1-alpha.

core/or: Allow IPv6 connections to be canonical

Consider IPv6 addresses when checking if a connection is canonical.

In 17604, relays assumed that a remote relay could consider an IPv6
connection canonical, but did not set the canonical flag on their side
of the connection.

Fixes bug 33899; bugfix on 0.3.1.1-alpha.

core/or: Remove unused function prototype

Remove the unused function prototype for connection_or_get_for_extend().

There is no function implementation.

Part of 33817.

Merge branch 'maint-0.4.3'

"ours" to avoid version bump.

bump to 0.4.3.4-rc-dev

copy 0.4.3.4-rc changelog forward.

Merge branch 'maint-0.4.3'

Merge branch 'bug33545_043_squashed' into maint-0.4.3

hs-v3: Change all-zeroes hard-assert to a BUG-and-err.

And also disallow all-zeroes keys from the filesystem; add a test for it too.

hs-v3: Don't allow registration of an all-zeroes client auth key.

The client auth protocol allows attacker-controlled x25519 private keys being
passed around, which allows an attacker to potentially trigger the all-zeroes
assert for client_auth_sk in hs_descriptor.c:decrypt_descriptor_cookie().

We fixed that by making sure that an all-zeroes client auth key will not be
used.

There are no guidelines for validating x25519 private keys, and the assert was
there as a sanity check for code flow issues (we don't want to enter that
function with an unitialized key if client auth is being used). To avoid such
crashes in the future, we also changed the assert to a BUG-and-err.

Fix typo in router_build_fresh_unsigned_routerinfo() comment

Merge remote-tracking branch 'tor-github/pr/1801/head'

Merge branch 'maint-0.4.3'

"ours" to avoid version bump

bump to 0.4.3.4-rc

Merge branch 'maint-0.4.3'

Add fsync to list of syscalls permitted by sandbox

(Our fix for 33087 requires this, I believe.)

Merge remote-tracking branch 'tor-github/pr/1723/head' into maint-0.4.3

Make sure that we free 'addr' at the end of a pair of addr tests

Fixes a couple of Coverity warnings about possible memory leaks.
Bug not in any released Tor.

hs-v3: Several fixes after #32542 review

asn: Accidentally left this commit out when merging #32542, so cherry-picking
it now.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.3'

"ours" merge, because we only want to remove check-best-practices
from check-local in 0.4.2 and 0.4.3.

Merge branch 'maint-0.4.2' into maint-0.4.3

Remove check-best-practices from check-local in maint-0.4.3.
(The check-local jobs are all on separate lines in 0.4.3.)

remove practracker from check-local (0.4.2 and 0.4.3 only)

practracker shouldn't be running in release or maint branches.

Merge branch 'maint-0.4.3'

"ours" merge, to avoid taking PR 1854, which reverts
"Prefer IPv6 by default"  for 0.4.3 only.

Merge branch 'pr1854_squashed' into maint-0.4.3

Squashed PR 1854, and fixed a minor typo (IPv4 -> IPv6).

client: Revert setting PreferIPv6 on by default

This change broke torsocks that by default is expecting an IPv4 for hostname
resolution because it can't ask tor for a specific IP version with the SOCKS5
extension.

PreferIPv6 made it that sometimes the IPv6 could be returned to torsocks that
was expecting an IPv4.

Torsocks is probably a very unique case because the runtime flow is that it
hijacks DNS resolution (ex: getaddrinfo()), gets an IP and then sends it back
for the connect() to happen.

The libc has DNS resolution functions that allows the caller to request a
specific INET family but torsocks can't tell tor to resolve the hostname only
to an IPv4 or IPv6 and thus by default fallsback to IPv4.

Reverting this change into 0.4.3.x series but we'll keep it in the 0.4.4.x
series in the hope that we add this SOCKS5 extension to tor for DNS resolution
and then change torsocks to use that.

Fixes #33804

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.3'

Merge branch 'maint-0.4.2' into maint-0.4.3

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.3.5' into maint-0.4.1

Merge remote-tracking branch 'tor-github/pr/1784' into maint-0.3.5

relay: Run practracker --regen

Lock in some file and function size improvements.

Accept some small file size and dependency increases.

Part of 33633.

relay: Run "make autostyle"

But only take the changes from the relay module.

Part of 33633.

test/circuitbuild: Add a test for onionskin_answer()

Part of 33633.

changes: file for 33633

relay/circuitbuild: Refactor circuit_extend()

Make the "else" case explicit at the end of the function.

Part of 33633.

test/circuitbuild: Add tests for circuit_extend()

Part of 33633.

core/or: Make some functions mockable

Preparation for testing circuit_extend().

Part of 33633.

channel: Rewrite the channel_get_for_extend() comments

Explain what the function does now.
Fix some typos.

Part of 33633.

test/circuitbuild: Add tests for open_connection_for_extend

Part of 33633.

circuitbuild: Make some functions mockable

Part of 33633.

test/circuitbuild: Add tests for extend_lspec_valid

Part of 33633.

test/circuitbuild: Make some tests fork

Since we're testing IF_BUG_ONCE(), we need to fork.

Part of 33633.

test/circuitbuild: Tests for adding ed25519 keys

Add tests for circuit_extend_add_ed25519_helper().

Part of 33633.

nodelist: Make some functions mockable

Part of 33633.

test/circuitbuild: Add a test for extend_state_valid

Part of 33633.

test/circuitbuid: Fix new_route_len_unhandled_exit

Make test_new_route_len_unhandled_exit more robust, by always tearing
down logs. (Rather than just tearing them down on success.)

test/circuitbuild: Refactor test case array

Avoid repeating test names.

Part of 33633.

relay: End circuitbuild logs with "."

Consistent logs make testing easier.

Part of 33633.

relay: Check for NULL arguments in circuitbuild

Part of 33633.

relay: Make circuitbuild functions STATIC

Allow the circuitbuild_relay functions to be accessed by the unit tests.

Part of 33633.

relay: Remove a redundant function return value

Part of 33633.

relay: Split out opening a connection for an extend

Part of 33633.

relay: Refactor some long lines from circuit_extend()

Part of 33633.

relay: Split link specifier checks from circuit_extend()

Part of 33633.