relay: Look at the omit IPv6 flag when publishing

In two instances we must look at this flag:

1. When we build the descriptor so the IPv6 is NOT added to the descriptor in
   case we judge that we need to omit the address but still publish.

2. When we are deciding if the descriptor is publishable. This flags tells us
   that the IPv6 was not found reachable but we should still publish.

Fixes #40279

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.4' into maint-0.4.5

Delete changes/40241_v2 as it breaks CI.

Unreviewed build fix. Discussed the cnage on IRC with Nick.

Merge branch 'maint-0.4.4' into maint-0.4.5

Fix CI build: practracker error in connection_edge.c, take two.

This was a bad copy and paste error from the previous commit which
generated a duplicated entry error from practracker.

Unreviewed build fix.

See: tor#40275.

Merge branch 'maint-0.4.4' into maint-0.4.5

Fix CI build: practracker error in connection_edge.c.

We solve this error by allowing the connection_exit_connect() function
to be 130 lines long.

Unreviewed build fix commit.

See: tor#40275.

Fix Windows build.

While trying to resolve our CI issues, the Windows build broke with an
unused function error:

   src/test/test_switch_id.c:37:1: error: ‘unprivileged_port_range_start’
   defined but not used [-Werror=unused-function]

We solve this by moving the `#if !defined(_WIN32)` test above the
`unprivileged_port_range_start()` function defintion such that it is
included in its body.

This is an unreviewed commit.

See: tor#40275

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'tor-gitlab/mr/292_squashed' into maint-0.4.4

Only check for bindable ports if we are unsure if it will fail.

We currently assume that the only way for Tor to listen on ports in the
privileged port range (1 to 1023), on Linux, is if we are granted the
NET_BIND_SERVICE capability. Today on Linux, it's possible to specify
the beginning of the unprivileged port range using a sysctl
configuration option. Docker (and thus the CI service Tor uses) recently
changed this sysctl value to 0, which causes our tests to fail as they
assume that we should NOT be able to bind to a privileged port *without*
the NET_BIND_SERVICE capability.

In this patch, we read the value of the sysctl value via the /proc/sys/
filesystem iff it's present, otherwise we assume the default
unprivileged port range begins at port 1024.

See: tor#40275

Merge branch 'maint-0.4.4' into maint-0.4.5

"ours" to avoid version bump.

Merge branch 'maint-0.4.3' into maint-0.4.4

"ours" to avoid version bump.

Merge branch 'maint-0.3.5' into maint-0.4.3

"ours" to avoid version bump.

bump to 0.4.4.7-dev

bump to 0.4.3.8-dev

Bump to 0.3.5.13-dev.

nodelist: Remove merge artefact

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

Merge branch 'ticket40269_035_01' into maint-0.3.5

Remove unused addr_port_set code

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

Merge branch 'ticket40270_035_01' into maint-0.3.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

node: Move reentry set to use a digestmap_t

Any lookup now will be certain and not probabilistic as the bloomfilter.

Closes #40269

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Send back CONNECTION_REFUSED on reentry

The TORPROTOCOL reason causes the client to close the circuit which is not
what we want because other valid streams might be on it.

Instead, CONNECTION_REFUSED will leave it open but will not allow more streams
to be attached to it. The client then open a new circuit to the destination.

Closes #40270

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

relay: Double the size of the relay reentry set

This is to minimize false positive and thus deny reentry to Exit connections
that were in reality not re-entering. Helps with overall UX.

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Follow consensus parameter for network reentry

Obey the "allow-network-reentry" consensus parameters in order to decide to
allow it or not at the Exit.

Closes #40268

Signed-off-by: David Goulet <dgoulet@torproject.org>

bump to 0.4.5.5-rc-dev

Merge branch 'tor-gitlab/mr/289' into maint-0.4.5

relay: Send back CONNECTION_REFUSED on reentry

The TORPROTOCOL reason causes the client to close the circuit which is not
what we want because other valid streams might be on it.

Instead, CONNECTION_REFUSED will leave it open but will not allow more streams
to be attached to it. The client then open a new circuit to the destination.

Closes #40270

Signed-off-by: David Goulet <dgoulet@torproject.org>

Remove unused addr_port_set code

Signed-off-by: David Goulet <dgoulet@torproject.org>

node: Move reentry set to use a digestmap_t

Any lookup now will be certain and not probabilistic as the bloomfilter.

Closes #40269

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Double the size of the relay reentry set

This is to minimize false positive and thus deny reentry to Exit connections
that were in reality not re-entering. Helps with overall UX.

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Follow consensus parameter for network reentry

Obey the "allow-network-reentry" consensus parameters in order to decide to
allow it or not at the Exit.

Closes #40268

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/285' into ticket2667_044_01

Merge branch 'tor-gitlab/mr/284' into ticket2667_043_01

test: Add test for exits blocking reentry to the network

Signed-off-by: David Goulet <dgoulet@torproject.org>

exit: Deny re-entry into the network

Exit relays now reject exit attempts to known relay addresses + ORPort and
also to authorities on the ORPort and DirPort.

Closes #2667

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add bloomfiter of relay address + {OR|Dir}Port

In order to deny re-entry in the network, we now keep a bloomfilter of relay
ORPort + address and authorities ORPort + address and DirPort + address
combinations.

So when an Exit stream is handled, we deny anything connecting back into the
network on the ORPorts for relays and on the ORPort+DirPort for the
authorities.

Related to #2667

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add test for exits blocking reentry to the network

Signed-off-by: David Goulet <dgoulet@torproject.org>

exit: Deny re-entry into the network

Exit relays now reject exit attempts to known relay addresses + ORPort and
also to authorities on the ORPort and DirPort.

Closes #2667

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add bloomfiter of relay address + {OR|Dir}Port

In order to deny re-entry in the network, we now keep a bloomfilter of relay
ORPort + address and authorities ORPort + address and DirPort + address
combinations.

So when an Exit stream is handled, we deny anything connecting back into the
network on the ORPorts for relays and on the ORPort+DirPort for the
authorities.

Related to #2667

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'tor-gitlab/mr/50' into maint-0.3.5

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

Merge branch 'tor-gitlab/mr/239' into maint-0.3.5

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

Merge branch 'tor-gitlab/mr/243' into maint-0.3.5

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

Merge branch 'tor-gitlab/mr/256' into maint-0.4.4

Merge branch 'tor-gitlab/mr/255' into maint-0.4.3

Merge branch 'tor-gitlab/mr/254' into maint-0.3.5

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

Merge remote-tracking branch 'tor-gitlab/mr/140' into maint-0.3.5

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

Merge remote-tracking branch 'tor-gitlab/mr/186' into maint-0.3.5

Bump to 0.4.5.5-rc

Merge branch 'maint-0.4.4' into maint-0.4.5

"ours" to avoid version bump.

Bump to 0.4.4.7

Merge branch 'maint-0.4.3' into maint-0.4.4

"ours" to avoid version bump.

Bump to 0.4.3.8.

Merge branch 'maint-0.3.5' into maint-0.4.3

"ours" to avoid version bump.

Bump to 0.3.5.13.

Merge branch 'mr_274_squashed' into maint-0.4.5

relay: Log if we can't find an address for configured ORPort

Everytime we try to discover an address we want to publish, emit a log notice
if we are unable to find it even though an ORPort was configured for it.

Because the function can be called quite often, we rate limit that notice to
every hour so it gets annoying just enough so the operator fixes that.

Related to #40254

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Don't trigger an address discovery without an ORPort

We would before do an address discovery and then a lookup in the cache if not
found which is now simplified by calling relay_find_addr_to_publish() directly
which does all those combined.

Furthermore, by doing so, we won't trigger an address discovery every minute
if we have no ORPort configured for the family.

Fixes #40254

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Simplify IPv6 discovery when building descriptor

Now that relay_find_addr_to_publish() checks if we actually have an ORPort, we
can simplify the descriptor building phase for IPv6.

This also avoid triggering an IPv6 discovery if the IPv4 can't be found in the
first place.

Related to #40254

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Skip address discovery if no ORPort is found

In other words, if we don't have an ORPort configured for a specific family
(IPv4/v6), we don't bother doing address discovery.

Related to #40254

Signed-off-by: David Goulet <dgoulet@torproject.org>

bump to 0.4.5.4-rc-dev

Bump to 0.4.5.4-rc

Merge branch 'mr/251' into maint-0.4.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

Merge branch 'maint-0.4.4' into maint-0.4.5

gitignore: don't ignore core directory

otherwise src/core is ignored.

Changes file for #40238.

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.4.3' into maint-0.4.4

Merge branch 'maint-0.3.5' into maint-0.4.3

build: Add "make lsp" command

Generates the compile_commands.json file using the "bear" application so the
ccls server can be more efficient with our code base.

Closes #40227

Signed-off-by: David Goulet <dgoulet@torproject.org>