relay: Overload state on DNS timeout is now X% over Y secs

With this commit, we will only report a general overload state if we've
seen more than X% of DNS timeout errors over Y seconds. Previous
behavior was to report when a single timeout occured which is really too
small of a threshold.

The value X is a consensus parameters called
"overload_dns_timeout_scale_percent" which is a scaled percentage
(factor of 1000) so we can represent decimal points for X like 0.5% for
instance. Its default is 1000 which ends up being 1%.

The value Y is a consensus parameters called
"overload_dns_timeout_period_secs" which is the time period for which
will gather DNS errors and once over, we assess if that X% has been
reached ultimately triggering a general overload signal.

Closes #40491

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Fix merge conflicts after merging forward 40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

hs: Improve warning for bad service version

Now that we don't have version 2, it gives us:

  [warn] HiddenServiceVersion must be between 3 and 3, not 2.

This commit changes it to:

  [warn] HiddenServiceVersion must be 3, not 2.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 40476

Closes #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Don't run HSv2 Chutney test networks

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Fix unit tests after disabling version 2

Some tests were removed because they were testing something not usable
anymore.

Some tests remains to make sure that things are indeed disabled.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Improve warning for bad service version

Now that we don't have version 2, it gives us:

  [warn] HiddenServiceVersion must be between 3 and 3, not 2.

This commit changes it to:

  [warn] HiddenServiceVersion must be 3, not 2.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 40476

Closes #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Don't run HSv2 Chutney test networks

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Fix unit tests after disabling version 2

Some tests were removed because they were testing something not usable
anymore.

Some tests remains to make sure that things are indeed disabled.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 HSPOST and HSFETCH command

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 directory

Relay do not accept both stores and lookups of version 2 descriptor.
This effectively disable version 2 HSDir supports for relays.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket40476_045_01' into ticket40476_046_01

hs: Improve warning for bad service version

Now that we don't have version 2, it gives us:

  [warn] HiddenServiceVersion must be between 3 and 3, not 2.

This commit changes it to:

  [warn] HiddenServiceVersion must be 3, not 2.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 40476

Closes #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Don't run HSv2 Chutney test networks

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Fix unit tests after disabling version 2

Some tests were removed because they were testing something not usable
anymore.

Some tests remains to make sure that things are indeed disabled.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 HSPOST and HSFETCH command

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 directory

Relay do not accept both stores and lookups of version 2 descriptor.
This effectively disable version 2 HSDir supports for relays.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 introduction point

Upon receiving a v2 introduction request, the relay will close the
circuit and send back a tor protocol error.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 service

The minimum service version is raised from 2 to 3 which effectively
disable loading or creating an onion service v2.

As for ADD_ONION, for version 2, a 551 error is returned:

  "551 Failed to add Onion Service"

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable SOCKS connection for v2 addresses

This effectively turns off the ability of tor to use HSv2 as a client by
invalidating the v2 onion hostname passed through a SOCKS request.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'tor-gitlab/mr/392' into maint-0.4.5

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'tor-gitlab/mr/393' into maint-0.4.5

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'tor-gitlab/mr/420' into maint-0.4.5

Merge branch 'maint-0.4.5' into maint-0.4.6

hs-v2: Only log once the connection warning to v2

Closes #40474

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Only log once the connection warning to v2

Closes #40474

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 HSPOST and HSFETCH command

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 directory

Relay do not accept both stores and lookups of version 2 descriptor.
This effectively disable version 2 HSDir supports for relays.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 introduction point

Upon receiving a v2 introduction request, the relay will close the
circuit and send back a tor protocol error.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 service

The minimum service version is raised from 2 to 3 which effectively
disable loading or creating an onion service v2.

As for ADD_ONION, for version 2, a 551 error is returned:

  "551 Failed to add Onion Service"

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable SOCKS connection for v2 addresses

This effectively turns off the ability of tor to use HSv2 as a client by
invalidating the v2 onion hostname passed through a SOCKS request.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Only check for bindable ports if we are unsure if it will fail.

We currently assume that the only way for Tor to listen on ports in the
privileged port range (1 to 1023), on Linux, is if we are granted the
NET_BIND_SERVICE capability. Today on Linux, it's possible to specify
the beginning of the unprivileged port range using a sysctl
configuration option. Docker (and thus the CI service Tor uses) recently
changed this sysctl value to 0, which causes our tests to fail as they
assume that we should NOT be able to bind to a privileged port *without*
the NET_BIND_SERVICE capability.

In this patch, we read the value of the sysctl value via the /proc/sys/
filesystem iff it's present, otherwise we assume the default
unprivileged port range begins at port 1024.

See: tor#40275

Use Debian bullseye for our hardened build.

Force amd64 for CI builds.

dir: Do not flag non-running failing HSDir

When a directory request fails, we flag the relay as non Running so we
don't use it anymore.

This can be problematic with onion services because there are cases
where a tor instance could have a lot of services, ephemeral ones, and
keeps failing to upload descriptors, let say due to a bad network, and
thus flag a lot of nodes as non Running which then in turn can not be
used for circuit building.

This commit makes it that we never flag nodes as non Running on a onion
service directory request (upload or fetch) failure as to keep the
hashring intact and not affect other parts of tor.

Fortunately, the onion service hashring is _not_ selected by looking at
the Running flag but since we do a 3-hop circuit to the HSDir, other
services on the same instance can influence each other by removing nodes
from the consensus for path selection.

This was made apparent with a small network that ran out of nodes to
used due to rapid succession of onion services uploading and failing.
See #40434 for details.

Fixes #40434

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.6

Bump version to -dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

Bump version to -dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

Bump version to -dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.6

Always teardown capture of logs in CAPTURE().

This will hopefully solve an issue where our gmtime related tests are
failing on 32-bit builds.

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Use debian:buster instead of debian:stable for now.

Merge branch 'maint-0.4.5' into maint-0.4.6

Disable message checking for some 32-bit tests about timegm failure.

Since we merged 40383, we don't expect these to give the same
warning on every platform.

Make the version 0.4.6.7, not 0.4.6.7-dev.

Merge branch 'maint-0.4.5' into maint-0.4.6

"ours" to avoid version bump

Make the version 0.4.5.10, not 0.4.5.10-dev.

Merge branch 'maint-0.3.5' into maint-0.4.5

"ours" to avoid version bump

Make the version 0.3.6.16, not 0.3.6.16-dev.

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Update version to 0.3.5.16

Signed-off-by: David Goulet <dgoulet@torproject.org>

Update version to 0.4.5.10

Signed-off-by: David Goulet <dgoulet@torproject.org>

Update version to 0.4.6.7

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Update GeoIP files to match IPFire location DB as per 2021/08/12.

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Merge remote-tracking branch 'tor-gitlab/mr/417' into maint-0.3.5

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.3.5' into maint-0.4.5

Disable ed25519-donna's batch verification.

Fixes bug 40078.

As reported by hdevalence our batch verification logic can cause an assert
crash.

The assert happens because when the batch verification of ed25519-donna fails,
the code in `ed25519_checksig_batch()` falls back to doing a single
verification for each signature.

The crash occurs because batch verification failed, but then all signatures
individually verified just fine.

That's because batch verification and single verification use a different
equation which means that there are sigs that can pass single verification
but fail batch verification.

Fixing this would require modding ed25519-donna which is not in scope for
this ticket, and will be soon deprecated in favor of arti and
ed25519-dalek, so my branch instead removes batch verification.

Merge branch 'maint-0.4.5' into maint-0.4.6

fallbackdir: Regenerate list

New list for all stable releases.

Closes #40447

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

relay: Reduce streaming compression ratio from HIGH to LOW

Fixes #40301

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.5' into maint-0.4.6

relay: Reduce streaming compression ratio from HIGH to LOW

Fixes #40301

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-gitlab/mr/406' into maint-0.4.6

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge remote-tracking branch 'tor-gitlab/mr/409' into maint-0.4.5

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'mr/395' into maint-0.4.5

Use native timegm when available.

Continue having a tor_gmtime_impl() unit test so that we can detect
any problems in our replacement function; add a new test function to
make sure that gmtime<->timegm are a round-trip on now-ish times.

This is a fix for bug #40383, wherein we ran into trouble because
tor_timegm() does not believe that time_t should include a count of
leap seconds, but FreeBSD's gmtime believes that it should.  This
disagreement meant that for a certain amount of time each day,
instead of calculating the most recent midnight, our voting-schedule
functions would calculate the second-most-recent midnight, and lead
to an assertion failure.

I am calling this a bugfix on 0.2.0.3-alpha when we first started
calculating our voting schedule in this way.

Suppress a clang 12 warning about "suspicious concatenation".

My clang doesn't like it when we write code like this:

    char *list[] = {
       "abc",
       "def",
       "ghi"
       "jkl"
    }

It wonders whether we meant to put a comma between "ghi" and "jkl"
or not, and gives a warning.

To suppress this warning (since in this case, we did mean to omit
the comma), we just wrap the two strings in parentheses.

Closes #40426; bugfix on 0.4.0.4-rc.

Bump to 0.4.6.6-dev

Update version to 0.4.6.6.

Merge branch 'maint-0.4.5' into maint-0.4.6

Missing changes file for #40409

Merge branch 'maint-0.4.5' into maint-0.4.6

hs: Send back 0xF6 for a v2 onion address

Fixes #40421

Signed-off-by: David Goulet <dgoulet@torproject.org>

Suppress strict-prototypes warning on NSS pk11pub.h header

We already did this in a couple of places, but there are more that
we didn't get.  This is necessary for systems with versions of
NSS that don't do their prototypes properly.

Fixes #40409; bugfix on 0.3.5.1-alpha.

Merge branch 'maint-0.4.5' into maint-0.4.6

Enable deterministic RNG for address set tests.

This patch enables the deterministic RNG for address set tests,
including the tests which uses address set indirectly via the nodelist
API.

This should prevent random test failures in the highly unlikely case of
a false positive which was seen in tor#40419.

See: tpo/core/tor#40419.

Fix compilation on systems with older compilers.

This patch fixes a build error with GCC 7.x which doesn't seem to accept
const int's as constants in macro initialization.

See: tpo/core/tor#40410

Bump to 0.4.6.5-dev

Merge branch 'maint-0.4.5' into maint-0.4.6

"Ours" to avoid version bump.