Merge branch 'maint-0.3.5' into maint-0.4.5

shellcheck: Make it happy on couple scripts

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

Fix Windows build.

While trying to resolve our CI issues, the Windows build broke with an
unused function error:

   src/test/test_switch_id.c:37:1: error: ‘unprivileged_port_range_start’
   defined but not used [-Werror=unused-function]

We solve this by moving the `#if !defined(_WIN32)` test above the
`unprivileged_port_range_start()` function defintion such that it is
included in its body.

This is an unreviewed commit.

See: tor#40275

Merge branch 'maint-0.3.5' into maint-0.4.5

changes: Add file for ticket 26299

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 26299

Signed-off-by: David Goulet <dgoulet@torproject.org>

makefile: Add a reproducible dist make job

Signed-off-by: David Goulet <dgoulet@torproject.org>

makefile: Add a reproducible dist make job

Signed-off-by: David Goulet <dgoulet@torproject.org>

release: Patches to make tarball reproducible

Closes #26299

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Typo in file, wrong version was used

Signed-off-by: David Goulet <dgoulet@torproject.org>

release: Patches to make tarball reproducible

Closes #26299

Signed-off-by: David Goulet <dgoulet@torproject.org>

Fix compilation on systems with older compilers.

This patch fixes a build error with GCC 7.x which doesn't seem to accept
const int's as constants in macro initialization.

See: tpo/core/tor#40410

Merge branch 'maint-0.3.5' into maint-0.4.5

version: Missing version update in couple files

Signed-off-by: David Goulet <dgoulet@torproject.org>

version: Missing version update in couple files

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

ci: Missing source dir when parsing configure.ac version

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

version: Bump to 0.4.5.11-dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

version: Bump to 0.3.5.17-dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

version: Bump to 0.4.5.11

Signed-off-by: David Goulet <dgoulet@torproject.org>

version: Bump to 0.3.5.17

Signed-off-by: David Goulet <dgoulet@torproject.org>

ci: Exclude HSv2 Stem tests

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

fallbackdir: Regenerate the list for October 2021

Closes #40493

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-gitlab/mr/338' into maint-0.4.5

Merge branch 'maint-0.3.5' into maint-0.4.5

Announce URL to bridge status page when starting Tor as a bridge relay.

This patch makes Tor announce the relay specific bridge status page URL
when Tor is starting up before bootstrap occours.

See: tor#30477

Merge branch 'maint-0.3.5' into maint-0.4.5

Remove unused function: dns_randfn_() in dns.c.

This patch unbreaks the current build after tor!369 landed.

See: https://bugs.torproject.org/tpo/core/tor/40371

Merge remote-tracking branch 'tor-gitlab/mr/369' into maint-0.3.5

Merge branch 'maint-0.3.5' into maint-0.4.5

hs: Improve warning for bad service version

Now that we don't have version 2, it gives us:

  [warn] HiddenServiceVersion must be between 3 and 3, not 2.

This commit changes it to:

  [warn] HiddenServiceVersion must be 3, not 2.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 40476

Closes #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Don't run HSv2 Chutney test networks

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Fix unit tests after disabling version 2

Some tests were removed because they were testing something not usable
anymore.

Some tests remains to make sure that things are indeed disabled.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Improve warning for bad service version

Now that we don't have version 2, it gives us:

  [warn] HiddenServiceVersion must be between 3 and 3, not 2.

This commit changes it to:

  [warn] HiddenServiceVersion must be 3, not 2.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

changes: Add file for ticket 40476

Closes #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Don't run HSv2 Chutney test networks

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Fix unit tests after disabling version 2

Some tests were removed because they were testing something not usable
anymore.

Some tests remains to make sure that things are indeed disabled.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 HSPOST and HSFETCH command

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 directory

Relay do not accept both stores and lookups of version 2 descriptor.
This effectively disable version 2 HSDir supports for relays.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 introduction point

Upon receiving a v2 introduction request, the relay will close the
circuit and send back a tor protocol error.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 service

The minimum service version is raised from 2 to 3 which effectively
disable loading or creating an onion service v2.

As for ADD_ONION, for version 2, a 551 error is returned:

  "551 Failed to add Onion Service"

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable SOCKS connection for v2 addresses

This effectively turns off the ability of tor to use HSv2 as a client by
invalidating the v2 onion hostname passed through a SOCKS request.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-gitlab/mr/392' into maint-0.4.5

Merge branch 'tor-gitlab/mr/393' into maint-0.4.5

Merge branch 'tor-gitlab/mr/420' into maint-0.4.5

hs-v2: Only log once the connection warning to v2

Closes #40474

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 HSPOST and HSFETCH command

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 directory

Relay do not accept both stores and lookups of version 2 descriptor.
This effectively disable version 2 HSDir supports for relays.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 introduction point

Upon receiving a v2 introduction request, the relay will close the
circuit and send back a tor protocol error.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable version 2 service

The minimum service version is raised from 2 to 3 which effectively
disable loading or creating an onion service v2.

As for ADD_ONION, for version 2, a 551 error is returned:

  "551 Failed to add Onion Service"

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Disable SOCKS connection for v2 addresses

This effectively turns off the ability of tor to use HSv2 as a client by
invalidating the v2 onion hostname passed through a SOCKS request.

Part of #40476

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

Only check for bindable ports if we are unsure if it will fail.

We currently assume that the only way for Tor to listen on ports in the
privileged port range (1 to 1023), on Linux, is if we are granted the
NET_BIND_SERVICE capability. Today on Linux, it's possible to specify
the beginning of the unprivileged port range using a sysctl
configuration option. Docker (and thus the CI service Tor uses) recently
changed this sysctl value to 0, which causes our tests to fail as they
assume that we should NOT be able to bind to a privileged port *without*
the NET_BIND_SERVICE capability.

In this patch, we read the value of the sysctl value via the /proc/sys/
filesystem iff it's present, otherwise we assume the default
unprivileged port range begins at port 1024.

See: tor#40275

Use Debian bullseye for our hardened build.

Force amd64 for CI builds.

dir: Do not flag non-running failing HSDir

When a directory request fails, we flag the relay as non Running so we
don't use it anymore.

This can be problematic with onion services because there are cases
where a tor instance could have a lot of services, ephemeral ones, and
keeps failing to upload descriptors, let say due to a bad network, and
thus flag a lot of nodes as non Running which then in turn can not be
used for circuit building.

This commit makes it that we never flag nodes as non Running on a onion
service directory request (upload or fetch) failure as to keep the
hashring intact and not affect other parts of tor.

Fortunately, the onion service hashring is _not_ selected by looking at
the Running flag but since we do a 3-hop circuit to the HSDir, other
services on the same instance can influence each other by removing nodes
from the consensus for path selection.

This was made apparent with a small network that ran out of nodes to
used due to rapid succession of onion services uploading and failing.
See #40434 for details.

Fixes #40434

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

Bump version to -dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

Bump version to -dev

Signed-off-by: David Goulet <dgoulet@torproject.org>

Always teardown capture of logs in CAPTURE().

This will hopefully solve an issue where our gmtime related tests are
failing on 32-bit builds.

Merge branch 'maint-0.3.5' into maint-0.4.5

Use debian:buster instead of debian:stable for now.

Disable message checking for some 32-bit tests about timegm failure.

Since we merged 40383, we don't expect these to give the same
warning on every platform.

Make the version 0.4.5.10, not 0.4.5.10-dev.

Merge branch 'maint-0.3.5' into maint-0.4.5

"ours" to avoid version bump

Make the version 0.3.6.16, not 0.3.6.16-dev.

Merge branch 'maint-0.3.5' into maint-0.4.5

Update version to 0.3.5.16

Signed-off-by: David Goulet <dgoulet@torproject.org>

Update version to 0.4.5.10

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

Update GeoIP files to match IPFire location DB as per 2021/08/12.

Merge branch 'maint-0.3.5' into maint-0.4.5

Merge remote-tracking branch 'tor-gitlab/mr/417' into maint-0.3.5

Merge branch 'maint-0.3.5' into maint-0.4.5

Disable ed25519-donna's batch verification.

Fixes bug 40078.

As reported by hdevalence our batch verification logic can cause an assert
crash.

The assert happens because when the batch verification of ed25519-donna fails,
the code in `ed25519_checksig_batch()` falls back to doing a single
verification for each signature.

The crash occurs because batch verification failed, but then all signatures
individually verified just fine.

That's because batch verification and single verification use a different
equation which means that there are sigs that can pass single verification
but fail batch verification.

Fixing this would require modding ed25519-donna which is not in scope for
this ticket, and will be soon deprecated in favor of arti and
ed25519-dalek, so my branch instead removes batch verification.

fallbackdir: Regenerate list

New list for all stable releases.

Closes #40447

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.5' into maint-0.4.5

relay: Reduce streaming compression ratio from HIGH to LOW

Fixes #40301

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Reduce streaming compression ratio from HIGH to LOW

Fixes #40301

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-gitlab/mr/409' into maint-0.4.5

Merge branch 'mr/395' into maint-0.4.5

Use native timegm when available.

Continue having a tor_gmtime_impl() unit test so that we can detect
any problems in our replacement function; add a new test function to
make sure that gmtime<->timegm are a round-trip on now-ish times.

This is a fix for bug #40383, wherein we ran into trouble because
tor_timegm() does not believe that time_t should include a count of
leap seconds, but FreeBSD's gmtime believes that it should.  This
disagreement meant that for a certain amount of time each day,
instead of calculating the most recent midnight, our voting-schedule
functions would calculate the second-most-recent midnight, and lead
to an assertion failure.

I am calling this a bugfix on 0.2.0.3-alpha when we first started
calculating our voting schedule in this way.

Suppress a clang 12 warning about "suspicious concatenation".

My clang doesn't like it when we write code like this:

    char *list[] = {
       "abc",
       "def",
       "ghi"
       "jkl"
    }

It wonders whether we meant to put a comma between "ghi" and "jkl"
or not, and gives a warning.

To suppress this warning (since in this case, we did mean to omit
the comma), we just wrap the two strings in parentheses.

Closes #40426; bugfix on 0.4.0.4-rc.

Missing changes file for #40409

Suppress strict-prototypes warning on NSS pk11pub.h header

We already did this in a couple of places, but there are more that
we didn't get.  This is necessary for systems with versions of
NSS that don't do their prototypes properly.

Fixes #40409; bugfix on 0.3.5.1-alpha.

Enable deterministic RNG for address set tests.

This patch enables the deterministic RNG for address set tests,
including the tests which uses address set indirectly via the nodelist
API.

This should prevent random test failures in the highly unlikely case of
a false positive which was seen in tor#40419.

See: tpo/core/tor#40419.

Bump to 0.4.5.9-dev

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.3.5' into maint-0.4.4

"ours" to avoid version bump.

Bump to 0.3.5.15-dev

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.3.5' into maint-0.4.4

Fix TROVE-2021-006: Out-of-bounds read on v3 desc parsing

Merge branch 'maint-0.4.4' into maint-0.4.5

Resolve remaining merge conflicts in relay.c

(My bad!)