Modernize our libfuzzer usage to close #40407

Additionally, remove lingering references to hsv2 fuzzers from the
fuzzing_include_am.py script.

Add a checklist to releasingtor.md

Copy 0.4.5.8 changelog into the main branch changelog.

Merge branch 'maint-0.4.6'

"ours" to avoid version bump.

Bump to 0.4.6.5

Merge branch 'maint-0.4.5' into maint-0.4.6

"ours" to avoid version bump.

Bump to 0.4.5.9.

Merge branch 'maint-0.4.4' into maint-0.4.5

"ours" to avoid version bump.

Bump to 0.4.4.9

Merge branch 'maint-0.3.5' into maint-0.4.4

Bump to 0.3.5.15.

Merge branch 'maint-0.4.6'

Merge branch 'bug40175_045' into maint-0.4.6

changes file for #40175

Merge branch 'maint-0.4.6'

Merge branch 'tor-gitlab/mr/393' into maint-0.4.6

copy 0.4.6.4-rc changelog forward

Merge branch 'maint-0.4.6'

"ours" to avoid version bump.

Bump to 0.4.6.4-rc-dev

Merge branch 'maint-0.4.6'

"ours" to avoid version bump.

Bump to 0.4.6.4-rc.

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.5' into maint-0.4.6

Stop using the "x$FOO" idiom in git-resquash.sh

The new version of shellcheck says that that this idiom is
unnecessary, and its presence here is making the shellcheck tests
fail.

No changes file needed, since this is not user-facing code.

clarify three comments

based on code-spelunking with nickm

Upgrade and rate-limit compression failure message.

Without this message getting logged at 'WARN', it's hard to
contextualize the messages we get about compression bombs, so this
message should fix #40175.

I'm rate-limiting this, however, since it _could_ get spammy if
somebody on the network starts acting up.  (Right now it should be
very quiet; I've asked Sebastian to check it, and he says that he
doesn't hit this message in practice.)

Closes #40175.

Merge branch 'tor-gitlab/mr/359'

Merge branch 'maint-0.4.6'

Merge branch 'tor-gitlab/mr/392' into maint-0.4.6

Prefer mmap()ed consensus files over cached_dir_t entries.

Cached_dir_t is a somewhat "legacy" kind of storage when used for
consensus documents, and it appears that there are cases when
changing our settings causes us to stop updating those entries.

This can cause trouble, as @arma found out in #40375, where he
changed his settings around, and consensus diff application got
messed up: consensus diffs were being _requested_ based on the
latest consensus, but were being (incorrectly) applied to a
consensus that was no longer the latest one.

This patch is a minimal fix for backporting purposes: it has Tor do
the same search when applying consensus diffs as we use to request
them.  This should be sufficient for correct behavior.

There's a similar case in GETINFO handling; I've fixed that too.

Fixes #40375; bugfix on 0.3.1.1-alpha.

Merge remote-tracking branch 'tor-gitlab/mr/388' into main

Merge remote-tracking branch 'tor-gitlab/mr/380' into main

Merge branch 'maint-0.3.5' into maint-0.4.4

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.4.6' into main

Remove the function `tor_tls_assert_renegotiation_unblocked`.

It was used nowhere outside its own unit tests, and it was causing
compilation issues with recent OpenSSL 3.0.0 alphas.

Closes ticket 40399.

Update scripts to use main instead of master.

When talking about the "master" Tor checkout, we now refer to it as "the
primary Tor repository". The "master" branch is instead called "main".

See: tpo/core/team#2.

Rewrite documentation on primary branch usage for Tor.git.

This patch is part of a series of patches where we try to change our
primary branch name of tor.git from master to main.

See: tpo/core/team#2

Fix the fencepost issue when we check stability_last_downrated

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.4.6'

Merge remote-tracking branch 'tor-gitlab/mr/387' into maint-0.4.5

Merge remote-tracking branch 'tor-gitlab/mr/387'

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.4.6'

Make SAVECONF keep only one backup and add sandbox rules for it. #40317

When seccomp sandbox is active, SAVECONF failed because it was not
able to save the backup files for torrc. This commit simplifies
the implementation of SAVECONF and sandbox by making it keep only
one backup of the configuration file.

conn: MetricsPort listener is a listener port

The connection type for the listener part was missing from the "is
connection a listener" function.

This lead to our periodic event that retries our listeners to keep
trying to bind() again on an already opened MetricsPort.

Closes #40370

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: We might be noting down an unknown DNS error type

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: One relay metrics was not using metrics_format_label()

This resulted in the labels not being surrounded by double quotes and
thus Prometheus not liking it.

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Need to surround label value with double quotes

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add TCP port exhaustion metrics

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add DNS metrics

Emit on the MetricsPort all the DNS statistics we have that is the total
number of queries seen and errors per record type.

Related to #40367

Signed-off-by: David Goulet <dgoulet@torproject.org>

dns: Gather DNS request statistics

We now keep track of all errors and total number of request seen. This
is so we can expose those values to the MetricsPort to help Exit
operators monitor the DNS requests and failures.

Related to #40367.

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add the global connection limit metrics

This emits two events (read and write) of the total number that the
global connection limit was reached.

Related to #40367

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add number of open and max sockets metrics

With this commit, a relay will emit metrics that give the total number
of sockets and total number of opened sockets.

Related to #40367

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add the onionskins processing metrics

With this commit, a relay now emits metrics event on the MetricsPort
related to how many onionskins were handled (processed or dropped) for
each handshake type.

Related to #40367

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Add the OOM invocation metrics

With this commit, a relay now emits metrics event on the MetricsPort
related to the OOM invocation for:

  - DNS cache
  - GeoIP database
  - Cell queues
  - HSDir caches

Everytime the OOM is invoked, the number of bytes is added to the
metrics counter for that specific type of invocation.

Related to #40367

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Code and objects to initialize metrics store

Signed-off-by: David Goulet <dgoulet@torproject.org>

relay: Groundwork for relay metrics support

The basic functions for the relay subsystem to expose metrics onto the
MetricsPort.

Part of #40367

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Add a reset store helper function

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Move helper function to lib/metrics

It is a common function that a lot of subsystem can use which is to
format a label so move it out of the HS subsystem into the more generic
metrics library.

Signed-off-by: David Goulet <dgoulet@torproject.org>

metrics: Print once the Promtheus comments

An entry can have multiple labels but only print once the comments at
the first one. This follows the Promtheus best practices.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Missing changes file for #40330

Make client heartbeat stats tied to the heartbeat period.

Patch from cypherpunks. Closes #40330.

Fix typo in comment for handle_control_redirectstream()

Merge branch 'maint-0.4.6'

Merge branch 'ticket40374_046' into maint-0.4.6

Merge branch 'maint-0.4.6'

"ours" to avoid version bump.

Bump to 0.4.6.3-rc-dev

Merge branch 'maint-0.4.5' into maint-0.4.6

"ours" to avoid version bump.

Update to 0.4.5.8-dev

copy changelog and releasenotes forward

Remove unused function: dns_randfn_() in dns.c.

This patch unbreaks the current build after tor!369 landed.

See: https://bugs.torproject.org/tpo/core/tor/40371

Merge remote-tracking branch 'tor-gitlab/mr/369'

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.4.6'

Merge branch 'ticket40382_045' into maint-0.4.5

Add a sandbox workaround for Glibc 2.33

This change permits the newfstatat() system call, and fixes issues
40382 (and 40381).

This isn't a free change.  From the commit:

    // Libc 2.33 uses this syscall to implement both fstat() and stat().
    //
    // The trouble is that to implement fstat(fd, &st), it calls:
    //     newfstatat(fs, "", &st, AT_EMPTY_PATH)
    // We can't detect this usage in particular, because "" is a pointer
    // we don't control.  And we can't just look for AT_EMPTY_PATH, since
    // AT_EMPTY_PATH only has effect when the path string is empty.
    //
    // So our only solution seems to be allowing all fstatat calls, which
    // means that an attacker can stat() anything on the filesystem. That's
    // not a great solution, but I can't find a better one.

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.3.5' into maint-0.4.4

Reindent a few lines to fix a GCC warning.

As of GCC 11.1.1, the compiler warns us about code like this:

     if (a)
         b;
         c;

and that's a good thing: we wouldn't want to "goto fail".  But we
had an instance if this in circuituse.c, which was making our
compilation sad.

Fixes bug 40380; bugfix on 0.3.0.1-alpha.

Merge branch 'maint-0.4.5' into maint-0.4.6

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.4' into maint-0.4.5

Merge branch 'maint-0.3.5' into maint-0.4.4

Update geoip files to match ipfire location db, 2021/05/07.

Merge branch 'maint-0.4.6'

"ours" merge to avoid version bump.

Bump to 0.4.6.3-rc

Merge branch 'maint-0.4.5' into maint-0.4.6

"ours" to avoid version bump.

Bump to 0.4.5.8.

Merge branch 'maint-0.4.6'

Merge branch 'tor-gitlab/mr/375' into maint-0.4.6

Merge branch 'maint-0.4.6'

Merge branch 'maint-0.4.5' into maint-0.4.6

Log warning when connecting to soon-to-be-deprecated v2 onions.

Add warning when trying to connect to deprecated v2 onions.

Prepare for #40373: Re-introduce parsing for v2 onion addresses.

Welcome back ONION_V2_HOSTNAME! :)