Revert "Change the sandbox behavior on all failed opens() to EACCES"

This reverts commit 9a06282546418b2e9d21559d4853bcf124b953f4.

It appears that I misunderstood how the seccomp2 filter rules
interact.  It appears that `SCMP_ACT_ERRNO()` always takes
precedence over `SCMP_ACT_ALLOW()` -- I had thought instead that
earlier rules would override later ones.  But this change caused bug
25115 (not in any released Tor).

Merge remote-tracking branch 'dgoulet/bug24469_033_01'

Merge branch 'maint-0.3.2'

Merge remote-tracking branch 'dgoulet/bug24975_032_01' into maint-0.3.2

Merge remote-tracking branch 'dgoulet/ticket24902_029_05'

channel_tls_get_remote_addr_method now returns real_addr.

The accurate address of a connection is real_addr, not the addr member.
channel_tls_get_remote_addr_method() now returns real_addr instead.

Fixes #24952; bugfix on 707c1e2 in 0.2.4.11-alpha.

Signed-off-by: Fernando Fernandez Mancera <ffmancera@riseup.net>

circ: Don't cannibalize a circuit if the guard state is unusable

Tor preemptiely builds circuits and they can be cannibalized later in their
lifetime. A Guard node can become unusable (from our guard state) but we can
still have circuits using that node opened. It is important to not pick those
circuits for any usage through the cannibalization process.

Fixes #24469

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'public/bug16106_02_nm'

Merge branch 'bug23954_squashed'

Use thread-safe types to store the LOG_PROTOCOL_WARN severity

Fixes a race condition; resolves 23954.

Merge branch 'maint-0.3.2'

"ours" merge to avoid backport of #25105

Merge branch 'bug25105_032' into maint-0.3.2

Merge branch 'bug25008'

ns: Add a before and after consensus has changed notification

In 0.3.2.1-alpha, we've added notify_networkstatus_changed() in order to have
a way to notify other subsystems that the consensus just changed. The old and
new consensus are passed to it.

Before this patch, this was done _before_ the new consensus was set globally
(thus NOT accessible by getting the latest consensus). The scheduler
notification was assuming that it was set and select_scheduler() is looking at
the latest consensus to get the parameters it might needs. This was very wrong
because at that point it is still the old consensus set globally.

This commit changes the notify_networkstatus_changed() to be the "before"
function and adds an "after" notification from which the scheduler subsystem
is notified.

Fixes #24975

Look at the correct protocol for supports_v3_rendezvous_point

Fixes bug 25105; bugfix on 0.3.2.1-alpha.

(This is a backport of bbf2d9cf6bb97c3e15ada58 for 0.3.2.)

Fix a failing unit test.

When we stopped looking at the "protocols" variable directly, we
broke the hs_service/build_update_descriptors test, since it didn't
actually update any of the flags.

The fix here is to call summarize_protover_flags() from that test,
and to expose summarize_protover_flags() as "STATIC" from
routerparse.c.

Look at the correct protocol for supports_v3_rendezvous_point

Fixes bug 25105; bugfix on 0.3.2.1-alpha.

Revert "ns: Call notify_networkstatus_changed() after the new consensus is set globally"

This reverts commit 3a247ca92a06c864a2cb634fbe2bc23cf48fb977.

Document remaining cases for protocol support

For each support flag, document which subprotocol version it requires.

Merge branch 'maint-0.3.2'

Merge remote-tracking branch 'dgoulet/bug24975_032_01' into maint-0.3.2

Merge branch 'maint-0.3.2'

hs-v3: Remove a BUG() when storing a descriptor in the client cache

It is possible in normal circumstances that  a client fetches a descriptor
that has a lower revision counter than the one in its cache. This can happen
due to HSDir desync.

Fixes #24976

Signed-off-by: David Goulet <dgoulet@torproject.org>

ns: Call notify_networkstatus_changed() after the new consensus is set globally

In 0.3.2.1-alpha, we've added this function in order to have a way to notify
other subsystems that the consensus just changed. The old consensus and the
new one are passed to it.

Before this patch, this was done _before_ the new consensus was set globally
(thus NOT accessible by getting the latest consensus). The scheduler
notification was assuming that it was set and select_scheduler() is looking at
the latest consensus to get the parameters it might needs. This was very wrong
because at that point it is still the old consensus set globally.

With this commit, notify_networkstatus_changed() has been moved _after_ the
new consensus is set globally. The main obvious reasons is to fix the bug
described above and in #24975. The other reason is that this notify function
doesn't return anything which could be allowing the possibility of refusing to
set the new consensus on error. In other words, the new consensus is set right
after the notification whatever happens.

It does no harm or change in behavior to set the new consensus first and then
notify the subsystems. The two functions currently used are for the control
port using the old and new consensus and sending the diff. The second is the
scheduler that needs the new consensus to be set globally before being called.

Of course, the function has been documented accordinly to clearly state it is
done _after_ the new consensus is set.

Fixes #24975

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

But in most Earth cultures, there are 60s in a minute.

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

add a rate-limit.

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'bug24927'

Merge remote-tracking branch 'public/ticket24849_032'

Merge remote-tracking branch 'dgoulet/ticket24902_029_05'

test: Add unit tests for overflows and underflows in cc_stats_refill_bucket

Closes #25094.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Make sure cc_stats_refill_bucket can't overflow while calculating

Debug log the elapsed time in cc_stats_refill_bucket

Part of #25094.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.2'

test: Remove a redundant round from test_dos_bucket_refill

This round is left over from the tenths of a second code.

Part of #25094.

remove a redundant semicolon

Merge branch 'ticket24902_029_05' into ticket24902_033_02

dos: Add changes file for ticket 24902

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Make circuit rate limit per second, not tenths anymore

Because this touches too many commits at once, it is made into one single
commit.

Remove the use of "tenths" for the circuit rate to simplify things. We can
only refill the buckets at best once every second because of the use of
approx_time() and our token system is set to be 1 token = 1 circuit so make
the rate a flat integer of circuit per second.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Man page entry for DoS mitigation

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add unit tests for the DoS subsystem

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Clear connection tracked flag if geoip entry is removed

Imagine this scenario. We had 10 connections over the 24h lifetime of a geoip
cache entry. The lifetime of the entry has been reached so it is about to get
freed but 2 connections remain for it. After the free, a third connection
comes in thus making us create a new geoip entry for that address matching the
2 previous ones that are still alive. If they end up being closed, we'll have
a concurrent count desynch from what the reality is.

To mitigate this probably very rare scenario in practice, when we free a geoip
entry and it has a concurrent count above 0, we'll go over all connections
matching the address and clear out the tracked flag. So once they are closed,
we don't try to decrement the count.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Add a heartbeat log

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Add the DoSRefuseSingleHopClientRendezvous option

This option refuses any ESTABLISH_RENDEZVOUS cell arriving from a client
connection. Its default value is "auto" for which we can turn it on or off
with a consensus parameter. Default value is 0.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Add the connection DoS mitigation subsystem

Defend against an address that has reached the concurrent connection count
threshold.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Apply defense for circuit creation DoS

If the client address was detected as malicious, apply a defense which is at
this commit to return a DESTROY cell.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Detect circuit creation denial of service

Add a function that notifies the DoS subsystem that a new CREATE cell has
arrived. The statistics are updated accordingly and the IP address can also be
marked as malicious if it is above threshold.

At this commit, no defense is applied, just detection with a circuit creation
token bucket system.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Track new and closed OR client connections

Implement a basic connection tracking that counts the number of concurrent
connections when they open and close.

This commit also adds the circuit creation mitigation data structure that will
be needed at later commit to keep track of the circuit rate.

Signed-off-by: David Goulet <dgoulet@torproject.org>

geoip: Remember client stats if DoS mitigation is enabled

Make the geoip cache track client address if the DoS subsystem is enabled.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dos: Initial code of Denial of Service mitigation

This commit introduces the src/or/dos.{c|h} files that contains the code for
the Denial of Service mitigation subsystem. It currently contains basic
functions to initialize and free the subsystem. They are used at this commit.

The torrc options and consensus parameters are defined at this commit and
getters are implemented.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Make more notes about important stuff in ReleasingTor.md

ReleasingTor.md: check for recommendation, listing on dl page

Closes ticket 23118.

Improve log when unable to add sigs to pending consensus

Closes ticket 24849.

When a tor_cert_T check fails, log the reason why.

Diagnostic attempt for 24972.

Remove a needless (always-true) check.

Also add an assertion and rename a variable.

Closes ticekt 24927.

If out-of-disk when saving a consensus cache entry, don't BUG.

Just warn instead.

Fixes bug 24859.

Change the sandbox behavior on all failed opens() to EACCES

Previously, most disallowed open(O_RDONLY) attempts would EACCES,
but others would fail with a crash.

geoip: Add a lookup function for client map entry

The upcoming DoS mitigation subsytem needs to keep information on a per-IP
basis which is also what the geoip clientmap does.

For another subsystem to access that clientmap, this commit adds a lookup
function that returns the entry. For this, the clientmap_entry_t had to be
moved to the header file.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'ahf-oniongit/bugs/25026'

Bump version to 0.3.3.1-alpha-dev

Reflow changelog

We do not put a colon here.

bump version to 0.3.3.1-alpha

Proofreading step by seborn (thx)

finish writing the blurb

More editing on the ChangeLog

Update HiddenServiceVersion man-page entry to only accept either 2 or 3.

This patch updates the HiddenServiceVersion man-page entry to only
accept either 2 or 3 as argument and not a list of multiple versions.

See: https://bugs.torproject.org/25026

spellcheck the changelog

re-sort and re-flow the changelog

Light changelog relabeling and editing

Start on a changelog for 0.3.1.1-alpha

Remove changes files that also appeared in 0.3.2.9

Always look at the subprotocol versions summary flags

Previously, we wouldn't do this when running with a routerinfo_t in
some cases, leading to many needless calls to the protover module.

This change also cleans up the code in nodelist.c a bit.

Fixes bug 25008; bugfix on 0.2.9.4-alpha.

Also cache the protover summary in the routerinfo_t, if we're using that

Extract code to summarize protocol versions into new function

This will let us put this summary into routerinfo_t too.

No behavior change.

Extract protover summary flags into a new structure

This will let us use them on routerinfo_t as well as on
routerstatus_t, and save some time on relays.

No behavioral changes here.

Merge branch 'maint-0.3.2'

Fix a memory leak in build_unopened_fourhop

This is a unit-test-only leak, but let's fix it anyway so it doesn't
hide real bugs.

Bug not in any released version of Tor.

Fix a memory leak in scheduler/loop_kist

Fixes bug 25005.

Add missing static keywords

crypto_openssl_header_version_str and crypto_openssl_version_str in
crypto_openssl_mgt.c should be static.

openssl_mutexes code belongs in openssl_mgt.c

add a missing "compat_openssl.h"

perhaps this was the missing include?

Add a missing include for openssl 1.0.2

Merge remote-tracking branch 'mikeperry/bug24946'

Merge remote-tracking branch 'asn/bug24896'

Merge remote-tracking branch 'ffmancera/bug24658-openssl'

Add onion service activity information to our heartbeat logs.

Move the openssl namespace back into .c files.

As we're trying not to have all the other modules in Tor, we moved the openssl
namespace includes back into crypto.c and crypto_openssl_mgt.c files.

Follows #24658.

Signed-off-by: Fernando Fernandez Mancera <ffmancera@riseup.net>

Bug 24946: Fix a warning message caused by a missed purpose check.

Also fix three other checks (found by inspection of all
CIRCUIT_PURPOSE_C_GENERAL occurrences).

oxford comma for-the-win

Add a "falls through" comment to make gcc happy.

Merge remote-tracking branch 'mikeperry/bug23101-mergeready-squashed'

Bug 23101: Pre-build HS-specific circuits (instead of general).

Prebuilt circs are 4 hops, since only server side HSDIR and intro circs
are 3 hops, and it is OK if those sometimes take longer to build.

Add new circuit purposes for hsdir activity.

This lets us control their path len and usage.

Implement layer 2 and layer 3 guard pinning via torrc.

Block circuit canibalization when HSRendezvousMiddleNodes is active.
Also make it apply to all HS circuits, not just rends.