Add a module comment to util_bug.h

Closes ticket 22824.

Merge branch 'maint-0.3.1'

Add a stack trace to the warning at issue with 23105.

With luck, this will help us diagnose 23105 and fix it.

I also added a stack trace to the warning right before it, since why
not.

Merge branch 'bug23361_032_01_squashed2'

prop224: Pick rendezvous point of protover HSRend=2

Version 3 hidden service needs rendezvous point that have the protocol version
HSRend >= 2 else the rendezvous cells are rejected.

Fixes #23361

Signed-off-by: David Goulet <dgoulet@torproject.org>

Better error on failure to load seccomp2 sandbox

There are two reasons this is likeliest to happen -- no kernel
support, and some bug in Tor.  We'll ask people to check the former
before they report. Closes 23090.

Merge remote-tracking branch 'dgoulet/bug23123_032_01'

Correctly describe which inputs would confuse the old BSD strtol

This fixes our changelog's description of 22789.

Make url-canonicalizer canonicalize correctly.

Fix an erroneous !

Resolve inconsistencies between buf refactor and HTTP connect

Merge branch 'http_tunnel_squashed'

Add a fuzzer for HTTP CONNECT

Add a manpage entry and changes file for for HTTPTunnelPort

Add stream isolation support for HTTP CONNECT tunnels

I'm doing this using the Proxy-Authorization: header to support
clients that understand it, and with a new tor-specific header that
makes more sense for our use.

Add support for HTTP Connect tunnels

Export http-command parsing functions.

Make preferred_chunk_size nonstatic, and add a prefix to it

Merge branch 'refactor_buffers_api_3'

Refactor buffer APIs to put a buf_t first.

By convention, a function that frobs a foo_t should be called
foo_frob, and it should have a foo_t * as its first argument.  But
for many of the buf_t functions, the buf_t was the final argument,
which is silly.

Repair wide lines from previous commit.

Repair buffer API so everything starts with buf_.

Our convention is that functions which manipulate a type T should be
named T_foo.  But the buffer functions were super old, and followed
all kinds of conventions.  Now they're uniform.

Here's the perl I used to do this:

\#!/usr/bin/perl -w -i -p

s/read_to_buf\(/buf_read_from_socket\(/;
s/flush_buf\(/buf_flush_to_socket\(/;
s/read_to_buf_tls\(/buf_read_from_tls\(/;
s/flush_buf_tls\(/buf_flush_to_tls\(/;
s/write_to_buf\(/buf_add\(/;
s/write_to_buf_compress\(/buf_add_compress\(/;
s/move_buf_to_buf\(/buf_move_to_buf\(/;
s/peek_from_buf\(/buf_peek\(/;
s/fetch_from_buf\(/buf_get_bytes\(/;
s/fetch_from_buf_line\(/buf_get_line\(/;
s/fetch_from_buf_line\(/buf_get_line\(/;
s/buf_remove_from_front\(/buf_drain\(/;
s/peek_buf_startswith\(/buf_peek_startswith\(/;
s/assert_buf_ok\(/buf_assert_ok\(/;

Move buffers.c and buffers_tls.c into src/common

These are no longer tor-specific, so they can be part of the
infrastructure.

Move the tls parts of buffers.c into buffers_tls.c

Make buffers.c independent of or.h

Also, put ext_or function in new module; it had accidentally gotten
into proto_socks.c

Make buf_pullup() expose the pulled-up data.

This lets us drop the testing-only function buf_get_first_chunk_data(),
and lets us implement proto_http and proto_socks without looking at
buf_t internals.

Replace buf->datalen usage in proto_*.c with buf_datalen() call.

This lets us remove BUFFERS_PRIVATE from two of the modules.

Move protocol-specific functions out of buffers.c

This commit does not change the implementation of any function: it
only moves code and adds new includes as necessary.  Part of #23149.

Not all invizbox people have the same TLD... :/

Remove changes files that are already merged in 0.3.1.6-rc

Merge branch 'maint-0.3.1'

"ours" merge to avoid version bump.

Bump to 0.3.1.6-rc-dev

forward-port the 0.3.1.6-rc changelog

Merge branch 'maint-0.3.1'

test: Fix memory leak in hs_descriptor/decode_bad_signature

Fixes #23319

Cherry-picked from master; bug not in any released Tor.

Merge branch 'maint-0.3.1'

"ours" merge to avoid version bump

Bump version to 0.3.1.6-rc

Merge branch 'bug23331_032_01_squashed'

hs: Don't enter the HS v3 subsystem without a live consensus

The service needs the latest SRV and set of relays for the best accurate
hashring to upload its descriptor to so it needs a live consensus thus don't
do anything until we have it.

Fixes #23331

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.1'

Merge branch 'bug22752_031_simple' into maint-0.3.1

Merge remote-tracking branch 'dgoulet/bug23366_032_01'

Merge remote-tracking branch 'asn/bug23346'

Merge remote-tracking branch 'dgoulet/bug23327_032_01'

Merge branch 'bug23360_032_01'

hs: Remove dead code and uneeded feature

When merging #20657, somehow hs_service_dir_info_changed() became unused
leading to not use the re-upload to HSDir when we were missing information
feature.

Turns out that it is not possible to pick an HSDir with a missing descriptor
because in order to compute the HSDir index, the descriptor is mandatory to
have so we can know its position on the hashring.

This commit removes that dead feature and fix the
hs_service_dir_info_changed() not being used.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'asn/ticket23056_v2'

22752: Improve comments to explain why we're doing this fix.

Based on questions and comments from dgoulet, I've tried to fill
in the reasoning about why these functions work in the way that they
do, so that it will be easier for future programmers to understand
why this code exists and works the way it does.

Merge branch 'bug22818_squashed'

docs: Add notes on behaviours which Rust considers undefined.

docs: More Rust coding standards, based on without boats' comments.

Merge branch 'maint-0.3.1'

Merge remote-tracking branch 'public/bug23275_031' into maint-0.3.1

hs: Set rendezvous circuit timestamp_dirty all the time

We used to check if it was set to 0 which is what unused circuit have but when
the rendezvous circuit was cannibalized, the timestamp_dirty is not 0 but we
still need to reset it so we can actually use it without having the chance of
expiring the next second (or very soon).

Fixes #23123

Signed-off-by: David Goulet <dgoulet@torproject.org>

config: Make parse_outbound_addresses() return failures

The function was never returning an error code on failure to parse the
OutboundAddress* options.

In the process, it was making our test_options_validate__outbound_addresses()
not test the right thing.

Fixes #23366

Signed-off-by: David Goulet <dgoulet@torproject.org>

docs: More Rust coding standards w.r.t. fuzzing and safety.

docs: Clarify some portions of the Rust coding standards.

 * THANKS TO Henry de Valence for review.

prop224: Clear list of prev hsdirs before we upload all descs.

This fixes a serious bug in our hsdir set change logic:

We used to add nodes in the list of previous hsdirs everytime we
uploaded to a new hsdir and we only cleared the list when we built a new
descriptor. This means that our prev_hsdirs list could end up with 7
hsdirs, if for some reason we ended up uploading our desc to 7 hsdirs
before rebuilding our descriptor (e.g. this can happen if the set of
hsdirs changed).

After our previous hdsir set had 7 nodes, then our old algorithm would
always think that the set has changed since it was comparing a smartlist
with 7 elements against a smartlist with 6 elements.

This commit fixes this bug, by clearning the prev_hsdirs list before we
upload to all hsdirs. This makes sure that our prev_hsdirs list always
contains the latest hsdirs!

prop224: Simplify HSDir set change algo.

Our logic for detecting hsdir set changes was needlessly compicated: we
had to sort smartlists and compare them.

Instead, we can simplify things by employing the following logic:
"We should reupload our descriptor if the latest HSDir set contains
nodes that were not previously there"

prop224 test: Improve desc_reupload_logic() test with more nodes.

prop224 test: Simplify interface for adding nodes to hash ring.

We want to have tests with big hash rings so let's make it an one-liner
to add nodes.

docs: Document coding standards, build instructions, etc. for Rust code.

 * FIXES #22818

hs: Implement an HS client free all function

Called from main.c, the function for now purges the hidden service directory
request cache.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Changes file for bug22752 (simple version)

On windows, allow many entries in conscache directories

Since we can't be sure that we can unlink enough files on windows
here, let's let the number of permitted entries grow huge if it
really must.

We do this by letting the storagedir hold lots of entries, but still
trying to keep the number of entries under the configured limit.  We
also have to tell consdiffmgr not to freak out if it can't actually
remove enough entries.

Part of a fix for bug 22752

On windows, don't force-unlink active conscache objects.

Part of a fix for bug 22752: We can't unlink these because Windows
doesn't allow you to unlink an in-use file.

Merge branch 'maint-0.3.1'

Merge remote-tracking branch 'dgoulet/bug22159_031_01' into maint-0.3.1

Merge branch 'maint-0.3.1'

Add test_hs_descriptor.inc to include.am to unbreak distcheck.

Merge remote-tracking branch 'asn/bug23343'

hs: Fix the intro circuit max retry

Some parentheses were missing making the rend_max_intro_circs_per_period()
return a lower value than it was suppose to.

The calculation is that a service at most will open a number of intro points
that it wants which is 3 by default or HiddenServiceNumIntroductionPoints. Two
extra are launched for performance reason. Finally, this can happen twice for
two descriptors for the current and next time period.

From:
  2 * n_intro_wanted + 2

...which resulted in 8 for 3 intro points, this commit fixes it to:

  (n_intro_wanted + 2) * 2

... resulting in 12 possible intro point circuit which is the correct maximum
intro circuit allowed per period.

Last, this commit rate limits the the log message if we ever go above that
limit else over a INTRO_CIRC_RETRY_PERIOD, we can print it often!

Fixes #22159

Signed-off-by: David Goulet <dgoulet@torproject.org>

Temporarily disable compilation of the v3 hs fuzzing code

Turns out, it wasn't up-to-date with the latest v3 hs API :(

Fix compilation.

Merge remote-tracking branch 'haxxpop/fuzzing-hsv3'

fixup! prop224: Fix length check when purging hidserv requests.

Improve doc based on david's comments.

Merge branch 'maint-0.3.1'

Merge branch 'ticket22348_031' into maint-0.3.1

Merge branch 'ticket22348_031'

Try to improve the keypinning-failure message even more

Merge branch 'bug22802_squashed'

Don't fall back to _atoi64

We only did this on windows when building with MSVC 6 and earlier,
which is now considered a screamingly bad idea.

Don't use "0" as a "base" argument to tor_parse_*().

Telling these functions to autodetect the numeric base has lead to
trouble in the past.

Fixes bug 22469. Bugfix on 0.2.2.various.

In test_establish_intro_wrong_purpose, use tt_i64_op on ssize_t

Since ssize_t is signed and might be 64 bits, we should use
tt_i64_op to make sure it's positive.  Otherwise, if it is negative,
and we use tt_u64_op, we'll be treating it as a uint64_t, and we
won't detect negative values.

This fixes CID 1416338 and 1416339.  Bug not in any released Tor.

Fix unlikely memory leak introduced in 418f3d6298beb27e050

This is CID 1416880; bug not in any released Tor.

Merge remote-tracking branch 'asn/bug23335'

prop224: Fix length check when purging hidserv requests.

That check was wrong:

a) We should be making sure that the size of `key` is big enough before
   proceeding, since that's the buffer that we would overread with the
   tor_memeq() below.

   The old check used to check that `req_key_str` is big enough which is
   not right, since we won't read deep into that buffer.

   The new check makes sure that `key` has enough size to survive the
   tor_memeq(), and if not it moves to the next element of the strmap.

b) That check shouldn't be a BUG since that strmap contains
   variable-sized elements and we should not be bugging out if we happen
   to compare a small sized element (v2) to a bigger one (v3).

prop224: Add test that exposes the #23343 bug.

Fix compilation warning on old clangs.

Silence some leftover warnings.

hs: Note the connection attempt if descriptor is unusable

This way, we can clear off the directory requests from our cache and thus
allow the next client to query those HSDir again at the next SOCKS connection.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Implement note_connection_attempt_succeeded()

v3 client now cleans up the HSDir request cache when a connection to a service
was successful.

Closes #23308

Signed-off-by: David Goulet <dgoulet@torproject.org>

Restore documentation for approved-routers

We removed this documentation in 607724c696a6e, when we removed
Naming Authoritative Directories, but actually this file is still
used by authorities to indicate rejected and invalid fingerprints.

Closes ticket 21148.

Merge branch 'maint-0.3.1'

Merge branch 'bug19418_029' into maint-0.3.1

fix wide lines

Merge remote-tracking branch 'asn/bug23309_v2'

prop224: Better missing hsdir index logs.

Seems like hsdir index bugs are around to haunt us. Let's improve the
log messages to make debugging easier.

prop224: When HUPing, move HS state from old to new service.

We used to not copy the state which means that after HUP we would forget
if we are in overlap mode or not. That caused bugs where the service
would enter overlap mode twice, and rotate its descs twice, causing all
sorts of bugs.

prop224: Be more careful to not overwrite descriptors in HUP.