Make testing_disable_reproducible_rng() log seed on test failure

This should let us simplify test_prob_distr.c and other stuff in the
future.

Give tinytest a function to say whether the current test has failed

Merge branch 'maint-0.4.0'

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'bug30475_035' into maint-0.3.5

Merge branch 'maint-0.4.0'

Merge branch 'tor-github/pr/1013' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1004'

Merge branch 'tor-github/pr/1006'

Fix a compilation warning: function does not have to be STATIC.

Merge branch 'bug28683_30173_29203_squashed'

The practracker beatings will continue until the functions get smaller.

Changes file for bugs28693+30173+29203.

Tests for bugs 28683, 30173, and 29203.

Bug 29203: Provide ReducedCircuitPadding torrc and consensus params

Bug 28693: Provide Torrc option to disable circuit padding.

Merge remote-tracking branch 'tor-github/pr/998'

sendme: Fix coverity CID 1444999

The code flow in theory can end up with a layer_hint to be NULL but in
practice it should never happen because with an origin circuit, we must have
the layer_hint.

Just in case, BUG() on it if we ever end up in this situation and recover by
closing the circuit.

Fixes #30467.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/976'

Don't pass a NULL into a %s when logging client auth file load failure

Fortunately, in 0.3.5.1-alpha we improved logging for various
failure cases involved with onion service client auth.

Unfortunately, for this one, we freed the file right before logging
its name.

Fortunately, tor_free() sets its pointer to NULL, so we didn't have
a use-after-free bug.

Unfortunately, passing NULL to %s is not defined.

Fortunately, GCC 9.1.1 caught the issue!

Unfortunately, nobody has actually tried building Tor with GCC 9.1.1
before. Or if they had, they didn't report the warning.

Fixes bug 30475; bugfix on 0.3.5.1-alpha.

Merge branch 'tor-github/pr/973'

Merge branch 'tor-github/pr/1000'

Signed-off-by: David Goulet <dgoulet@torproject.org>

Only call tor_addr_parse() in circuit_is_acceptable() when needed

Merge branch 'tor-github/pr/994'

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-github/pr/923'

Hiding crypt_path_t: Add changes file.

sendme: Add FlowCtrl protover value

See proposal 289 section 4.3 for more details.

It describes the flow control protocol at the circuit and stream level. If
there is no FlowCtrl protocol version, tor supports the unauthenticated flow
control features from its supported Relay protocols.

At this commit, relay will start advertising FlowCtrl=1 meaning they support
authenticated SENDMEs v1.

Closes #30363

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/954'

Hiding crypt_path_t: Hide 'crypto' usage in sendme.c

Hiding crypt_path_t: Change code to use the privatization macro.

Hiding crypt_path_t: Hiding 'crypto' using a macro.

Revert "Hiding crypt_path_t: Ensure that ->private is initialized."

This reverts commit 7497c9193a0f2c891a0802bf5fbe73cf7ec1ca99.

Revert "Hiding crypt_path_t: Create a constructor for crypt_path_t."

This reverts commit ab8b80944967ee5a6a0c45dbf61839cf257bfe44.

Hiding crypt_path_t: Some TODO notes for future directions.

Hiding crypt_path_t: Move some more crypt_path-specific functions.

- Move test-only cpath_get_n_hops() to crypt_path.c.
- Move onion_next_hop_in_cpath() and rename to cpath_get_next_non_open_hop().

The latter function was directly accessing cpath->state, and it's a first step
at hiding ->state.

Hiding crypt_path_t: Rename some functions to fit the crypt_path API.

Some of these functions are now public and cpath-specific so their name should
signify the fact they are part of the cpath module:

assert_cpath_layer_ok -> cpath_assert_layer_ok
assert_cpath_ok -> cpath_assert_ok
onion_append_hop -> cpath_append_hop
circuit_init_cpath_crypto -> cpath_init_circuit_crypto
circuit_free_cpath_node -> cpath_free
onion_append_to_cpath -> cpath_extend_linked_list

Hiding crypt_path_t: Trivial changes to satisfy check-local.

Hiding crypt_path_t: Ensure that ->private is initialized.

Now that we are using a constructor we should be more careful that we are
always using the constructor to initialize crypt_path_t, so make sure that
->private is initialized.

Hiding crypt_path_t: Create a constructor for crypt_path_t.

We are using an opaque pointer so the structure needs to be allocated on the
heap. This means we now need a constructor for crypt_path_t.

Also modify all places initializing a crypt_path_t to use the constructor.

Hiding crypt_path_t: Fixup broken unittests.

Hiding crypt_path_t: Move the free func in crypt_path.c.

Again everything is moved, apart from a free line using ->private.

Hiding crypt_path_t: Move some more init funcs in crypt_path.c.

Everything is moved, but the argument of the function is edited to access
->private->crypto.

Hiding crypt_path_t: Start with crypt_path.crypto .

Create some functions to eventually be able to hide crypt_path_t.crypto.

Hiding crypt_path_t: Move init functions to crypt_path.c.

This commit only moves code.

Hiding crypt_path_t: Move assert functions in crypt_path.c.

This commit only moves code, and makes one function public.

Hiding crypt_path_t: Introduce opaque crypt_path_private_t .

This will be our base for incrementally hiding crypt_path_t.

Merge branch 'tor-github/pr/984'

Signed-off-by: David Goulet <dgoulet@torproject.org>

Note how to update the new website in the ReleasingTor.md instructions

Merge branch 'maint-0.4.0'

"ours" to avoid version bump.

Bump to 0.4.0.5-dev

forward-port changelog and releasenotes from 0.4.0.5

Merge branch 'tor-github/pr/986'

sendme: Add changes file for prop289

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/999'

Add comments to include.am files to note where new sources go

This mechanism isn't perfect, and sometimes it will guess wrong,
but it will help our automation.

Changes file for improved dirauth modularity (ticket 30345)

practracker updates.

Remove some now-needless dirauth includes

Make keypin.c dirauth-only

Make the bwauth.c module dirauth-only.

Move voteflags.[ch] to become dirauth only.

For various reasons, this was a nontrivial movement.  There are
several places in the code where we do something like "update the
flags on this routerstatus or node if we're an authority", and at
least one where we pretended to be an authority when we weren't.

sendme: Improve logging messages

Signed-off-by: David Goulet <dgoulet@torproject.org>

Remove changes files that are already in 0.4.0.5 or earlier

Merge remote-tracking branch 'tor-github/pr/989'

The practracker beatings will continue until our files get smaller.

Changes file for bug29231.

Bug 29231: Report correct padding write totals and enabled totals.

Merge remote-tracking branch 'tor-github/pr/950'

Merge branch 'maint-0.4.0'

"ours" to avoid version bump

bump to 0.4.0.5

Make the reachability.c module dirauth-only.

Make the guardfraction.c module dirauth-only.

Make the process_descs.c module dirauth-only.

Make the dsigs_parse.c module dirauth-only.

Make the recommend_pkg file dirauth-only.

Replace all remaining tor_mem_is_zero() with fast_mem_is_zero()

Use safe_mem_is_zero in a few more places.

I don't believe any of these represent a real timing vulnerability
(remote timing against memcmp() on a modern CPU is not easy), but
these are the ones where I believe we should be more careful.

Rename tor_mem_is_zero to fast_mem_is_zero()

For memeq and friends, "tor_" indicates constant-time and "fast_"
indicates optimized.  I'm fine with leaving the constant-time
"safe_mem_is_zero" with its current name, but the "tor_" prefix on
the current optimized version is misleading.

Also, make the tor_digest*_is_zero() uniformly constant-time, and
add a fast_digest*_is_zero() version to use as needed.

A later commit in this branch will fix all the users of
tor_mem_is_zero().

Closes ticket 30309.

Changes file for ticket30007

Clean up formatting after Coccinelle

Clean up some minor formatting quirks after the Coccinelle run.

Run Coccinelle for control.c refactor

Coccinelle scripts for control.c refactor

Manually fix some control replies

Manually fix up some reply-generating code that the Coccinelle scripts
won't match.  Some more complicated ones remain -- these are mostly
ones that accumulate data to send, and then call connection_buf_add()
or connection_write_str_to_buf() directly.

Factor out control reply output

Create a set of abstractions for controller commands and events to
output replies to the control channel.  The control protocol has a
relatively consistent SMTP-like structure, so it's helpful when code
that implements control commands and events doesn't explicitly format
everything on its own.

Add clarifying comments to control_proto.c

Refer to control-spec.txt grammar productions in comments in
control_proto.c for clarity.

Split reply formatting out of control_fmt.c

Split the core reply formatting code out of control_fmt.c into
control_proto.c.  The remaining code in control_format.c deals with
specific subsystems and will eventually move to join those subsystems.

Correct file name in doxygen comment

Merge branch 'maint-0.4.0'

Merge branch 'tor-github/pr/978' into maint-0.4.0

Merge branch 'tor-github/pr/985'

Merge branch 'tor-github/pr/937'

Merge branch 'tor-github/pr/936'

Merge branch 'tor-github/pr/993'

Merge branch 'tor-github/pr/983'

Merge branch 'tor-github/pr/980'

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/909'

Signed-off-by: David Goulet <dgoulet@torproject.org>

Rename and clarify some functions for periodic events

When we tell the periodic event manager about an event, we are
"registering" that event.  The event sits around without being
usable, however, until we "connect" the event to libevent.  In the
end, we "disconnect" the event and remove its libevent parts.

Previously, we called these operations "add", "setup", and
"destroy", which led to confusion.

Remove now-extraneous calls to initialize_periodic_events().

This is now the responsibility of the mainloop's subsystem initializer.

Changes file for periodic event movement

Move dirauth periodic events into dirauth module.

Closes ticket 30294.