Hiding crypt_path_t: Trivial changes to satisfy check-local.

Hiding crypt_path_t: Ensure that ->private is initialized.

Now that we are using a constructor we should be more careful that we are
always using the constructor to initialize crypt_path_t, so make sure that
->private is initialized.

Hiding crypt_path_t: Create a constructor for crypt_path_t.

We are using an opaque pointer so the structure needs to be allocated on the
heap. This means we now need a constructor for crypt_path_t.

Also modify all places initializing a crypt_path_t to use the constructor.

Hiding crypt_path_t: Fixup broken unittests.

Hiding crypt_path_t: Move the free func in crypt_path.c.

Again everything is moved, apart from a free line using ->private.

Hiding crypt_path_t: Move some more init funcs in crypt_path.c.

Everything is moved, but the argument of the function is edited to access
->private->crypto.

Hiding crypt_path_t: Start with crypt_path.crypto .

Create some functions to eventually be able to hide crypt_path_t.crypto.

Hiding crypt_path_t: Move init functions to crypt_path.c.

This commit only moves code.

Hiding crypt_path_t: Move assert functions in crypt_path.c.

This commit only moves code, and makes one function public.

Hiding crypt_path_t: Introduce opaque crypt_path_private_t .

This will be our base for incrementally hiding crypt_path_t.

Merge branch 'tor-github/pr/984'

Signed-off-by: David Goulet <dgoulet@torproject.org>

Note how to update the new website in the ReleasingTor.md instructions

Merge branch 'maint-0.4.0'

"ours" to avoid version bump.

Bump to 0.4.0.5-dev

forward-port changelog and releasenotes from 0.4.0.5

Merge branch 'tor-github/pr/986'

sendme: Add changes file for prop289

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/999'

Add comments to include.am files to note where new sources go

This mechanism isn't perfect, and sometimes it will guess wrong,
but it will help our automation.

Changes file for improved dirauth modularity (ticket 30345)

practracker updates.

Remove some now-needless dirauth includes

Make keypin.c dirauth-only

Make the bwauth.c module dirauth-only.

Move voteflags.[ch] to become dirauth only.

For various reasons, this was a nontrivial movement.  There are
several places in the code where we do something like "update the
flags on this routerstatus or node if we're an authority", and at
least one where we pretended to be an authority when we weren't.

sendme: Improve logging messages

Signed-off-by: David Goulet <dgoulet@torproject.org>

Remove changes files that are already in 0.4.0.5 or earlier

Merge remote-tracking branch 'tor-github/pr/989'

Merge remote-tracking branch 'tor-github/pr/950'

Merge branch 'maint-0.4.0'

"ours" to avoid version bump

bump to 0.4.0.5

Make the reachability.c module dirauth-only.

Make the guardfraction.c module dirauth-only.

Make the process_descs.c module dirauth-only.

Make the dsigs_parse.c module dirauth-only.

Make the recommend_pkg file dirauth-only.

Changes file for ticket30007

Clean up formatting after Coccinelle

Clean up some minor formatting quirks after the Coccinelle run.

Run Coccinelle for control.c refactor

Coccinelle scripts for control.c refactor

Manually fix some control replies

Manually fix up some reply-generating code that the Coccinelle scripts
won't match.  Some more complicated ones remain -- these are mostly
ones that accumulate data to send, and then call connection_buf_add()
or connection_write_str_to_buf() directly.

Factor out control reply output

Create a set of abstractions for controller commands and events to
output replies to the control channel.  The control protocol has a
relatively consistent SMTP-like structure, so it's helpful when code
that implements control commands and events doesn't explicitly format
everything on its own.

Add clarifying comments to control_proto.c

Refer to control-spec.txt grammar productions in comments in
control_proto.c for clarity.

Split reply formatting out of control_fmt.c

Split the core reply formatting code out of control_fmt.c into
control_proto.c.  The remaining code in control_format.c deals with
specific subsystems and will eventually move to join those subsystems.

Correct file name in doxygen comment

Merge branch 'maint-0.4.0'

Merge branch 'tor-github/pr/978' into maint-0.4.0

Merge branch 'tor-github/pr/985'

Merge branch 'tor-github/pr/937'

Merge branch 'tor-github/pr/936'

Merge branch 'tor-github/pr/993'

Merge branch 'tor-github/pr/983'

Merge branch 'tor-github/pr/980'

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/909'

Signed-off-by: David Goulet <dgoulet@torproject.org>

Rename and clarify some functions for periodic events

When we tell the periodic event manager about an event, we are
"registering" that event.  The event sits around without being
usable, however, until we "connect" the event to libevent.  In the
end, we "disconnect" the event and remove its libevent parts.

Previously, we called these operations "add", "setup", and
"destroy", which led to confusion.

Remove now-extraneous calls to initialize_periodic_events().

This is now the responsibility of the mainloop's subsystem initializer.

Changes file for periodic event movement

Move dirauth periodic events into dirauth module.

Closes ticket 30294.

Turn 'mainloop' into a subsystem.

We need a little refactoring for this to work, since the
initialization code for the periodic events assumes that libevent is
already initialized, which it can't be until it's configured.

This change, combined with the previous ones, lets other subsystems
declare their own periodic events, without mainloop.c having to know
about them.  Implements ticket 30293.

Changes file for 29732.

Make sure that the rng is not replaced if it is already replaced.

Make the deterministic and reproducible rng test code handle fast_rng

Add improved debugging support to crypto_rand_fast code.

Extract add-entropy code from crypto_fast_rng to a new function

Use preloaded-rng code in test_hs_descriptor.c

Make rng mock code also cover strongest_rand.

Use prefilled PRNG replacement in test_extorport

This is the last remaining place where our tests had mocked
crypto_rand.

Use prefilled_rng in test_addr.c in place of existing code.

Add a testing PRNG replacement that returns canned data.

Update circuit_timeout test to use deterministic prng

Update test_prob_distr to use new reproducible RNG override code

Add support for deterministic override of crypto_rand() in tests

We had this previously, but we did it differently in different
places. This implementation is pulled from test_prob_distr.c

Add changes file

Travis: remove sudo configuration

See: https://blog.travis-ci.com/2018-11-19-required-linux-infrastructure-migration

Merge remote-tracking branch 'tor-github/pr/972'

practracker: Update exceptions for #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

sendme: Do not poke at crypto.sendme_digest directly

As per review from nickm, keep as much as we can the relay_crypto_t object
opaque.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

sendme: Better function names

From nickm's review, improve the names of some functions.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

sendme: Move note_cell_digest() to relay_crypto module

Because this function is poking within the relay_crypto_t object, move the
function to the module so we can keep it opaque as much as possible.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

sendme: Better handle the random padding

We add random padding to every cell if there is room. This commit not only
fixes how we compute that random padding length/offset but also improves its
safety with helper functions and a unit test.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

sendme: Keep cell digest only if a SENDME is next

This way, we reduce the load by only hashing when we absolutely must.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

sendme: Add helper to note the cell digest

Signed-off-by: David Goulet <dgoulet@torproject.org>

sendme: Helper to know if next cell is a SENDME

We'll use it this in order to know when to hash the cell for the SENDME
instead of doing it at every cell.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Add documentation for the circuit FIFO list

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Skip the first 4 unused bytes in a cell

When adding random to a cell, skip the first 4 bytes and leave them zeroed. It
has been very useful in the past for us to keep bytes like this.

Some code trickery was added to make sure we have enough room for this 4 bytes
offset when adding random.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Keep the digest bytes, not the object

The digest object is as large as the entire internal digest object's state,
which is often much larger than the actual set of bytes you're transmitting.

This commit makes it that we keep the digest itself which is 20 bytes.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Move digest matching in its own function

No behavior change but code had to be refactored a bit. Also, the tor_memcmp()
was changed to tor_memneq().

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Rename packaged functions with better name

The circuit and stream level functions that update the package window have
been renamed to have a "_note_" in them to make their purpose more clear.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Move SENDME cell processing in a separate function

No behavior change. Only moving code and fixing part of it in order to use the
parameters passed as pointers.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Use a 20 bytes digest instead of 4

To achieve such, this commit also changes the trunnel declaration to use a
union instead of a seperate object for the v1 data.

A constant is added for the digest length so we can use it within the SENDME
code giving us a single reference.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

tests: Implement unit tests for SENDME v1

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Add random bytes to the unused portion of the cell

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Remember the last cell digest for v1 SENDMEs

In order to do so, depending on where the cell is going, we'll keep the last
cell digest that is either received inbound or sent outbound.

Then it can be used for validation.

Part of #26288

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Match the SENDME digest

Now that we keep the last seen cell digests on the Exit side on the circuit
object, use that to match the SENDME v1 transforming this whole process into a
real authenticated SENDME mechanism.

Part of #26841

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Keep track of the last seen cell digests

This makes tor remember the last seen digest of a cell if that cell is the
last one before a SENDME on the Exit side.

Closes #26839

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Support SENDME v1 cell parsing

This commit makes tor able to parse and handle a SENDME version 1. It will
look at the consensus parameter "sendme_accept_min_version" to know what is
the minimum version it should look at.

IMPORTANT: At this commit, the validation of the cell is not fully
implemented. For this, we need #26839 to be completed that is to match the
SENDME digest with the last cell digest.

Closes #26841

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Support sending SENDME version 1

This code will obey the consensus parameter "sendme_emit_min_version" to know
which SENDME version it should send. For now, the default is 0 and the
parameter is not yet used in the consensus.

This commit adds the support to send version 1 SENDMEs but aren't sent on the
wire at this commit.

Closes #26840

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Add SENDME trunnel declaration

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop289: Add two consensus parameters

In order to be able to deploy the authenticated SENDMEs, these two consensus
parameters are needed to control the minimum version that we can emit and
accept.

See section 4 in prop289 for more details.

Note that at this commit, the functions that return the values aren't used so
compilation fails if warnings are set to errors.

Closes #26842

Signed-off-by: David Goulet <dgoulet@torproject.org>

sendme: Always close stream if deliver window is negative

Previously, we would only close the stream when our deliver window was
negative at the circuit-level but _not_ at the stream-level when receiving a
DATA cell.

This commit adds an helper function connection_edge_end_close() which
sends an END and then mark the stream for close for a given reason.

That function is now used both in case the deliver window goes below zero for
both circuit and stream level.

Part of #26840

Signed-off-by: David Goulet <dgoulet@torproject.org>