Fix implicit conversion warnings in the period_num tests

Remove changes files that are already merged into 0.3.0.

Merge remote-tracking branch 'dgoulet/ticket21980_031_01'

Fix some leaks in the consdiffmgr tests

Fix a signed/unsigned comparison warning on 32-bit

Merge branch 'consdiffmgr_squashed'

Remove a checklist item that was already tested

The item referred to the cdm_ht_set_status() case where the item was
not already in the hashtable.  But that already happens naturally
when we scan the directory on startup... and we already have a test
for that.

consdiffmgr test: do not launch a diff task that is already pending

consdiffmgr: tests for consdiffmgr_validate()

consdiffmgr: add tests for cdm_entry_get_sha3_value

consdiffmgr test: add a test for updating ht on clean/rescan.

This brings us back up to ~94% coverage

Expand diff-management test to cover reloading items from disk

Fix reference leak & handle leak in consensus_diff_worker_replyfn

Found by previous test.

consdiffmgr tests: add tests to validate diff lookup/application

This commit adds some helper functions to look up the diff from one
consensus and to make sure that applying it leads to another.  Then
we add them throughout the existing test cases.  Doing this turned
up a reference-leaking bug in consensus_diff_worker_replyfn.

consdiffmgr: Enable in-progress test that was not previously working

Also, add a list of additional tests to write.

Add a hashtable to consdiffmgr to keep track of diff status

In several places in the old code, we had problems that only an
in-memory index of diff status could solve, including:
   * Remembering which diffs were in-progress, so that we didn't
     re-launch them.
   * Remembering which diffs had failed, so that we didn't try to
     recompute them over and over.
   * Having a fast way to look up the diff from a given consensus to
     the latest consensus of a given flavor.

This patch adds a hashtable mapping from (flavor, source diff), to
solve the problem.  It maps to a cache entry handle, rather than to
a cache entry directly, so that it doesn't affect the reference
counts of the cache entries, and so that we don't otherwise need to
worry about lifetime management.

Consdiffmgr: extract "get a sha3 digest" function.

I'll be using this a lot in the hashtable tweaks here.

consdiffmgr: function to re-validate stored sha3 digests at startup

Consdiffmgr: use aggressive-release flag on consensuses

This conscache flag tells conscache that it should munmap the
document as soon as reasonably possible, since its usage pattern is
expected to not have a lot of time-locality.

Add handle support to consensus_cache_entry_t

This will allow us to have weak references to cache entries.

Consdiffmgr test: Make sure that diffs are removable

A diff is removable as soon as it no longer takes you to the most
recent consensus of the appropriate flavor.

Test the easiest cases of consdiffmgr_cleanup.

One more to go: deleting the old diffs.

consdiffmgr non-test: check for initialization failure

Unfortunately, this test doesn't work, so I've left it
defined-out. There is currently no way in our unit tests to catch a
fatal assertion failure.

consdiffmgr test: survive failures to compute a diff.

Another consdiffmgr test: only generate the diffs that are needed

This test makes sure that we only generate the diffs we actually
want, rather than regenerating all the diffs every time anything
changes.

Unit tests for consdiffmgr module

Initial tests. These just try adding a few consensuses, looking
them up, and making sure that consensus diffs are generated in a
more or less reasonable-looking way.  It's enough for 87% coverage,
but it leaves out a lot of functionality.

Make cpuworker_queue_work function mockable.

I'll be using this in the unit tests for consdiffmgr.

Add a "Consensus diff manager" module.

This module's job is to remember old consensus documents, to
calculate their diffs on demand, and to .

There are some incomplete points in this code; I've marked them with
"XXXX". I intend to fix them in separate commits, since I believe
doing it in separate commits will make the branch easier to review.

Merge branch 'consdiff_numeric_squashed'

consdiff: Reject ranges with non-numeric chars

Fixes bug #21964

Merge remote-tracking branch 'dgoulet/bug22032_031_01'

Add regression test for #22304

Merge branch 'maint-0.3.0'

Merge branch 'maint-0.2.9' into maint-0.3.0

control: Wrong check on base16_decode return value

The GETINFO extra-info/digest/<digest> broke in commit 568dc27a19 that
refactored the base16_decode() API to return the decoded length.
Unfortunately, that if() condition should have checked for the correct length
instead of an error which broke the command in tor-0.2.9.1-alpha.

Fixes #22034

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Fix a spurious warn in rend_log_intro_limit

We do dump HS stats now at log info everytime the intro circuit creation retry
period limit has been reached. However, the log was upgraded to warning if we
actually were over the elapsed time (plus an extra slop).

It is actually something that will happen in tor in normal case. For instance,
if the network goes down for 10 minutes then back up again making
have_completed_a_circuit() return false which results in never updating that
retry period marker for a service.

Fixes #22032

Signed-off-by: David Goulet <dgoulet@torproject.org>

missing smartlist_free in new consdiff test

Merge remote-tracking branch 'asn/bug21971'

Merge remote-tracking branches 'sebastian/consdiff_add' and 'sebastian/consdiff_newline'

prop224: Add time period functions and unittests

This will be used by the build blinded key functions.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224 tests: Remove useless NULL check before circuit_free().

Addresses coverity issue CID 1405130.

prop224 tests: Don't use tt_size_op to compare ssize_t.

Addresses coverity CID 1405129.

Fix diff generation with line added at start

The consdiff generation logic would skip over lines added at the start of the
second file, and generate a diff that it would the immediately refuse because
it couldn't be used to reproduce the second file from the first. Fixes #21996.

Don't accept ranges for add commands in consdiff

Fixes ticket #21963

Expand cpuworker API to allow other work types

Add a config_line_prepend() function

conscache.c: do not match entries that are slated for removal.

Merge branch 'ticket21891_031_01_squashed'

hs: Make the service list pruning function public

The reason for making the temporary list public is to keep it encapsulated in
the rendservice subsystem so the prop224 code does not have direct access to
it and can only affect it through the rendservice pruning function.

It also has been modified to not take list as arguments but rather use the
global lists (main and temporary ones) because prop224 code will call it to
actually prune the rendservice's lists. The function does the needed rotation
of pointers between those lists and then prune if needed.

In order to make the unit test work and not completely horrible, there is a
"impl_" version of the function that doesn't free memory, it simply moves
pointers around. It is directly used in the unit test and two setter functions
for those lists' pointer have been added only for unit test.

Signed-off-by: David Goulet <dgoulet@torproject.org>

fix wide lines

Merge branch 'ticket21889_031_01_squashed'

hs: Add service-side circuitmap API.

Now we have separate getters and setters for service-side and relay-side. I
took this approach over adding arguments to the already existing methods to
have more explicit type-checking, and also because some functions would grow
too large and dirty.

This commit also fixes every callsite to use the new function names which
modifies the legacy HS (v2) and the prop224 (v3) code.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/bug21155_031_02'

Merge remote-tracking branch 'dgoulet/ticket21919_031_01'

Merge branch 'asn/prop224-ntor-v2-squashed'

prop224: Add Python integration tests for HS ntor.

This test is identical to the ./src/test/test_ntor.sh integration test.

prop224: Add basic HS ntor unittest.

The test checks that introduce1/rendezvous1 key material is generated
correctly both for client-side and service-side.

prop224: Add module that performs the HS ntor handshake.

and also does the key expansion.

hs: Make check-spaces happy after rename

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Change trunnel prop224 cell's namespace

One of the goals of this change is to have trunnel API/ABI being more explicit
so we namespace them with "trn_*". Furthermore, we can now create
hs_cells.[ch] without having to confuse it with trunnel which used to be
"hs_cell_*" before that change.

Here are the perl line that were used for this rename:

  perl -i -pe 's/cell_extension/trn_cell_extension/g;' src/*/*.[ch]
  perl -i -pe 's/cell_extension/trn_cell_extension/g;' src/trunnel/hs/*.trunnel
  perl -i -pe 's/hs_cell_/trn_cell_/g;' src/*/*.[ch]
  perl -i -pe 's/hs_cell_/trn_cell_/g;' src/trunnel/hs/*.trunnel

  And then "./scripts/codegen/run_trunnel.sh" with trunnel commit id
  613fb1b98e58504e2b84ef56b1602b6380629043.

Fixes #21919

Signed-off-by: David Goulet <dgoulet@torproject.org>

config: Warn if EntryNodes and HiddenService are used together

Pinning EntryNodes along with hidden services can be possibly harmful (for
instance #14917 and #21155) so at the very least warn the operator if this is
the case.

Fixes #21155

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/bug16706_031_01'

Fix some no-longer-reasonable unit tests for base64_decode()

These tests tried to use ridiculously large buffer sizes to check
the sanity-checking in the code; but since the sanity-checking
changed, these need to change too.

changes file for 17868

Remove SR_COMMIT_LEN workaround

Now that base64_decode() checks the destination buffer length against
the actual number of bytes as they're produced, shared_random.c no
longer needs the "SR_COMMIT_LEN+2" workaround.

Remove base64_decode_nopad()

Remove base64_decode_nopad() because it is redundant now that
base64_decode() correctly handles both padded and unpadded base64
encodings with "right-sized" output buffers.

Test odd-sized base64 decodes

Test base64_decode() with odd sized decoded lengths, including
unpadded encodings and padded encodings with "right-sized" output
buffers.  Convert calls to base64_decode_nopad() to base64_decode()
because base64_decode_nopad() is redundant.

Make base64_decode() check actual decoded length

base64_decode() was applying an overly conservative check on the
output buffer length that could incorrectly produce an error if the
input encoding contained padding or newlines.  Fix this by checking
the output buffer length against the actual decoded length produced
during decoding.

Merge branch 'maint-0.3.0'

Merge remote-tracking branch 'public/bug21894_029' into maint-0.3.0

Merge branch 'ticket21842_squashed'

Remove tor-checkkey as obsolete

CVE-2008-0166 is long gone, and we no longer need a helper tool to
dump out public key moduli so folks can detect it.

Closes ticket 21842.

Merge remote-tracking branch 'dgoulet/ticket21893_031_01'

Never read off the end of a buffer in base32_encode()

When we "fixed" #18280 in 4e4a7d2b0c199227252a742541461ec4cc35d358
in 0291 it appears that we introduced a bug: The base32_encode
function can read off the end of the input buffer, if the input
buffer size modulo 5 is not equal to 0 or 3.

This is not completely horrible, for two reasons:
   * The extra bits that are read are never actually used: so this
     is only a crash when asan is enabled, in the worst case.  Not a
     data leak.

   * The input sizes passed to base32_encode are only ever multiples
      of 5. They are all either DIGEST_LEN (20), REND_SERVICE_ID_LEN
      (10), sizeof(rand_bytes) in addressmap.c (10), or an input in
      crypto.c that is forced to a multiple of 5.

So this bug can't actually trigger in today's Tor.

Closes bug 21894; bugfix on 0.2.9.1-alpha.

Comment fix. (Catalyst spotted this)

Merge branch 'isolate_openssl'

Use DIGEST512_LEN macro in crypto_hash_sha512.h in ref10

Make the warnings about terminating nuls a bit stronger

It looks like 32_encoded_size/64_encode_size APIs are inconsistent
not only in the number of "d"s they have, but also in whether they
count the terminating NUL.  Taylor noted this in 86477f4e3fedb316,
but I think we should note the inconsistently more loudly in order
to avoid trouble.

(I ran into trouble with this when writing 30b13fd82e243713c6a0d.)

Merge remote-tracking branch 'argonblue/baseXXlen'

Add test for expected output from encode{,d}_length functions

prop224: Flag router with HSIntro/HSDir using protover

Note down in the routerstatus_t of a node if the router supports the HSIntro=4
version for the ed25519 authentication key and HSDir=2 version for the v3
descriptor supports.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Move common defines to hs_common.h

Some of those defines will be used by the v3 HS protocol so move them to a
common header out of rendservice.c. This is also ground work for prop224
service implementation.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Remove redundant define of ed25519 auth key type

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Move service check private dir to hs_common.c

Another building blocks for prop224 service work. This also makes the function
takes specific argument instead of the or_option_t object.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Refactor circuitmap to use circuit_t instead of or_circuit_t.

Use macros for base64 lengths in shared_random.h

Fixes #19564.

Use baseXX length macros in baseXX_encode()

Use the new baseXX length macros to clean up the length checks in the
baseXX_encode() functions.

Add macros for baseXX encoding lengths

Make CEIL_DIV() slightly more overflow-safe

changes file for 21873

Merge remote-tracking branch 'arthuredelstein/21873'

Merge branch 'storage_labeled_squashed'

Explain config_line_find() behavior on duplicates.

Add an assertion to config_line_append().

Additional unit tests to improve conscache coverage

Tests for cleanup and reference counting on conscache

Tests for simple cases of conscache code.

Add a 'consensus cache' type on top of storagedir.

Every file in the cache is labeled.  The labels are held in memory;
the bodies are mapped on demand.

Unit tests for labelled storagedir entries

Add some "labeled storagedir" abstractions.

These add a tiny bit of structure on top of the regular storagedir
abstractions in order to store key-value lists at the head of each
document.