Replace nearly all XXX0vv comments with smarter ones

So, back long ago, XXX012 meant, "before Tor 0.1.2 is released, we
had better revisit this comment and fix it!"

But we have a huge pile of such comments accumulated for a large
number of released versions!  Not cool.

So, here's what I tried to do:

  * 0.2.9 and 0.2.8 are retained, since those are not yet released.

  * XXX+ or XXX++ or XXX++++ or whatever means, "This one looks
    quite important!"

  * The others, after one-by-one examination, are downgraded to
    plain old XXX.  Which doesn't mean they aren't a problem -- just
    that they cannot possibly be a release-blocking problem.

We no longer generate v0 directories. Remove the code to do so

remove now-irrelevant XXX020 comments in configure.ac

They apply to ancient GCC versions and to an unknown set of
configuration options. Notabug.

roger says this url is better

Merge remote-tracking branch 'arma/task19035-fixedup'

Merge remote-tracking branch 'public/hardening_flags_must_link'

remove a now-unused section of or.h

get rid of one more piece of --enable-instrument-downloads

Fix indentation and quotation of the headers

Do not warn on missing headers

remove sentence about tor-ops from manpage: #19185

remove an unneeded layer of indentation

no actual behavior changes

Disable GET /tor/bytes.txt and GETINFO dir-usage

Remove support for "GET /tor/bytes.txt" DirPort request, and
"GETINFO dir-usage" controller request, which were only available
via a compile-time option in Tor anyway.

Feature was added in 0.2.2.1-alpha. Resolves ticket 19035.

Merge remote-tracking branch 'public/ticket19044'

Merge remote-tracking branch 'asn/feature19036'

Merge remote-tracking branch 'arma/bug18840'

Make format_changelog.py add links to bugs

Merge branch 'maint-0.2.8'

(This is an "ours" merge to avoid taking the version bump)

Bump to 0.2.8.3-alpha-dev

Forward-port the 0.2.8.3-alpha changelog

Merge branch 'maint-0.2.8'

(Ours merge, to avoid taking version bump)

Bump to 0.2.8.3-alpha

Merge branch 'maint-0.2.8'

Fix two long lines

Functionify code that writes votes to disk.

Merge branch 'maint-0.2.8'

Merge branch 'bug18668_028' into maint-0.2.8

Merge branch 'maint-0.2.8'

Merge branch 'bug19175_028_v2' into maint-0.2.8

Fix a double-free bug in routerlist_reparse_old

I introduced this bug when I moved signing_key_cert into
signed_descriptor_t. Bug not in any released Tor.  Fixes bug 19175, and
another case of 19128.

Just like signed_descriptor_from_routerinfo(), routerlist_reparse_old()
copies the fields from one signed_descriptor_t to another, and then
clears the fields from the original that would have been double-freed by
freeing the original.  But when I fixed the s_d_f_r() bug [#19128] in
50cbf220994c7cec593, I missed the fact that the code was duplicated in
r_p_o().

Duplicated code strikes again!

For a longer-term solution here, I am not only adding the missing fix to
r_p_o(): I am also extracting the duplicated code into a new function.

Many thanks to toralf for patiently sending me stack traces until
one made sense.

Merge branch 'maint-0.2.8'

Merge branch 'bug19161_028_v2' into maint-0.2.8

Merge branch 'maint-0.2.8'

Merge branch 'bug19152_024_v2' into maint-0.2.8

Fix a dangling pointer issue in our RSA keygen code

If OpenSSL fails to generate an RSA key, do not retain a dangling
pointer to the previous (uninitialized) key value. The impact here
should be limited to a difficult-to-trigger crash, if OpenSSL is
running an engine that makes key generation failures possible, or if
OpenSSL runs out of memory. Fixes bug 19152; bugfix on
0.2.1.10-alpha. Found by Yuan Jochen Kang, Suman Jana, and Baishakhi
Ray.

This is potentially scary stuff, so let me walk through my analysis.
I think this is a bug, and a backport candidate, but not remotely
triggerable in any useful way.

Observation 1a:

Looking over the OpenSSL code here, the only way we can really fail in
the non-engine case is if malloc() fails.  But if malloc() is failing,
then tor_malloc() calls should be tor_asserting -- the only way that an
attacker could do an exploit here would be to figure out some way to
make malloc() fail when openssl does it, but work whenever Tor does it.

(Also ordinary malloc() doesn't fail on platforms like Linux that
overcommit.)

Observation 1b:

Although engines are _allowed_ to fail in extra ways, I can't find much
evidence online  that they actually _do_ fail in practice. More evidence
would be nice, though.

Observation 2:

We don't call crypto_pk_generate*() all that often, and we don't do it
in response to external inputs. The only way to get it to happen
remotely would be by causing a hidden service to build new introduction
points.

Observation 3a:

So, let's assume that both of the above observations are wrong, and the
attacker can make us generate a crypto_pk_env_t with a dangling pointer
in its 'key' field, and not immediately crash.

This dangling pointer will point to what used to be an RSA structure,
with the fields all set to NULL.  Actually using this RSA structure,
before the memory is reused for anything else, will cause a crash.

In nearly every function where we call crypto_pk_generate*(), we quickly
use the RSA key pointer -- either to sign something, or to encode the
key, or to free the key.  The only exception is when we generate an
intro key in rend_consider_services_intro_points().  In that case, we
don't actually use the key until the intro circuit is opened -- at which
point we encode it, and use it to sign an introduction request.

So in order to exploit this bug to do anything besides crash Tor, the
attacker needs to make sure that by the time the introduction circuit
completes, either:
  * the e, d, and n BNs look valid, and at least one of the other BNs is
    still NULL.
OR
  * all 8 of the BNs must look valid.

To look like a valid BN, *they* all need to have their 'top' index plus
their 'd' pointer indicate an addressable region in memory.

So actually getting useful data of of this, rather than a crash, is
going to be pretty damn hard.  You'd have to force an introduction point
to be created (or wait for one to be created), and force that particular
crypto_pk_generate*() to fail, and then arrange for the memory that the
RSA points to to in turn point to 3...8 valid BNs, all by the time the
introduction circuit completes.

Naturally, the signature won't check as valid [*], so the intro point
will reject the ESTABLISH_INTRO cell.  So you need to _be_ the
introduction point, or you don't actually see this information.

[*] Okay, so if you could somehow make the 'rsa' pointer point to a
different valid RSA key, then you'd get a valid signature of an
ESTABLISH_INTRO cell using a key that was supposed to be used for
something else ... but nothing else looks like that, so you can't use
that signature elsewhere.

Observation 3b:

Your best bet as an attacker would be to make the dangling RSA pointer
actually contain a fake method, with a fake RSA_private_encrypt
function that actually pointed to code you wanted to execute.  You'd
still need to transit 3 or 4 pointers deep though in order to make that
work.

Conclusion:

By 1, you probably can't trigger this without Tor crashing from OOM.

By 2, you probably can't trigger this reliably.

By 3, even if I'm wrong about 1 and 2, you have to jump through a pretty
big array of hoops in order to get any kind of data leak or code
execution.

So I'm calling it a bug, but not a security hole. Still worth
patching.

Merge branch 'memarea_overflow_027_squashed' into maint-0.2.8

Fix a pointer arithmetic bug in memarea_alloc()

Fortunately, the arithmetic cannot actually overflow, so long as we
*always* check for the size of potentially hostile input before
copying it.  I think we do, though.  We do check each line against
MAX_LINE_LENGTH, and each object name or object against
MAX_UNPARSED_OBJECT_SIZE, both of which are 128k.  So to get this
overflow, we need to have our memarea allocated way way too high up
in RAM, which most allocators won't actually do.

Bugfix on 0.2.1.1-alpha, where memarea was introduced.

Found by Guido Vranken.

Use calloc, not malloc(a*b), in ed25519 batch signature check fn

[Not a triggerable bug unless somebody is going to go checking
millions+ of signatures in a single go.]

Make sure that libscrypt_scrypt actually exists before using it.

Previously, if the header was present, we'd proceed even if the
function wasn't there.

Easy fix for bug 19161.  A better fix would involve trying harder to
find libscrypt_scrypt.

Stop recommending --enable-gcc-warnings in doc/HACKING

Make advisory-warnings on by default.

Add --enable-fatal-warnings to control -Werror.

Closes ticket 19044.

Merge branch 'maint-0.2.8'

Do not ignore files that are being tracked by git

Expose crypto_digest_algorithm_get_length from crypto.c

Also, use it in routerparse.c

Merge remote-tracking branch 'dgoulet/bug19066_029_01'

Merge branch 'maint-0.2.8'

Changes file for previous commit

Prevent ASAN from registering a SIGSEGV handler

AddressSanitizer's (ASAN) SIGSEGV handler overrides the backtrace
handler and prevents it from printing its backtrace. The output of ASAN
is different from what 'bt_test.py' expects and causes backtrace test
failures.

The 'allow_user_segv_handler' option allows applications to set their
own SIGSEGV handler but is not supported by older GCC versions. These
older GCC versions do support the 'handle_segv' which prevents ASAN from
setting its SIGSEGV handler.

Whoops. We use -Wmussing-prototypes.

Make another variable unsigned.

Fix a bug related to moving signing_key_cert

Now that the field exists in signed_descriptor_t, we need to make
sure we free it when we free a signed_descriptor_t, and we need to
make sure that we don't free it when we convert a routerinfo_t to a
signed_descriptor_t.

But not in any released Tor. I found this while working on #19128.

One problem: I don't see how this could cause 19128.

Remove round_int64_to_next_multiple_of: It is now unused.

Compute HS stats outputs without round_int64_...

Fix for bug 19130.

Fix "conditional "ADD_MULODI4" was never defined".

Merge branch 'maint-0.2.8'

Merge remote-tracking branch 'teor/fix18809-warnings' into maint-0.2.8

Merge branch 'link_ftrapv_clang32'

add missing atoi for cosmetic reasons

Merge branch 'maint-0.2.8'

Merge remote-tracking branch 'public/bug19073' into maint-0.2.8

Fix unused-but-set-variable warnings in the connection unit tests

No behaviour change - just remove the variables

Describe what happens when we get a consensus, but no certificates

Comment-only change

lintchanges on 18809, and fix the bug number

Merge branch 'maint-0.2.8'

changelog typo fix

Fix a compilation error in test_dir.c

Merge branch 'maint-0.2.8'

Merge branch 'bug18809_028_squashed' into maint-0.2.8

Add unit tests for networkstatus_consensus_is_bootstrapping

Restore and improve download schedule unit tests

Update unit tests for multiple bootstrap connections

Remove consensus_max_download_tries by refactoring

No behaviour change

This function is used twice. The code is simpler if we split
it up and inline it where it is used.

Changes file for bug 18809

Stop downloading consensuses when a consensus has been downloaded

Previosuly, during bootstrap, we would continue to download
consensuses if we had a consensus, but didn't have the certificates
to validate it.

Include __mulodi4 in libor_ctime when it fixes clang -m32 -ftrapv

We use a pretty specific pair of autoconf tests here to make sure
that we only add this code when:
   a) a 64-bit signed multiply fails to link,
 AND
   b) the same 64-bit signed multiply DOES link correctly when
      __mulodi4 is defined.

Closes ticket 19079.

Add __mulodi4 source to src/ext

We need to define this function when compiling with clang -m32 -ftrapv,
since otherwise we get link errors, since apparently some versions
of libclang_rt.builtins don't define a version of it that works? Or
clang doesn't know to look for it?

This definition is taken from the LLVM source at
  https://llvm.org/svn/llvm-project/compiler-rt/trunk/lib/builtins/mulodi4.c

I've also included the license (dual BSD-ish/MIT-ish).

Fix a bad sizeof() in test_crypto.c. Harmless. Spotted by coverity.

whitespace fixes

Remove duplicate siging_key_cert fields.

With the fix for #17150, I added a duplicate certificate here.  Here
I remove the original location in 0.2.8.  (I wouldn't want to do
that in 027, due to the amount of authority-voting-related code
drift.)

Closes 19073.

Merge branch 'maint-0.2.8'

Merge branch 'bug17150_027_extra' into maint-0.2.8

Improve API of routerinfo_incompatible_with_extrainfo()

This API change makes it so that routerinfo_incompatible...() no
longer takes a routerinfo_t, so that it's obvious that it should
only look at fields from the signed_descriptor_t.

This change should prevent a recurrence of #17150.

Fix another, more subtle, case of bug 17150.

We need to make sure that the corresponding sd and ei match in their
certificates.

Copy the signing_key_cert field into signed_descriptor_t

We need this field to be in signed_descriptor_t so that
routerinfo_incompatible_with_extrainfo can work correctly (#17150).
But I don't want to move it completely in this patch, since a great
deal of the code that messes with it has been in flux since 0.2.7,
when this ticket was opened.  I should open another ticket about
removing the field from routerinfo_t and extrainfo_t later on.

This patch fixes no actual behavior.

Fix documentation for routerinfo_incompatible_with_extrainfo

When making sure digest256 matches in ei, look at sd, not ri.

The routerinfo we pass to routerinfo_incompatible_with_extrainfo is
the latest routerinfo for the relay.  The signed_descriptor_t, on
the other hand, is the signed_descriptor_t that corresponds to the
extrainfo.  That means we should be checking the digest256 match
with that signed_descriptor_t, not with the routerinfo.

Fixes bug 17150 (and 19017); bugfix on 0.2.7.2-alpha.

Move extra_info_digest256 into signed_descriptor_t

This patch includes no semantic changes; it's just a field movement.

It's prerequisite for a fix to 19017/17150.

Merge remote-tracking branch 'teor/bug18963-remember-v2'

Remove from master all changes files scheduled for 0.2.8.3

These won't go in the 0.2.9.1-alpha changelog, since 0.2.8.3 will
come out first.

Generated automatically with findMergedChanges.pl

Merge branch 'maint-0.2.8'

Merge branch 'bug18616-v4-merged_028' into maint-0.2.8

Merge branch 'maint-0.2.8'

Fix remaining lintChanges warnings.

Resolve lintChanges warnings.

Merge remote-tracking branch 'arma/bug18616-v4' into maint-0.2.8

touchups and refactorings on bug 18616 branch

no behavior changes

Initialize networking _before_ initializing libevent in the tests

This prevents WSANOTINITIALISED errors and fixes bug 18668. Bugfix
on 0.2.8.1-alpha -- 1bac468882fd732460d8a25735131 specifically.

dirauth: don't use hardcoded length when parsing digests

When parsing detached signature, we make sure that we use the length of the
digest algorithm instead of an hardcoded DIGEST256_LEN in order to avoid
comparing bytes out of bound with a smaller digest length such as SHA1.

Fixes #19066

Signed-off-by: David Goulet <dgoulet@torproject.org>

Fix memory leak in test_crypto_aes_ctr_testvec

Check linking of hardening options, give better warnings if it fails.

Previously we'd only check whether the hardening options succeeded
at the compile step. Now we'll try to link with them too, and tell
the user in advance if something seems likely to go wrong.

Closes ticket 18895.