Fix a bug related to moving signing_key_cert

Now that the field exists in signed_descriptor_t, we need to make
sure we free it when we free a signed_descriptor_t, and we need to
make sure that we don't free it when we convert a routerinfo_t to a
signed_descriptor_t.

But not in any released Tor. I found this while working on #19128.

One problem: I don't see how this could cause 19128.

Merge remote-tracking branch 'teor/fix18809-warnings' into maint-0.2.8

Merge remote-tracking branch 'public/bug19073' into maint-0.2.8

Fix unused-but-set-variable warnings in the connection unit tests

No behaviour change - just remove the variables

Describe what happens when we get a consensus, but no certificates

Comment-only change

lintchanges on 18809, and fix the bug number

changelog typo fix

Fix a compilation error in test_dir.c

Merge branch 'bug18809_028_squashed' into maint-0.2.8

Add unit tests for networkstatus_consensus_is_bootstrapping

Restore and improve download schedule unit tests

Update unit tests for multiple bootstrap connections

Remove consensus_max_download_tries by refactoring

No behaviour change

This function is used twice. The code is simpler if we split
it up and inline it where it is used.

Changes file for bug 18809

Stop downloading consensuses when a consensus has been downloaded

Previosuly, during bootstrap, we would continue to download
consensuses if we had a consensus, but didn't have the certificates
to validate it.

whitespace fixes

Remove duplicate siging_key_cert fields.

With the fix for #17150, I added a duplicate certificate here.  Here
I remove the original location in 0.2.8.  (I wouldn't want to do
that in 027, due to the amount of authority-voting-related code
drift.)

Closes 19073.

Merge branch 'bug17150_027_extra' into maint-0.2.8

Improve API of routerinfo_incompatible_with_extrainfo()

This API change makes it so that routerinfo_incompatible...() no
longer takes a routerinfo_t, so that it's obvious that it should
only look at fields from the signed_descriptor_t.

This change should prevent a recurrence of #17150.

Fix another, more subtle, case of bug 17150.

We need to make sure that the corresponding sd and ei match in their
certificates.

Copy the signing_key_cert field into signed_descriptor_t

We need this field to be in signed_descriptor_t so that
routerinfo_incompatible_with_extrainfo can work correctly (#17150).
But I don't want to move it completely in this patch, since a great
deal of the code that messes with it has been in flux since 0.2.7,
when this ticket was opened.  I should open another ticket about
removing the field from routerinfo_t and extrainfo_t later on.

This patch fixes no actual behavior.

Fix documentation for routerinfo_incompatible_with_extrainfo

When making sure digest256 matches in ei, look at sd, not ri.

The routerinfo we pass to routerinfo_incompatible_with_extrainfo is
the latest routerinfo for the relay.  The signed_descriptor_t, on
the other hand, is the signed_descriptor_t that corresponds to the
extrainfo.  That means we should be checking the digest256 match
with that signed_descriptor_t, not with the routerinfo.

Fixes bug 17150 (and 19017); bugfix on 0.2.7.2-alpha.

Move extra_info_digest256 into signed_descriptor_t

This patch includes no semantic changes; it's just a field movement.

It's prerequisite for a fix to 19017/17150.

Merge branch 'bug18616-v4-merged_028' into maint-0.2.8

Fix remaining lintChanges warnings.

Resolve lintChanges warnings.

Merge remote-tracking branch 'arma/bug18616-v4' into maint-0.2.8

touchups and refactorings on bug 18616 branch

no behavior changes

Merge remote-tracking branch 'teor/fallback-script' into maint-0.2.8

Merge branch 'maint-0.2.7' into maint-0.2.8

Merge branch 'bug18977_026_v2' into maint-0.2.7

Merge branch 'bug18977_024_v2' into bug18977_026_v2

Had conflicts related to other correct_tm bugs in 0.2.6.  Added wday
for another case.

Have correct_tm set tm_wday as well.

The tm_wday field had been left uninitialized, which was causing
some assertions to fail on Windows unit tests.

Fixes bug 18977.

Merge remote-tracking branch 'arma/bug19003-try2' into maint-0.2.8

Merge remote-tracking branch 'arma/bug17621-try2' into maint-0.2.8

minor touchups on nick's ticket 17621 changes

Document the contents of $datadir/keys

Ticket 17621.

Merge branch 'maint-0.2.7' into maint-0.2.8

unbreak the build (when warnings are enabled)

Merge remote-tracking branch 'teor/bug18816_simplify' into maint-0.2.8

Merge branch 'maint-0.2.7' into maint-0.2.8

Merge remote-tracking branch 'special/bug19032-027' into maint-0.2.7

Fix out-of-bounds write during voting with duplicate ed25519 keys

In dirserv_compute_performance_thresholds, we allocate arrays based
on the length of 'routers', a list of routerinfo_t, but loop over
the nodelist. The 'routers' list may be shorter when relays were
filtered by routers_make_ed_keys_unique, leading to an out-of-bounds
write on directory authorities.

This bug was originally introduced in 26e89742, but it doesn't look
possible to trigger until routers_make_ed_keys_unique was introduced
in 13a31e72.

Fixes bug 19032; bugfix on tor 0.2.8.2-alpha.

Confim we want certificates from fallbacks

Comment-only change

Revert "Switch between fallback and authority when auth cert fetch fails"

This reverts commit 92d7ee08b8c51b4b29f68c6d00ca4aa91ea5a66b.

refactor the #19003 patches

fix the logic in one of the comments

Merge branch 'bug18761_028_squashed' into maint-0.2.8

Log find_rp_for_intro_() failures at LOG_PROTOCOL_WARN.

Closes ticket 18761.

Also fix a whitespace issue.

Merge remote-tracking branch 'teor/bug18816-squashed' into maint-0.2.8

Merge branch 'maint-0.2.7' into maint-0.2.8

Merge branch 'bug18841_1_025' into maint-0.2.7

Undefine _FORTIFY_SOURCE before defining it.

This makes our compilation options checks in autoconf work better on
systems that already define _FORTIFY_SOURCE.

Fixes at least one case of bug 18841; bugfix on 0.2.3.17-beta. Patch
from "trudokal".

Switch between fallback and authority when auth cert fetch fails

Use the consensus download schedule for authority certificates

Previously, we were using the generic schedule for some downloads,
and the consensus schedule for others.

Resolves ticket 18816; fix on fddb814fe in 0.2.4.13-alpha.

get rid of another no-longer-used function

Merge branch 'maint-0.2.7' into maint-0.2.8

Merge branch 'bug19008_027' into maint-0.2.7

Add "-c 1" to ping6 in test-network-all

Fixes bug 19008. bugfix on 0.2.7.3-rc

Merge branch 'maint-0.2.7' into maint-0.2.8

Merge commit '1a065cea46a9c179d64d74d012f051135bc4725a' into maint-0.2.8

This is an merge of maint-0.2.7 as an "ours" merge to avoid taking the
cherry-picked fix of 18490

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

stop looping once we know what the answer will be

suggested during code review by dgoulet

fix a bug where relays would use the aggressive client bootstrapping retry number

simplify more -- we only call these funcs when bootstrapping

remove some more unused code

avoid another redundant check

we should avoid launching a consensus fetch if we don't want one,
but if we do end up with an extra one, we should let the other checks
take care of it.

get rid of the scattered checks to cancel a consensus fetch

We'll back off from the request in connection_ap_handshake_attach_circuit,
or cancel it in connection_dir_close_consensus_fetches, and those are the
only places we need to check.

close other consensus fetches when we get a consensus

not once per second, and only do it when a consensus arrives

use the new function here too

avoid following through on a consensus fetch if we have one already arriving

fix typos/etc before i go nuts on #18809

Allow directories in small networks to bootstrap

Skip DirPort checks when the consensus has no exits.

Resolves #19003, bugfix on #18050 in 0.2.8.1-alpha.

Add a comment to have_enough_path_info()

Comment only change

Update geoip and geoip6 to the May 4 2016 database.

Refactor router_pick_directory_server_impl to use node functions

No behavioural change

This makes the use of the node explicit in the function, rather
than hiding the node lookup in fascist_firewall_allows_rs.

Comment-only change to clarify routerstatus_t IPv4 byte order

Rename skip_or and skip_dir to avoid confusion

Variable rename only

Merge branch 'feature18483-028-v2-squashed' into maint-0.2.8

Only choose directory DirPorts on relays

Make clients only select directories with reachable ORPorts

This makes sure clients will only select relays which support
begindir over ORPort.

Make clients always use begindir for directory requests

This improves client anonymity and avoids directory header tampering.
The extra load on the authorities should be offset by the fallback
directories feature.

This also simplifies the fixes to #18809.

Make directory node selection more reliable

Delete an unnecessary check for non-preferred IP versions.

Allows clients which can't reach any directories of their
preferred IP address version to get directory documents.

Patch on #17840 in 0.2.8.1-alpha.

Merge branch 'bug18921_squashed' into maint-0.2.8

Choose the correct address for one-hop connections

After #17840 in 0.2.8.1-alpha, we incorrectly chose an IPv4
address for all DIRIND_ONEHOP directory connections,
even if the routerstatus didn't have an IPv4 address.

This likely affected bridge clients with IPv6 bridges.

Resolves #18921.

Merge branch 'doc18312' into maint-0.2.8

Merge branch 'bug18686_025' into maint-0.2.8

Report success when not terminating an already terminated process.

Also, document the actual behavior and return values of
tor_terminate_process.

Fixes bug18686; bugfix on 0.2.3.9-alpha.

Merge branch 'bug18710_025' into maint-0.2.8

Fix dnsserv.c assertion when no supported questions are requested.

The problem is that "q" is always set on the first iteration even
if the question is not a supported question. This set of "q" is
not necessary, and will be handled after exiting the loop if there
if a supported q->type was found.

    [Changes file by nickm]

lease enter the commit message for your changes. Lines starting

Fix keccak-tiny portability on `exotic` platforms.

 * SHA-3/SHAKE use little endian for certain things, so byteswap as
   needed.

 * The code was written under the assumption that unaligned access to
   quadwords is allowed, which isn't true particularly on non-Intel.

(cherry-picked by nickm, with changes file from isis.)

Simplify string cleansing in fallback update script

No behavioural change

Improve logging in fallback update script

Log a notice just before the script is about to perform a
potentially time-consuming operation

Clarify the warning when py2-ipaddress isn't found

Make log levels more consistent

No behavioural change (just logging)

Improve comments in fallback update script

Refactor DirPort & begindir descriptor checks

No actual behaviour changes

Remove redundant descriptor checks for OR/Dir reachability

The ORPort and DirPort must be reachable, or we won't publish a
descriptor.

Refactor common code out of reachability checks

No actual changes in behavior