Prop210: Add schedules for simultaneous client consensus downloads

Prop210: Add attempt-based connection schedules

Existing tor schedules increment the schedule position on failure,
then retry the connection after the scheduled time.

To make multiple simultaneous connections, we need to increment the
schedule position when making each attempt, then retry a (potentially
simultaneous) connection after the scheduled time.

(Also change find_dl_schedule_and_len to find_dl_schedule, as it no
longer takes or returns len.)

Prop210: Add multiple simultaneous consensus downloads for clients

Make connections on TestingClientBootstrapConsensus*DownloadSchedule,
incrementing the schedule each time the client attempts to connect.

Check if the number of downloads is less than
TestingClientBootstrapConsensusMaxInProgressTries before trying any
more connections.

Prop210: Add want_authority to directory_get_from_dirserver

Prop210: Refactor connection_get_* to produce lists and counts

Fix a pair of dead assignments

Whitespace fix

Fix wide line; log why chmod failed.

Simplify cpd_opts usage.

Defer creation of Unix socket until after setuid

Introduce DataDirectoryGroupReadable boolean

Permit filesystem group to be root

Refactor clock skew warning code to avoid duplication

Merge branch 'maint-0.2.7'

bump to 0.2.7.6-dev

forward-port changelog and releasenotes

make stack-protector happy

Merge branch 'maint-0.2.7'

bump maint version to 0.2.7.6

Remove already-merged changes files.

add a static

improve a comment in memwipe

Merge remote-tracking branch 'public/feature17694_strongest_027'

Assert when the TLS contexts fail to initialize

Merge remote-tracking branch 'teor/fix-exitpolicy-leak'

Mark a couple more arguments as unused.

Try to fix windows build more.

patch from rubiate on #16651

Assert that memory held by rephist is freed

The internal memory allocation and history object counters of the
reputation code can be used to verify the correctness of (part of) the
code. Using these counters revealed an issue where the memory allocation
counter is not decreased when the bandwidth arrays are freed.

A new function ensures the memory allocation counter is decreased when a
bandwidth array is freed.

This commit also removes an unnecessary cast which was found while
working on the code.

Merge branch 'refactor-effective-entry'

Tweak policies_log_first_redundant_entry even more

  * Use smartlist_foreach_begin/end instead of a plain for loop.
  * constify the pointers.

Tweak policies_log_first_redundant_entry more.

   * Since the variable is no longer modified, it should be called
     'policy' instead of 'dest'.  ("Dest" is short for
     "destination".)
   * Fixed the space issue that dgoulet found on the ticket.
   * Fixed the comment a little. (We use the imperative for function
     documentation.)

Merge remote-tracking branch 'teor/first-hop-no-private'

changes file for bug17791

Fix formatting typo in manpage.

Merge branch 'bug17776'

Assert that the directory server digest is given

This prevents a possible crash when memory is copied from a pointer to
NULL.

Mention the expected length of the digests

Some functions that use digest maps did not mention that the digests are
expected to have DIGEST_LEN bytes. This lead to buffer over-reads in the
past.

Add changes file for 17776

Remove unnecessary casting

Fix buffer over-reads in the rendcache tests

The hidden service descriptor cache (rendcache) tests use digest maps
which expect keys to have a length of DIGEST_LEN.

Because the tests use key strings with a length lower than DIGEST_LEN,
the internal copy operation reads outside the key strings which leads to
buffer over-reads.

The issue is resolved by using character arrays with a size of
DIGEST_LEN.

Patch on ade5005853c17b3ae5923c194680442e0f86db4d.

Fix buffer over-reads in the directory tests

The tests pass empty digest strings to the dir_server_new function which
copies it into a directory server structure. The copy operation expects
the digest strings to be DIGEST_LEN characters long.

Because the length of the empty digest strings are lower than
DIGEST_LEN, the copy operation reads outside the digest strings which
leads to buffer over-reads.

The issue is resolved by using character arrays with a size of
DIGEST_LEN.

Patch on 4ff08bb5811ddfe554e597d129ec48a774364480.

Small cleanups and comment fixes to rng functions.

Try to fix windows build

patch from rubiate on #16651

try a little harder with getrandom types to avoid warnings

mark a variable unused.

Fix comment switcheroo. Spotted by skruffy

Fix spaces.

Merge branch 'feature13696_squashed'

Add support for getrandom() and getentropy() when available

Implements feature #13696.

Always hash crypto_strongest_rand() along with some prng

(before using it for anything besides feeding the PRNG)

Part of #17694

Merge branch 'maint-0.2.7'

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Merge branch 'bug17772_024' into maint-0.2.4

Ensure node is a guard candidate when picking a directory guard

Merge branch 'maint-0.2.7'

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Fix a compilation warning introduced by clang 3.6

There was a dead check when we made sure that an array member of a
struct was non-NULL.  Tor has been doing this check since at least
0.2.3, maybe earlier.

Fixes bug 17781.

Fix memory leak by circuit marked for close list

This commit fixes a memory leak introduced by commit
8b4e5b7ee902fb7fa07767410a18433d752c7aef.

Merge branch 'maint-0.2.7'

Format IPv6 policies correctly.

Previously we'd suppressed the mask-bits field in the output when
formatting a policy if it was >=32.  But that should be a >=128 if
we're talking about IPv6.

Since we didn't put these in descriptors, this bug affects only log
messages and controller outputs.

Fix for bug 16056.  The code in question was new in 0.2.0, but the
bug was introduced in 0.2.4 when we started supporting IPv6 exits.

Add changes file for 17778

Fix memory leak in ntor test

Merge remote-tracking branch 'teor/exitpolicy-multicast'

Merge remote-tracking branch 'teor/comments-20151204'

Merge branch 'maint-0.2.7'

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Comment-only change to connection_get_by_type_addr_port_purpose

connection_get_by_type_addr_port_purpose also ignores connections
that are marked for close.

Comment-only changes to connection_connect

port is in host order (addr is tor_addr_t, endianness is abstracted).

addr and port can be different to conn->addr and conn->port if
connecting via a proxy.

Move a comment in router_get_my_descriptor to the correct line

Update comment: get_connection_array no longer takes "n"

Consistently ignore multicast in internal reject private exit policies

Consistently ignore multicast addresses when automatically
generating reject private exit policies.

Closes ticket 17763. Bug fix on 10a6390deb3c9,
not in any released version of Tor. Patch by "teor".

Make policies_log_first_redundant_entry take a const smartlist_t *

Also fixup code style.

Refactor policies_parse_exit_policy_internal

Move logging of redundant policy entries in
policies_parse_exit_policy_internal into its own function.

Closes ticket 17608; patch from "juce".

Initialise configured_addresses to a known value (NULL)

Fix a memory leak in the exit policy parsing code

This memory leak only occurs when the Tor instance is not an exit node.

Fixes code introduced in 10a6390deb3c9ff9fbd8078fc812abf6c77ad67f.

Update geoip and geoip6 to the December 1 2015 database.

Merge branch 'maint-0.2.7'

Add changes file for 17722

Fix undefined behavior caused by memory overlap

The tor_cert_get_checkable_sig function uses the signing key included in
the certificate (if available) when a separate public key is not given.

When the signature is valid, the tor_cert_checksig function copies the
public key from the checkable structure to the public key field of the
certificate signing key.

In situations where the separate public key is not given but the
certificate includes a signing key, the source and destination pointers
in the copy operation are equal and invoke undefined behavior.

Undefined behaviour is avoided by ensuring both pointers are different.

Avoid relying on malloc internals in test_rend_cache_purge.

Closes ticket 17724. Bug fix on ade5005853c1 and 5e9f2384cf0f,
not in any released version of Tor. Patch by "teor".

More fixes/debugging attempts for 17659

Add a stack trace for help debugging one part of 17659

Merge branch 'fix-policies-memory-v2-squashed'

Fix memory leak in policies test

Fix use-after-free of stack memory in getinfo_helper_policies

Fix use-after-free of stack memory in policies_parse_exit_policy*

Change the function names & comments to make the copying explicit.

use sockaddr_storage for stack-allocated sockets in ersatz socketpair

Make SIZEOF_SOCKADDR return socklen_t to avoid bad compares.

Use uint16_t, not in_port_t (which does not exist on Windows). See #17638.

Check magic number in connection_ap_attach_pending

improve log messages to try to track down #17659

Unit test the full length of SHA256 and SHA512 digests

Bugfix on a tor version before the refactoring in git commit
cea12251995d (23 Sep 2009). Patch by "teor".

Merge remote-tracking branch 'teor/rand-failure-modes-v2'

Fix buffer size in sha512 unit test

Nobody likes a stack overflow, even in unit tests.

Closes 17699; but not in any released tor.

Fix test_tortls.c to no longer test failing crypto_rand.

(crypto_rand is no longer allowed to fail.)

Closes bug 17686; bug not in any released tor.  (No backport, since
the tortls tests aren't in 0.2.7)

Correctly free a smartlist in getinfo_helper_policies