Assert that memory held by rephist is freed

The internal memory allocation and history object counters of the
reputation code can be used to verify the correctness of (part of) the
code. Using these counters revealed an issue where the memory allocation
counter is not decreased when the bandwidth arrays are freed.

A new function ensures the memory allocation counter is decreased when a
bandwidth array is freed.

This commit also removes an unnecessary cast which was found while
working on the code.

Merge branch 'refactor-effective-entry'

Tweak policies_log_first_redundant_entry even more

  * Use smartlist_foreach_begin/end instead of a plain for loop.
  * constify the pointers.

Tweak policies_log_first_redundant_entry more.

   * Since the variable is no longer modified, it should be called
     'policy' instead of 'dest'.  ("Dest" is short for
     "destination".)
   * Fixed the space issue that dgoulet found on the ticket.
   * Fixed the comment a little. (We use the imperative for function
     documentation.)

Merge remote-tracking branch 'teor/first-hop-no-private'

changes file for bug17791

Fix formatting typo in manpage.

Merge branch 'bug17776'

Assert that the directory server digest is given

This prevents a possible crash when memory is copied from a pointer to
NULL.

Mention the expected length of the digests

Some functions that use digest maps did not mention that the digests are
expected to have DIGEST_LEN bytes. This lead to buffer over-reads in the
past.

Add changes file for 17776

Remove unnecessary casting

Fix buffer over-reads in the rendcache tests

The hidden service descriptor cache (rendcache) tests use digest maps
which expect keys to have a length of DIGEST_LEN.

Because the tests use key strings with a length lower than DIGEST_LEN,
the internal copy operation reads outside the key strings which leads to
buffer over-reads.

The issue is resolved by using character arrays with a size of
DIGEST_LEN.

Patch on ade5005853c17b3ae5923c194680442e0f86db4d.

Fix buffer over-reads in the directory tests

The tests pass empty digest strings to the dir_server_new function which
copies it into a directory server structure. The copy operation expects
the digest strings to be DIGEST_LEN characters long.

Because the length of the empty digest strings are lower than
DIGEST_LEN, the copy operation reads outside the digest strings which
leads to buffer over-reads.

The issue is resolved by using character arrays with a size of
DIGEST_LEN.

Patch on 4ff08bb5811ddfe554e597d129ec48a774364480.

Try to fix windows build

patch from rubiate on #16651

try a little harder with getrandom types to avoid warnings

mark a variable unused.

Fix comment switcheroo. Spotted by skruffy

Fix spaces.

Merge branch 'feature13696_squashed'

Add support for getrandom() and getentropy() when available

Implements feature #13696.

Merge branch 'maint-0.2.7'

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Merge branch 'bug17772_024' into maint-0.2.4

Ensure node is a guard candidate when picking a directory guard

Merge branch 'maint-0.2.7'

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Fix a compilation warning introduced by clang 3.6

There was a dead check when we made sure that an array member of a
struct was non-NULL.  Tor has been doing this check since at least
0.2.3, maybe earlier.

Fixes bug 17781.

Fix memory leak by circuit marked for close list

This commit fixes a memory leak introduced by commit
8b4e5b7ee902fb7fa07767410a18433d752c7aef.

Merge branch 'maint-0.2.7'

Format IPv6 policies correctly.

Previously we'd suppressed the mask-bits field in the output when
formatting a policy if it was >=32.  But that should be a >=128 if
we're talking about IPv6.

Since we didn't put these in descriptors, this bug affects only log
messages and controller outputs.

Fix for bug 16056.  The code in question was new in 0.2.0, but the
bug was introduced in 0.2.4 when we started supporting IPv6 exits.

Add changes file for 17778

Fix memory leak in ntor test

Merge remote-tracking branch 'teor/exitpolicy-multicast'

Merge remote-tracking branch 'teor/comments-20151204'

Merge branch 'maint-0.2.7'

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Comment-only change to connection_get_by_type_addr_port_purpose

connection_get_by_type_addr_port_purpose also ignores connections
that are marked for close.

Comment-only changes to connection_connect

port is in host order (addr is tor_addr_t, endianness is abstracted).

addr and port can be different to conn->addr and conn->port if
connecting via a proxy.

Move a comment in router_get_my_descriptor to the correct line

Update comment: get_connection_array no longer takes "n"

Consistently ignore multicast in internal reject private exit policies

Consistently ignore multicast addresses when automatically
generating reject private exit policies.

Closes ticket 17763. Bug fix on 10a6390deb3c9,
not in any released version of Tor. Patch by "teor".

Make policies_log_first_redundant_entry take a const smartlist_t *

Also fixup code style.

Refactor policies_parse_exit_policy_internal

Move logging of redundant policy entries in
policies_parse_exit_policy_internal into its own function.

Closes ticket 17608; patch from "juce".

Update geoip and geoip6 to the December 1 2015 database.

Merge branch 'maint-0.2.7'

Add changes file for 17722

Fix undefined behavior caused by memory overlap

The tor_cert_get_checkable_sig function uses the signing key included in
the certificate (if available) when a separate public key is not given.

When the signature is valid, the tor_cert_checksig function copies the
public key from the checkable structure to the public key field of the
certificate signing key.

In situations where the separate public key is not given but the
certificate includes a signing key, the source and destination pointers
in the copy operation are equal and invoke undefined behavior.

Undefined behaviour is avoided by ensuring both pointers are different.

Avoid relying on malloc internals in test_rend_cache_purge.

Closes ticket 17724. Bug fix on ade5005853c1 and 5e9f2384cf0f,
not in any released version of Tor. Patch by "teor".

More fixes/debugging attempts for 17659

Add a stack trace for help debugging one part of 17659

Merge branch 'fix-policies-memory-v2-squashed'

Fix memory leak in policies test

Fix use-after-free of stack memory in getinfo_helper_policies

Fix use-after-free of stack memory in policies_parse_exit_policy*

Change the function names & comments to make the copying explicit.

use sockaddr_storage for stack-allocated sockets in ersatz socketpair

Make SIZEOF_SOCKADDR return socklen_t to avoid bad compares.

Use uint16_t, not in_port_t (which does not exist on Windows). See #17638.

Check magic number in connection_ap_attach_pending

improve log messages to try to track down #17659

Unit test the full length of SHA256 and SHA512 digests

Bugfix on a tor version before the refactoring in git commit
cea12251995d (23 Sep 2009). Patch by "teor".

Merge remote-tracking branch 'teor/rand-failure-modes-v2'

Fix buffer size in sha512 unit test

Nobody likes a stack overflow, even in unit tests.

Closes 17699; but not in any released tor.

Fix test_tortls.c to no longer test failing crypto_rand.

(crypto_rand is no longer allowed to fail.)

Closes bug 17686; bug not in any released tor.  (No backport, since
the tortls tests aren't in 0.2.7)

Correctly free a smartlist in getinfo_helper_policies

Quote variables in case they contain spaces

Add unit tests that check for common RNG failure modes

Check that crypto_rand doesn't return all zeroes, identical values,
or incrementing values (OpenSSL's rand_predictable feature).

Merge branch 'bug17686_v2_027'

Add a changes file for bug 17686

Fix documentation for crypto_rand*

Now that crypto_rand() cannot fail, it should return void.

Add crypto-initializer functions to those whose return values must be checked

Make crypto_seed_rng() and crypto_rand() less scary.

These functions must really never fail; so have crypto_rand() assert
that it's working okay, and have crypto_seed_rng() demand that
callers check its return value.  Also have crypto_seed_rng() check
RAND_status() before returning.

Merge remote-tracking branch 'teor/check-crypto-errors-v2'

fixup! Add controller getinfo exit-policy/reject-private

Stop ignoring ExitPolicyRejectPrivate in getinfo
exit-policy/reject-private. Fix a memory leak.

Set ExitPolicyRejectPrivate in the unit tests, and make a mock
function declaration static.

Check the return value of HMAC in crypto.c and assert on error

Fixes bug #17658; bugfix on commit in fdbb9cdf746b (11 Oct 2011)
in tor version 0.2.3.5-alpha-dev.

Merge branch 'bug17654_try1'

Attempt to make openbsd compilation happier with libevent2 installed

Fix for bug 16651; patch from "rubiate".

Initialize libevent before periodic events

The initialization of libevent interferes with other tests so we also
fork the circuit_timeout test.

fixup! Block OutboundBindAddressIPv[4|6]_ and configured ports on exit relays

Fix unit tests for get_interface_address6_list to assume less
about the interface addresses on the system.

Instead, mock get_interface_address6_list and use the mocked
function to provide a range of address combinations.

Merge branch 'maint-0.2.7'

Include netinet/in.h (if detected) in check for net/pfvar.h

Patch from rubiate; fixes bug 17551.

Merge remote-tracking branch 'public/decouple_dir_request_failed'

Fix a logic error in connection_tls_continue_handshake().

(If we take the branch above this assertion, than we *didn't* have a
v1 handshake.  So if we don't take the branch, we did.  So if we
reach this assertion, we must be running as a server, since clients
no longer attempt v1 handshakes.)

Fix for bug 17654; bugfix on 9d019a7db725dca3dfdbf8d4dbc3b51835e0b49e.

Bug not in any released Tor.

Merge remote-tracking branch 'teor/comments-20151123'

Merge remote-tracking branch 'atagar/man_page_fixes'

Tweak gtank's sha512 patch a little

Merge remote-tracking branch 'gtank/feature17663'

Merge remote-tracking branch 'teor/feature8961-replaycache-sha256'

Merge branch 'maint-0.2.7'

fixup! Refuse to make direct connections to private OR addresses

Add changes file.

Refuse to make direct connections to private OR addresses

Refuse connection requests to private OR addresses unless
ExtendAllowPrivateAddresses is set. Previously, tor would
connect, then refuse to send any cells to a private address.

Fixes bugs 17674 and 8976; bugfix on b7c172c9ec76 (28 Aug 2012)
Original bug 6710, released in 0.2.3.21-rc and an 0.2.2 maint
release.

Patch by "teor".

Fixes for tor's man page

I'm adding Stem test coverage for tor's man page and in doing so ran into quite
a few issues. All of them are pretty minor (worst was misnaming a couple config
options), but still good things to fix. :P

Drop HidServDirectoryV2 and VoteOnHidServDirectoriesV2

These options were removed from tor in July. Time to axe them from our man
page. :P

  https://gitweb.torproject.org/tor.git/commit/?id=2f8cf524ba4e565ab613504a4c41fd724d32facc