Merge branch 'maint-0.2.8'

Merge branch 'bug18921_squashed' into maint-0.2.8

Choose the correct address for one-hop connections

After #17840 in 0.2.8.1-alpha, we incorrectly chose an IPv4
address for all DIRIND_ONEHOP directory connections,
even if the routerstatus didn't have an IPv4 address.

This likely affected bridge clients with IPv6 bridges.

Resolves #18921.

Merge branch 'maint-0.2.8'

Merge branch 'doc18312' into maint-0.2.8

Merge branch 'maint-0.2.8'

Merge branch 'bug18686_025' into maint-0.2.8

Report success when not terminating an already terminated process.

Also, document the actual behavior and return values of
tor_terminate_process.

Fixes bug18686; bugfix on 0.2.3.9-alpha.

Merge branch 'maint-0.2.8'

Merge branch 'bug18710_025' into maint-0.2.8

Fix dnsserv.c assertion when no supported questions are requested.

The problem is that "q" is always set on the first iteration even
if the question is not a supported question. This set of "q" is
not necessary, and will be handled after exiting the loop if there
if a supported q->type was found.

    [Changes file by nickm]

lease enter the commit message for your changes. Lines starting

Merge branch 'maint-0.2.8'

Fix keccak-tiny portability on `exotic` platforms.

 * SHA-3/SHAKE use little endian for certain things, so byteswap as
   needed.

 * The code was written under the assumption that unaligned access to
   quadwords is allowed, which isn't true particularly on non-Intel.

Merge branch 'maint-0.2.8'

(cherry-picked by nickm, with changes file from isis.)

Merge remote-tracking branch 'dgoulet/bug13239_029_01'

Merge branch 'bug18240_squashed'

Clean up TEST_TOR_BINARY so test-stem can have better dependencies

Fix #18240.  This version of the bug first appeared in
0.2.8.2-alpha.  0.2.8.1-alpha and earlier had a different bug.

Based on a patch from cypherpunks.

test_bt.sh: Check stderr for backtrace as well as stdout.

addresssanitizer likes to put backtraces on stderr.

Do not recommend use of nicknames in MapAddress manpage

Merge branch 'maint-0.2.8'

Whitelist additional fallbacks after creating April 2016 list

Report fallback directory detail changes when rebuilding list

As well as the existing reports of IPv6 address additions or removals,
the script now warns when keys change but IPv4:ORPort or
IPv6:IPv6ORPort remain the same.

Existing checks for other whitelist detail changes have also
been re-worded and upgraded to warnings.

This makes it easier for changes to be identified so operators can
be contacted to confirm whether the change is stable.

Changes for #17158, #17905, #18689, #18749 & April 2016 fallbacks

April 2016 fallbacks for 0.2.8-rc

Add fallbacks to white/blacklist from operator responses

Also add misbehaving relays to updateFallbackDirs.py blacklist,
but leave them commented out in case it's a transient issue,
or it's been resolved by the download check fixes. (These
relays hang stem's downloader. It's unlikely they'll ever help
clients.)

mention 18685 in changes file

Merge remote-tracking branch 'yawning-schwanenleid/feature18685'

Remove redundant declarations of MIN

Apparently somewhere along the line we decided that MIN might be
missing.

But we already defined it (if it was missing) in compat.h, which
everybody includes.

Closes ticket 18889.

Remove trunnel files from libor/libcrypto, since they are in libtrunnel. Found with modularity tool.

Increase number of preemptive internal circuits

When we connect to a hidden service as a client we may need three internal
circuits, one for the descriptor retrieval, introduction, and rendezvous.
Let's try to make sure we have them. Closes #13239.

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Merge branch 'handles_squashed'

Basic 'handle' implementation and tests.

This abstraction covers the case where one part of the program needs
to refer to another object that is allowed to disappear.

Merge remote-tracking branch 'public/lcov_excl'

Disambiguate: Avoid defining two static functions called chunk_free_unchecked

Disambiguate: Avoid defining two static functions both called gettweak()

Add branch prediction to util_bug.h, and fix a bug.

Limit fallbacks from the same operator

Use IP address, effective family, and contact info to
discover and limit fallbacks to one per operator.

Also analyse netblock, ports, IP version, and Exit flag,
and print the results. Don't exclude any fallbacks from
the list because of netblocks, ports, IP version, or
Exit flag.

Simplify fallback list output

When creating the list of fallbacks for a release:
* don't output fallback name and contact
* sort fallbacks by fingerprint

Select fallbacks by bandwidth rather than consensus weight

But as advertised bandwidth is controlled by relays,
use consensus weight and median weight to bandwidth ratio
to approximate measured bandwidth.

Includes minor comment changes and parameter reordering.

Only count active fallbacks in updateFallbackDirs.py

Previously, we would cut the list down to 100 fallbacks,
then check if they could serve a consensus, and comment
them out if they couldn't.
This would leave us with fewer than 100 active fallbacks.

Now, we stop when there are 100 active fallbacks.

Also count fallbacks with identical contact info.
Also fix minor logging issues.

Remove fallback directory weights

Give each fallback a set weight of 10.0 for client selection.

Fallbacks must have at least 3000 consensus weight.
This is (nominally) 100 times the expected extra load of
20 kilobytes per second (50 GB per month).

Fixes issue #17905.

Improve fallback selection and output

Improve the download test:
* Allow IPv4 DirPort checks to be turned off.
* Add a timeout to stem's consensus download.
* Actually check for download errors, rather than ignoring them.
* Simplify the timeout and download error checking logic.

Tweak whitelist/blacklist checks to be more robust.
Improve logging, make it warn by default.

Cleanse fallback comments more thoroughly:
* non-printables (yes, ContactInfo can have these)
* // comments (don't rely on newlines to prevent // */ escapes)

Merge branch 'assert_nonfatal_squashed'

Add an IF_BUG_ONCE macro, since that's a pretty common pattern too.

Add a BUG macro for usage in if checks.

Add new tor_assert_nonfatal*() macros.

Unlike tor_assert(), these macros don't abort the process.  They're
good for checking conditions we want to warn about, but which don't
warrant a full crash.

This commit also changes the default implementation for
tor_fragile_assert() to tor_assert_nonfatal_unreached_once().

Closes ticket 18613.

fix typos/etc before i go nuts on #18809

Add LCOV_EXCL* markers to crypto.c and crypto_s2k.c

This marks some lines as unreachable by the unit tests, and as
therefore excluded from test coverage.

(Note: This convention is only for lines that are absolutely
unreachable.  Don't use it anywhere you wouldn't add a
tor_fragile_assert().)

Adopt the LCOV convention for marking lines as unreachable by tests.

Document this convention.

Add a script to post-process .gcov files in order to stop nagging us
about excluded lines.

Teach cov-diff to handle these post-processed files.

Closes ticket 16792

Merge remote-tracking branch 'sebastian/stemtest'

Merge branch 'maint-0.2.8'

Merge remote-tracking branch 'public/bug18716_027' into maint-0.2.8

memarea: Don't assume that sizeof(ulong) >= sizeof(void*).

Fixes bug 18716; bugfix on 0.2.1.1-alpha where memarea.c was
introduced.  Found by wbenny.

Merge branch 'bug14334_squashed'

Don't mark guards as unreachable if connection_connect() fails.

Turn TestingClientBootstrap* into non-testing options

This changes simply renames them by removing "Testing" in front of them and
they do not require TestingTorNetwork to be enabled anymore.

Fixes #18481

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

When we get a bad nickname, explain what a good one is.

Closes #18300; patch from "icanhasaccount".

Merge branch 'maint-0.2.8'

Merge branch 'maint-0.2.7' into maint-0.2.8

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Update geoip and geoip6 to the April 5 2016 database.

Merge branch 'maint-0.2.8'

Merge branch 'bug18728_028' into maint-0.2.8

Don't call the system toupper or tolower.

Yes, we could cast to unsigned char first, but it's probably safest
to just use our own (in test_util), or remove bad-idea features that
we don't use (in readpassphrase.c).

Fixes 18728.

Merge branch 'maint-0.2.8'

quiet debug logs from periodic_event_dispatch()

Stop blasting twelve lines per second from periodic_event_dispatch()
at loglevel debug.

Resolves ticket 18729; fix on 0.2.8.1-alpha.

Merge branch 'maint-0.2.8'

Only define NEW_THREAD_API when not building with LibreSSL.

Merge remote-tracking branch 'teor/bug18720'

Merge branch 'maint-0.2.8'

Add a changes file for the OpenSSL 1.1.0 compilation fixes.

OpenSSL 1.1.0-pre5-dev and later made BIO opaque.

Detect newer versions and fix our TLS code to use the new API.

OpenSSL 1.1.0-pre4 and later(?) have a new "thread API".

It appears that setting the various callbacks is no longer required, so
don't.

Fix a comment typo in compat.h

Clarify comments on connection_t's address fields

Move tor_assert implementation into its own header/module.

Merge branch 'incoming_queue_symbol_fix'

Merge branch 'maint-0.2.8'

Merge branch 'bug18133_027' into maint-0.2.8

fix indentation

Merge branch 'maint-0.2.8'

Merge remote-tracking branch 'karsten/task-18460-2' into maint-0.2.8

Issue a `STATUS_SERVER` event on meaningful hibernation state changes.

Implements feature #18685.

Merge branch 'bug15221_027' into maint-0.2.7

Don't declare "incoming_queue" in every file including channel.h

Found with my wacky symbol-usage-enforcer.

Merge branch 'bug18570_027' into maint-0.2.7

majority of four is, alas, three

fix typo in comment

Merge branch 'bug16248_027' into maint-0.2.7

Merge remote-tracking branch 'arma/feature18624'

Faravahar also versions.

Merge branch 'maint-0.2.8'

Fix my dumb unreleased bug in 18673

Rename tor_dup_addr to tor_addr_to_str_dup.

Patch from icanhasaccount; closes 18462.

Merge branch 'maint-0.2.8'

Merge branch 'bug18673_028_v2' into maint-0.2.8

Merge remote-tracking branch 'sebastian/onlyonly' into maint-0.2.8