Update fallback whitelist and blacklist based on 2017 changes

This covers #22321 comments 3-14, including some child tickets.

Part of #22321. Patch by pastly.

Update comment and add changes file for 20942

Set CONSENSUS_EXPIRY_TOLERANCE to 0

smartlist.rs: The libc::c_char type is not the same as i8.

The code had been using c_char and i8 interchangeably, but it turns
out that c_char is only i8 on platforms where "char" is signed. On
other platforms, c_char is u8.

Fixes bug 24794; bug not on any released Tor.

Merge remote-tracking branch 'frewsxcv/frewsxcv-protover-heap'

Merge remote-tracking branch 'pastly2/ticket24531_033_01'

In networkstatus_consensus_has_ipv6 test, use approx_time()

This may (or may not) fix up some reliability issues we've been
seeing with this test on windows.

Merge branch 'maint-0.3.2'

Merge branch 'bug24634' into maint-0.3.2

Fix some shadowed-global warnings.

These are all about local variables shadowing global
functions. That isn't normally a problem, but at least one
compiler we care about seems to treat this as a case of -Wshadow
violation, so let's fix it.

Fixes bug 24634; bugfix on 0.3.2.1-alpha.

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'bug24633_029' into maint-0.2.9

Merge branch 'maint-0.3.2'

Merge remote-tracking branch 'teor/bug24703_032' into maint-0.3.2

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge remote-tracking branch 'teor/bug24736_028' into maint-0.2.9

Merge remote-tracking branch 'teor/ticket24001'

Remove changes file for 24762

(Bugfixes for bugs not in any released Tor don't get listed in the
changelog, and therefore don't need changes files.)

Merge remote-tracking branch 'teor/bug24762'

Merge remote-tracking branch 'ffmancera/github/bug24677'

Use ping -6 ::1 on Linux when ping6 ::1 fails on tests.

Tor test now checks if "ping -6 -c 1 -W 1 ::1" works when "ping6 -c 1 -W 1 ::1"
fails on tests.

Fixes #24677; bugfix in 0.2.9.3-alpha.

Signed-off-by: Fernando Fernandez Mancera <ffernandezmancera@gmail.com>

Stop trying to remove NULL filenames on shutdown

Fixes bug 24762; bugfix on master.
(Not in any released version of Tor.)

[fixup] this might be an improvement?

Remove unneeded heap allocations in protover.rs.

Clear the address when we can't choose a reachable address

When the fascist_firewall_choose_address_ functions don't find a
reachable address, set the returned address to the null address and port.

This is a precautionary measure, because some callers do not check the
return value.

Fixes bug 24736; bugfix on 0.2.8.2-alpha.

Expand comments in node_get_ed25519_id() and put them near the relevant code

And add a changes file.

Follow-up to 24001.

Conditional check added

Bump the dates and Tor versions on the sample torrcs

Clarify the OutboundBindAddressOR documentation in the sample torrc

Part of 22145

Document IPv6Exit in the sample torrcs

Sample config-only change.

Implements 24703.

Merge branch 'maint-0.3.2'

"ours" to avoid version bump.

Increment version to 0.3.2.8-rc-dev

forward-port the 0.3.2.8-rc changelog

scan-build: Replace some test-assertions with fatal assertions

Using tt_assert in these helpers was implying to scan-build that our
'new' functions might be returning NULL, which in turn would make it
warn about null-pointer use.

Merge branch 'maint-0.3.2'

"ours" merge to avoid version bump.

Increment version to 0.3.2.8-rc

remove changes files that appear in 0.3.2.8-rc

Merge branch 'maint-0.3.2'

Merge remote-tracking branch 'dgoulet/bug24671_032_01' into maint-0.3.2

Fix a compilation error in the channel tests.

This would only show up on systems like windows where monotime_t and
monotime_coarse_t are different types.

In 0.3.3, we use timestamps, not absolute milliseconds.

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Use monotime_coarse_absolute_msec() in destroy queue

This way it will match the insert queue in 029 and later.

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Merge branch 'bug24666_squashed_025' into maint-0.2.5

Move free to end of test function so coverity won't complain.

Move destroy cells into a separate queue type of their own, to save RAM

We've been seeing problems with destroy cells queues taking up a
huge amount of RAM.  We can mitigate this, since while a full packed
destroy cell takes 514 bytes, we only need 5 bytes to remember a
circuit ID and a reason.

Fixes bug 24666. Bugfix on 0.2.5.1-alpha, when destroy cell queues
were introduced.

Merge branch 'maint-0.3.2'

clarify a comment

Merge branch 'maint-0.3.2'

sched: Consider extra_space even if negative in KIST

With extra_space negative, it means that the "notsent" queue is quite large so
we must consider that value with the current computed tcp_space. If we end up
to have negative space, we should not add more data to the kernel since the
notsent queue is just too filled up.

Fixes #24665

Signed-off-by: David Goulet <dgoulet@torproject.org>

Fix a pair of memory leaks in tor_cleanup()

Spotted by coverity scan as 1426749 and 1426750

Bug not in any released Tor.

type error fix for monotime_coarse_add_msec on windows

sched: Use lower layer cell limit with KISTLite

Instead of using INT_MAX as a write limit for KISTLite, use the lower layer
limit which is using the specialized num_cells_writeable() of the channel that
will down the line check the connection's outbuf and limit it to 32KB
(OR_CONN_HIGHWATER).

That way we don't take the chance of bloating the connection's outbuf and we
keep the cells in the circuit queue which our OOM handler can take care of,
not the outbuf.

Finally, this commit adds a log_debug() in the update socket information
function of KIST so we can get the socket information in debug.

Fixes #24671

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Update geoip and geoip6 to the December 6 2017 database.

Merge branch 'maint-0.3.2'

Merge branch 'stack_again_032' into maint-0.3.2

Merge remote-tracking branch 'ahf-oniongit/bugs/24605'

expand documentation on tor_remove_file

Remove pre-unlink check tor_remove_file; check errno instead.

This removes a time-of-check/time-of-use issue, though in this case
it would probably be harmless.

Merge remote-tracking branch 'ffmancera/github/bug23271'

Merge branch 'maint-0.3.2'

Update the unit tests to reflect the change of 24425

Remove merge-conflict detritus

Merge remote-tracking branch 'teor/ticket24682'

Merge branch 'maint-0.3.2'

Merge remote-tracking branch 'dgoulet/ticket24425_032_01' into maint-0.3.2

Fix the clz32 and clz64 settings on MSVC.

Fixes bug 24633; bugfix on 0.2.9.1-alpha.

whitespace fix

Merge branch 'xfer_time_coarse'

Improve add_msec test to cover ms->sec rollover

Per mikeperry's suggestion, I'm making sure that the millisecond
part of the time will always roll over in this test.

Make fallback script usage instructions create a log file

Comment-only change.

Closes 24682.

finish documentation on live_consensus_is_missing

Add MainloopStats option.

This patch adds support for MainloopStats that allow developers to get
main event loop statistics via Tor's heartbeat status messages. The new
status log message will show how many succesful, erroneous, and idle
event loop iterations we have had.

See: https://bugs.torproject.org/24605

Fix additional whitespace in config module comment.

please lintchanges

indentation fix

Add remove file function and remove ephemeral files.

Adding tor_remove_file(filename) and refactoring tor_cleanup().

Removing CookieAuthFile and ExtORPortCookieAuthFile when tor_cleanup() is
called.

Fixes #23271.

Signed-off-by: Fernando Fernandez Mancera <ffernandezmancera@gmail.com>

Merge remote-tracking branch 'isis/bug24612'

Merge branch 'maint-0.3.2'

"ours" merge to avoid version bump

bump to 0.3.2.7-rc-dev

forward-port the 0.3.2.7-rc changelog

remove changes files that will appear in 0.3.2.7-rc

Merge branch 'maint-0.3.2'