avoid calling format_iso_time() with TIME_MAX

If we tried to move a descriptor from routerlist->old_routers
back into the current routerlist, we were preparing a buffer with
format_iso_time() on ri->cert_expiration_time, and doing it preemptively
since router_add_to_routerlist() might free ri so we wouldn't be able
to get at it later in the function.

But if the descriptor we're moving doesn't have any ed signature, then
its cert will be marked to expire at TIME_MAX, and handing TIME_MAX
to format_iso_time() generates this log warning:

correct_tm(): Bug: gmtime(9223372036854775807) failed with error Value too large for defined data type: Rounding down to 2037

The fix is to preemptively remember the expiry time, but only prepare
the buffer if we know we're going to need it.

Bugfix on commit a1b0a0b9, which came about as part of a fix for bug
20020, and which is not yet in any released version of Tor (hence no
changes file).

make a comment a bit more useful

whitespace and typo fixes

Merge branch 'maint-0.3.2'

remove redundant "implement this" from log message

Merge remote-tracking branch 'teor/fallback-code-2018-01'

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'teor_ticket24681_028' into maint-0.2.9

fix a wide line

Don't keep options in a local in run_main_loop_once.

The options value can change between the get_options() and its
second use, based on setconf callbacks in the event loop.

Stop logging excessive information about fallback netblocks

Implements ticket 24791

Adjust fallback selection parameters

Avoid selecting fallbacks that change their IP addresses too often.

Select more fallbacks by ignoring the Guard flag, and allowing lower
cutoffs for the Running and V2Dir flags. Also allow a lower bandwidth,
and a higher number of fallbacks per operator (5% of the list).

Implements ticket 24785.

Update dependency list for the fallback script

Comment-only change.

Implements #24711.

Make updateFallbackDirs.py search harder for python

(Some OSs don't put it in /usr/bin.)

Fixes bug 24708; bugfix on 0.2.8.1-alpha.

Revise the generateFallbackDirLine.py script to use descriptors

Patch by atagar, part of #24706.

Add fallback directory mirror helper scripts

Add the generateFallbackDirLine.py script for automatically generating
fallback directory mirror lines from relay fingerprints. No more typos!

Add the lookupFallbackDirContact.py script for automatically looking up
operator contact info from relay fingerprints.

Implements ticket 24706.

Add a timestamp to the header of the current fallback list

This timestamp is based on the time that list was first committed.

Part of 24725.

Add a generated timestamp to the fallback directory header

This can act as a revision counter, as requested by atagar in 24742.

Part of 24725.

Remove an incorrect C comment in the current fallback list

Follow-up to #24725

Remove an incorrect C comment from updateFallbackDirs.py's list generation code

Part of #24725.

Add delimiters at the end of every fallback entry in the current list

Using this script:
sed -i.bak $'s|^,$|/* ===== */\\\n,|' src/or/fallback_dirs.inc
(Due to embedded newlines, this script only works in bash.)

And manually add a delimiter to the end of the header, and the start of
the fallback list.

This allows us to check that the code compiles, and the unit tests pass.
And it allows downstream users stem and atlas to adapt to the new format.

The upcoming fallback rebuild will automatically generate this new format.

Follow-up to 24725.

Add a delimiter to the end of each fallback entry

This helps external parsers.

Also, add comments indicating where to add new fields in the fallback
format.

Part of 24725.

Update the version header in the current fallback file to 2.0.0

The upcoming fallback rebuild will automatically generate this new format.

Follow-up to 24725, due to breaking changes in 24679, 24600, and 22759.

Remove commas and equals signs from external string inputs to the fallback list

This makes sure that list parsers only see one comma per fallback entry,
and only see one equals sign per field.

Implements ticket 24726.

Add all-zero extrainfo cache flags to the current fallback file

Using this script:
sed -i.bak $'s|^,$|/* extrainfo=0 */\\\n,|' src/or/fallback_dirs.inc
(Due to embedded newlines, this script only works in bash.)

This allows us to check that the code compiles, and the unit tests pass.
And it allows downstream users stem and atlas to adapt to the new format.

The upcoming fallback rebuild will automatically generate this new format,
with actual relay extrainfo cache flags.

Follow-up to 22759.

Add an extrainfo cache flag for each fallback in a C comment

This allows stem to use fallbacks to fetch extra-info documents,
rather than using authorities.

Implements ticket 22759.

Add blank nicknames to the current fallback file

Using this script:
sed -i.bak $'s|^,$|/* nickname= */\\\n,|' src/or/fallback_dirs.inc
(Due to embedded newlines, this script only works in bash.)

This allows us to check that the code compiles, and the unit tests pass.
And it allows downstream users stem and atlas to adapt to the new format.

The upcoming fallback rebuild will automatically generate this new format,
with actual relay nicknames.

Follow-up to 24600.

Add a nickname to each fallback in a C comment

This makes it easier for operators to find their relays, and allows stem to
use nicknames to identify fallbacks.

Implements ticket 24600.

Remove weights from the current fallback file

Using this script:
sed -i.bak 's/" weight=10",/,/' src/or/fallback_dirs.inc

This allows us to check that the code compiles, and the unit tests pass.
And it allows downstream users stem and atlas to adapt to the new format.

The upcoming fallback rebuild will automatically generate this new format.

Follow-up to 24679.

Remove the "weight=10" line from fallback directory mirror entries

This removes some redundant repeated lines.

Ticket 24681 will maintain the current fallback weights by changing
Tor's default fallback weight to 10.

Implements ticket 24679.

Add a version 1.0.0 header to the current fallback file

The upcoming fallback rebuild will automatically generate this new format,
with version 2.0.0.

Follow-up to 24725.

Add a type and version header to the fallback directory mirror file

This helps external parsers like stem and Relay Search.

Implements ticket 24725.

Add a changes file for 22321, that mentions all its children and 24678

Stop refusing fallbacks on the same machine

We only occasionally checked for fallbacks on the same machine.
And I'm not convinced it makes much of a difference with ~150 fallbacks.

Part of #22321.

Forgive fallback operators that were blacklisted due to a details change

(But have since run a stable relay.)

Part of #22321.

Some fallbacks changed their details: assume the changes are permanent

We have already updated the details for operators who replied to:
https://lists.torproject.org/pipermail/tor-relays/2017-December/013988.html

Closes #24678.

Update fallback directory mirror details based on opt-ins and opt-outs

https://lists.torproject.org/pipermail/tor-relays/2017-December/013898.html

Part of 22321.

Update fallback whitelist and blacklist based on 2017 changes

This covers #22321 comments 3-14, including some child tickets.

Part of #22321. Patch by pastly.

Update comment and add changes file for 20942

Set CONSENSUS_EXPIRY_TOLERANCE to 0

smartlist.rs: The libc::c_char type is not the same as i8.

The code had been using c_char and i8 interchangeably, but it turns
out that c_char is only i8 on platforms where "char" is signed. On
other platforms, c_char is u8.

Fixes bug 24794; bug not on any released Tor.

Merge remote-tracking branch 'frewsxcv/frewsxcv-protover-heap'

Merge remote-tracking branch 'pastly2/ticket24531_033_01'

In networkstatus_consensus_has_ipv6 test, use approx_time()

This may (or may not) fix up some reliability issues we've been
seeing with this test on windows.

Merge branch 'maint-0.3.2'

Merge branch 'bug24634' into maint-0.3.2

Fix some shadowed-global warnings.

These are all about local variables shadowing global
functions. That isn't normally a problem, but at least one
compiler we care about seems to treat this as a case of -Wshadow
violation, so let's fix it.

Fixes bug 24634; bugfix on 0.3.2.1-alpha.

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'bug24633_029' into maint-0.2.9

Merge branch 'maint-0.3.2'

Merge remote-tracking branch 'teor/bug24703_032' into maint-0.3.2

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge remote-tracking branch 'teor/bug24736_028' into maint-0.2.9

Merge remote-tracking branch 'teor/ticket24001'

Remove changes file for 24762

(Bugfixes for bugs not in any released Tor don't get listed in the
changelog, and therefore don't need changes files.)

Merge remote-tracking branch 'teor/bug24762'

Merge remote-tracking branch 'ffmancera/github/bug24677'

Use ping -6 ::1 on Linux when ping6 ::1 fails on tests.

Tor test now checks if "ping -6 -c 1 -W 1 ::1" works when "ping6 -c 1 -W 1 ::1"
fails on tests.

Fixes #24677; bugfix in 0.2.9.3-alpha.

Signed-off-by: Fernando Fernandez Mancera <ffernandezmancera@gmail.com>

Stop trying to remove NULL filenames on shutdown

Fixes bug 24762; bugfix on master.
(Not in any released version of Tor.)

[fixup] this might be an improvement?

Remove unneeded heap allocations in protover.rs.

Clear the address when we can't choose a reachable address

When the fascist_firewall_choose_address_ functions don't find a
reachable address, set the returned address to the null address and port.

This is a precautionary measure, because some callers do not check the
return value.

Fixes bug 24736; bugfix on 0.2.8.2-alpha.

Expand comments in node_get_ed25519_id() and put them near the relevant code

And add a changes file.

Follow-up to 24001.

Conditional check added

Make the default DirAuthorityFallbackRate 0.1

This makes clients on the public tor network prefer to bootstrap off fallback
directory mirrors.

This is a follow-up to 24679, which removed weights from the default fallbacks.

Implements ticket 24681.

Bump the dates and Tor versions on the sample torrcs

Clarify the OutboundBindAddressOR documentation in the sample torrc

Part of 22145

Document IPv6Exit in the sample torrcs

Sample config-only change.

Implements 24703.

Merge branch 'maint-0.3.2'

"ours" to avoid version bump.

Increment version to 0.3.2.8-rc-dev

forward-port the 0.3.2.8-rc changelog

scan-build: Replace some test-assertions with fatal assertions

Using tt_assert in these helpers was implying to scan-build that our
'new' functions might be returning NULL, which in turn would make it
warn about null-pointer use.

Merge branch 'maint-0.3.2'

"ours" merge to avoid version bump.

Increment version to 0.3.2.8-rc

remove changes files that appear in 0.3.2.8-rc

Merge branch 'maint-0.3.2'

Merge remote-tracking branch 'dgoulet/bug24671_032_01' into maint-0.3.2

Fix a compilation error in the channel tests.

This would only show up on systems like windows where monotime_t and
monotime_coarse_t are different types.

In 0.3.3, we use timestamps, not absolute milliseconds.

Merge branch 'maint-0.3.2'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Use monotime_coarse_absolute_msec() in destroy queue

This way it will match the insert queue in 029 and later.

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Merge branch 'bug24666_squashed_025' into maint-0.2.5

Move free to end of test function so coverity won't complain.

Move destroy cells into a separate queue type of their own, to save RAM

We've been seeing problems with destroy cells queues taking up a
huge amount of RAM.  We can mitigate this, since while a full packed
destroy cell takes 514 bytes, we only need 5 bytes to remember a
circuit ID and a reason.

Fixes bug 24666. Bugfix on 0.2.5.1-alpha, when destroy cell queues
were introduced.

Merge branch 'maint-0.3.2'

clarify a comment