Merge remote-tracking branch 'isis-github/bug26109'

reflow the blurb.

move a changelog entry and try writing a blurb

fix some changelog typos that Catalyst found.

various changelog edits

rust: Export digests subcrate from our crypto crate.

run format-changelog

use sortChanges to begin an 0.3.4.1-alpha changelog

Merge branch 'maint-0.3.3'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.2.9' into maint-0.3.1

Update geoip and geoip6 to the May 1 2018 database.

Merge branch 'bug25903_v5_squashed'

Bug 25903: Tests

Use router_get_my_routerinfo_with_err to implement the old version

Having one function implemented in terms of the other should keep
them from diverging.

follow-up on #25852

Merge remote-tracking branch 'rl1987/bug25852_take2'

Merge remote-tracking branch 'catalyst-github/bug25756'

improve a URL

Merge branch 'contributing'

Merge remote-tracking branch 'public/bug25994'

get rid of whitespace before #ifdef's

i don't know if whitespace is ok to have before preprocessing
directives on all platforms, but anyway we almost never have it,
so now things are more uniform.

Add a CONTRIBUTING file

This file contains pointers to other important top-level resources,
and some info about acceptable licenses.  Also, add that info to
CodingStandards.md

control: Mask the event(s) before using ANY_EVENT_IS_INTERESTING()

Before this commit, the control events were never triggered. It was introduced
with commit 0c19ce7bdece5906e035e71d3fb682632c8bb9cb.

Fixes #26082

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'asn-github/bug26078'

Properly ignore retval of event_del().

Fixes #26078: CID 1435546.

changes file for 25943 and 25944

Merge remote-tracking branch 'saper-github/x509_cert_free_crash'

testing: X509 certificate structure needs to be initialized

We alloc/free X.509 structures in three ways:

1) X509 structure allocated with X509_new() and X509_free()

2) Fake X509 structure allocated with fake_x509_malloc() and fake_x509_free()
   May contain valid pointers inside.

3) Empty X509 structure shell allocated with tor_malloc_zero() and
   freed with tor_free()

Merge remote-tracking branch 'public/bug25981'

Tweak error handling for #25852

Avoid confusion with errno from libc

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.3'

Merge remote-tracking branch 'dgoulet/bug26069_031_01' into maint-0.3.1

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.3.3'

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge remote-tracking branch 'juga/ticket26007_029_02' into maint-0.2.9

hs-v3: Add an extra white-space when parsing descriptor

The specification describes the signature token to be right after a newline
(\n) then the token "signature" and then a white-space followed by the encoded
signature.

This commit makes sure that when we parse the signature from the descriptor,
we are always looking for that extra white-space at the end of the token.

It will allow us also to support future fields that might start with
"signature".

Fixes #26069

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket26063_squashed'

Make _with_err return routerinfo, like old function does

Merge branch 'ticket26064'

Enable/disable per-second callback as needed.

There are three cases where this can happen: changes in our
controller events, changes in our DisableNetwork setting, and
changes in our hibernation state.

Closes ticket 26063.

Add a new function to enable/disable the per-second timer as needed

We're about to use this to turn off the per-second timer when the
network is disabled and there aren't any per-second controller
events enabled.

Remove a workaround for ancient libevent versions.

Libevent has accepted a const timeval argument to event_add() for a
very long time now.

Add functions to enable/disable periodic_event_t objects.

Merge remote-tracking branch 'dgoulet/ticket26062_034_01'

Merge branch 'maint-0.3.3'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.2.9' into maint-0.3.1

Bug 25903: Changes file.

Bug 25903: Report new CIRC_BW fields to control port.

Bug 25903: Perform accounting for new CIRC_BW fields.

Two new values in each direction. DELIVERED counts valid end-to-end circuit
data that is accepted by our end and OVERHEAD counts the slack unused data in
each of the relay command cells for those accepted cells.

Control port changes are in the next commit.

Merge branch 'ticket26016'

Merge branch 'ticket26009'

spelling fix

Fix some clang warnings

Mark the 1-per-sec update_current_time() call as redundant.

We still do this time update here, since we do it from all
callbacks, but it is no longer a reason to keep the once-per-second
callback enabled.

Closes ticket 26009.

Distinguish true clock jumps from idleness

Since we're going to be disabling the second-elapsed callback, we're
going to sometimes have long periods when no events file, and so the
current second is not updated.  Handle that by having a better means
to detect "clock jumps" as opposed to "being idle for a while".
Tolerate far more of the latter.

Part of #26009.

Give responsibility for waking up from DORMANT to a mainloop event

Closes ticket 26064.

Having a ControlPort open doesn't mean we are a client

The any_client_port_set() returns true if the ControlPort is set which is
wrong because we can have that port open but still not behave as a tor client
(like many relays for instance).

Fixes #26062

Signed-off-by: David Goulet <dgoulet@torproject.org>

Having a ControlPort open doesn't mean we are a client

The options_any_client_port_set() returns true if the ControlPort is set which
is wrong because we can have that port open but still not behave as a tor
client (like many relays for instance).

Fixes #26062

Signed-off-by: David Goulet <dgoulet@torproject.org>

config: Move any_client_port_set() to config.c

This functions is now used outside of networkstatus.c and makes more sense to
be in config.c.

It is also renamed to options_any_client_port_set() for the config.c
namespace.

No code behavior change.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Use net_is_completely_disabled() in connection.c

This fixes the XXXX case that we had before, and also enforces the
rule that we won't open connections when we're in hard hibernation.

Add a new net_is_completely_disabled() function

Comment-only fix: annotate we_are_hibernating() usage

Everywhere we use we_are_hibernating(), remind the reader what it
means.

(Also, add an XXXX to note a DisableNetwork usage to change later.)

Add we_are_fully_hibernating() to distinguish hibernation states

We want to tell "shut down" from "shutting down".

Give control.c responsibility for its own once-a-second events

Now it has a function that can tell the rest of Tor whether any
once-a-second controller item should fire, and a function to fire
all the once-a-second events.

Add a macro to simplify control_update_global_event_mask().

Test read bandwidth measurements with empty file

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.3'

Merge remote-tracking branch 'asn-github/bug25761_032' into maint-0.3.2

Stop logging stack contents when reading a zero-length bandwidth file

When directory authorities read a zero-byte bandwidth file, they log
a warning with the contents of an uninitialised buffer. Log a warning
about the empty file instead.

Fixes bug 26007; bugfix on 0.2.2.1-alpha.

Merge branch 'maint-0.3.3'

Merge branch 'libressl_201805_033' into maint-0.3.3

Merge remote-tracking branch 'public/bug26005_034'

Detect when v3 services get disabled after HUP.

Remove v3 optimization which made Tor not detect disabling services.

This optimization is not so needed because we only call that function after HUP
anyway.

Fixes bug #25761.

Detect when v2 services get disabled after HUP.

During service configuration, rend_service_prune_list_impl_() sets
rend_service_staging_list to NULL, which blocked pruning after a HUP.

This patch initializes rend_service_staging_list when needed, so that HUP can
detect disabled onion services.

Fixes bug #25761.

Fix compilation of test_addr.c

This needs to include crypto_rand.h (which it didn't before it was
merged).

Merge branch 'ticket25993_squashed'

More unit tests for addressmap_get_virtual_address().

Previously the coverage on this function was mostly accidental,
coming as it did from test_entryconn.c.  These new tests use mocking
to ensure that we actually hit the different failure and retry cases
of addressmap_get_virtual_address(), and make our test coverage a
bit more deterministic.

Closes ticket 25993.

Merge remote-tracking branch 'hello71/bug23883'

Improve tolerance for dirauths with skewed clocks

Previously, an authority with a clock more than 60 seconds ahead could
cause a client with a correct clock to warn that the client's clock
was behind.  Now the clocks of a majority of directory authorities
have to be ahead of the client before this warning will occur.

Relax the early-consensus check so that a client's clock must be 60
seconds behind the earliest time that a given sufficiently-signed
consensus could possibly be available.

Add a new unit test that calls warn_early_consensus() directly.

Fixes bug 25756; bugfix on 0.2.2.25-alpha.

Deindent warn_early_consensus()

Remove one level of indentation by returning early from the function.

Factor out warn_early_consensus()

Factor out the early consensus warning code from
networkstatus_set_current_consensus() into a new function
warn_early_consensus().

Test early-consensus clock skew warnings

Add expect_no_log_msg_containing()

Make clock_skew_warning() mockable

tests: Add "now" param to construct_consensus()

construct_consensus() in test_routerlist.c created votes using a
timestamp from time().  Tests that called construct_consensus() might
have nondeterministic results if they rely on time() not changing too
much on two successive calls.

Neither existing of the two existing tests that calls
construct_consensus is likely to have a failure due to this problem.

Update rust submodule.

rust: Add crypto crate and implement Rust wrappers for SHA2 code.

 * FIXES #24659: https://bugs.torproject.org/24659

Merge branch 'bug26004_029_squashed'

Add a changes file for ticket 26004.

Avoid unsigned integer underflow on empty input.

Allow bandwidth-file lines to have node_id in the last position

Closes ticket 26004.