Merge branch 'maint-0.4.0'

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.3.4' into maint-0.3.5

Merge branch 'maint-0.2.9' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/860'

Merge branch 'pr_883_squashed'

Removed the use of expect from CodingStandardsRust

Update geoip and geoip6 to the April 2 2019 database.

Merge remote-tracking branch 'tor-github/pr/863'

Merge remote-tracking branch 'tor-github/pr/875'

Merge remote-tracking branch 'tor-github/pr/864'

Merge branch 'maint-0.4.0'

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.3.4' into maint-0.3.5

Merge branch 'maint-0.2.9' into maint-0.3.4

bug_occurred: a place where we assumed that "buf" was still a buffer

In 9c132a5f9e87a2cd0f we replaced "buf" with a pointer and replaced
one instance of snprintf with asprintf -- but there was still one
snprintf left over, being crashy.

Fixes bug 29967; bug not in any released Tor. This is CID 1444262.

allow circuituse.c to get even longer.

Merge branch 'ticket29662_squashed' into ticket29662_squashed_merged

Check for NULL in tor_assertf_nonfatal()

Refrain from using static buffer for assert failure message; call tor_asprintf() instead

Add changes file

Use tor_assertf{_nonfatal} in code

Silence compiler warnings

test_routerkeys.c: Always check mkdir() return value

After this fix, we have no more unchecked mkdir() calls.

Bug 29939; CID 144254. Bugfix on 0.2.7.2-alpha.

Don't unconditionally deref pub and sub in lint_message_consistency

This can't actually result in a null pointer dereference, since
pub_excl and sub_excl are only set when the corresponding smartlists
are nonempty.  But coverity isn't smart enough to figure that out,
and we shouldn't really be depending on it.

Bug 29938; CID 1444257.  Bug not in any released Tor.

Merge branch 'tor-github/pr/859'

Merge branch 'maint-0.4.0'

Merge remote-tracking branch 'tor-github/pr/835' into maint-0.4.0

Stop assuming that /usr/bin/python3 exists

For scripts that work with python2, use /usr/bin/python.
Otherwise, use /usr/bin/env python3.

Fixes bug 29913; bugfix on 0.2.5.3-alpha.

practracker updates from messaging_v3 merge

(main.c is a bit better, but shutdown.c is ugly)

Merge branch 'messaging_v3' into messaging_v3_merged

changes file for pubsub code

Merge branch 'maint-0.4.0'

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.3.4' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/820' into maint-0.3.4

Remove message/subsystem numbers from log messages

Having the numbers in those messages makes some of the unit test
unstable, by causing them to depend on the initialization order of
the naming objects.

practracker: regen in master, for bug28925 merged to 0.4.0 and later

python3 scripts/maint/practracker/practracker.py --regen

Merge branch 'maint-0.4.0'

Merge remote-tracking branch 'tor-github/pr/836' into maint-0.4.0

Regenerate practracker file from scratch.

Closes ticket 29912.

Since this is the first time that practracker has had a stable
output order, this diff will be larger than usual.

Merge branch 'practracker_regen'

Merge branch 'tor-github/pr/842'

Add new exceptions.txt entries

Merge branch 'bug29805_rebased_squashed'

prob-distr: Some more comments about the initializers.

Based on patches and review comments by Riastradh and Catalyst.

Co-authored-by: Taylor R Campbell <campbell+tor@mumble.net>
Co-authored-by: Taylor Yu <catalyst@torproject.org>

prob-distr: Silence some coverity warnings.

Merge branch 'tor-github/pr/709'

Merge branch 'maint-0.4.0'

Merge branch 'tor-github/pr/847' into maint-0.4.0

practracker: update usage note in docstring

Merge remote-tracking branch 'tor-github/pr/724'

Merge branch 'maint-0.4.0'

Merge remote-tracking branch 'tor-github/pr/852' into maint-0.4.0

Add header guards to ptr_helpers.h

changes: add file for #21377

dircache: fix identation and remove unneded goto

bwauth: remove declaring args, they are now in use

test: check that .../bandwidth.z is compressed

test: Check bw file cache lifetime

bwauth: increment bw file cache lifetime

Increment bw file cache lifetime when serving it by HTTP.
And add a constant to define that lifetime.

bwauth: check and use compression serving bw file

bwauth: check if a bw file could be read

Before serving it by HTTP.

bwauth: use flag to do not warn when file is missing

Use flag to do not warn when the bandwidth file is missing trying
to serve it by http.
Also remove double space in the assignement.

Serve bandwidth file used in the next vote

When a directory authority is using a bandwidth file to obtain the
bandwidth values that will be included in the next vote, serve this
bandwidth file at /tor/status-vote/next/bandwidth.z.

Merge branch 'maint-0.4.0'

Merge remote-tracking branch 'tor-github/pr/848' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/833'

Merge remote-tracking branch 'tor-github/pr/834'

Fix CID 1444119

Let's use the same function exit point for BUG() codepath that we're using
for every other exit condition. That way, we're not forgetting to clean up
the memarea.

test/dir: add a 4th argument to dirserv_read_measured_bandwidths()

Part of 29806.

Merge branch 'ticket29806_035_squashed_merged' into ticket29806_040_squashed_merged

Merge branch 'tor-github/pr/839'

Rename one case of c_type to c_ptr_type.

Rename DISPATCH_DEFINE_TYPE() to DISPATCH_REGISTER_TYPE()

Also fix a grammar error in a comment.

Various documentation notes and tweaks for pubsub

Log warning messages _before_ exiting because of earlier dcfg failure

This helps diagnostics.

Use actual pointers in dispatch_cfg.c.

Previously, I had used integers encoded as pointers.  This
introduced a flaw: NULL represented both the integer zero, and the
absence of a setting.  This in turn made the checks in
cfg_msg_set_{type,chan}() not actually check for an altered value if
the previous value had been set to zero.

Also, I had previously kept a pointer to a dispatch_fypefns_t rather
than making a copy of it.  This meant that if the dispatch_typefns_t
were changed between defining the typefns and creating the
dispatcher, we'd get the modified version.

Found while investigating coverage in pubsub_add_{pub,sub}_()

Add a test for pubsub_items_clear_bindings()

Add test for dispatch_send() fast path.

practracker: split shutdown code out of main.c

This is necessary to get the number of includes in main.c back under
control.  (In the future, we could just use the subsystem manager for
this kind of stuff.)

practracker compliance: split lint_message into more logical parts

pubsub: add test for items_out in builder_finalize()

coverage: Exclude lines in pubsub_pub that can only be reached on bug

pubsub_check.c: Stop accepting NULL prefix, which we never send.

(Our code to handle it was broken, too)

dispatch: Test behavior of formatting type with no set fmt function.

Unit test for namemap_fmt_name()

pubsub test: add a test to make sure typefns can't be changed.

Try a different approach to making publish function seem used.

We want the DISPATCH_ADD_PUB() macro to count as making a
DECLARE_PUBLISH() invocation "used", so let's try a new approach
that preserves that idea.  The old one apparently did not work for
some versions of osx clang.

move pubsub_connector_t typedef to pubsub_connect.h

Correct doxygen @file directives

Document several issues found by Taylor

pubsub: install libevent events separately from the_dispatcher.

Also, add documentation, and fix a free-on-error bug.

Connect the mainloop pubsub dispatcher on startup; free it on shutdown.

Add msgtypes.h include to pubsub_build.h

(The header won't compile without it.)

Code to manage publish/subscribe setup via subsystem interface.

This commit has the necessary logic to run the publish/subscribe
system from the mainloop, and to initialize it on startup and tear
it down later.

Pubsub: macros for ease-of-use and typesafety.

Add function to clear publish bindings.

When we clean up, we'd like to clear all the bindings that refer to
a dispatch_t, so that they don't have dangling pointers to it.

pubsub: relationship checking functionality

This code tries to prevent a large number of possible errors by
enforcing different restrictions on the messages that different
modules publish and subscribe to.

Some of these rules are probably too strict, and some too lax: we
should feel free to change them as needed as we move forward and
learn more.

Pubsub: an OO layer on top of lib/dispatch

This "publish/subscribe" layer sits on top of lib/dispatch, and
tries to provide more type-safety and cross-checking for the
lower-level layer.

Even with this commit, we're still not done: more checking will come
in the next commit, and a set of usability/typesafety macros will
come after.