Copy the nss-related changes into fuzzing_include_am.py.

Fuzzing module for various string operations, currently focusing on
encoding and decoding.

There are bunches of places where we don't want to invest in a full
fuzzer, but we would like to make sure that some string operation
can handle all its possible inputs.  This fuzzer uses the first byte
of its input to decide what to do with the rest of the input.  Right
now, all the possibilities are decoding a string, and seeing whether
it is decodeable.  If it is, we try to re-encode it and do the whole
thing again, to make sure we get the same result.

This turned up a lot of bugs in the key-value parser, and I think it
will help in other cases too.

Closes ticket 28808.

Add code to parse K=V lines into config_line_t format.

Closes ticket 28755

Merge branch 'maint-0.3.5'

Merge branch 'maint-0.3.4' into maint-0.3.5

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

Update geoip and geoip6 to the December 5 2018 database.

Merge branch 'maint-0.3.5'

Merge remote-tracking branch 'tor-github/pr/546' into maint-0.3.5

Merge remote-tracking branch 'public/prop298'

Merge branch 'prop293_squashed'

Write tests for mark_my_descriptor_dirty_if_too_old()

Merge remote-tracking branch 'tor-github/pr/531'

Merge remote-tracking branch 'tor-github/pr/561'

Merge remote-tracking branch 'tor-github/pr/553'

Merge remote-tracking branch 'tor-github/pr/508'

remember why we are doing getsockopt()

Merge remote-tracking branch 'tor-github/pr/560'

Merge branch 'ticket28479_squashed'

Update ReleasingTor.md to reflect current practice

See #28479.

Merge branch 'maint-0.3.5'

man: Document HSv3 client authorization revocation

Removing a ".auth" file revokes a client access to the service but the
rendezvous circuit is not closed service side because the service simply
doesn't know which circuit is for which client.

This commit notes in the man page that to fully revoke a client access to the
service, the tor process should be restarted.

Closes #28275

Signed-off-by: David Goulet <dgoulet@torproject.org>

Add tests for parsing each routerstatus flag.

Add a framework for testing set_routerstatus_from_routerinfo().

Additionally, use it to test that is_staledesc is set correctly.

Eventually we'll want to test all the other flags, but I'm aiming
for only adding coverage on the changed code here.

Make input argument const in set_routerstatus_from_routerinfo.

Keep list of dirauth flags in sync between dirvote.c and fuzz_vrs.c

Suggested by Teor on PR

manpage: Mention that adding new HS is unsupported if Sandbox is enabled

Print error message we get from socket.connect_ex when it fails

More logging for #28229

Check that new listener connection is actually listening

Merge remote-tracking branch 'tor-github/pr/544'

Merge remote-tracking branch 'tor-github/pr/559'

doc: remove cached-routers from the man page

cached-routers was removed from the code a long time ago

comment: replace cached-routers with cached-descriptors

cached-routers has been gone for a long time

Use tor_strdup() in place of malloc+strncpy+terminate.

Merge remote-tracking branch 'tor-github/pr/556'

Merge branch 'ticket27490a_squashed'

Add regression test for ClientAutoIPv6ORPort

In fascist_firewall_use_ipv6(), say we can use IPv6 if ClientAutoIPv6ORPort is 1

Add new option ClientAutoIPv6ORPort to switch between IPv4 and IPv6 OR ports

Add changes file

Fix coverage build

tor-resolve: Rework SOCKS5 response parsing with trunnel

tor-resolve: Rework SOCKS5 method negotiation client part with trunnel

tor-resolve: parse SOCKS4a reply

Allow socks4_server_reply version to be 0 (for tor-resolve)

tor-resolve: Use trunnel code for SOCKS5 request generation

tor-resolve: link tor-resolve binary with trunnel lib

tor-resolve: generate SOCKS4a request with trunnel

Move net.inet.ip.random_id code to lib/net/

Merge remote-tracking branch 'tor-github/pr/527'

Merge remote-tracking branch 'tor-github/pr/530'

Merge branch 'maint-0.3.5'

Merge remote-tracking branch 'tor-github/pr/554' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/536'

Merge branch 'maint-0.3.5'

Merge branch 'bug28229_diag_035' into maint-0.3.5

Also log a Tor log entry when it has a substring we are waiting for

1 ms. resolution for Tor logs

Add changes file

Log everything from tor down to debug loglevel

In test_rebind.py, log stuff with timestamps

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.3.5'

Merge branch 'maint-0.3.4' into maint-0.3.5

sr: Switch from tor_assert() to BUG()

Closes #19566

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Fix a warning underflow in rend_cache/clean

Because the test is adding entries to the "rend_cache" directly, the
rend_cache_increment_allocation() was never called which made the
rend_cache_clean() call trigger that underflow warning:

rend_cache/clean: [forking] Nov 29 09:55:04.024 [warn] rend_cache_decrement_allocation(): Bug: Underflow in rend_cache_decrement_allocation (on Tor 0.4.0.0-alpha-dev 2240fe63feb9a8cf)

The test is still good and valid.

Fixes #28660

Signed-off-by: David Goulet <dgoulet@torproject.org>

Mention --no-verify in error message

Improve comment at the top

Rename to pre-push.git-hook

Merge branch 'maint-0.3.5'

Merge branch 'maint-0.3.4' into maint-0.3.5

Explicitly specify path to OpenSSL for Appveyor.

This patch explicitly specifies the path to our OpenSSL dependency and
disables the installation of an external OpenSSL version and instead
uses the OpenSSL version available from the MinGW environments.

See: https://bugs.torproject.org/28574

Merge branch 'maint-0.3.5'

Merge remote-tracking branch 'teor/bug28096-035-squashed' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/539'

Merge remote-tracking branch 'tor-github/pr/495'

Changes file for "Dormant Mode" (28335, 2149).

Merge branch 'dormant_v2_squashed'

Test for check_network_participation_callback()

Test netstatus.c tracking of user participation status

Add options to control dormant-client feature.

The DormantClientTimeout option controls how long Tor will wait before
going dormant.  It also provides a way to disable the feature by setting
DormantClientTimeout to e.g. "50 years".

The DormantTimeoutDisabledByIdleStreams option controls whether open but
inactive streams count as "client activity".  To implement it, I had to
make it so that reading or writing on a client stream *always* counts as
activity.

Closes ticket 28429.

Merge branch 'maint-0.3.5'

Merge remote-tracking branch 'dgoulet/ticket28128_035_01' into maint-0.3.5

hs-v3: Do not close RP circuits when deleting an ephemeral service

Bug reported on tor-dev@ and here is the detail explanation of the issue:
https://lists.torproject.org/pipermail/tor-dev/2018-November/013558.html

Fixes bug #28619

Signed-off-by: David Goulet <dgoulet@torproject.org>

Try silencing Coverity false positive CID 1441482

Bugfix on 469f47ef8dc8b18104108f0437c860ec88fca6ad; bug not in any released
Tor version.

changes file for prop293 / ticket 26770

Treat the StaleDesc flag as making our descriptor dirty.

Relay side of prop293.

Vote on the StaleDesc flag from prop293

The StaleDesc flag tells relays that they need to upload a new
descriptor soon, or they will drop out of the consensus.

Emit router families in canonical form

This patch has routers use the same canonicalization logic as
authorities when encoding their family lists.  Additionally, they
now warn if any router in their list is given by nickname, since
that's error-prone.

This patch also adds some long-overdue tests for family formatting.

Extract get_declared_family() into its own function.

This will help as we refactor it.

Add a consensus method in which md families get canonicalized.

Implements prop298. Closes ticket 28266.

Add a function to canonicalize nodefamilies per prop298

This is the same as the regular canonical nodefamily format, except
that unrecognized elements are preserved.

Revise nodefamily.c to match proposal 298

Prop298 says that family entries should be formatted with
$hexids in uppercase, nicknames in lower case, $hexid~names
truncated, and everything sorted lexically.  These changes implement
that ordering for nodefamily.c.

We don't _strictly speaking_ need to nodefamily.c formatting use
this for prop298 microdesc generation, but it seems silly to have
two separate canonicalization algorithms.

Create a temporary directory for tor's DataDirectory in test_rebind.

Fixes #28562.

While here, put the argument count test and usage message _before_ we
attempt to read from sys.argv.

Entry Nodes: Test on reasonably live consensuses

As well as live consensuses.

Tests for 24661.

Entry Nodes: refactor tests to use macros

Part of 24661.

Fix a comment typo in test_hs_common.c

Test: make unit tests use a reasonably live consensus

Cleanup after 24661.