Merge remote-tracking branch 'dgoulet/ticket31008_035_01'

Merge branch 'maint-0.4.1'

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

get rid of accidental second space

changes: file for 28795

Replace the 157 fallbacks originally introduced in Tor 0.3.5.6-rc
in December 2018 (of which ~122 were still functional), with a
list of 148 fallbacks (70 new, 78 existing, 79 removed) generated
in June 2019.

Closes ticket 28795.

Note that we created extra lists from DE and US, but they didn't add
any more fallbacks when we tried to merge them.

fallback: apply the second fallback list from 2019

Update the fallback directory mirrors by merging the current list with:
fallback_dirs_2019-06-28-08-58-39_AU_f0437a39ddbc8459.inc

Part of 28795, see that ticket for logs.

fallback: apply the first fallback list from 2019

Update the fallback directory mirrors by replacing the old list with:
fallback_dirs_2019-06-25-11-49-10_AU_a37adb956fbb5cd2.inc

Part of 28795, see that ticket for logs.

man: Fix -help typo to --help

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/1129'

doc: update the man page entries for DirAuthority and FallbackDir

Improve the documentation for the DirAuthority and FallbackDir torrc
options.

Closes ticket 30955.

Merge branch 'tor-github/pr/1140'

Merge branch 'maint-0.4.1'

Merge remote-tracking branch 'tor-github/pr/1101' into maint-0.4.1

Merge branch 'bug30721_squashed'

test/addr: test that tor_addr_port_lookup() handles IP addresses and ports

And that it does something sensible with host and host:port.

Also reorder the tests into valid, invalid, and ambiguous.
And add some missing cases.

Note: tor_addr_port_lookup() handles ip, ip:port, host, and host:port.

Tests for 30721.

test/addr: test that tor_addr_lookup() handles IP addresses

And that it fails on IP:port and host:port, and does something sensible with
host.

Tests for 30721.

test/addr: test that tor_lookup_hostname() handles IPv4 addresses

And that it fails on IPv6 and host:port, and does something sensible with
host.

Tests for 30721.

test/addr: Add some ambiguous IPv6 cases to test_addr_parse()

Test some strings which could be parsed as IPv6 addresses,
or as IPv6:port strings.

Additional tests for 30721.

test/addr: Increase coverage in test_addr_parse()

Do as many tests as possible for each input string.
Then remove some redundant test cases.

Cleanup after 30721.

test/addr: Stop repeating so much code in test_addr_parse()

Cleanup after 30721.

test/addr: Add unit tests for the fixes in 30721

address/resolve: Require square brackets on IPv6 address:ports

When parsing addreses via Tor's internal address:port parsing and
DNS lookup APIs, require IPv6 addresses with ports to have square
brackets.

But allow IPv6 addresses without ports, whether or not they have
square brackets.

Fixes bug 30721; bugfix on 0.2.1.5-alpha.

address/resolve: try harder to avoid returning uninitialised data

Cleanup after 30721.

resolve: split sub-functions out of tor_addr_lookup()

And remove the practracker exception for tor_addr_lookup().

Cleanup after 30721.

resolve: refactor address family logic in tor_addr_lookup()

Cleanup after 30721.

resolve: consistently parse IP addresses in square brackets

When parsing addreses via Tor's internal DNS lookup API:
* reject IPv4 addresses in square brackets (with or without a port),
* accept IPv6 addresses in square brackets (with or without a port), and
* accept IPv6 addresses without square brackets, as long as they have no port.

This change completes the work started in 23082, making address parsing
consistent between tor's internal DNS lookup and address parsing APIs.

Fixes bug 30721; bugfix on 0.2.1.5-alpha.

Merge branch 'maint-0.4.1'

"ours" to avoid the 0.4.1 version of #30871.

Merge remote-tracking branch 'tor-github/pr/1119'

Merge remote-tracking branch 'tor-github/pr/1118' into maint-0.4.1

Merge remote-tracking branch 'tor-github/pr/1127'

Merge branch 'tor-github/pr/1142'

Merge branch 'tor-github/pr/1109'

Merge branch 'tor-github/pr/1139'

Merge branch 'tor-github/pr/1128'

Merge branch 'maint-0.4.1'

Merge branch 'tor-github/pr/1114' into maint-0.4.1

Changes file for ticket 30889

Fix some onion helpers

Fix add_onion_helper_clientauth() and add_onion_helper_keyarg() to
explicitly call the appropriate control reply abstractions instead of
allocating a string to pass to their callers.

Part of ticket 30889.

Make control_write_reply() mockable

Part of ticket 30889.

Clean up some uses of low-level control replies

Part of ticket 30889.

Remove changes files that appeared in 0.4.1.3-alpha or earlier.

Merge branch 'maint-0.4.1'

"ours" to avoid version bump.

forward-port the 0.4.1.3-alpha changelog

bump to 0.4.1.3-alpha-dev

Remove the unused "exitcode" variable from test_rebind.sh

Fixes a shellcheck issue; closes ticket 30964.  No user-visible
change.

Don't try to shellcheck src/rust/registry

Fixes bug 30963; bug not in any released Tor.

Merge branch 'maint-0.4.1'

Merge remote-tracking branch 'tor-github/pr/1131'

Merge remote-tracking branch 'tor-github/pr/1130' into maint-0.4.1

Merge branch 'maint-0.4.1'

"ours" to avoid version bump.

bump to 0.4.1.3-alpha

stats: Split extrainfo_dump_to_string() into smaller functions.

Closes ticket 30956.

Merge branch 'bug30956_041' into bug30956_master

stats: Always publish pluggable transports in extra info documents

Always publish bridge pluggable transport information in the extra info
descriptor, even if ExtraInfoStatistics is 0. This information is
needed by BridgeDB.

Fixes bug 30956; bugfix on 0.4.1.1-alpha.

Improve comment in .travis.yml

Fix shellcheck warning SC2034 in test_rebind.sh.

Bugfix on be0a4be276c945e4e90b43ce8f784b5b75bef122 (not in any Tor release).

Add changes file

On Travis, put random data in ~/.torrc

Merge branch 'maint-0.4.1'

"ours" merge to avoid taking pracktracker removal.

remove practracker from check-local (0.4.1 only)

changes: Fix typo in changes/ticket30893

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/1113'

Make the great grand practracker happy...

Signed-off-by: David Goulet <dgoulet@torproject.org>

guard: Ignore marked for close circuit when changing state to open

When we consider all circuits in "waiting for guard" state to be promoted to
an "open" state, we were considering all circuits, even the one marked for
close.

This ultiamtely triggers a "circuit_has_opened()" called on the circuit that
is marked for close which then leads to possible undesirable behaviors within
a subsystem.

For instance, the HS subsystem would be unable to find the authentication key
of the introduction point circuit leading to a BUG() warning and a duplicate
mark for close on the circuit.

This commit also adds a unit test to make sure we never select marked for
close circuits when upgrading its guard state from waiting for guard to open.

Fixes #30871

Signed-off-by: David Goulet <dgoulet@torproject.org>

Make the great grand practracker happy...

Signed-off-by: David Goulet <dgoulet@torproject.org>

guard: Ignore marked for close circuit when changing state to open

When we consider all circuits in "waiting for guard" state to be promoted to
an "open" state, we were considering all circuits, even the one marked for
close.

This ultiamtely triggers a "circuit_has_opened()" called on the circuit that
is marked for close which then leads to possible undesirable behaviors within
a subsystem.

For instance, the HS subsystem would be unable to find the authentication key
of the introduction point circuit leading to a BUG() warning and a duplicate
mark for close on the circuit.

This commit also adds a unit test to make sure we never select marked for
close circuits when upgrading its guard state from waiting for guard to open.

Fixes #30871

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-github/pr/1115'

Merge branch 'ticket29533_squashed'

Add changes file

Fix SC2034 in pre-push.git-hook

Shellcheck all the scripts

Merge remote-tracking branch 'tor-github/pr/1100'

Allow excluding documentation from the build

Merge branch 'bug30894_035' into ticket30893

Changes file for ticket 30893 (confparse testing)

Add more unit tests for confparse.c, so we can refactor.

This set of tests gets the line coverage to 100%.

Fix memleak when failing to parse a CSV_INTERVAL.

Fixes bug 30894; bugfix on 0.3.4.1-alpha

Remove the PORT configuration type: nothing uses it.

All of our port configurations now use an extended format.

Renaming: CONFIG_TYPE_UINT -> CONFIG_TYPE_POSINT

This name has been a historical source of confusion, since "uint"
usually suggests "unsigned int" to people, when the real type is
"nonnegative int".

Merge branch 'bug30806'

Make evloop into a subsystem.

Note that the event base object is _not_ created from the initialize
function, since it is configuration-dependent.  This will wait until
configuration is integrated into subsystems.

Closes ticket 30806.

Merge branch 'bug30455_041' into bug30455_master

make: Improve the documentation for test-network-all

"make test-network-all" shows the warnings from each test-network.sh
run on the console, so developers see new warnings early.

Improve the documentation for this feature, and rename a Makefile
variable so the code is self-documenting.

Fixes bug 30455; bugfix on 0.3.0.4-rc.

practracker: accept an extra line in nt_service_install()

Part of 30799.

Merge branch 'tor-github/pr/1099'

Merge branch 'tor-github/pr/1088'

Merge branch 'tor-github/pr/1102'

Merge branch 'tor-github/pr/1040'

Add changes file for 29976

Rework origin circuit tracking to use pubsub

Part of ticket 29976.

Rework orconn tracking to use pubsub

Part of ticket 29976.

Merge branch 'tor-github/pr/1031'

Merge branch 'tor-github/pr/1083'

Merge branch 'maint-0.4.1'

Merge branch 'tor-github/pr/1050' into maint-0.4.1

Add a changes file for ticket 30686.

Give a compile warning when we don't have any flags for minherit().

Part of ticket 30686.

Give a more useful failure messgae when we fail to minherit().

Part of ticket 30686.