Add tests for tor_addr_parse, separate from tor_addr_port_parse.

Improve bracket handling in tor_addr_parse()

* Actually check for second bracket
* Only attempt parsing IPv4 address when no brackets found

Change mention of is_extrainfo router_parse_list_from_string() to want_extrainfo

Merge branch 'ticket27246_035_01_squashed'

Expand the comments on ASN.1-encoded TAP keys

Changes for 27246

router: Keep RSA onion public key in ASN.1 format

The OpenSSL "RSA" object is currently 408 bytes compares to the ASN.1 encoding
which is 140 for a 1024 RSA key.

We save 268 bytes per descriptor (routerinfo_t) *and* microdescriptor
(microdesc_t). Scaling this to 6000 relays, and considering client usually
only have microdescriptors, we save 1.608 MB of RAM which is considerable for
mobile client.

This commit makes it that we keep the RSA onion public key (used for TAP
handshake) in ASN.1 format instead of an OpenSSL RSA object.

Changes is done in both routerinfo_t and microdesc_t.

Closes #27246

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.4'

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'onionk/prototest1'

Test: avoid spurious failures in make test-network-all

Before running make test-network-all, delete old logs and test result
files, to avoid spurious failures.

Fixes bug 27295; bugfix on 0.2.7.3-rc.

Test: consistently use $(TEST_NETWORK_ALL_LOG_DIR) in Makefile.am

Part of 27295.

fix man page issue noticed during #26367 review

and fix two other nearby issues while i'm there

Set the file encoding in checkIncludes.py with Python3

make a comment more right

(from #20874 fix)

Merge remote-tracking branch 'teor/bug22747'

Merge remote-tracking branch 'onionk/connection-comments1'

Merge branch 'bug26367_035_01'

hs: Remove rend_client_non_anonymous_mode_enabled

The removal of Tor2Web made this function useless.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Remove rend_client_allow_non_anonymous_connection

By removing Tor2Web, there is no way a client can be non anonymous so we
remove that function and the callsites.

Signed-off-by: David Goulet <dgoulet@torproject.org>

circ: Remove useless param from cannibalization function

Because we just removed Tor2web support, the need_specific_rp is not needed
anymore when cannibalizing a circuit.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Render obsolete Tor2web

Remove support for Tor2web in the code and build system. At this commit, tor
doesn't have Tor2web support anymore.

Ref: https://lists.torproject.org/pipermail/tor-dev/2018-July/013295.html

Close #26367

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/ticket27215_035_01'

fixup! hs: Change default version from 2 to 3

Fix log.c comments about assert vs tor_assert vs raw_assert.

Merge remote-tracking branch 'tor-github/pr/245'

Merge remote-tracking branch 'tor-github/pr/279'

Merge branch 'bug26896_034'

fixup! hs: Learn service version by trying to load the keys

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.4'

When running make test-network-all, use the mixed+hs-v2 network

No behaviour change.

A previous fix to chutney removed v3 onion services from the
mixed+hs-v23 network, so seeing "mixed+hs-v23" in tests is
confusing.

Fixes bug 27345; bugfix on 0.3.2.1-alpha.

core/mainloop: more comments documenting connection.c

core/mainloop: fix documentation of connection_handle_write_impl()

Inaccurate since ​d9746bd468f551d1ada57d962b20eddd15256ce9.

Merge branch 'maint-0.3.4'

"ours" to avoid version bump.

Forward-port changelog from 0.3.4.7-rc

Update to 0.3.4.7-rc-dev

Fix a compilation warning on i386 with clang

Merge remote-tracking branch 'tor-github/pr/289'

Merge remote-tracking branch 'teor/ticket27211'

Merge remote-tracking branch 'teor/bug27237'

Merge branch 'maint-0.3.4'

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'ticket27286_032_v2' into maint-0.3.2

Update the protocol versions recommendations to remove LinkAuth=1

LinkAuth method 1 is the one where we pull the TLS master secrets
out of the OpenSSL data structures and authenticate them with
RSA. Right now we list method 1 as required for clients and relays.
That's a problem, since we can't reasonably support it with NSS. So
let's remove it as a requirement and a recommendation.

As for method 3: I'd like to recommend it it, but that would make
0.2.9 start warning.  Let's not do that till at least some time
after 0.3.5 (the next LTS) is stable.

Closes ticket 27286

Merge branch 'maint-0.3.4'

Bootstrap: add some extra logging

Diagnostics for 27236.

Bootstrap: allow internal-only onion service networks to bootstrap

This fix requires chutney's 27230 fix to bridge client bootstrap.

Part of 27236.

Remove changes entries for stuff that is already in maint-0.3.4

Merge branch 'maint-0.3.4'

"ours" merge to avoid version bump.

Bump to 0.3.4.7-rc

Merge branch 'maint-0.3.4'

Bootstrap: try harder to get descriptors in non-exit test networks

Use the mid weight for the third hop when there are no exits.

Fixes bug 27237; bugfix on 0.2.6.2-alpha.

Add scripts/test/chutney-git-bisect.sh, for bisecting using chutney

Supports bisection on 0.3.4 and earlier.
Recommend that users copy the script before bisecting.

Implements ticket 27211.

Bootstrap: stop requiring descriptors to count exits as usable

Instead, count exits as usable if they have the exit flag, and
present if they also have a non-reject exit policy.

Requiring a threshold of usable descriptors avoids directories trickling
exit descriptors to clients to discover their ExitNodes settings.

Part of 27236.

Merge branch 'maint-0.3.4'

Merge remote-tracking branch 'teor/bug26979-034' into maint-0.3.4

Appveyor CI: always use HEAD for the short commit

Part of 26979.

Appveyor CI: Changes file for 26979

Closes 26979.

Appveyor CI: sort environmental variables

To avoid future duplicates.

Appveyor CI: fix some typos

Appveyor CI: Generate correct tag names

Part of 26979.

Appveyor CI: Switch to one URL per line

Part of 26979.

Appveyor CI: Generate correct branches and URLs for pull requests

Part of 26979.

Appveyor CI: Make short commits 10 hexdigits long

That's what git does for tor.

Part of 26979.

Appveyor CI: Fix GitHub provider detection

Part of 26979.

Merge branch 'maint-0.3.4'

Merge remote-tracking branch 'teor/ticket27275-034' into maint-0.3.4

CI: Only post Appveyor IRC notifications when the build fails

Implements 27275.

Merge branch 'maint-0.3.4'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'maint-0.3.3' into maint-0.3.4

Silence a compilation warning on MSVC 2017 and clang-cl

test.c no longer uses lround(), so we don't need to declare it,
and we can use math.h for fabs().

Fixes bug 27185; bugfix on 0.2.2.2-alpha.

Merge branch 'maint-0.3.4'

Merge remote-tracking branch 'teor/bug27236-034' into maint-0.3.4

Bootstrap: check the exit policy and flag on descriptors

Previously, Tor would only check the exit flag. In small networks, Tor
could bootstrap once it received a consensus with exits, without fetching
the new descriptors for those exits.

After bootstrap, Tor delays descriptor fetches, leading to failures in
fast networks like chutney.

Fixes 27236; bugfix on 0.2.6.3-alpha.

Update the message logged on relays when DirCache is disabled

Since 0.3.3.5-rc, authorities require DirCache (V2Dir) for the Guard
flag.

Fixes bug 24312; bugfix on 0.3.3.5-rc.

Change the wording of the DirCache warning

hs: Change default version from 2 to 3

Closes #27215

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Learn service version by trying to load the keys

In order to switch the default HS version from 2 to 3, we need tor to be smart
and be able to decide on the version by trying to load the service keys during
configuration validation.

Part of #27215

Signed-off-by: David Goulet <dgoulet@torproject.org>

key: Make ed_key_init_from_file() take an or_options_t

Part of #27215, we need to call the ed_key_init_from_file function during
option_validate() which is before the global_options variable is set.

This commit make ed_key_init_from_file() stop using get_options() and instead
now has a or_options_t parameter.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Fix revision counter bugs caused by bad SRV start time computation.

Bug description: For each descriptor, its revision counter is the OPE
ciphertext of the number of seconds since the start time of its SRV value.
This bug caused us to confuse the SRV start time in the middle of the lifetime
of a descriptor in some edge-cases, which caused descriptor rejects.

Bug cause: The bug occurs when we fetch a 23:00 consensus after
midnight (e.g. at 00:08 when not all dirauths have fetched the latest 00:00
consensus). In that case, the voting schedule (which was used for SRV start
time calculation) would return a valid-after past-midnight, whereas our
consensus would be pre-midnight, and that would confuse the SRV start time
computation which is used by HS revision counters (because we would reset the
start time of SRV, without rotating descriptors).

Bug fix: We now use our local consensus time to calculate the SRV start time,
instead of the voting schedule. The voting schedule does not work as originally
envisioned in this case, because it was created for voting by dirauths and not
for scheduling stuff on clients.

Merge branch 'maint-0.3.4'

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.3' into maint-0.3.4

Mark cert_matches_key as not-intrusive; fix stretch compilation.

Merge remote-tracking branch 'tor-github/pr/287'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.3.4'

Merge remote-tracking branch 'teor/travis-osx-master'

Merge remote-tracking branch 'teor/travis-osx-034' into maint-0.3.4

Merge remote-tracking branch 'teor/travis-osx-033' into maint-0.3.3

Merge branch 'maint-0.2.9' into maint-0.3.2