Merge remote-tracking branch 'tor-github/pr/1772/head'

Merge branch 'maint-0.4.3'

Merge branch 'clang_format_prep_3'

Merge branch 'tor-github/pr/1763'

shared_random: Improve fallback for client no-live-consensus case.

In this case, when we're looking for the voting interval, we should
try looking at the _latest_ consensus if we have one.  When we're
looking for the start of the current voting period, we can use our
existing fallback logic without complaint, since the voting interval
code will already have given us a reasonable voting interval, and we
want to have a round starting time based on the current time.

Comment updates from review.

changes file for 33436

Make voting_schedule.h work correctly when dirauth-mode is disabled.

Stop using all dirauth-only options in shared_random_client.c

This is not as clean a patch as I would like: see the comment on
ASSUME_AUTHORITY_SCHEDULING. This issue here is that the unit tests
sometimes assume that we are going to be looking at the dirauth
options and behaving like a dirauth, but without setting the options
to turn is into one.

This isn't an issue for actually running Tor, as far as I can tell
with chutney.

Correct spacing in dns_launch_correctness_checks()

Run "make autostyle"

changes file for ticket 33460.

In typed_var_kvassign, include config names in error messages.

This should improve the usability of our configuration error messages.

confmgt: when a units value is invalid, include a meaningful error.

Part of 33460.

confmgt: when an int/enum value is invalid, say which values are ok.

Part of 33460.

Merge remote-tracking branch 'tor-github/pr/1750/head'

Dirauth-specific function to get voting interval.

Extract most of dirauth_sched_get_next_valid_after_time()

Most of this function was about recreating a voting schedule on
demand if it didn't exist yet or was not up-to-date.  I've made that
into its own function.

Rename voting_schedule_*() functions.

This is an automated commit, generated by this command:

./scripts/maint/rename_c_identifier.py \
        voting_schedule_recalculate_timing dirauth_sched_recalculate_timing \
        voting_schedule_get_start_of_next_interval voting_sched_get_start_of_interval_after \
        voting_schedule_get_next_valid_after_time dirauth_sched_get_next_valid_after_time

Move one voting schedule fn into networkstatus.c

The 'voting_schdule_get_start_of_next_interval' function isn't
actually dirauth-specific.

Move voting_schedule.[ch] to src/feature/dirauth/

Tweak a couple of URLs in gettingstarted.md

Merge remote-tracking branch 'tor-github/pr/1761/head'

Merge branch 'ticket33316_squashed'

extend ticket33316 changes file to include more changes

Move process subsystem after evloop.

Process uses evloop, and so should be initialized after it.

Merge ocirc and orconn events into or subsystem.

Pubsub events are not supposed to have their own subsystems; they're
supposed to be part of a parent subsystem.

Initialize all subsystems during the unit tests

Previously we had initialized only the library subsystems.  This
made it hard to write some tests, and encouraged people to put their
subsystems at a level lower than they really belonged at.  Instead,
it probably just makes sense to initialize everything before we
start the tests.

Without this fix, 33316 breaks our tests because of raising the
level of the ocirc/orconn events.

Changes file for ticket 33316

Move winprocess_sys into a new low-level hardening module

This code was in our process module, but it doesn't belong there:
process is for launching and monitoring subprocesses, not for
hardening the current process.

This change lets us have our subsystem init order more closely match
our dependency order.

Merge remote-tracking branch 'tor-github/pr/1685/head'

Final touches to #32709 based on Nick's feedback.

- Fix a bug and add unittest.
- Add changes file.
- Add man page entry.

Use PRIu64 and TOR_PRIuSZ, to fix 32-bit build error.

changes file for ticket 33369

manpage: fix up toc attribute

Make direclient_dump_total_dls() respect SafeLogging and pass tests.

Don't dump totals with anonymous purposes.  Additionally, don't dump
headers that have nothing underneath them.

Merge branch 'maint-0.4.3'

Merge remote-tracking branch 'tor-github/pr/1757/head' into maint-0.4.3

Merge branch 'extract_routerkeys_squashed'

Move relay_handshake.[ch] into src/feature/relay, and make it optional

Disable routerkeys.c with --disable-relay-mode.

Merge remote-tracking branch 'tor-github/pr/1745/head'

Merge branch 'maint-0.4.3'

Merge remote-tracking branch 'tor-github/pr/1719/head' into maint-0.4.3

Move router_reset_reachability() into correct header, add a stub

Without this, -O0 builds fail, which is a sign that LTO builds may
fail too.

run "make autostyle"

Merge branch 'ticket4631_squashed'

dirvote: Improve the posted vote log message

Cleanup after 4631.

#33369:Added TOC and hyperlinks for cross-refs

Extract relay-only handshake code into its own file.

This is not the only relay-only handshake code, but it is most of
such code that is in connection_or.c.

fix typo from 7920fc35

Merge branch 'extract_relay_dns'

Merge branch 'extract_ext_orport'

Make dns_cancel_pending_resolve() STATIC.

It is not called by anything outside of the tests and dns.c.

Remove assert_all_pending_dns_resolves_ok().

It hasn't been used since 2009.

dns.h: label functions that are only used inside feature/relay

Note module-local functions in ext_orport.h

Since these are only used inside the feature/relay module, they
don't need stubs.

Make connection_or_get_by_ext_or_id() testing-only

Apparently it is only used by the unit tests: tor doesn't want it at
all.

I've opened a new ticket (33383) to we if we should remove this
whole feature.

Merge branch 'extract_selftest'

Merge remote-tracking branch 'tor-github/pr/1756/head'

Merge remote-tracking branch 'tor-github/pr/1755/head'

dirvote: Remove an incorrect log message

Cleanup after 4631.

Merge remote-tracking branch 'tor-github/pr/1744'

Makefile: Tweak the test-network* chuttney networks

In "make test-network", add tests for single onion services v2 and v3.

In "make test-network-all", test onion services v2 and v3 in the same
network.

Part of 33334.

practracker: Read unicode files when using Python 2

Allow the "practracker" coding best practices checking script to read
unicode files, when using Python 2.

We made the script use unicode literals in 0.4.3.1-alpha, but didn't
change the codec for opening files.

Fixes bug 33374; bugfix on 0.4.3.1-alpha.

Run "practracker --regen-overbroad"

Closes ticket 33373.

changes file for ticket 33275

manpage: Add a missing out-of-order comment

Merge branch 'tor-github/pr/1746'

Small changes to scheduler comments and state changes

Tries to make some of the comments in scheduler.c easier to follow,
and simplifies a couple of the scheduler channel state changes.

Do not build selftest.c when running relay mode is disabled.

Make ext_orport.c relay-mode-only.

Move ext_orport identifier map into ext_orport.c

There's no need to move the declarations: those were already in
ext_orport.h.

This shrinks connection_or.c a little.

Move some declarations into proto_ext_or.h

They are for functions declared in that file.

Make sure callers can handle NULL ext-or auth cookie filename

Disable dns.c when relay mode is disabled.

This saves about 1% for me on a binary compiled without relay mode.

Closes ticket 33366.

Move DNS TTL manipulation code to src/core/or

This removes a dependency from the client code on feature/relay.

Replace identifiers related to clipping DNS ttls.

This is an automated commit, generated by this command:

./scripts/maint/rename_c_identifier.py \
        MIN_DNS_TTL_AT_EXIT MIN_DNS_TTL \
        MAX_DNS_TTL_AT_EXIT MAX_DNS_TTL \
        dns_clip_ttl clip_dns_ttl

Remember dirctory bw usage, and log it in the heartbeat

Closes ticket 32720.

Merge branch 'tor-github/pr/1743'

lintChanges: Tolerate variants that sortChanges knows how to clean up.

Merge branch 'tor-github/pr/1740'

Fix issues pointed out by Nick.

- Loose the asserts on num_pkeys.
- Straighten some dangling &.
- Fix some unpredictable memcpys.

dirauth: Update disabled dirvote_add_vote()

Update the function that handles directory authority votes when the
dirauth module is disabled.

Part of 4631.

changes: file for 4631

dirauth: Refactor dirvote_add_vote()

Refactor dirvote_add_vote() by splitting some code out into static
functions.

Cleanup after 4631.

test/dir: Add specific tests for late vote rejection

Part of 4631.

test/dir: Update the tests for late vote rejection

Part of 4631.

Don't accept posted votes after :52:30

If we receive via 'post' a vote from a dir auth after the
fetch_missing_votes cutoff, that means we didn't get it by the time we
begin the "fetching missing votes from everybody else" phase, which means
it is very likely to cause a consensus split if we count it. Instead,
we reject it.

But we still allow votes that we fetch ourselves after that cutoff.

This is a demo branch for making progress on #4631.

I've been running it on moria1 and it catches and handles real buggy
behavior from directory authorities, e.g.

Jan 28 15:59:50.804 [warn] Rejecting vote from 199.58.81.140 received at 2020-01-28 20:59:50; our cutoff for received votes is 2020-01-28 20:52:30
Jan 28 15:59:50.805 [warn] Rejected vote from 199.58.81.140 ("Vote received too late, would be dangerous to count it").
Jan 29 01:52:52.667 [warn] Rejecting vote from 204.13.164.118 received at 2020-01-29 06:52:52; our cutoff for received votes is 2020-01-29 06:52:30
Jan 29 01:52:52.669 [warn] Rejected vote from 204.13.164.118 ("Vote received too late, would be dangerous to count it").
Jan 29 04:53:26.323 [warn] Rejecting vote from 204.13.164.118 received at 2020-01-29 09:53:26; our cutoff for received votes is 2020-01-29 09:52:30
Jan 29 04:53:26.326 [warn] Rejected vote from 204.13.164.118 ("Vote received too late, would be dangerous to count it").

Revised and incorportaed comments from #33275

Makefile: Silence some submake logs in test-network

These logs split up the chutney SKIP, PASS, and FAIL messages,
and they don't actually contain any useful information.

Cleanup after 33334.

Travis: Produce detailed chutney diagnostics

When a Travis chutney job fails, use chutney's new "diagnostics.sh" tool
to produce detailed diagnostic output.

Closes ticket 32792.

Makefile: Add an IPv6 mixed chutney network

This network is used in make test-network-all and test-network-ipv6.

Closes 33334.

Makefile: Add v3 onion services to the mixed network

This network is used in make test-network-all and test-network-ipv4.

Part of 33334.

Makefile: Refactor and tweak test-network

The refactor is simpler, and supports IPv6 mixed networks.

The refactor also slightly changes the order of the IPv6 and mixed
checks. But it's closer to the original order before 33280.

And if all the network lists that need a network type are empty,
we don't check if we can run that network type. (And if a network
list is empty, we don't say we're going to run an empty list.)

Part of 33334.

Merge remote-tracking branch 'tor-github/pr/1731'

Makefile: Hide some recursive make logs

These logs break up the chutney test output.

Part of 33280.

Makefile: Quote test-network variable expansions

Also:
  * wrap some long lines
  * replace an instance of "test ... -a ..." with "test ... && test ..."

Part of 33280.

Travis: Make Chutney output more readable

* Use a shorter name for the chutney make target
* Put the chutney make target first, when using a custom target

Part of 33280.

Merge branch 'bug33195_master' into ticket33280_master

Conflicts:
* Keep the changes from ticket33280_master