Merge remote-tracking branch 'tor-github/pr/1419'

Obviously correct fixes to code that's already been reviewed.

Merge remote-tracking branch 'tor-github/pr/1329'

hs_cell.[ch]: repair doxygen.

or_options_st.h: repair some doxygen comments.

shared_random.[ch]: repair doxygen comments

hs_cache.[ch]: repair doxygen comments.

hs_client.[ch]: fix doxygen comments by using /**.

shared_random_state.[ch]: Repair a bunch of doxygen comments

These need to start with /**, not /*.

hs_common.[ch]: repair doxygen comments by replacing /* with /**

hs_descriptor.[ch]: repair doxygen comments.

These are yet more that were not made with "/**"

hs_service.c: repair doxygen comments

hs_service.h: repair doxygen comments.

address_set.c: doxygen comment repair.

channel.h: fix various doxygen warnings

There were a bunch of items where the doxygen comments were
formatted incorrectly (with /* instead of /**)

voting_schedule: fix doxygen comments to use /**

Previously some of the comments here used /*.

Make doc/doxygen before running doxygen.

This makes out-of-tree doxygen builds work.

Closes ticket 32113.

Merge branch 'ticket32099'

Merge branch 'ticket32110'

Doxygen: stop producing LaTeX.

Running doxygen with latex gave us all manner of unicode issues,
slowed down the "make doxygen" target by a lot, and added several
latex dependencies... all to produce a 4000-page reference manual
which is probably not what anybody wanted.

Closes ticket 32099.

Regenerate practracker exceptions file for 0.4.3 progress.

practracker: add a missing #.

Doxygen: update doxyfile to a more recent version.

I have left the settings at their old values, except when they
referred to nonexistent files.

Closes ticket 32110

Doxygen: Fix things that looked like links.

Doxygen thinks that saying #foo is linking to a "foo" anchor
someplace.

Doxygen: fix unrecognized commands.

Doxygen seems to interpret anything starting with \ as a command,
even when we don't mean it that way.

Doxygen: fix warnings about mismatched HTML tags.

Doxygen: Fix mismatched filenames.

In 8 places, our \file declarations didn't match the actual files
they were in.

never say XB, always XBytes

fix three more instances in the man page that we forgot to fix
in earlier attempts

scripts: Fix a git script comment

scripts: Merge forward test branch _042 into test branch _master

Fixes an issue where test branch _041 was merged into _042 and _master.
This issue only affects test branch mode (-t).

Merge branch 'design_revision'

Merge branch 'maint-0.4.2'

Merge remote-tracking branch 'tor-github/pr/1393' into maint-0.4.2

doc/HACKING/design: address comments from ahf

Edit 01b-collections.md a bit for md and missing content

Edit 01a-memory.md

Replace a unicode character which doxygen cannot handle.

Merging without review, as this is an editorial fix in a comment.

Rewrite "common" overview into a "lib" overview.

Rename common-utils to lib-overview.

00-overview.md: Revise to describe intended document structure

git scripts: add maint/release-0.4.2.

Merge branch 'maint-0.4.2'

"Ours" merge to avoid takign ".enable_practracker_in_hooks"

maint-0.4.2: remove ".enable_practracker_in_hooks".

Bump master to 0.4.3.0-alpha-dev.

Merge branch 'ticket31682_042_01_squashed'

Correct comment on build_establish_intro_dos_extension

hs-v3: Fix implicit ssize_t to size_t conversion

Found by Coverity.

Fixes #31682

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-github/pr/1394'

Merge remote-tracking branch 'tor-github/pr/1399'

Merge remote-tracking branch 'tor-github/pr/1401'

Merge branch 'bug30344_squashed_035'

Stop libevent from reading data from closed connections.

Code adapted from Rob's proposed patch in #30344.

Also add a comment in connection_mark_for_close_internal_() on why we should
not be adding extra code there without a very good reason.

test: New behavior on IP retry for HSv3

Unit test for #31652 where if we are over the retry limit for the IP but we
have an established circuit, we don't remove the IP.

Part of #31652

hs-v3: Do not remove intro point if circuit exists

When considering introduction point of a service's descriptor, do not remove
an intro point that has an established or pending circuit.

Fixes #31652

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/1381'

Fix flapping of test_service_intro_point() unittest.

Merge remote-tracking branch 'tor-github/pr/1317'

Merge branch 'ticket31548_035_01_squashed'

hs-v3: Make service pick the exact amount of intro points

When encoding introduction points, we were not checking if that intro points
had an established circuit.

When botting up, the service will pick, by default, 3 + 2 intro points and the
first 3 that establish, we use them and upload the descriptor.

However, the intro point is removed from the service descriptor list only when
the circuit has opened and we see that we have already enough intro points, it
is then removed.

But it is possible that the service establishes 3 intro points successfully
before the other(s) have even opened yet.

This lead to the service encoding extra intro points in the descriptor even
though the circuit is not opened or might never establish (#31561).

Fixes #31548

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-github/pr/1379'

Merge remote-tracking branch 'tor-github/pr/1390'

bump to 0.4.2.2-alpha-dev

fix typo in how-to-review guidelines

Use {mock,unmock}_hostname_resolver() in relevant tests

These tests all invoke the hostname resolver in one way or another,
and therefore potentially block if our DNS server is missing,
absent, or extremely slow.  Closes ticket 31841.

Add a mock replacement for blocking hostname resolution

Based on examination of our tests, this mock function accepts
"localhost" and "torproject.org", and rejects everything else.

Make tor_addr_lookup_host_impl mockable.

tls: Log TLS read buffer length bugs once

Rather than filling the logs with similar warnings.

Fixes bug 31939; bugfix on 0.3.0.4-rc.

Merge remote-tracking branch 'tor-github/pr/1392'

hs: ADD_ONION NEW:BEST now defaults to ED25519-V3

From RSA1024 (v2) to v3 now.

Closes #29669

Signed-off-by: David Goulet <dgoulet@torproject.org>

Pick a release date for 0.4.2.2-alpha

Light edits on 0.4.2.2-alpha changelog.

lightly sort changelog entries

Run format_changelog

Sort changes entries into a changelog for 0.4.2.2-alpha

Merge branch 'tor-github/pr/1377'

Merge branch 'tor-github/pr/1276'

Unit tests for dirserv_reject_tor_version().

Authorities reject relays running unsupported Tor release series.

Our minimum version is now 0.2.9.5-alpha.  Series 0.3.0, 0.3.1,
0.3.2, 0.3.3, and 0.3.4 are now rejected.

Also, extract this version-checking code into a new function, so we
can test it.

Closes ticket 31549.

Also reject 0.3.5.0 through 0.3.5.6-rc as unstable.

bump to 0.4.2.2-alpha

Merge remote-tracking branch 'tor-github/pr/1376'

Merge remote-tracking branch 'tor-github/pr/1358'

Merge remote-tracking branch 'tor-github/pr/1382'

Unify backend implementations for blocking hostname lookup

We have a getaddrinfo() implementation that we prefer, and a
gethostbyname*() implementation that we fall back on.  Give them
both the same interface, and let them be called by the same name.

This is a preparatory step for making them both mockable.

util/map_anon_nofork: Add a cast to avoid passing -48 to memset

This fixes coverity CID 1454593, and bug 31948. Bug not in any
released version of Tor.

configure: List the env vars needed if pkg-config doesn't work

Part of 31922.

configure: Fix a typo in the systemd version message

configure: Give a more useful message when pkg-config fails

When pkg-config is not installed, or a library that depends on
pkg-config is not found, tell the user what to do to fix the
problem.

Fixes bug 31922; bugfix on 0.3.1.1-alpha.

control/control: Refactor some error handling code

Split some protocol error handling out of
connection_control_process_inbuf().

This refactor reduces the size of a practracker exception.

Closes 31840.

Merge remote-tracking branch 'tor-github/pr/1374'

Merge branch 'tor-github/pr/1385'

Merge branch 'tor-github/pr/1344'

Merge branch 'tor-github/pr/1363'

Merge branch 'maint-0.4.1'

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Update geoip and geoip6 to the October 1 2019 database.

log: fix a typo in the function comment for log_fn_()

Closes 31923.

Fix a crash bug in max_u16_in_sl()

The documentation for this function says that the smartlist can
contain NULLs, but the code only handled NULLs if they were at the
start of the list.

We didn't notice this for a long time, because when Tor is run
normally, the sequence of msg_id_t is densely packed, and so this
list (mapping msg_id_t to channel_id_t) contains no NULL elements.
We could only run into this bug:
  * when Tor was running in embedded mode, and starting more than once.
  * when Tor ran first with more pubsub messages enabled, and then
    later with fewer.
  * When the second run (the one with fewer enabled pubsub messages)
    had at least some messages enabled, and those messages were not
    the ones with numerically highest msg_id_t values.

Fixes bug 31898; bugfix on 47de9c7b0a828de7fb8129413db70bc4e4ecac6d
in 0.4.1.1-alpha.

Add a test for max_u16_in_sl().

This test does not currently pass, because of bug 31898.

Rename max_in_sl to max_in_u16_sl, and expose it as STATIC.

Since we want to make this function slightly more visible for testing
purposes, it needs a better name.