scripts/maint: Stop assuming that python3 is in /usr/bin

Obviously correct fix to rename_c_identifier.py.

Bugfix on 32237; not in any released version of tor.

Merge remote-tracking branch 'tor-github/pr/1462'

Makefile: Stop using trailing spaces in an EXTRA_DIST clause

Based on 8-space tabs, the git/less default.

Cleanup after 31919.

changes: file for 31919

Travis: Install coccinelle on macOS and Linux

And print the spatch version and build details

Part of 31919.

Makefile: Add check_cocci_parse.sh as check-cocci

And add it to check-local.

Part of 31919.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge branch 'maint-0.4.2'

Merge remote-tracking branch 'tor-github/pr/1466' into maint-0.4.2

Merge remote-tracking branch 'tor-github/pr/1463'

changes: file for 31919's bionic Travis image change

Merge branch 'ticket31919_bionic_029' into ticket31919_bionic_035

Travis: Use Ubuntu Bionic, but keep Trusty for chutney

Bionic has a recent coccinelle version, which passes our CI tests.

But Bionic (and Xenial) cause permissions errors for chutney.
We'll fix those in 32240.

Part of 31919.

Merge branch 'maint-0.4.2'

Merge remote-tracking branch 'tor-github/pr/1464' into maint-0.4.2

Merge branch 'maint-0.4.2'

"ours" to avoid version bump.

bump to 0.4.2.3-alpha-dev

Forward-port the changelog for 0.4.2.3-alpha

A little more text in the SEE ALSO section.

Merge remote-tracking branch 'tor-github/pr/1437'

dir: Return 503 code when rejecting single hop request

Single hop rejection (POST and GET) for HS v3 descriptor now return a 503 code
which is more accurate code from dir-spec.txt and from other rejection case in
the code.

For instance if you are not a relay and you get a POST request, a 503 code is
sent back with a rejection message.

Part of #31958

Signed-off-by: David Goulet <dgoulet@torproject.org>

dir: Remove connection_dir_is_anonymous() logging

First, remove the HSDir mention which should not be in that generic function.
Second, move them to debug() level since they are possible error case.

Part of #31958

Signed-off-by: David Goulet <dgoulet@torproject.org>

dir: Look if circuit is closed in connection_dir_is_anonymous()

Before inspecting the p_chan, we must check if the circuit is marked for close
because if it is the case, the channels are nullified from the circuit.

Several valid cases can mark the circuit for close of the directory
connection.

Fixes #31958

Signed-off-by: David Goulet <dgoulet@torproject.org>

configure: Add --disable-module-relay to summary

Closes #32266

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Remove a BUG() caused by an acceptable race

hs_client_purge_state() and hs_cache_clean_as_client() can remove a descriptor
from the client cache with a NEWNYM or simply when the descriptor expires.

Which means that for an INTRO circuit being established during that time, once
it opens, we lookup the descriptor to get the IP object but hey surprised, no
more descriptor.

The approach here is minimalist that is accept the race and close the circuit
since we can not continue. Before that, the circuit would stay opened and the
client wait the SockTimeout.

Fixers #28970.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Add a script to rename C identifiers, and optionally add a commit message

This script should "pay for itself" if it prevents one bug caused by
careless search-replace-commit loops.

scripts/git: Make spaces consistent in pre-push.git-hook

Part of 31919.

scripts/git: Only check modified files in existing git hook checks

Part of 31919.

scripts/git: Add check_cocci_parse.sh to the pre-commit hook

But only check modified files, which dramatically speeds up
check_cocci_parse.sh.

Part of 31919.

scripts/cocci: Check owned src in check_cocci_parse.sh by default

Check the tor-owned sources in an 0.3.5 directory layout, if no
files are provided on the command line.

Part of 31919.

scripts/cocci: Add check_cocci_parse.sh and default exceptions

Add check_cocci_parse.sh, which is a thin wrapper around
try_parse.sh. Add a default exceptions file, and use it in
check_cocci_parse.sh.

Part of 31919.

scripts/cocci: Remove unused arguments from try_parse.sh spatch

Part of 31919.

scripts/cocci: Add an exceptions file to try_parse.sh

Set $TOR_COCCI_EXCEPTIONS_FILE to the name of an exceptions file,
containing a list of filename patterns matched by 'grep -f'.

Part of 31919.

Merge branch 'maint-0.4.2'

"ours" to avoid version bump.

Bump to 0.4.2.3-alpha

Merge remote-tracking branch 'tor-github/pr/1447'

Merge branch 'tor-github/pr/1451'

Merge remote-tracking branch 'tor-github/pr/1449'

changes: file for 32216

scripts/git: Avoid sleeping before the last push in git-push-all.sh

Change the loop order, so that we only sleep between pushes,
and avoid sleeping after all the pushes are done.

(In rare cases, there may still be an extra sleep.)

Part of 32216.

scripts/git: Make git-push-all.sh skip more branches that match upstream

The script now skips master, maint-* and release-* branches that match
upstream, not just test branches.

And fix "no branches" bugs that this change makes happen more often.

Part of 32216.

scripts/git: Pass all unrecognised arguments to git-push-all.sh

This makes the behaviour of git-push-all.sh -n identical to the other
git scripts.

Part of 32216.

scripts/git: Fix a variable name typo in git-push-all.sh

Obviously correct changes to already reviewed code.

changes: file for 29603

We merged this change without a changes file.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

`git merge --strategy ours` to use STATIC for unit tests in
maint-0.4.2.

Merge branch 'pr1450_squashed' into maint-0.4.1

Authorities reject relays running unsupported Tor release series.

Our minimum version is now 0.2.9.5-alpha.  Series 0.3.0, 0.3.1,
0.3.2, 0.3.3, and 0.3.4 are now rejected.

Also, extract this version-checking code into a new function, so we
can test it.

Closes ticket 31549.

Also reject 0.3.5.0 through 0.3.5.6-rc as unstable.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1361' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1360' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1351' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/1284' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1256' into maint-0.3.5

Merge branch 'maint-0.2.9' into maint-0.3.5

`git merge --strategy ours` to take the 0.3.5 changes for 31001,
and ignore the conflicting 0.2.9 changes.

Merge remote-tracking branch 'tor-github/pr/1178' into maint-0.2.9

Remove outdated note.

BridgeDB supports bridge-distribution lines since version 0.5.0:
<https://bugs.torproject.org/23957>

clarify in man page: we count by powers of two

Make clear in the man page, in both the bandwidth section and the
accountingmax section, that Tor counts in powers of two, not
powers of ten: 1 GByte is 1024*1024*1024 bytes, not one billion
bytes.

Resolves ticket 32106.

Tidy whitespace around some STMT_BEGINs and STMT_ENDs

Merge branch 'maint-0.4.2'

Merge remote-tracking branch 'tor-github/pr/1441' into maint-0.4.2

Changes file for options_validate() API changes in #32187.

config validation: make the "old_options" argument const.

We can't do this with the "options" argument yet, since several
places in the code change those right now.

test_options: remove def_opt member of test data.

test_options: remove "dflt" part of setup_options().

It is no longer used anywhere.

Remove a pair of now-unused default-options arguments.

test_options: Fix options_validate() calls in macros.

Coccinelle missed these.

Use coccinelle to fix most options_validate() call sites.

There was one that it could not find because it was in a macro definition.

I used the following semantic patch:

@@
expression e1, e2, e3, e4, e5;
@@
 options_validate(e1,
 e2,
- e3,
- e4,
 e5)

Remove unused arguments from options_validate().

This change breaks compilation; a subsequent commit will fix it with
a coccinelle patch.

validate_fn(): remove now-unused defaults and from_setconf.

These arguments were only used by options_validate, and are now
ignored even there.

Remove changes files that are already merged in 0.4.2.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge remote-tracking branch 'tor-github/pr/1330' into maint-0.4.1

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge remote-tracking branch 'tor-github/pr/1341' into maint-0.4.1

Merge remote-tracking branch 'tor-github/pr/1446'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.2'

Merge remote-tracking branch 'tor-github/pr/1343' into maint-0.4.1

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.2'

Merge remote-tracking branch 'tor-github/pr/1303' into maint-0.4.1

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge remote-tracking branch 'tor-github/pr/1302' into maint-0.4.1

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge remote-tracking branch 'tor-github/pr/1346' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.4.2'