changes file for ticket 33213

gitlab-ci: purge old job for mirroring, its unused and obsolete

Merge branch 'tor-github/pr/1456'

app/config: Fix a comment typo in config.c

The options validation is now a callback.

Bugfix on 31241; not in any released version of tor.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1460' into maint-0.2.9

nodelist: fix a comment typo in routerset.h

Merge branch 'tor-github/pr/1476'

add missing docs in crypto_digest*

Merge branch 'config_macros_doc_cleanup'

scripts: Change to the top source directory as needed

Bugfix on 31919; not in any released version of tor.

practracker: Don't read editor temp files

(Or any dot files.)

Obviously correct changes to already-reviewed code.

scripts/git: Fix a shellcheck error in pre-commit.git-hook

Some versions of shellcheck do not detect this error.

Bugfix on 31919; not in any released version of tor.

Documentation cleanup in confmacros.h

Changes file for ticket 32307.

Fix doxygen HTML warnings in src/feature.

doxygen: add @file declarations for src/feature/

If a file doesn't use the file command (either \file or @file),
Doxygen won't try to process it.

doxygen: add @file declarations for src/app

If a file doesn't use the file command (either \file or @file),
Doxygen won't try to process it.

doxygen: add @file declarations for src/core/crypto

If a file doesn't use the file command (either \file or @file),
Doxygen won't try to process it.

doxygen: add @file declarations for src/core/or

If a file doesn't use the file command (either \file or @file),
Doxygen won't try to process it.

doxygen: add @file declarations for src/core/mainloop

If a file doesn't use the file command (either \file or @file),
Doxygen won't try to process it.

doxygen: add @file declarations for src/core/proto

If a file doesn't use the file command (either \file or @file),
Doxygen won't try to process it.

These declarations also turned up a doxygen warning for
proto_socks.c; I fixed that too.

doxygen: add @file declarations for src/lib

If a file doesn't use the file command (either \file or @file),
Doxygen won't try to process it.

These declarations also turned up a doxygen warning for
crypto_ope.c; I fixed that too.

changes file for 32304

Rename confparse.[ch] identifiers to confmgt.[ch] identifiers.

This is an automated commit, generated by this command:

./scripts/maint/rename_c_identifier.py \
        confparse.h confmgt.h \
        confparse.c confmgt.c \
        CONFPARSE_PRIVATE CONFMGT_PRIVATE \
        TOR_CONFPARSE_H TOR_CONFMGT_H

Rename confparse.[ch] to confmgt.[ch]

This will break compilation until includes etc are fixed.

Move config_format_t and allied definitions into conftypes.h

Since these are needed by every module that is _configurable_, they
belong in lib/conf, not lib/confmgt.

Merge branch 'ticket31241_v3'

config,state: check magic in all callbacks.

confparse: Add a function to check the magic of a toplevel object.

test: Use SEVERITY_MASK_IDX() to find the LOG_* mask indexes

In the unit tests.

Fixes a regression to bug 31334; bug not in any released version of tor.

Merge remote-tracking branch 'tor-github/pr/1467'

scripts/maint: Stop assuming that python3 is in /usr/bin

Obviously correct fix to rename_c_identifier.py.

Bugfix on 32237; not in any released version of tor.

Merge remote-tracking branch 'tor-github/pr/1462'

Makefile: Stop using trailing spaces in an EXTRA_DIST clause

Based on 8-space tabs, the git/less default.

Cleanup after 31919.

changes: file for 31919

Travis: Install coccinelle on macOS and Linux

And print the spatch version and build details

Part of 31919.

Makefile: Add check_cocci_parse.sh as check-cocci

And add it to check-local.

Part of 31919.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge branch 'maint-0.4.2'

changes tile for ticket 31241

test_options: add a test for options_trial_assign()

This function is used by controllers to set options.  I refactored
it a bit when refactoring options validation, so it needs to get
tested.

tests: set DataDirectory_option as well as DataDirectory.

options_validate_cb() derives DataDirectory (which we use) from
DataDirectory_option (which the user sets).  I want to add a test
that will call options_validate_cb(), but it will fail unless it
derives the same value.

config: make options_act*() mockable.

I'll need this for testing options_trial_assign().

Merge remote-tracking branch 'tor-github/pr/1466' into maint-0.4.2

Extend confmgr tests to handle validation callbacks.

config.c: Turn options_transition_allowed() into a proper callback

config.c: extract validate, check-transition, and set into a function

This eliminates duplicated code.  The options_validate() function
itself is now tests-only.

Write a new set of config validation callbacks.

Unlike legacy_validate_fn_t, these callbacks have separation of
duties, into:

    * early normalization and computation.
    * validation
    * transition checking
    * late normalization and computation

Only the first and last steps get mutable objects.  Only the
transition-checking step gets to see the previous values of this
object.

Make foo_validate() functions call config_validate().

The former foo_validate() functions are now toplevel
legacy_validate_fn callbacks.  The new foo_validate() functions now
call them.

This change lets us remove the old shared_random disk state
validation callback entirely.

Add a config_validate() function to invoke verify callbacks.

As we turn our monolithic configuration objects into suites of
smaller module-specific configuration objects, we will want each one
to be able to provide its own verification callbacks.  That means
that instead of invoking these verification callbacks directly, we will
want to call them via the configuration manager object.

Rename validate_fn{,_t} to start with "legacy_".

The current API of this callback mixes responsibilities, including:
  * validation
  * transition checking
  * processing (modifying) the configuration object.

These will have to be disentangled piece by piece, so for now, we'll
have "legacy" validate functions as well.

This is an automated commit, generated by this command:

./scripts/maint/rename_c_identifier.py \
        validate_fn_t legacy_validate_fn_t \
        validate_fn legacy_validate_fn

test_options: stop generating old_data entirely.

Now that we no longer use it anywhere, we can remove this variable
from the test data structure.

test_options: don't pass an old_options argument to options_validate()

This input was inessential, and none of the tests actually depended
on it or tested anything about it (as can be seen from the fact that
tests all still pass when it's removed).

I tried to generate this commit with a coccinelle script, but it had
trouble parsing a lot of options_validate as it stands.  Instead, I
did a search-and-replace to replace "tdata->old_opt," with "NULL,".

Use named-member syntax for initializing config_format_t objects

I'm about to mess with their lists of callbacks, and I don't want to
proliferate lists where we say "NULL, NULL, NULL, ..."

Merge remote-tracking branch 'tor-github/pr/1463'

changes: file for 31919's bionic Travis image change

Merge branch 'ticket31919_bionic_029' into ticket31919_bionic_035

Travis: Use Ubuntu Bionic, but keep Trusty for chutney

Bionic has a recent coccinelle version, which passes our CI tests.

But Bionic (and Xenial) cause permissions errors for chutney.
We'll fix those in 32240.

Part of 31919.

Merge branch 'maint-0.4.2'

Merge remote-tracking branch 'tor-github/pr/1464' into maint-0.4.2

Merge branch 'maint-0.4.2'

"ours" to avoid version bump.

bump to 0.4.2.3-alpha-dev

Forward-port the changelog for 0.4.2.3-alpha

test_options: Use 64-bit comparisons when checking domain masks.

This prevents a warning when building for 32-bit targets.

Fixes bug 32269; bug not in any released Tor.

A little more text in the SEE ALSO section.

Merge remote-tracking branch 'tor-github/pr/1437'

dir: Return 503 code when rejecting single hop request

Single hop rejection (POST and GET) for HS v3 descriptor now return a 503 code
which is more accurate code from dir-spec.txt and from other rejection case in
the code.

For instance if you are not a relay and you get a POST request, a 503 code is
sent back with a rejection message.

Part of #31958

Signed-off-by: David Goulet <dgoulet@torproject.org>

dir: Remove connection_dir_is_anonymous() logging

First, remove the HSDir mention which should not be in that generic function.
Second, move them to debug() level since they are possible error case.

Part of #31958

Signed-off-by: David Goulet <dgoulet@torproject.org>

dir: Look if circuit is closed in connection_dir_is_anonymous()

Before inspecting the p_chan, we must check if the circuit is marked for close
because if it is the case, the channels are nullified from the circuit.

Several valid cases can mark the circuit for close of the directory
connection.

Fixes #31958

Signed-off-by: David Goulet <dgoulet@torproject.org>

configure: Add --disable-module-relay to summary

Closes #32266

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Remove a BUG() caused by an acceptable race

hs_client_purge_state() and hs_cache_clean_as_client() can remove a descriptor
from the client cache with a NEWNYM or simply when the descriptor expires.

Which means that for an INTRO circuit being established during that time, once
it opens, we lookup the descriptor to get the IP object but hey surprised, no
more descriptor.

The approach here is minimalist that is accept the race and close the circuit
since we can not continue. Before that, the circuit would stay opened and the
client wait the SockTimeout.

Fixers #28970.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Add a script to rename C identifiers, and optionally add a commit message

This script should "pay for itself" if it prevents one bug caused by
careless search-replace-commit loops.

scripts/git: Make spaces consistent in pre-push.git-hook

Part of 31919.

scripts/git: Only check modified files in existing git hook checks

Part of 31919.

scripts/git: Add check_cocci_parse.sh to the pre-commit hook

But only check modified files, which dramatically speeds up
check_cocci_parse.sh.

Part of 31919.

scripts/cocci: Check owned src in check_cocci_parse.sh by default

Check the tor-owned sources in an 0.3.5 directory layout, if no
files are provided on the command line.

Part of 31919.

Travis: Use macOS 10.14 with Xcode 11.2

Closes ticket 32241.

scripts/cocci: Add check_cocci_parse.sh and default exceptions

Add check_cocci_parse.sh, which is a thin wrapper around
try_parse.sh. Add a default exceptions file, and use it in
check_cocci_parse.sh.

Part of 31919.

scripts/cocci: Remove unused arguments from try_parse.sh spatch

Part of 31919.

scripts/cocci: Add an exceptions file to try_parse.sh

Set $TOR_COCCI_EXCEPTIONS_FILE to the name of an exceptions file,
containing a list of filename patterns matched by 'grep -f'.

Part of 31919.

Merge branch 'maint-0.4.2'

"ours" to avoid version bump.

Bump to 0.4.2.3-alpha

Merge remote-tracking branch 'tor-github/pr/1447'

hs-v3: Remove the circuit_established intro flag

Only use the HS circuit map to know if an introduction circuit is established
or not. No need for a flag to keep state of something we already have in the
circuit map. Furthermore, the circuit map gets cleaned up properly so it will
always have the "latest truth".

This commit also removes a unit test that was testing specifically that flag
but now we rely solely on the HS circuit map which is also tested few lines
below the removed test.

Fixes #32094

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/1451'

Merge remote-tracking branch 'tor-github/pr/1449'

changes: file for 32216

scripts/git: Avoid sleeping before the last push in git-push-all.sh

Change the loop order, so that we only sleep between pushes,
and avoid sleeping after all the pushes are done.

(In rare cases, there may still be an extra sleep.)

Part of 32216.

scripts/git: Make git-push-all.sh skip more branches that match upstream

The script now skips master, maint-* and release-* branches that match
upstream, not just test branches.

And fix "no branches" bugs that this change makes happen more often.

Part of 32216.

scripts/git: Pass all unrecognised arguments to git-push-all.sh

This makes the behaviour of git-push-all.sh -n identical to the other
git scripts.

Part of 32216.

scripts/git: Fix a variable name typo in git-push-all.sh

Obviously correct changes to already reviewed code.