Merge branch 'disable_ns_macro'

Merge branch 'ticket22029_attempt_squashed'

Add changes file for Bug #22029

Update tor.1 man page for Bug #22029

Add dirserv_load_fingerprint_file() test

Allow ed25519 keys to be banned in approved-routers

Changes file for ticket 32887 (NS*() removal)

Fix wide lines from NS() removal fallout.

Remove NS*() macros from test.h.

We never used them very much, and although they had potential to
clarify some of our tests, they also made some of the logic harder
for people to follow.  Clang-format can't make head or tail of them,
so the time has come to say goodbye to them.

Remove all usage of the NS*() macros in test*.c

This is an automatically generated commit, made with the following
kludgey perl script. It results in a number of wide lines, which
I'll clean up in a subsequent commit.

#/usr/bin/perl -w -i
$mod = "NS_MODULE";
$submod = "NS_SUBMODULE";
$last_was_empty = 0;

while (<>) {

    s/\bASPECT\(\s*(\w+)\s*,\s*(\w+)\s*\)/$1_$2/;

    if (/# *define +NS_MODULE +(\w+)/) {
        $mod = $1;
        next;
    } elsif (/# *define +NS_SUBMODULE +(\w+)/) {
        $submod = $1;
        next;
    }

    next if (/#undef NS_(SUB)?MODULE/);

    s/NS\(\s*test_main\s*\)/test_${mod}_${submod}/;
    s/NS\(\s*(\w+)\s*\)/${mod}_${submod}_$1/g;
    s/NS_FULL\(\\s*(\w+)\s*,\s*(\w+),\s*(\w+)\s*\)/$1_$2_$3/;
    s/^(\s*)NS_MOCK\(\s*(\w+)\s*\)/$1MOCK($2,\n$1     ${mod}_${submod}_$2)/;
    s/NS_UNMOCK\(\s*(\w+)\s*\)/UNMOCK($1)/;
    s/TEST_CASE\(\s*(\w+)\s*\)/{ "$1", test_${mod}_$1, TT_FORK, NULL, NULL }/;
    s/TEST_CASE_ASPECT\(\s*(\w+)\s*,\s*(\w+)\s*\)/{ "$1_$2", test_${mod}_$1_$2, TT_FORK, NULL, NULL }/;
    s/NS_DECL\(\s*([^,]+)\s*,\s*([^,]+)\s*,\s*(\(.*)\);/static $1 ${mod}_${submod}_$2$3;\nATTR_UNUSED static int ${mod}_${submod}_$2_called = 0;/;
    s/\bCALLED\(\s*(\w+)\s*\)/${mod}_${submod}_$1_called/;

    if (/^$/) {
        print if (! $last_was_empty);
        $last_was_empty = 1;
    } else {
        $last_was_empty = 0;
        print;
    }

    if (eof) {
        $mod = "NS_MODULE";
        $submod = "NS_SUBMODULE";
        $last_was_empty = 0;
    }
}

# Please enter the commit message for your changes. Lines starting
# with '#' will be kept; you may remove them yourself if you want to.
# An empty message aborts the commit.
#
# Date:      Thu Jan 9 10:26:10 2020 -0500
#
# On branch disable_ns_macro
# Changes to be committed:
# modified:   src/test/test_accounting.c
# modified:   src/test/test_compat_libevent.c
# modified:   src/test/test_dir.c
# modified:   src/test/test_dir_handle_get.c
# modified:   src/test/test_dns.c
# modified:   src/test/test_options.c
# modified:   src/test/test_procmon.c
# modified:   src/test/test_rendcache.c
# modified:   src/test/test_router.c
# modified:   src/test/test_routerset.c
# modified:   src/test/test_status.c
# modified:   src/test/test_tortls.c
# modified:   src/test/test_tortls_openssl.c
# modified:   src/test/test_util_format.c
# modified:   src/test/test_util_process.c
#
# Untracked files:
# experiments/
# locate_options.sh
# un_ns.pl
#

# Please enter the commit message for your changes. Lines starting
# with '#' will be kept; you may remove them yourself if you want to.
# An empty message aborts the commit.
#
# Date:      Thu Jan 9 10:26:10 2020 -0500
#
# On branch disable_ns_macro
# Changes to be committed:
# modified:   src/test/test_accounting.c
# modified:   src/test/test_compat_libevent.c
# modified:   src/test/test_dir.c
# modified:   src/test/test_dir_handle_get.c
# modified:   src/test/test_dns.c
# modified:   src/test/test_options.c
# modified:   src/test/test_procmon.c
# modified:   src/test/test_rendcache.c
# modified:   src/test/test_router.c
# modified:   src/test/test_routerset.c
# modified:   src/test/test_status.c
# modified:   src/test/test_tortls.c
# modified:   src/test/test_tortls_openssl.c
# modified:   src/test/test_util_format.c
# modified:   src/test/test_util_process.c
#
# Untracked files:
# experiments/
# locate_options.sh
# un_ns.pl
#

Replace various NS_MODULE/SUBMODULE vals with shorter names.

This will help avoid wide lines in our output.

Put all NS_DECL invocations on single lines.

This is going to make my script happier; these lines will soon
disappear.

Always define NS_MODULE and NS_SUBMODULE when NS is used.

When these macros aren't defined, the expansions of the NS macros
can get particularly ugly.

Merge branch 'pre_formatter_cleanups_squashed'

changes file for 32764.

process.h: include stdbool.h

We use bool, so we should include stdbool.

conscache.h: declare config_line_t structure.

This frees us from a dependency on include order.

Turn authdir_mode_v3() into a non-inline function

This change means that authmode.h no longer needs to see
or_options_t, and frees us from an ordering dependency.

Include ht.h in all headers that use HT_ENTRY()

Without this change, compilation success depends on include order in
several tricky ways.

consdiffmgr.h: use struct declarations for several types

This prevents a dependency on include order.

hs_circuitmap.h: use a struct declaration

This fixes a case where our compilation would depend on include order.

routerparse.h: include parsecommon.h when exposing token table.

Without this include, our compilation depends more on include order.

process.h: add a struct declaration for buf_t.

This lets us avoid a dependency on include order.

timers.h: add declaration for timeval.

This frees us from some dependencies on include order.

lib/conf: include torint.h in files that use it.

This frees us from some dependencies on include order.

control_hs.h: use a couple of struct delcarations

Doing this frees us from some assumptions about include order.

connection.h: new includes and struct declarations

Using these frees us from several dependencies on include order.

siphash.h: include stdint.

Doing this gives us a valid uint64_t type, freeing us from
dependencies on include order.

hs_circuit: use struct declaration.

This frees us from a dependency on include order.

or_options_st.h: Add an include and a struct declaration.

This frees us from some dependencies on include order.

Include x509.h in tortls_internal.h.

This gives us the definition of tor_x509_cert_impl_t, and makes us
less dependent on include order.

Include sys/types.h in fdio.h, for "off_t".

Otherwise our compilation depends on include order.

Use raw_assert in ht.h

Also, include torerr.h from ht.h if we are using raw_assert.

Otherwise, our includes need to be ordered so that ht.h comes after
util_log.h.

Remove extra ; from tt_assert() macro definition.

We were actually omitting the semicolon in a few places, leading to
confusing indentation and some cocci failures.

Use new ENABLE/DISABLE_GCC_WARNING

This is an automated commit, generated by:

perl -i -pe 'next if /define/; s/((?:ENABLE|DISABLE)_GCC_WARNING)\(([A-Za-z0-9_\-]+)\)/$1(\"-W$2\")/' src/*/*/*.[ch] src/*/*.[ch]

Replace DISABLE/ENABLE_GCC_WARNING with something that will confuse clang-format less

core/include.am: spelling fix

It's 2020. Update the copyright dates with "make update-copyright"

Run "make autostyle"; add an endif comment

router: Improve port search function comments

speaking of utf-8, remove strange char from comment

Merge branch 'ticket32845_squashed'

changes: file for 32845

string: Check UTF-8 string pointer and length

If they are inconsistent, output a raw bug log.

Part of 32845.

Merge remote-tracking branch 'tor-github/pr/1640'

test_helpers: add a missing free for CID 1457527.

Add new state to connection_proxy_state_to_string()

Also, add a CTASSERT() to make sure that we don't let this array get
out-of-sync again.

Found by coverity; this is CID 1457528.

string: Add extra UTF-8 test cases

These test cases are validated differently by some
programming languages, because those languages have
incorrect UTF-8 implementations.

We want to make sure that tor validates them correctly.

Closes ticket 32845.

Space the a-d unsigned ints in tor_inet_aton()

Merge branch 'haxxpop/tcp_proxy_squashed' into tcp_proxy_squshed_and_merged

circuit: Add change file

test: HTTP CONNECT protocol

test: HAPRoxy protocol

test: Implement haproxy

circuit: Implement haproxy

Merge remote-tracking branch 'tor-github/pr/1615'

Add documentation about building a TAGS file.

Patch from opara.  Closes ticket 32779.

Merge remote-tracking branch 'tor-github/pr/1620'

Merge branch 'maint-0.4.2'

Merge remote-tracking branch 'tor-github/pr/1612' into maint-0.4.2

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

update changes file to pass "make check-changes"

Merge branch 'maint-0.4.1' into maint-0.4.2

Fix sandbox crash during reload of logging configuration

Allow calls to dup() which was introduced in commit a22fbab986.

From a security perspective, I don't think this should impact the
security of the sandbox significantly. As far as I can tell, there
is nothing an adversary can do with a duplicated FD that can't be
done with the original.

Fix spacing in tor_sscanf() call in tor_inet_aton()

Fix spacing in tor_inet_aton() function header

Merge branch 'bug29819_035'

Merge remote-tracking branch 'tor-github/pr/1623'

Replace several C identifiers.

This is an automated commit, generated by this command:

./scripts/maint/rename_c_identifier.py \
        EXPOSE_CLEAN_BACKTRACE BACKTRACE_PRIVATE \
        TOR_CHANNEL_INTERNAL_ CHANNEL_OBJECT_PRIVATE \
        CHANNEL_PRIVATE_ CHANNEL_FILE_PRIVATE \
        EXPOSE_ROUTERDESC_TOKEN_TABLE ROUTERDESC_TOKEN_TABLE_PRIVATE \
        SCHEDULER_PRIVATE_ SCHEDULER_PRIVATE

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge remote-tracking branch 'tor-github/pr/1606'

Code Style: Delete headers that are included twice

These changes were created using the "make autostyle" from
32522, and then split into commits.

Code Style: Delete PRIVATE defines that are never used

Some ".c" files define *_PRIVATE macros, but those macros are
not used in any header file. Delete them.

These changes were created using the "make autostyle" from
32522, and then split into commits.

Run "make autostyle"

Makefile/git scripts: Add comments to keep owned file lists in sync

Mark TestingEstimatedDescriptorPropagationTime as obsolete.

We stopped looking at this option in 85cf6dcba3693b, back when we
implemented the minimal pieces of prop275.  Since then, we've had
code to validate and adjust this option, and to give it a different
value in testing networks, but the option hasn't actually done
anything.

We can safely mark it as OBSOLETE, since doing so does not make any
old configuration get rejected.

Closes ticket 32807.

Merge branch 'dirauth_config_squashed'

Declare relay/dirauth subsystem levels in a header.

This way, we can't get out of sync between the two declarations.

Add an integration test for options disabled by dirauth subsystem.

Add config object for dirauth; move one option there.

I've chosen the "AuthDirMaxServersPerAddr" option here for
simplicity, since it is used literally nowhere else besides the dirauth
module.  Once we have all the infrastructure in place for this, we
can move more options into this structure.

Allow struct_magic to be disabled.

When a subsystem is disabled, there will be no corresponding object
allocated, and no magic numbers on it.

Support a flag to indicate that a config var is disabled

Like "obsolete" variables, these variables produce a warning when
you try to set them, but the warning says that the relevant module
doesn't have support.

The confdecl macros now have a CONF_CONTEXT that you can define to
make all the modules in a given table disabled.

Add "stub" files for disabled modules.

These modules are only built when the selected modules are disabled.
The provide stub implementations of the subsystem blocks.  Later,
other stub implementations could move here.

Having real subsystem blocks here will let us handle disabled
configuration options better.

Merge remote-tracking branch 'tor-github/pr/1584'

Merge branch 'tor-github/pr/1587'

Add NSF support acknowledgment to circpad dev doc.

Merge branch 'ticket32172_once_again'

Correct how we use libseccomp

This fixes a startup crash with libseccomp v2.4.0 if Sandbox is
set to 1.

Merge remote-tracking branch 'tor-github/pr/1596'

Merge branch 'tor-github/pr/1608'

Merge branch 'tor-github/pr/1609'

Merge branch 'pr1590_amended_commit'

manpage: fixes to alphabetize General Options

Fix formatting in tor_assertf() message in struct_check_magic().

Closes 32771; bugfix on 0.4.2.1-alpha.

Merge branch 'bug32765_041' into bug32771_042

Use CHECK_PRINTF() for printf-like functions in util_bug.h

Merge branch 'tor-github/pr/1591'