Include x509.h in tortls_internal.h.

This gives us the definition of tor_x509_cert_impl_t, and makes us
less dependent on include order.

Include sys/types.h in fdio.h, for "off_t".

Otherwise our compilation depends on include order.

Use raw_assert in ht.h

Also, include torerr.h from ht.h if we are using raw_assert.

Otherwise, our includes need to be ordered so that ht.h comes after
util_log.h.

Remove extra ; from tt_assert() macro definition.

We were actually omitting the semicolon in a few places, leading to
confusing indentation and some cocci failures.

Use new ENABLE/DISABLE_GCC_WARNING

This is an automated commit, generated by:

perl -i -pe 'next if /define/; s/((?:ENABLE|DISABLE)_GCC_WARNING)\(([A-Za-z0-9_\-]+)\)/$1(\"-W$2\")/' src/*/*/*.[ch] src/*/*.[ch]

Replace DISABLE/ENABLE_GCC_WARNING with something that will confuse clang-format less

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1505'

Merge remote-tracking branch 'tor-github/pr/1577' into maint-0.4.2

Merge remote-tracking branch 'tor-github/pr/1576' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1575' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/1598'

changes: update changes file for 32609

Makefile: Remove the broken, duplicate check-practracker-unit-test

This test doesn't set PYTHON, and ignores USE_PYTHON. And it's already
listed in TEST_SCRIPTS.

Fixes CI issue 32705.

src/ext: Add __future__ imports for python 3 compatibility

Closes ticket 32732.

python: Add __future__ imports for python 3 compatibility

Except for src/ext, which we may not want to modify.

Closes ticket 32732.

Merge branch 'tor-github/pr/1581'

hs-v3: Handle client rendezvous circuit timeout

With v3, the "pending_final_cpath" of a circuit is always NULL which means
that for v3, established client rendezvous circuit waiting for the intro point
to ACK, will always end up timing out quickly.

This can increase the delays to which you connect to a service since in order
to succeed, the rendezvous circuit needs to fully established
(CIRCUIT_PURPOSE_C_REND_JOINED) within the cutoff of the introduction circuit
as well which is these days around 2-3 seconds.

Fixes #32021

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/1583'

hs-v3: Fix memory leak in test_hs_control_store_permanent_creds()

Merge branch 'maint-0.4.2'

"ours" to avoid version bump.

bump to 0.4.2.5-dev

Merge branch 'maint-0.4.1' into maint-0.4.2

"ours" to avoid version bump.

bump to 0.4.1.7-dev

Merge branch 'maint-0.4.0' into maint-0.4.1

Bump version to 0.4.0.6-dev

Merge branch 'maint-0.3.5' into maint-0.4.0

"ours" to avoid version bump.

bump to 0.3.5.9-dev

Merge remote-tracking branch 'tor-github/pr/1589'

Copy forward the changelogs and releasenotes for today's releases.

They are 0.4.2.5, 0.4.1.7, 0.4.0.6, and 0.3.5.9.

changes file for ticket 30984

Rename control_reply_add_1kv

Part of ticket 30984.

Port changelog tools to python 3

Closes ticket 32704.

Doxyfile: skip CHECK_PRINTF()

Part of ticket 30984.

simplify getinfo using reply lines

Simplify handle_control_getinfo() by using the new reply lines
abstraction.  Previously, this function explicitly checked for whether
it should generate a MidReplyLine, a DataReplyLine, or an
EndReplyLine.  control_write_reply_lines() now abstracts this check.

Part of #30984.

use control reply lines for protocolinfo

Simplify handle_control_protocolinfo() by using the new reply line
abstraction.

Part of #30984.

refactor handle_control_protocolinfo

Factor out the parts of handle_control_protocolinfo() that assemble
the AUTHMETHODS and COOKIEFILE strings.

Part of #30984.

simplify getconf by using reply lines

In handle_control_getconf(), use the new control reply line
abstraction to simplify output generation.  Previously, this function
explicitly checked for whether it should generate a MidReplyLine or an
EndReplyLine.  control_write_reply_lines() now abstracts this check.

Part of #30984.

reply lines structures

Part of #30984.

add KV_RAW to kvline.c

Add the KV_RAW flag to kvline_encode().  This allows generation of
output that is compatible with some quirks of the control protocol.

Part of #30984.

clean up kvline_can_encode_lines()

Add a check for '=' characters in needs_escape().  This simplifies the
logic in kvline_can_encode_lines().

Part of #30984.

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Update geoip and geoip6 to the December 3 2019 database.

changes: file for 32629

changes: file for 32629

changes: file for 32629

Merge branch 'maint-0.4.2'

"ours" to avoid version bump.

Bump to 0.4.2.5

Merge branch 'maint-0.4.1' into maint-0.4.2

"ours" to avoid version bump.

bump version to 0.4.1.7

Merge branch 'maint-0.4.0' into maint-0.4.1

"ours" to avoid version bump.

Bump to 0.4.0.6

Merge branch 'maint-0.3.5' into maint-0.4.0

"ours" to avoid version bump.

Bump version to 0.3.5.9

Remove changes files that are scheduled for inclusion in 0.4.2.5

Add a missing changelog entry in 0.4.1.6 for the FreeBSD part of 31687

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1424' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1277' into maint-0.3.5

Split a few long lists in Makefiles.

Merge branch 'ticket32609_squashed'

practracker: Add missing .may_include files

All of these files contain "*.h", except for:
* src/app/config/.may_include
* src/test/.may_include
which also contain "*.inc".

This change prevents includes of "*.c" files, and other
unusually named files.

Part of 32609.

practracker: document !advisory in includes.py

git scripts: Add the checkSpace.pl unit tests

Extra testing after 32613.

practracker: Test for bad ".c" includes in the unit tests

Part of 32522.

Makefile/git scripts: Add the practracker unit tests

Add a check-practracker-unit-test target, and run it as part of
"make check".

Add the practracker unit tests to scripts/git/pre-commit.git-hook.

Part of 32609.

control-port: Include HS address in ONION_CLIENT_AUTH_VIEW reply.

hs-v3: Fix NULL deref. in hs_circ_service_get_established_intro_circ()

Found by Stem regression tests. Reported by atagar.

Fixes #32664

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/1563'

hsv3: ONION_CLIENT_AUTH_REMOVE now also removes the credential file.

hsv3: Abstract parts of hs_config_client_authorization() into func.

Now we have a function that reads a file and returns a credential. We need that
for the REMOVE control port command.

hsv3: Start refactoring hs_config_client_authorization().

- Remove key_dir which is useless.
- Kill an indentation layer.

We want to make it cleaner and slimmer so that we can reuse parts of it in the
REMOVE command for removing the right client auth file.

hsv3: Remove support for client auth nicknames.

Because the function that parses client auth credentials saved on
disk (parse_auth_file_content()) is not future compatible, there is no way to
add support for storing the nickname on the disk. Hence, nicknames cannot
persist after Tor restart making them pretty much useless.

In the future we can introduce nicknames by adding a new file format for client
auth credentials, but this was not deemed worth doing at this stage.

hsv3: Add tests for permanently storing auth credentials.

Remove Permanent flag from old tests, and make a new test that does all the
permanent things.

hsv3: Implement permanent storage of auth credentials.

- See hs_client_register_auth_credentials() for the entry point.
- Also set the permanent flag for credentials we read from the filesystem.
- Also add some missing documentation.

Merge branch 'pr-1569-squashed'

Distribute checkSpaceTest.sh and run it when we have perl.

Have checkSpaceTest.sh exit as skipped when on Windows

Managing line-ending issues for this one isn't worth it.

Add a simple test for checkSpace.pl

This script is not expected to work on windows due to line-ending
issues, so I'm not making it get run on an automated basis.  We
should use it when editing checkSpace.pl.

Closes ticket 32613.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Travis: use -std=gnu99 with NSS, and clang with Chutney

NSS:
* test NSS-specific code with -std=gnu99
* use a recent gcc version from the latest Ubuntu image

Chutney:
* use clang, so we keep one clang Linux job
* keep clang on a fast job, so the overall build finishes quickly

Closes ticket 32500 for 0.3.5.

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge C_DIALECT_OPTIONS from ticket32500_029 with
other configure options from maint-0.3.5.

Travis: use -std=gnu99 in some jobs

Require C99 standards-conforming code in Travis CI, but allow GNU gcc
extensions. Also activates clang's -Wtypedef-redefinition warnings.

Builds some jobs with -std=gnu99, and some jobs without.

Closes ticket 32500.

Merge branch 'ticket32207'

Link to mainloop_pubsub.[ch] when describing delivery policies

Merge branch 'tor-github/pr/1559'