clean up kvline_can_encode_lines()

Add a check for '=' characters in needs_escape().  This simplifies the
logic in kvline_can_encode_lines().

Part of #30984.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Update geoip and geoip6 to the December 3 2019 database.

Merge branch 'maint-0.4.2'

"ours" to avoid version bump.

Bump to 0.4.2.5

Merge branch 'maint-0.4.1' into maint-0.4.2

"ours" to avoid version bump.

bump version to 0.4.1.7

Merge branch 'maint-0.4.0' into maint-0.4.1

"ours" to avoid version bump.

Bump to 0.4.0.6

Merge branch 'maint-0.3.5' into maint-0.4.0

"ours" to avoid version bump.

Bump version to 0.3.5.9

Remove changes files that are scheduled for inclusion in 0.4.2.5

Add a missing changelog entry in 0.4.1.6 for the FreeBSD part of 31687

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1424' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1277' into maint-0.3.5

Split a few long lists in Makefiles.

Merge branch 'ticket32609_squashed'

practracker: Add missing .may_include files

All of these files contain "*.h", except for:
* src/app/config/.may_include
* src/test/.may_include
which also contain "*.inc".

This change prevents includes of "*.c" files, and other
unusually named files.

Part of 32609.

practracker: document !advisory in includes.py

git scripts: Add the checkSpace.pl unit tests

Extra testing after 32613.

practracker: Test for bad ".c" includes in the unit tests

Part of 32522.

Makefile/git scripts: Add the practracker unit tests

Add a check-practracker-unit-test target, and run it as part of
"make check".

Add the practracker unit tests to scripts/git/pre-commit.git-hook.

Part of 32609.

control-port: Include HS address in ONION_CLIENT_AUTH_VIEW reply.

hs-v3: Fix NULL deref. in hs_circ_service_get_established_intro_circ()

Found by Stem regression tests. Reported by atagar.

Fixes #32664

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/1563'

hsv3: ONION_CLIENT_AUTH_REMOVE now also removes the credential file.

hsv3: Abstract parts of hs_config_client_authorization() into func.

Now we have a function that reads a file and returns a credential. We need that
for the REMOVE control port command.

hsv3: Start refactoring hs_config_client_authorization().

- Remove key_dir which is useless.
- Kill an indentation layer.

We want to make it cleaner and slimmer so that we can reuse parts of it in the
REMOVE command for removing the right client auth file.

hsv3: Remove support for client auth nicknames.

Because the function that parses client auth credentials saved on
disk (parse_auth_file_content()) is not future compatible, there is no way to
add support for storing the nickname on the disk. Hence, nicknames cannot
persist after Tor restart making them pretty much useless.

In the future we can introduce nicknames by adding a new file format for client
auth credentials, but this was not deemed worth doing at this stage.

hsv3: Add tests for permanently storing auth credentials.

Remove Permanent flag from old tests, and make a new test that does all the
permanent things.

hsv3: Implement permanent storage of auth credentials.

- See hs_client_register_auth_credentials() for the entry point.
- Also set the permanent flag for credentials we read from the filesystem.
- Also add some missing documentation.

Merge branch 'pr-1569-squashed'

Distribute checkSpaceTest.sh and run it when we have perl.

Have checkSpaceTest.sh exit as skipped when on Windows

Managing line-ending issues for this one isn't worth it.

Add a simple test for checkSpace.pl

This script is not expected to work on windows due to line-ending
issues, so I'm not making it get run on an automated basis.  We
should use it when editing checkSpace.pl.

Closes ticket 32613.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Travis: use -std=gnu99 with NSS, and clang with Chutney

NSS:
* test NSS-specific code with -std=gnu99
* use a recent gcc version from the latest Ubuntu image

Chutney:
* use clang, so we keep one clang Linux job
* keep clang on a fast job, so the overall build finishes quickly

Closes ticket 32500 for 0.3.5.

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge C_DIALECT_OPTIONS from ticket32500_029 with
other configure options from maint-0.3.5.

Travis: use -std=gnu99 in some jobs

Require C99 standards-conforming code in Travis CI, but allow GNU gcc
extensions. Also activates clang's -Wtypedef-redefinition warnings.

Builds some jobs with -std=gnu99, and some jobs without.

Closes ticket 32500.

Merge branch 'ticket32207'

Link to mainloop_pubsub.[ch] when describing delivery policies

Merge branch 'tor-github/pr/1559'

Travis: Set pipefail

Merge remote-tracking branch 'tor-github/pr/1574'

control: Update an outdated function comment

Cleanup after 31531.

control: Remove an unused function return value

Cleanup after 31531.

control: Rename a function variable

Cleanup after 31531.

control: Remove an unnecessary header in control_events.h

And replace it with a struct forward declaration.

Also, move all the headers in the file before the forward
declaration.

Cleanup after 31531.

Merge branch 'tor-github/pr/1573'

hs: Add changes file for 32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add unit tests for closing intro circ on failure

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Remove unused hs_service_intro_circ_has_closed()

Since the removal of ip->circuit_established, this function does litterally
nothing so clean it up.

Part of #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Give a cleanup type to hs_circ_cleanup()

By centralizing the circuit cleanup type that is: on close, free and
repurpose, some actions on the circuit can not happen for a certain cleanup
type or for all types.

This passes a cleanup type so the HS subsystem (v2 and v3) can take actions
based on the type of cleanup.

For instance, there is slow code that we do not run on a circuit close but
rather only on free.

Part of #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Note client intro circuit failure

Report back to the v3 subsystem any introduction point client circuit failure
so they can be noted down in the failure cache.

Fixes #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Modernize rend_client_circuit_cleanup() code

Old and messy code path. Structure it in a more pleasant and readable way. No
behavior change with this refactor.

Part of #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

Make control_event_conf_changed() take a config_line_t

If statements to getresuid() and getresgid() in setuid.c shouldn't have an extra space

checkSpace.pl: make output more uniform.

There were lots of slight differences in indentation and formatting
among the in-file error messages.

practracker/includes.py: Don't read editor temp files

(Or any files that start with "." or "#".)

Obviously correct changes to already-reviewed code.

Merge remote-tracking branch 'tor-github/pr/1564'

Makefile: Fix more targets for out-of-tree builds

Support callgraph and rectify-includes in out-of-tree builds.

Part of 32522.

crypt_ops: Fix some weird macro spacing

Code Style: Remove double newlines in win32/orconfig.h

There's no reason for them to be in there.

Part of 32522.

check-spaces: Fix an outdated comment

test/controller: Stop including a ".c" source file

Part of 32522.

practracker: Fix a typo in a logging function call

Obviously correct changes to already-reviewed code.

test: Fix a python double-space

configure: reject Python 2.

Python 2 will be end-of-life as of 1 Jan 2020, so we can finally
stop supporting it.  As a first step, we should make our configure
script stop accepting python 2 as something acceptable to run our
tests with.

Closes ticket 32608.

Merge branch 'stream-socks-auth' into bug19859_merged

Merge branch 'maint-0.4.2'

Merge tor_free() notes with whitespace fixes.

CodingStandards: Use consistent spacing

* 2 newlines before ====== headers
* 1 newline before ------ headers

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1441' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1396' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1464' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1422' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1405' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1395' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1394' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1557'

CodingStandards: Use the correct changes file format

And remove a duplicate description of the format.

Obviously correct changes to documentation.

changes file for 29826

process_descs.c: rename confusing identifiers

The FP_ identifiers referred to fingerprints, but they also applied
to address ranges.  The router_status_t name invited confusion with
routerstasus_t.  Fixes ticket 29826.

This is an automated commit, generated by this command:

./scripts/maint/rename_c_identifier.py \
        router_status_t rtr_flags_t \
        FP_INVALID RTR_INVALID \
        FP_BADEXIT RTR_BADEXIT \
        FP_REJECT RTR_REJECT

rename_c_identifier: don't crash when doing only one replacement.

Fix a low-impact memory leak in options_act_reversible()

Found by Coverity as CID 1455953

Fixes bug 32575; bug not in any released Tor.

ht.h: improve documentation for HT_NEXT_RMV.