Merge branch 'pr-1569-squashed'

Distribute checkSpaceTest.sh and run it when we have perl.

Have checkSpaceTest.sh exit as skipped when on Windows

Managing line-ending issues for this one isn't worth it.

Add a simple test for checkSpace.pl

This script is not expected to work on windows due to line-ending
issues, so I'm not making it get run on an automated basis.  We
should use it when editing checkSpace.pl.

Closes ticket 32613.

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Travis: use -std=gnu99 with NSS, and clang with Chutney

NSS:
* test NSS-specific code with -std=gnu99
* use a recent gcc version from the latest Ubuntu image

Chutney:
* use clang, so we keep one clang Linux job
* keep clang on a fast job, so the overall build finishes quickly

Closes ticket 32500 for 0.3.5.

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge C_DIALECT_OPTIONS from ticket32500_029 with
other configure options from maint-0.3.5.

Travis: use -std=gnu99 in some jobs

Require C99 standards-conforming code in Travis CI, but allow GNU gcc
extensions. Also activates clang's -Wtypedef-redefinition warnings.

Builds some jobs with -std=gnu99, and some jobs without.

Closes ticket 32500.

Merge branch 'ticket32207'

Link to mainloop_pubsub.[ch] when describing delivery policies

Merge branch 'tor-github/pr/1559'

Travis: Set pipefail

Merge remote-tracking branch 'tor-github/pr/1574'

control: Update an outdated function comment

Cleanup after 31531.

control: Remove an unused function return value

Cleanup after 31531.

control: Rename a function variable

Cleanup after 31531.

control: Remove an unnecessary header in control_events.h

And replace it with a struct forward declaration.

Also, move all the headers in the file before the forward
declaration.

Cleanup after 31531.

Merge branch 'tor-github/pr/1573'

hs: Add changes file for 32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add unit tests for closing intro circ on failure

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Remove unused hs_service_intro_circ_has_closed()

Since the removal of ip->circuit_established, this function does litterally
nothing so clean it up.

Part of #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Give a cleanup type to hs_circ_cleanup()

By centralizing the circuit cleanup type that is: on close, free and
repurpose, some actions on the circuit can not happen for a certain cleanup
type or for all types.

This passes a cleanup type so the HS subsystem (v2 and v3) can take actions
based on the type of cleanup.

For instance, there is slow code that we do not run on a circuit close but
rather only on free.

Part of #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Note client intro circuit failure

Report back to the v3 subsystem any introduction point client circuit failure
so they can be noted down in the failure cache.

Fixes #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v2: Modernize rend_client_circuit_cleanup() code

Old and messy code path. Structure it in a more pleasant and readable way. No
behavior change with this refactor.

Part of #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

Make control_event_conf_changed() take a config_line_t

If statements to getresuid() and getresgid() in setuid.c shouldn't have an extra space

checkSpace.pl: make output more uniform.

There were lots of slight differences in indentation and formatting
among the in-file error messages.

practracker/includes.py: Don't read editor temp files

(Or any files that start with "." or "#".)

Obviously correct changes to already-reviewed code.

Merge remote-tracking branch 'tor-github/pr/1564'

Makefile: Fix more targets for out-of-tree builds

Support callgraph and rectify-includes in out-of-tree builds.

Part of 32522.

crypt_ops: Fix some weird macro spacing

Code Style: Remove double newlines in win32/orconfig.h

There's no reason for them to be in there.

Part of 32522.

check-spaces: Fix an outdated comment

test/controller: Stop including a ".c" source file

Part of 32522.

practracker: Fix a typo in a logging function call

Obviously correct changes to already-reviewed code.

test: Fix a python double-space

configure: reject Python 2.

Python 2 will be end-of-life as of 1 Jan 2020, so we can finally
stop supporting it.  As a first step, we should make our configure
script stop accepting python 2 as something acceptable to run our
tests with.

Closes ticket 32608.

Merge branch 'stream-socks-auth' into bug19859_merged

Merge branch 'maint-0.4.2'

Merge tor_free() notes with whitespace fixes.

CodingStandards: Use consistent spacing

* 2 newlines before ====== headers
* 1 newline before ------ headers

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1441' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1396' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1464' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1422' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1405' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1395' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1394' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1557'

CodingStandards: Use the correct changes file format

And remove a duplicate description of the format.

Obviously correct changes to documentation.

changes file for 29826

process_descs.c: rename confusing identifiers

The FP_ identifiers referred to fingerprints, but they also applied
to address ranges.  The router_status_t name invited confusion with
routerstasus_t.  Fixes ticket 29826.

This is an automated commit, generated by this command:

./scripts/maint/rename_c_identifier.py \
        router_status_t rtr_flags_t \
        FP_INVALID RTR_INVALID \
        FP_BADEXIT RTR_BADEXIT \
        FP_REJECT RTR_REJECT

rename_c_identifier: don't crash when doing only one replacement.

Fix a low-impact memory leak in options_act_reversible()

Found by Coverity as CID 1455953

Fixes bug 32575; bug not in any released Tor.

ht.h: improve documentation for HT_NEXT_RMV.

Merge branch 'ticket32209'

config.md: suggestions from teor

Merge branch 'reversible_3'

Merge branch 'tor-github/pr/1555'

hs-v3: Add changes file for ticket #30382

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Return bad address SOCKS5 extended error

If ExtendedErrors is set for the SocksPort, an invalid .onion address now
returns the 0xF6 error code per prop304.

Closes #30022

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'bug32555'

hs-v2: Move v2 circuit cleanup actions into hs_circ_cleanup()

Refactor to decomplexify circuit_about_to_free() and finally have one single
entry point into the HS subsystems (v2 and v3) for when a circuit is freed.

With this, hs_circ_cleanup() becomes the one and only entry point when a
circuit is freed which then routes to the right subsystem version for any
actions to be taken.

This moves a big chunk of code from circuituse.c to rendclient.c. No behavior
change. Next commit will refactor it to reduce our technical debt.

Part of #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

circ: Add hidden service helper functions

Functions to correctly identify HS circuit type and version.

Part of #32020

Signed-off-by: David Goulet <dgoulet@torproject.org>

options_act_reversible: add more comments to explain ordering

Typo/grammar fixes.

log config: Set safelogging_changed even if we aren't running Tor.

Some tests for log changes, commit, and rollback

Make KeyDirectory's GroupReadable behave the same as CacheDirectory's.

In #26913 we solved a bug where CacheDirectoryGroupReadable would
override DataDirectoryGroupReadable when the two directories are the
same.  We never did the same for KeyDirectory, though, because
that's a rare setting.

Now that I'm testing this code, though, fixing this issue seems
fine.  Fixes bug #27992; bugfix on 0.3.3.1-alpha.

New unit tests for options_create_directories().

parseconf test: ControlSocketsGroupWriteable without ControlSocket.

Typo fix in warning message about ControlSocket

Free options objects for which validation fails.

Also free options objects when we discard them due to
TestingTorOptions.

Fixes bug 32555; bug not in any released Tor.

Split listener configuration out of options_act_reversible()

Split log configuration out of options_act_reversible().

options_act_reversible(): Extract more startup-only pieces.

These have to happen after opening listeners and before opening logs :/

Extract a function for one-time-only pre-reversible options.

These changes _only_ happen at startup, and happen before _any_
reversible option change is set.

Move some ControlSocket checks to options_validate_cb()

There is no reason for them be in options_act_reversible().

Rename REGISTER_SUCCESS_ALSO_DECRYPTED to REGISTER_SUCCESS_AND_DECRYPTED.

Various minor improvements after David's review.

- Fix a wrong log message
- Introduce a cap for the nickname size
- Change some 'if' statements to 'switch'.

hs-v3: Decrypt pending descriptors when we get new client auth creds.

Add changes file for #30381.

control-port: Tests for ONION_CLIENT_AUTH_VIEW.

control-port: Implement ONION_CLIENT_AUTH_VIEW.

control-port: Tests for ONION_CLIENT_AUTH_REMOVE.

control-port: Implement ONION_CLIENT_AUTH_REMOVE.

control-port: Tests for ONION_CLIENT_AUTH_ADD.

control-port: Implement ONION_CLIENT_AUTH_ADD.

Merge branch 'tor-github/pr/1423'

doc: Manpage entry for ExtendedErrors of prop304

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Unit test for the hs cache decrypt on new auth

Part of #30382

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Unit test for the SOCKS5 HS client auth errors

Part of #30382

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Improve documentation of hs_cache_client_descriptor_t

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Function to re-parse unencrypted descriptor

We now keep descriptor that we can't decode due to missing client
authorization in the cache.

This new function is used when new client authorization are added and to tell
the client cache to retry decoding.

Part of #30382

Signed-off-by: David Goulet <dgoulet@torproject.org>