guard: Ignore marked for close circuit when changing state to open

When we consider all circuits in "waiting for guard" state to be promoted to
an "open" state, we were considering all circuits, even the one marked for
close.

This ultiamtely triggers a "circuit_has_opened()" called on the circuit that
is marked for close which then leads to possible undesirable behaviors within
a subsystem.

For instance, the HS subsystem would be unable to find the authentication key
of the introduction point circuit leading to a BUG() warning and a duplicate
mark for close on the circuit.

This commit also adds a unit test to make sure we never select marked for
close circuits when upgrading its guard state from waiting for guard to open.

Fixes #30871

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-github/pr/1115'

Merge branch 'ticket29533_squashed'

Add changes file

Fix SC2034 in pre-push.git-hook

Shellcheck all the scripts

Merge remote-tracking branch 'tor-github/pr/1100'

Allow excluding documentation from the build

Merge branch 'bug30806'

Make evloop into a subsystem.

Note that the event base object is _not_ created from the initialize
function, since it is configuration-dependent.  This will wait until
configuration is integrated into subsystems.

Closes ticket 30806.

practracker: accept an extra line in nt_service_install()

Part of 30799.

Merge branch 'tor-github/pr/1099'

Merge branch 'tor-github/pr/1088'

Merge branch 'tor-github/pr/1102'

Merge branch 'tor-github/pr/1040'

Add changes file for 29976

Rework origin circuit tracking to use pubsub

Part of ticket 29976.

Rework orconn tracking to use pubsub

Part of ticket 29976.

Merge branch 'tor-github/pr/1031'

Merge branch 'tor-github/pr/1083'

Merge branch 'maint-0.4.1'

Merge branch 'tor-github/pr/1050' into maint-0.4.1

Add a changes file for ticket 30686.

Give a compile warning when we don't have any flags for minherit().

Part of ticket 30686.

Give a more useful failure messgae when we fail to minherit().

Part of ticket 30686.

Merge branch 'ticket28453_v2' into ticket28453_v2_merged

Merge branch 'maint-0.4.1'

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Update geoip and geoip6 to the June 10 2019 database.

Merge branch 'maint-0.4.1'

Merge remote-tracking branch 'tor-github/pr/1082' into maint-0.4.1

Merge branch 'tor-github/pr/1060'

Merge branch 'ticket30769_041_01'

trunnel: Rename sendme.trunnel to sendme_cell.trunnel

This is to avoid having two sendme.{c|h} in the repository since the subsystem
is implemented in src/core/or/sendme.{c|h}.

Fixes #30769

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket30687_042_01'

token-bucket: Implement a single counter object

Closes #30687.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.4.1'

Merge branch 'tor-github/pr/1065' into maint-0.4.1

Merge branch 'tor-github/pr/1098'

changes: file for 30799

Note that this memory leak is in unreachable code.

Free a string buffer in nt_service_install()

The string buffer "command" is not freed if the specified account
name doesn't exist. This patch fixes this bug.

Merge branch 'maint-0.4.1'

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1094' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1091' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/990' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/971' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/924' into maint-0.3.5

Stop hard-coding env vars in the git scripts

Set the env vars:
* TOR_MASTER_NAME to override the tor master branch name, and
* TOR_WKT_NAME to override the worktree path

Fixes bug 30841; bugfix on 0.4.0.1-alpha.

scripts/git: Stop hard-coding the bash path in the git scripts

Some OSes don't have bash in /usr/bin, others have an ancient bash at
this path.

Fixes bug 30840; bugfix on 0.4.0.1-alpha.

Merge branch 'maint-0.4.1'

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge remote-tracking branch 'tor-github/pr/1094' into maint-0.4.0

Merge branch 'maint-0.4.1'

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.4.1'

Merge remote-tracking branch 'tor-github/pr/1097' into maint-0.4.1

Merge remote-tracking branch 'tor-github/pr/1038'

Merge branch 'maint-0.4.1'

Merge remote-tracking branch 'tor-github/pr/1064' into maint-0.4.1

Add an environment variable to set GIT_PATH in git scripts

push-all: Use TOR_UPSTREAM_REMOTE_NAME to override UPSTREAM_BRANCH

We already allow this override in our pre-push hook, so let's allow
it here too.

(I call my upstream branches "origin")

Update git scripts for new versions

{maint,release}-0.4.1 are now real

{maint,release}-0.3.4 are now EOL

Closes ticket 30822

Bump master to 0.4.2.0-alpha-dev

test: fix a typo in test_rebind.sh

Closes 30821.

Merge branch 'bug30713_035' into bug30713_040

Travis: Skip test_rebind on macOS builds

Skip test_rebind when the TOR_SKIP_TEST_REBIND environmental variable
is set.

Skip test_rebind on macOS in Travis builds, because it is unreliable
on macOS on Travis.

Fixes bug 30713; bugfix on 0.3.5.1-alpha.

Travis: allow the test-stem job to fail

Allow the test-stem job to fail in Travis, because it sometimes hangs.

Fixes bug 30744; bugfix on 0.3.5.4-alpha.

Tolerate net-unreachable failures in util/socketpair_ersatz

This can happen when we have no network stack configured. Fixes bug
30804; bugfix on 0.2.5.1-alpha.

bump to 0.4.1.2-alpha-dev

practracker: accept one extra line in routerlist.c

practracker exception for 30780.

dirauth: Return a distinct status when formatting annotations fails

Adds ROUTER_AUTHDIR_BUG_ANNOTATIONS to was_router_added_t.

The out-of-order numbering is deliberate: it will be fixed by later commits
for 16564.

Fixes bug 30780; bugfix on 0.2.0.8-alpha.

dirauth: Fix some comments in the router status processing code.

Fixes comments in dirserv_router_get_status() and was_router_added_t.

Preparation for 30780 and 16564.

practracker: accept 3 extra lines in router_parse_entry_from_string()

practracker exception for bug 30781.

Merge branch 'bug30781_040' into bug30781_master

Merge branch 'bug30781_035' into bug30781_040

Merge branch 'bug30781_034' into bug30781_035

Moved fix from src/or/routerparse.c to src/feature/dirparse/routerparse.c.

Merge branch 'bug30781_029' into bug30781_034

dirparse: Stop crashing when parsing unknown descriptor purpose annotations

We think this bug can only be triggered by modifying a local file.

Fixes bug 30781; bugfix on 0.2.0.8-alpha.

Merge branch 'maint-0.4.0'

Merge remote-tracking branch 'tor-github/pr/988' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/989' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/952' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/741' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1039' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/971' into maint-0.4.0

Merge remote-tracking branch 'tor-github/pr/1020' into maint-0.4.0

push release date to tomorrow: too many last minute surprises

change some CI-substitute logic

Merge remote-tracking branch 'tor-github/pr/1076'

Bug 29034: Cleanup hs circuitmap when purpose changes.

Leave the other rend and hs_ident data around until circuit free, since code
may still try to inspect it after marking the circuit for close. The
circuitmap is the important thing to clean up, since repurposed
intropoints must be removed from this map to ensure validity.

Revert "hs: Implement a helper to repurpose a circuit"

This reverts commit 3789f22bcbfbc6de415a838e4c4bfb2555c7d6c3.

Revert "test: Add test_hs_circ.c for HS circuit testing"

This reverts commit 41b94722e5c93ec06911f9c63296a65ce295c1ea.

Add missing newline after decode_intro_points() closing bracket

Don't access rend data after a circuit has been marked for close.

This can cause issues if the circuit was repurposed into a padding circuit
instead of closing, since in that case we will wipe off the rend_data.

minor changelog edits

Replace a missing end-of-comment string

This happened when I went to fix long lines after running "make
autostyle".