dirvote: Free vote commits in the dirauth module

In order to make sr_commit_free() only used by the dirauth module, this
commits moves the commits free from a vote object into the dirvote.c file
which is now only for the module.

The function does nothing if the module is disabled.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dirvote: Move SR commit parsing into dirauth module

When parsing a vote in routerparse.c, only dirauth extract the commits from
the vote so move all this code into dirvote.c so we can make it specific to
the dirauth module.

If the dirauth module is disabled, the commit parsing does nothing.

Signed-off-by: David Goulet <dgoulet@torproject.org>

ns: Move ns_detached_signatures_free() to networkstatus.c

From dirvote.c to networkstatus.c where it makes more sense both in terms of
namespace and subsystem responsability.

This removes one less dependency on the dirauth module.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dirvote: Rename authority_cert_dup()

Renamed to follow the file namespace.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dirvote: Rename voter_get_sig_by_algorithm()

In order to follow the public namespace of dirvote.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dirvote: Extract shared functions to common file

No code behavior change.

Signed-off-by: David Goulet <dgoulet@torproject.org>

sr: Static inline functions if no dirauth module

Add static inline dirauth public functions used outside of the dirauth module
so they can be seen by the tor code but simply do nothing.

Signed-off-by: David Goulet <dgoulet@torproject.org>

sr: Extract shared SR functions

Move most of the shared random functions that are needed outside of the
dirauth module.

At this commit, because dirvote.c hasn't been refactor, it doesn't compile
because some SR functions need a dirvote function.

Furthermore, 5 functions haven't been touched yet because they are dirauth
only but are in used in other C files than the dirauth module ones.

No code behavior change. Only moving code around.

Signed-off-by: David Goulet <dgoulet@torproject.org>

mod: Move dirauth specific files to its own module

This is a pretty big commit but it only moves these files to src/or/dirauth:

  dircollate.c dirvote.c shared_random.c shared_random_state.c
  dircollate.h dirvote.h shared_random.h shared_random_state.h

Then many files are modified to change the include line for those header files
that have moved into a new directory.

Without using --disable-module-dirauth, everything builds fine. When using the
flag to disable the module, tor doesn't build due to linking errors. This will
be addressed in the next commit(s).

No code behavior change.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dirvote: Reorganize the dirvote.h file

Remove useless include.

Clearly identify functions that are used by other part of Tor, functions that
are only used by the dirauth subsystem and functions that are exposed for unit
tests.

This will help us in the dirauth modularization effort.

Signed-off-by: David Goulet <dgoulet@torproject.org>

dirvote: Move voting_schedule_t to dirvote.c

Signed-off-by: David Goulet <dgoulet@torproject.org>

dirvote: Trim down the public API

Many functions become static to the C file or exposed to the tests within the
PRIVATE define of dirvote.h.

This commit moves a function to the top. No code behavior change.

Signed-off-by: David Goulet <dgoulet@torproject.org>

config: Make circuit_build_times_disabled() use authdir_mode()

Don't access the AuthoritativeDir options directly. We do this so we can move
authdir_mode() to the dirauth module.

Signed-off-by: David Goulet <dgoulet@torproject.org>

mod: Build system changes for dirauth module

Make our build system support a disable dirauth module option. It can only be
disabled explicitly with:

  $ ./configure --disable-module-dirauth

If *not* specified that is enabled, an automake conditional variable is set to
true and a defined value for the C code:

  AM_CONDITIONAL: BUILD_MODULE_DIRAUTH
  AC_DEFINE: HAVE_MODULE_DIRAUTH=1

This introduces the dirauth/ module directory in src/or/ for which .c files
are only compiled if the BUILD_MODULE_DIRAUTH is set.

All the header files are compiled in regardless of the support so we can use
the alternative entry point functions of the dirauth subsystem.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket25376_034_031_squashed'

hibernation: Rescan the event list on state change

When we change the hibernation state, rescan the main loop event list because
the new state might affect the events.

Signed-off-by: David Goulet <dgoulet@torproject.org>

main: Add mainloop callback event flags

Implement the ability to set flags per events which influences the set up of
the event.

This commit only adds one flag which is "need network" meaning that the event
is not enabled if tor has disabled the network or if hibernation mode.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket25933'

Fix a test assertion failure due to uninitialized mainloop events

Bug not in any released Tor.

test: Add missing geoip_dummy file to EXTRA_DIST

Needed to run tests from the tarball else the geoip unit test would fail by
not finding that file.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'ticket25931'

Remove connection_ap_attach_pending() from per-second callback.

In 25374, we created the necessary post-loop event for scheduling
connection_ap_attach_pending as needed.  Before that, we were
already running this event once per mainloop.  There's no reason to
also run it once per second.

Closes ticket 25933.  No changes file, since the relevant change is
already in 25374.  Or possibly in 17590, depending on how you look
at it.

Move close-and-cleanup functions to a postloop event.

Implements ticket 25932.

Move consdiffmgr_rescan() into a mainloop event.

The change here was very simple, since there is a flag set whenever
we want to schedule this event.

Closes ticket 25391.
m

Merge remote-tracking branch 'dgoulet/ticket25515_034_01-squashed'

Recover newline at the EOF, removed by mistake

in 071236e3e252fd0dcf5102739adecb8e69a76c4c.

tests: Add forgotten empty file required for geoip

Add clarification about type of file expected

Remove FIXME about comparing num countries,

* remove the fixme since clearing the countries should be other issue
* remove unused variables related to it since that cause travis to fail

tests: Fix a couple typos and remove unnecessary inline comments.

tests: Skip two more geoip_load_file tests on Windows.

 * FIXES part of #25515: https://bugs.torproject.org/25515

Remove a blank line that was bothering me.

Ignore CircuitPriorityHalflife values under -EPSILON.

Previously, we were ignoring values _over_ EPSILON.  This bug was
also causing a warning at startup because the default value is set
to -1.0.

Fixes bug 25577; bugfix on 6b1dba214db.  Bug not in any released tor.

Merge branch 'maint-0.3.3'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.1' into maint-0.3.2

Fix a copy-paste error in the fix for #23693.

Found by coverity; CID 25912; bug not in any released Tor.

Merge branch 'maint-0.3.3'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'travis_distcheck_033' into maint-0.3.3

Merge branch 'travis_distcheck_029' into maint-0.2.9

Merge branch 'maint-0.3.3'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge remote-tracking branch 'dgoulet/bug25901_032_01' into maint-0.3.2

Merge branch 'maint-0.3.3'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge remote-tracking branch 'public/bug23693_031_redux' into maint-0.3.1

hs: Fix memleak in v3 on SIGHUP

Fixes #25901

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/ticket25762_034_05'

test: Add periodic events unit tests

Signed-off-by: David Goulet <dgoulet@torproject.org>

main: Update periodic events comment based on latest code

Signed-off-by: David Goulet <dgoulet@torproject.org>

main: Use rescan_periodic_events in initialize_periodic_events_cb

periodic: Add an enable and disable function

Two helper functions to enable an event and disable an event which wraps the
launch and destroy of an event but takes care of the enabled flag.

They are also idempotent that is can be called multiple time on the same event
without effect if the event was already enabled or disabled.

Signed-off-by: David Goulet <dgoulet@torproject.org>

config: Set up periodic events when options changes

In case we transitionned to a new role in Tor, we need to launch and/or
destroy some periodic events.

Signed-off-by: David Goulet <dgoulet@torproject.org>

main: Launch periodic events by roles

Signed-off-by: David Goulet <dgoulet@torproject.org>

main: Specialize the periodic events on a per-role basis

In tor, we have a series of possible "roles" that the tor daemon can be
enabled for. They are:

  Client, Bridge, Relay, Authority (directory or bridge) and Onion service.

They can be combined sometimes. For instance, a Directory Authority is also a
Relay. This adds a "roles" field to a periodic event item object which is used
to know for which roles the event is for.

The next step is to enable the event only if the roles apply. No behavior
change at this commit.

Pars of #25762

Signed-off-by: David Goulet <dgoulet@torproject.org>

main: Sort alphabetically periodic event callbacks

No behavior change, just to make it easier to find callbacks and for the sake
of our human brain to parse the list properly.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'github/lazy_bucket_refill'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.3'

Merge branch 'maint-0.3.1' into maint-0.3.2

Merge branch 'maint-0.2.9' into maint-0.3.1

Merge branch 'maint-0.3.3'

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'bug24969_029_v2' into maint-0.2.9

Permit the nanosleep system call in the seccomp2 callbox

Fixes bug 24969; bugfix on 0.2.5.1-alpha when the sandbox was introduced.

Merge remote-tracking branch 'neel/b25511-r4'

Document default for ControlSocket.

Closes 25897.

Merge branch 'ticket25024_squashed'

Tweak changes file for 25024 to mention "check-typos"

add changes file and update check-typos in makefile

Add spell check to makefile to check for typos ticket#25024

- Use misspell to check for typos in codebase
- Add `make check-typos` to run the checks
- Add `check-typos` to `make check`

Merge remote-tracking branch 'mikeperry/bug25400_squashed'

Merge branch 'remove_old_consensus_methods_2018_squashed'

Add a changes file for removing old consensus methods

(Ticket 24378; proposal 290.)

Require MIN_METHOD_FOR_RECOMMENDED_PROTOCOLS

(Remove support for running without this method.)

Remove MIN_METHOD_FOR_{SHARED_RANDOM,EXCLUDING_INVALID_NODES}

Also remove client detection for pre-EXCLUDING_INVALID_NODES
consensuses, and a test for that detection.

Remove MIN_METHOD_FOR_ED25519_ID_VOTING

This also lets us remove the old rsa-based routerstatus collator.

Remove MIN_METHOD_FOR_{PACKAGE_LINES,GUARDFRACTION,ED25519_ID_IN_MD}

Also remove a rest for pre-19 microdesc versions.

Remove MIN_METHOD_FOR_ID_HASH_IN_MD and a test for running without it.

Remove MIN_METHOD_{FOR_P6_LINES,FOR_NTOR_KEY,TO_CLIP_UNMEASURED_BW}

Also remove a unit test for pre-MIN_METHOD_FOR_NTOR_KEY consensuses.

Remove MIN_METHOD_FOR and MIN_METHOD_FOR_A_LINES

Also, in networkstatus.c, remove client code for recognizing pre-
MIN_METHOD_FOR_A_LINES consensuses, and corresponding unit tests in
test_dir.c.

Disable consensus methods before 25.

Consensus method 25 is the oldest one supported by any stable
version of 0.2.9, which is our current most-recent LTS.  Thus, by
proposal 290, they should be removed.

This commit does not actually remove the code to implement these
methods: it only makes it so authorities will no longer support
them.  I'll remove the backend code for them in later commits.

Merge branch 'bug25691_033_again_squashed'

control EXTENDCIRCUIT: check node_has_preferred_descriptor().

Suggested by teor during code review for 25691.

Repair the legacy_hs/pick_tor2web_rendezvous_node unit test

It tried to pick nodes for which only routerinfo_t items are set,
but without setting UseMicroDescriptors to 0.  This won't work any
more, now that we're strict about using the right descriptor types
due to 25691/25692/25213.

Rename node_has_descriptor() to node_has_any_descriptor()

Changing the name of this function should help keep us from misusing
it when node_has_preferred_descriptor() would be more appropriate.

Add a changes file for 25691/25692

Use router_crn_flags in more places, to pass direct-connect flag

In order to fix 25691 and 25692, we need to pass the "direct_conn"
flag to more places -- particularly when choosing single-hop
tunnels.  The right way to do this involves having a couple more
functions accept router_crn_flags_t, rather than a big list of
boolean arguments.

This commit also makes sure that choose_good_exit_server_general()
honors the direct_conn flag, to fix 25691 and 25692.

Use node_has_preferred_descriptor() in another case

In router_add_running_nodes_to_smartlist(), we had an inline
implementation of the logic from node_has_descriptor(), which should
be changed to node_has_preferred_descriptor().

Check for "the right descriptor", not just "any descriptor".

This patch adds a new node_has_preferred_descriptor() function, and
replaces most users of node_has_descriptor() with it.  That's an
important change, since as of d1874b433953f64 (our fix for #25213),
we are willing to say that a node has _some_ descriptor, but not the
_right_ descriptor for a particular use case.

Part of a fix for 25691 and 25692.

Allow cpuworkers to exist without onion keys

Now that we allow cpuworkers for dirport-only hosts (to fix 23693),
we need to allow dup_onion_keys() to succeed for them.

The change to construct_ntor_key_map() is for correctness,
but is not strictly necessary.

Merge branch 'maint-0.3.3'

Fix documentation bug 25857: the universe is ::/0, not ::/128

Patch from CTassisF.

Merge branch 'travis_distcheck_031' into travis_distcheck_033

Test the with-rust and without-rust distcheck variants

Merge branch 'travis_distcheck_029' into travis_distcheck_033