Ensure worker threads actually exit when it is time

This includes a small refactoring to use a new enum (workqueue_reply_t)
for the return values instead of just ints.

New testcase exposing bug during threadpool shutdown

We don't want to accept any work after one of our worker functions has
returned WQ_RPL_SHUTDOWN. This testcase currently fails, because we do
not actually stop any of the worker threads.

Merge branch 'ed25519_keygen_squashed'

changes file for ed25519_keygen branch

More log messages for keygen problems

Explain better why we are about to load the master key.

Don' call failure to get keys a bug; it's possible now.

When we infer the master key from the certificate, save it to disk.

Document test_keygen.sh a little more

Add test_keygen tests for all log outputs; improve keygen outputs.

Suppress fingerprint display in test_keygen.sh

Integreate test_keygen.sh into 'make check'.

Resolve failing test_keygen tests.

Checkpoint work on ed25519 keygen improvements.

Needs changes file, documentation, test integration, more tests.

Merge remote-tracking branch 'teor/feature14882-TestingDirAuthVoteIsStrict-v3'

Update to latest trunnel

Merge remote-tracking branch 'arma/bug16844-logs'

Merge branch 'decouple_controller_events_squashed'

Log meaningful messages before failing on windows with threadlocal.

Improve threadlocal documentation

Add comments for thread-local storage functions

Use thread-local storage to block event_queue recursion.

Multithreading support for event-queue code.

Refactor initialization logic for control-event-queue

This puts the init logic in a separate function, which we will need
once we have locking.

Make the control/events test run TT_FORK

Some of them like to munge the global event mask, so it's important
to have that behavior isolated.

Remove obsolete event_format_t

We used to use this when we had some controllers that would accept
long names and some that wouldn't.  But it's been obsolete for a
while, and it's time to strip it out of the code.

Refactor our logic for sending events to controllers

Previously we'd put these strings right on the controllers'
outbufs. But this could cause some trouble, for these reasons:

  1) Calling the network stack directly here would make a huge portion
     of our networking code (from which so much of the rest of Tor is
     reachable) reachable from everything that potentially generated
     controller events.

  2) Since _some_ events (EVENT_ERR for instance) would cause us to
     call connection_flush(), every control_event_* function would
     appear to be able to reach even _more_ of the network stack in
     our cllgraph.

  3) Every time we generated an event, we'd have to walk the whole
     connection list, which isn't exactly fast.

This is an attempt to break down the "blob" described in
http://archives.seul.org/tor/dev/Mar-2015/msg00197.html -- the set of
functions from which nearly all the other functions in Tor are
reachable.

Closes ticket 16695.

Use tabs in src/or/include.am

Fix typo in double_digest_map type

Add unit tests for dirserv_set_routerstatus_testing

Test that TestingDirAuthVote{Exit,Guard,HSDir}[Strict] work on
routersets matching all routers, one router, and no routers.

TestingDirAuthVote{Exit,Guard,HSDir} set the corresponding flag
on routerstatuses which match the routerset, but leave other flags
unmodified.

TestingDirAuthVote{Exit,Guard,HSDir}Strict clear the corresponding flag
on routerstatuses which don't match the routerset.

Refactor TestingDirAuthVote* into dirserv_set_routerstatus_testing

Make it easier to unit test TestingDirAuthVote{Exit,Guard,HSDir}
by refactoring the code which sets flags based on them into a
new function dirserv_set_routerstatus_testing.

New TestingDirAuthVote{Exit,Guard,HSDir}IsStrict flags

"option to prevent guard,exit,hsdir flag assignment"

"A node will never receive the corresponding flag unless
that node is specified in the
TestingDirAuthVote{Exit,Guard,HSDir} list, regardless of
its uptime, bandwidth, exit policy, or DirPort".

Patch modified by "teor": VoteOnHidServDirectoriesV2
is now obsolete, so TestingDirAuthVoteHSDir always
votes on HSDirs.

Closes ticket 14882. Patch by "robgjansen".
Commit message and changes file by "teor"
with quotes from "robgjansen".

Fix TestingDirAuthVoteHSDir docs: HSDir flag needs DirPort

Fix an error in the manual page and comments for
TestingDirAuthVoteHSDir, which suggested that a
HSDir required "ORPort connectivity". While this is true,
it is in no way unique to the HSDir flag. Of all the flags,
only HSDirs need a DirPort configured in order for the
authorities to assign that particular flag.

Fixed as part of 14882. Patch by "teor".
Bugfix on 0.2.6.3 (f9d57473e1ff on 10 January 2015).

Merge remote-tracking branches 'public/decouple_lost_owner' and 'public/decouple_signals'

Merge remote-tracking branch 'yawning/feature16535'

Fixup: Force enable SSE2 before undefining ALIGN if SSE2 is disabled.

This should fix the x86 build, since variables that require 16 byte
alignment will now actually be 16 byte aligned.

Merge remote-tracking branch 'yawning/feature16535'

Enable ed25519-donna's SSE2 code when possible for 32 bit x86.

This probably requires the user to manually set CFLAGS, but should
result in a net gain on 32 bit x86. Enabling SSE2 support would be
possible on x86_64, but will result in slower performance.

Implements feature #16535.

Merge remote-tracking branch 'public/bug16741_026'

Logs and debug info that I used for finding bug 16844

Merge remote-tracking branch 'yawning/feature16533'

Merge remote-tracking branch 'public/decouple_retry_directory'

Bring the dimap tests up to 100%

Fix an assertion failure introduced in 20254907d7

Fixes bug 16829; bug not in any released Tor.

Fix a stupid memory leak I introduced in 8afbc154. Bug not in any released Tor.

Remove redundant tor_free()  in command_process_create_cell().

 * FIXES #16823: https://bugs.torproject.org/16823
   If an OP were to send a CREATE_FAST cell to an OR, and that
   CREATE_FAST cell had unparseable key material, then tor_free() would
   be called on the create cell twice.  This fix removes the second
   (conditional on the key material being bad) call to tor_free(), so
   that now the create cell is always freed once, regardless of the status of
   the key material.

   (This isn't actually a double-free bug, since tor_free() sets its
   input to NULL, and has no effect when called with input NULL.)

Merge remote-tracking branch 'isis/fix/circuitlist-docstring-typo'

Merge branch 'analyze_cg_more'

Hack up the scripts/maint/*callgraph* scripts to do more, better

These scripts are now a little more bulletproof, cache data a little
better, and generate more information.  Notably, they search for the
vectors or edges to cut that would lower the size of the largest
SCC.

Increase AccountingMax example value to 40 GB.

(Change not made in torrc.minimal.in; only in torrc.sample and
torrc.minimal.in-staging)

Closes ticket 16742.

Fix an overzealous compiler warning in the tests

Merge remote-tracking branch 'public/decouple_init_keys'

Increase unit test coverage on container.c

Fix some types on container fns

Decouple routerlist_retry_directory_downloads() from the blob

Instead of having it call update_all_descriptor_downloads and
update_networkstatus_downloads directly, we can have it cause them to
get rescheduled and called from run_scheduled_events.

Closes ticket 16789.

Change lost_owning_controller() to call activate_signal().

Closes ticket 16788.

Add changes file for #16389

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Merge branch 'bug16539'

Fix a windows compilation error

whoops; add a stale changes file

Fix a memory leak when adding an ri with expired ed certs

Fixes bug 16539; bugfix on 0.2.7.2-alpha.

Use ed25519-donna's batch verification support when applicable.

The code was always in our Ed25519 wrappers, so enable it when using
the ed25519-donna backend, and deal with the mocking related
crypto_rand silliness.

Implements feature 16533.

Add crypto_rand_unmocked, which is crypto_rand without mocking.

There is odd issues with calling crypto_rand from our copy of
ed25519-donna, due to mocking that are not easily resolved.

Try to decouple process_signal() from anything not event-driven

This needs debugging; it currently breaks the stem tests.

Merge branch 'ticket16762_squashed'

Decouple the backend for directory_all_unreachable to simplify our CFG

See ticket 16762.

Split the client-only parts of init_keys() into a separate function

This should simplify the callgraph a little more.

Merge branch 'bug16389_027_03_squashed'

Expire after 5 minutes rend cache failure entries

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Add created timestamp to a rend cache failure entry

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Fix typo in comment about digest256map_t

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Use an enum for INTRO_POINT_FAILURE_*

Safer, wiser, stronger!

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Purge client HS failure cache on NEWNYM

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Add rend failure cache

When fetching a descriptor, we know test every introduction points in it
against our rend failure cache to know if we keep it or not. For this to
work, now everytime an introduction points is discareded (ex: receiving a
NACK), we note it down in our introduction cache.

See rendcache.c for a detailed explanation of the cache's behavior.

Fixes #16389

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Fix windows compilation

Fix a 32-bit compilation warning

Make HSDir depend on Running/Valid again.

When we removed Running/Valid checks from Fast and Stable in 8712, I
removed them from HSDir too, which apparently wasn't a good idea.

Reverts part of a65e835800b1af2c2a4c215b.  Fixes bug 16524. Bugfix
on 0.2.7.2-alpha.

Merge remote-tracking branch 'public/feature16734'

Remove a 9-function strongly connected component of tor's callgraph.

microdesc_free_() called get_microdesc_cache(), which had the fun
side-effect of potentially reloading the whole cache from disk.
Replace it with a variant that doesn't.

Update callgraph code to find and output strongly connected components

Merge remote-tracking branch 'dgoulet/bug16274_027_02'

Check for EINTR correctly on windows

(even though these are nonblocking calls and EINTR shouldn't be possible).

Also, log what error we're seing if drain_fn fails.

Merge remote-tracking branch 'public/decouple-write'

Merge remote-tracking branch 'public/bug16286'

Fix misnamed parameter in or_circuit_new docstring.

 * CHANGES `p_conn` to `p_chan` in `or_circuit_new()` docstring.

add dSYM files to gitignore (they are an osx thing)

Update tor-fw-helper URL

Add a compat function to check how much disk space is free.

Closes ticket 16734.

Set the open file limit to the current value before changing it

If setrlimit() failed, max_out wasn't set in set_max_file_descriptors()
ending in a state where we don't use ULIMIT_BUFFER for things like tor
private key files.

Also fix the set_max_file_descriptors() documentation.

Fixes #16274

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Write a bunch more test for doc/WritingTests

Allow cov-display to take directories as arguments

Let's try to get test_workqueue working on windows

Merge remote-tracking branch 'public/bug13338'

Switch order of unblocking threads and releasing the mutex.

According to POSIX, the mutex must be locked by the thread calling the signal
functions to ensure predictable scheduling behavior.

Found the issue using Helgrind which gave the warning `dubious: associated lock
is not held by any thread`.

Update doc/HACKING with more coverage instructions

When building with coverage, run chutney with coverage

Previously, this required me to do stuff like
  'cp src/or/tor-cov src/or/tor' ,
which is pretty embarrassing.

Improved targets for "run all the tests, no, all of them."

Move formatting functions around.

The base64 and base32 functions used to be in crypto.c;
crypto_format.h had no header; some general-purpose functions were in
crypto_curve25519.c.

This patch makes a {crypto,util}_format.[ch], and puts more functions
there.  Small modules are beautiful!

Improve log messages for problems about ed25519 keypinning

Fixes 16286; bugfix on 0.2.7.2-alpha.

Add get_max_sockets() and remove dead code

The control port was using set_max_file_descriptors() with a limit set to 0
to query the number of maximum socket Tor can use. With the recent changes
to that function, a check was introduced to make sure a user can not set a
value below the amount we reserved for non socket.

This commit adds get_max_sockets() that returns the value of max_sockets so
we can stop using that "setter" function to get the current value.

Finally, the dead code is removed that is the code that checked for limit
equal to 0. From now on, set_max_file_descriptors() should never be used
with a limit set to 0 for a valid use case.

Fixes #16697

Signed-off-by: David Goulet <dgoulet@ev0ke.net>