Support monotonic time for pthread_cond_timedwait

This is to avoid that the pthread_cond_timedwait() is not affected by time
adjustment which could make the waiting period very long or very short which
is not what we want in any cases.

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Fix up some workqueue/threading issues spotted by dgoulet.

handle EINTR in compat_*threads.c

Update workqueue implementation to use a single queue for the work

Previously I used one queue per worker; now I use one queue for
everyone.  The "broadcast" code is gone, replaced with an idempotent
'update' operation.

Incorporate some comments based on notes from dgoulet

Avoid chan/circ linear lookups for requests

The solution I took is to not free a circuit with a pending
uncancellable work item, but rather to set its magic number to a
sentinel value.  When we get a work item, we check whether the circuit
has that magic sentinel, and if so, we free it rather than processing
the reply.

Remove if (1) indentation in cpuworker.c

To avoid having diffs turn out too big, I had replaced some unneeded
ifs and fors with if (1), so that the indentation would still work out
right.  Now I might as well clean those up.

Refactor cpuworker to use workqueue/threadpool code.

Fix check-spaces

Test and fix workqueue_entry_cancel().

Add shutdown and broadcast support to test_workqueue.

Add unit test for thread IDs.

Basic unit test for condition variables.

"Recursive" locks, not "reentrant" locks. Duh.

Use correct (absolute) time for pthread_cond_timedwait

Fix windows compilation of condition code

Fix linux compilation (pipe2 needs _GNU_SOURCE)

Move thread tests into their own module

Test a little more of compat_threads.c

Rename mutex_for_cond -> mutex_nonreentrant

We'll want to use these for other stuff too.

Rename bench_workqueue -> test_workqueue and make it a unit test.

Documentation for new workqueue and condition and locking stuff

Add a way to tell all threads to do something.

Isolate the "socketpair or a pipe" logic for alerting main thread

This way we can use the linux eventfd extension where available.
Using EVFILT_USER on the BSDs will be a teeny bit trickier, and will
require libevent hacking.

Make pending work cancellable.

Initial workqueue implemention, with a simple test.

It seems to be working, but more tuning is needed.

Specialize handling for mutexes allocated for condition variables

(These must not be reentrant mutexes with pthreads.)

Add tor_cond_init/uninit

Add a timeout to tor_cond_wait; add tor_cond impl from libevent

The windows code may need some tweaks for it to compile; I've not
tested it yet.

Split threading-related code out of compat.c

Also, re-enable the #if'd out condition-variable code.

Work queues are going to make us hack on all of this stuff a bit more
closely, so it might not be a terrible idea to make it easier to hack.

Do not log a notice on every socks connection

New minimum uptime to become an HSDir is 96 hours.

Fix new unused variable warning in connection_listener_new

update bug12585 changes file

whitespace fix

Merge remote-tracking branch 'andrea/ticket12585_v3'

Fix a conversion warning on 32-bit clang

On jessie, we need a =, not a ==

mktemp wants some Xs

Tweak zero_length_keys.sh and test/include.am to make out-of-tree builds work

Explicitly chmod AF_UNIX sockets to 0600 when *GroupWritable isn't specified

Remove no-longer-accurate comment from connection.c

Fix ipv4/ipv6 traffic bits on AF_UNIX socks listeners and remove hacky workarounds for brokenness

Fix default list handling for parse_unix_socket_config(); avoid clearing whole pre-existing list

Merge remote-tracking branch 'teor/bug13111-empty-key-files-fn-empty'

reindent cell_queues_check_size()

Merge branch 'bug13806_squashed'

Conflicts:
src/or/relay.c

When OOM, free cached hidden service descriptors too.

Kill duplicated code in connection_listener_new()

If libsystemd-daemon.pc is not found, look for libsystemd

(Thanks to toralf for noting that the build was broken, and to
Sebastian for telling me that my fix still wasn't right.)

src/common/compat_libevent.h: include testsupport.h

When tor is configured with --enable-bufferevents, the build fails
because compat_libevent.h makes use of the macro MOCK_DECL() which
is defined in testsupport.h, but not included.  We add the include.

Merge remote-tracking branch 'origin/maint-0.2.5'

Merge remote-tracking branch 'public/bug14129_024' into maint-0.2.5

Actually remove LOCALSTATEDIR@/run/tor line from tor.service.in

Fix build on systemdless systems

Fixes bug 14170.

changes file for bug13805

systemd changes for 13805 as recommened by Tomasz on that ticket.

Merge remote-tracking branch 'candrews/issue13805'

Fix unused-parameter warning in systemd_watchdog_callback

changes file for 14141

fix and enable systemd watchdog

  There were following problems:
  - configure.ac wrongly checked for defined HAVE_SYSTEMD; this
    wasn't working, so the watchdog code was not compiled in.
    Replace library search with explicit version check
  - sd_notify() watchdog call was unsetting NOTIFY_SOCKET from env;
    this means only first "watchdog ping" was delivered, each
    subsequent one did not have socket to be sent to and systemd
    was killing service
  - after those fixes, enable Watchdog in systemd unit with one
    minute intervals

send more details about daemon status to supervisor

  If running under systemd, send back information when reloading
configuration and gracefully shutting down.  This gives administator
more information about current Tor daemon state.

send PID of the main daemon to supervisor

  If running under systemd, notify the supervisor about current PID
of Tor daemon.  This makes systemd unit simpler and more robust:
it will do the right thing regardless of RunAsDaemon settings.

Merge remote-tracking branch 'teor/nickm-bug13401'

Merge remote-tracking branch 'origin/maint-0.2.5'

Don't crash on torrc Vi[rtualAddrNetworkIPv[4|6]] with no option value

Check for a missing option value in parse_virtual_addr_network
before asserting on the NULL in tor_addr_parse_mask_ports.
This avoids crashing on torrc lines like Vi[rtualAddrNetworkIPv[4|6]]
when no value follows the option.

Bugfix on 0.2.3 (de4cc126cbb5 on 24 November 2012), fixes #14142.

Fix tortls.c build with GCC<4.6

apparantly, "pragma GCC diagnostic push/pop" don't exist with older versions.

Fixes bug in 740e592790f570c446cbb5e6d4a77f842f75; bug not in any
released Tor.

Better workaround for CFLAGS issues from #14072; fixes #14162

When I applied patch fcc78e5f8a3249eadfea31db, I somehow broke
stack trace symbols on Linux.  I'll leave it to others to figure out
why that happens.  This should be better.  Really.

Fixes bug 14162; bug not in any released version of Tor.

Ignore warning for redundant decl in openssl/srtp.h

Merge remote-tracking branch 'teor/fix-typos'

Speed up hidden service bootstrap by reducing the initial post delay

Drop the MIN_REND_INITIAL_POST_DELAY on a testing network to 5 seconds,
but keep the default at 30 seconds.

Reduces the hidden service bootstrap to 25 seconds from around 45 seconds.
Change the default src/test/test-network.sh delay to 25 seconds.

Closes ticket 13401.

Create TestingDirAuthVoteHSDir like TestingDirAuthVoteExit/Guard

TestingDirAuthVoteHSDir ensures that authorities vote the HSDir flag
for the listed relays regardless of uptime or ORPort connectivity.
Respects the value of VoteOnHidServDirectoriesV2.

Partial fix for bug 14067.

Smaller RendPostPeriod on test networks

This patch makes the minimum 5 seconds, and the default 2 minutes.

Closes 13401.

Merge branch 'master' of https://git.torproject.org/tor into bug13111-empty-key-files-fn-empty

Conflicts:
  src/or/connection_edge.c
Merged in favour of origin.

Test that tor correctly handles zero-length keys

Check that tor generates new keys, and overwrites the empty key files.
Test that tor generates new keys when keys are missing (existing
behaviour).
Test that tor does not overwrite key files that already contain data
(existing behaviour).

Tests fixes to bug 13111.

Merge branch 'bug14001-clang-warning' into bug13111-empty-key-files-fn-empty

Conflicts:
  src/or/router.c
Choose newer comment.
Merge changes to comment and function invocation.

Fix a minor misspelling in util.c

Document disable option for ControlSocket and SocksSocket

Add support for a default list of paths and passing '0' to disable it to parse_unix_socket_config()

Allow two ISO times to appear in EntryGuardDownSince.

When I made time parsing more strict, I broke the
EntryGuardDownSince line, which relied on two concatenated ISO times
being parsed as a single time.

Fixes bug 14136. Bugfix on 7984fc153112baa5. Bug not in any released
version of Tor.

Avoid attempts to double-remove edge connections from the DNS resolver.

Also, avoid crashing when we attempt to double-remove an edge
connection from the DNS resolver: just log a bug warning instead.

Fixes bug 14129.  Bugfix on 0d20fee2fbd48978, which was in 0.0.7rc1.

jowr found the bug.  cypherpunks wrote the fix.  I added the log
message and removed the assert.

fix new mingw64 compilation warnings

Unconfuse coverity when it sees the systemd headers

Downgrade open/close log message for SocksSocket

Bring sanity to connection_listener_new()

Rename is_tcp in connection_listener_new(), since AF_UNIX means SOCK_STREAM no longer implies TCP

Refactor check_location_for_unix_socket()/check_location_for_socks_unix_socket() to eliminate duplicated code

Merge branch 'ticket14128_squashed'

GETINFO bw-event-cache to get information on recent BW events

Closes 14128; useful to regain functionality lost because of 13988.

Commit second draft of Jake's SOCKS5-over-AF_UNIX patch.  See ticket #12585.

Signed-off-by: Andrea Shepard <andrea@torproject.org>

Merge remote-tracking branch 'public/bug12985_025'

Merge remote-tracking branch 'public/bug12985_024' into bug12985_025

Clarify why bug12985 is a thing

Merge remote-tracking branch 'public/bug13988_025'

appease "make check-spaces"

Merge branch 'bug9286_v3_squashed'

Stop accepting milliseconds in various directory contexts

Have clients and authorities both have new behavior, since the
fix for bug 11243 has gone in.  But make clients still accept
accept old bogus HSDir descriptors, to avoid fingerprinting trickery.

Fixes bug 9286.

Merge remote-tracking branch 'origin/maint-0.2.5'

Enlarge the buffer for a line in a bw file

Spelling -- readyness->readiness.