Split the slow unit tests into their own binary

This can run in parallel with the faster ones and the other tests.

Merge branch 'if_addr_refactoring_squashed'

Conflicts:
src/test/include.am
src/test/test.c

Refactor code that looks up addresses from interfaces

Now the code has separate implementation and examination functions,
uses smartlists sanely, and has relatively decent test coverage.

changes file for 9969

Tweak the 9969 fix a little

If we have busy nodes and excluded nodes, then don't retry with the
excluded ones enabled.  Instead, wait for the busy ones to be nonbusy.

Merge remote-tracking branch 'public/ticket9969'

Conflicts:
src/or/directory.c
src/or/routerlist.c
src/or/routerlist.h
src/test/include.am
src/test/test.c

fix warnings from lintChanges

Merge remote-tracking branch 'public/ticket13762'

Merge remote-tracking branch 'origin/maint-0.2.5'

Merge remote-tracking branch 'origin/maint-0.2.4' into maint-0.2.5

Merge remote-tracking branch 'karsten/geoip6-jan2015' into maint-0.2.4

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

fix some warnings in compat_threads.c

Move a redundant _GNU_SOURCE to where it is not redundant

Update geoip6 to the January 7 2015 database.

Update geoip to the January 7 2015 database.

use the correct free fn. spotted by dgoulet

Merge branch 'better_workqueue_v3_squashed'

Fix: remove whitespace and update a comment in cpuworker.c

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Fix: change copyright year in workqueue and thread tests

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Support monotonic time for pthread_cond_timedwait

This is to avoid that the pthread_cond_timedwait() is not affected by time
adjustment which could make the waiting period very long or very short which
is not what we want in any cases.

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Merge branch 'bug9819'

fix a comment

Fix up some workqueue/threading issues spotted by dgoulet.

handle EINTR in compat_*threads.c

Merge branch 'bug14084'

Expand manpage for HiddenServiceAllowUnknownPorts based on suggestions from qwerty1 and dgoulet

Merge remote-tracking branch 'dgoulet/bug14224_025_v1'

Merge branch 'ticket14254_squashed'

Fix SocksSocket 0.  That was easy!

Some days I just can't C.

Make check-spaces happier.

Remove a now-needless testing workaround.

Replace a 4 with a 6; fix a bug that nobody noticed :/

Fixes 14280 bugfix on 1053af0b9c4127873034a935ce33 in 0.2.4.7-alpha.

Merge branch 'bug7555_v2_squashed'

Conflicts:
src/or/connection_edge.c

Add a bunch of new comments to explain connection_ap_rewrite{,_and_attach}

Also, do a little light refactoring to move some variable declarations
around and make a few things const

Also fix an obnoxious bug on checking for the DONE stream end reason.
It's not a flag; it's a possible value or a variable that needs to be
masked.

Fix: close intro circuit if no more intro points are usable

Once a NACK is received on the intro circuit, tor tries an other usable one
by extending the current circuit to it. If no more intro points are usable,
now close the circuit. Also, it's reason is changed before closing it so we
don't report again an intro point failure and trigger an extra HS fetch.

Fixes #14224

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Fix: close intro circuit if no more intro points are usable

Once a NACK is received on the intro circuit, tor tries an other usable one
by extending the current circuit to it. If no more intro points are usable,
now close the circuit.

Fixes #14224

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Merge remote-tracking branch 'public/ticket13037'

Conflicts:
src/or/config.c

Remove the unused rend_cache_entry_t->received field.

(Patch from arma, commit message from nick.)

Closes #14222.

Merge remote-tracking branch 'public/bug14219_025'

Do not replace a HS descriptor with a different replica of itself

This fixes a bug where we'd fetch different replicas of the same
descriptor for a down hidden service over and over, until we got lucky
and fetched the same replica twice in a row.

Fixes bug 14219; bugfix on 0.2.0.10-alpha.

(Patch from Roger; commit message and changes file by Nick.)

Merge remote-tracking branch 'public/bug14261_025'

Conflicts:
src/or/directory.c

Increase limit for status vote download size by a factor of 5.

We've started to hit the limit here.  We introduced the limit in
0.1.2.5-alpha.  This fixes bug 14261, but we should have a smarter way
to not actually do the behavior this permits.  See #14267 for a ticket
about fixing that.

Fix memory leak in connection_ap_handshake_rewrite_and_attach()

Spotted by asn.  #14259.  Bugfix on 368eb6a97 in 0.2.0.1-alpha.

Merge remote-tracking branch 'public/bug12485'

Merge remote-tracking branch 'origin/maint-0.2.5'

Conflicts:
src/test/test_relaycell.c
src/test/test_util.c

fix another mingw64 unit test warnin

changes file for 9396005428c40cf7ef9f1e6ae1d725f3155391f5

changes suggested by weasel

Unify parse_unix_socket_config and parse_port_config

This incidentally makes unix SocksSocket support all the same options
as SocksPort.

This patch breaks 'SocksSocket 0'; next will restore it.

Resolves 14254.

No, client-side DNS cacheing should not be on by default.

Merge branch 'bug8546_squashed'

Conflicts:
src/or/connection.c
src/or/or.h
src/or/relay.c

changes file for bug 8546

Replace field-by-field copy with memcpy for entry_port_cfg

Move entry_port_cfg_t fields in entry_connection_t

Also rename some options for uniformity, and apply this script:

@@
entry_connection_t *conn;
@@
 conn->
+entry_cfg.
\(
 isolation_flags
\|
 session_group
\|
 socks_prefer_no_auth
\|
 ipv4_traffic
\|
 ipv6_traffic
\|
 prefer_ipv6
\|
 cache_ipv4_answers
\|
 cache_ipv6_answers
\|
 use_cached_ipv4_answers
\|
 use_cached_ipv6_answers
\|
 prefer_ipv6_virtaddr
\)

Combine entry_port_cfg_t fields in listener_connection_t

Also, revise the code using these options with this cocci script:

@@
listener_connection_t *conn;
@@
 conn->
+entry_cfg.
\(
 isolation_flags
\|
 session_group
\|
 socks_prefer_no_auth
\|
 ipv4_traffic
\|
 ipv6_traffic
\|
 prefer_ipv6
\|
 cache_ipv4_answers
\|
 cache_ipv6_answers
\|
 use_cached_ipv4_answers
\|
 use_cached_ipv6_answers
\|
 prefer_ipv6_virtaddr
\)

Split client-specific and server-specific parts of port_cfg_t

Also, apply this cocci script to transform accesses. (Plus manual
migration for accesses inside smartlist_foreach loops.)

@@

port_cfg_t *cfgx;
@@
 cfgx->
+server_cfg.
\(
 no_advertise
\|
 no_listen
\|
 all_addrs
\|
 bind_ipv4_only
\|
 bind_ipv6_only
\)

@@

port_cfg_t *cfgx;
@@
 cfgx->
+entry_cfg.
\(
 isolation_flags
\|
 session_group
\|
 socks_prefer_no_auth
\|
 ipv4_traffic
\|
 ipv6_traffic
\|
 prefer_ipv6
\|
 cache_ipv4_answers
\|
 cache_ipv6_answers
\|
 use_cached_ipv4_answers
\|
 use_cached_ipv6_answers
\|
 prefer_ipv6_virtaddr
\)

Fix a compilation warning in the unit tests

Merge remote-tracking branch 'origin/maint-0.2.5'

Ignore warning for redundant decl in openssl/srtp.h

Backports some commits from tor master.

Add string for IP_NOW_REDUNDANT in circuit_end_reason_to_control_string

Closes 14207; bugfix on 0.2.6.2-alpha.

unittests: use tt_i64_op() instead of tt_int_op() in laplace tests.

Do this in even more places to try to fix the build.

Update workqueue implementation to use a single queue for the work

Previously I used one queue per worker; now I use one queue for
everyone.  The "broadcast" code is gone, replaced with an idempotent
'update' operation.

fix typo

Merge remote-tracking branch 'andrea/bug12194_alt'

Fix the checkdir/perms test when umask==077

Fixes 14215; bugfix on 0.2.6.2-alpha.  Reported by "cypherpunks".

Add comments in rendclient.c noting that certain functions involved in handling ended HS connection attempts must be idempotent

unittests: use tt_i64_op() instead of tt_int_op() in laplace tests.

unittests: Change some tt_assert()s to tt_int_op()s.

Restrict sample values of the Laplace distribution to int64_t.

This helps avoid undefined behavior from casting big double values to
int64_t. Fixes #14090.

Merge remote-tracking branch 'public/bug13397'

Merge remote-tracking branch 'origin/maint-0.2.5'

Incorporate some comments based on notes from dgoulet

Avoid chan/circ linear lookups for requests

The solution I took is to not free a circuit with a pending
uncancellable work item, but rather to set its magic number to a
sentinel value.  When we get a work item, we check whether the circuit
has that magic sentinel, and if so, we free it rather than processing
the reply.

Remove if (1) indentation in cpuworker.c

To avoid having diffs turn out too big, I had replaced some unneeded
ifs and fors with if (1), so that the indentation would still work out
right.  Now I might as well clean those up.

Refactor cpuworker to use workqueue/threadpool code.

Fix check-spaces

Test and fix workqueue_entry_cancel().

Add shutdown and broadcast support to test_workqueue.

Add unit test for thread IDs.

Basic unit test for condition variables.

"Recursive" locks, not "reentrant" locks. Duh.

Use correct (absolute) time for pthread_cond_timedwait

Fix windows compilation of condition code

Fix linux compilation (pipe2 needs _GNU_SOURCE)

Move thread tests into their own module

Test a little more of compat_threads.c

Rename mutex_for_cond -> mutex_nonreentrant

We'll want to use these for other stuff too.

Rename bench_workqueue -> test_workqueue and make it a unit test.

Documentation for new workqueue and condition and locking stuff

Add a way to tell all threads to do something.

Isolate the "socketpair or a pipe" logic for alerting main thread

This way we can use the linux eventfd extension where available.
Using EVFILT_USER on the BSDs will be a teeny bit trickier, and will
require libevent hacking.

Make pending work cancellable.

Initial workqueue implemention, with a simple test.

It seems to be working, but more tuning is needed.

Specialize handling for mutexes allocated for condition variables

(These must not be reentrant mutexes with pthreads.)

Add tor_cond_init/uninit

Add a timeout to tor_cond_wait; add tor_cond impl from libevent

The windows code may need some tweaks for it to compile; I've not
tested it yet.

Split threading-related code out of compat.c

Also, re-enable the #if'd out condition-variable code.

Work queues are going to make us hack on all of this stuff a bit more
closely, so it might not be a terrible idea to make it easier to hack.

Do not log a notice on every socks connection