Set SO_REUSEADDR on all sockets, not just listeners

See bug 2850 for rationale: it appears that on some busy exits, the OS
decides that every single port is now unusable because they have been
all used too recently.

Fix circuit_list_path_impl(): internal circuits do not have an "exit". Trivial fix for 3079.

Change who calls microdesc_cache_rebuild().

Previously we ensured that it would get called periodically by doing
it from inside the code that added microdescriptors.  That won't work
though: it would interfere with our code that tried to read microdescs
from disk initially.  Instead, we should consider rebuilding the cache
periodically, and on startup.

Rebuild the microdesc cache when a sufficient number of bytes are dropped

Previously on 0.2.2, we'd never clean the cache.  Now that we can
clean it, we want to add a condition to rebuild it: that should happen
whenever we have dropped enough microdescriptors that we could save a
lot of space.

No changes file, since 0.2.3 doesn't need one and 0.2.2 already has some
changes files for the backport of the microdesc_clean_cahce() function.

Backport microdesc_cache_clean to 0.2.2

Otherwise we have no way to keep authorities' microdesc caches in 0.2.2
from growing without bound.

Fix a check for when to rebuild the microdesc cache. (Backport from 0.2.3.

Add missing code to set cache->journal_len when reading microdesc journal

This could be one reason that authorities' journals would grow without
bound; related to bug 2230. Bugfix on 0.2.2.6-alpha.  Fix by
"cypherpunks".

Add a couple of notes to doc/HACKING based on 0.2.2.25-alpha process

Clean up a warning a bit

add another heuristic for changes stanzas

Update hacking file with terse notes on formatting changelog

Merge remote-tracking branch 'arma/bug3012' into maint-0.2.2

relays checkpoint their state file twice a day

Merge remote-tracking branch 'arma/bug3039' into maint-0.2.2

stop putting wacky values into state->lastwritten

Clarify comment to say which version fixed 2722

Merge remote-tracking branches 'rransom/bug2722' and 'rransom/bug2722b' into maint-0.2.2

Merge remote-tracking branch 'sebastian/bug3020' into maint-0.2.2

fix a function comment

Correctly check elapsed time in last hibernation period

Fix bug 3020.

Merge branch 'bug3000-022-part2-squashed' into maint-0.2.2

Avoid false positives from proxy_mode()

Previously it would erroneously return true if ListenAddr was set for
a client port, even if that port itself was 0.  This would give false
positives, which were not previously harmful... but which were about
to become.

Fix bug 1930

Ignore SIGNAL NEWNYM on relay-only Tor instances

Don't allow v0 HS auths to act as clients

A v0 HS authority stores v0 HS descriptors in the same descriptor
cache that its HS client functionality uses.  Thus, if the HS
authority operator clears its client HS descriptor cache, ALL v0
HS descriptors will be lost.  That would be bad.

Correct the logic from f14754fbd for tor_gmtime_r

Detect and handle NULL returns from (gm/local)time_r

These functions can return NULL for otherwise-valid values of
time_t.  Notably, the glibc gmtime manpage says it can return NULL
if the year if greater than INT_MAX, and the windows MSDN gmtime
page says it can return NULL for negative time_t values.

Also, our formatting code is not guaranteed to correctly handle
years after 9999 CE.

This patch tries to correct this by detecting NULL values from
gmtime/localtime_r, and trying to clip them to a reasonable end of
the scale.  If they are in the middle of the scale, we call it a
downright error.

Arguably, it's a bug to get out-of-bounds dates like this to begin
with.  But we've had bugs of this kind in the past, and warning when
we see a bug is much kinder than doing a NULL-pointer dereference.

Boboper found this one too.

Merge remote-tracking branch 'sebastian/bug2497' into maint-0.2.2

Clean up merge of bug3k_021

Merge branch 'bug3k_021' into bug3k_022

Conflicts:
src/or/or.h
src/or/rendclient.c

Fix a failure case of connection_ap_handshake_attach_circuit()

tor_fragile_assert() might be a no-op, so we have to return something
here to indicate failure to the caller.

Fix a bug introduced by purging rend_cache on NEWNYM

If the user sent a SIGNAL NEWNYM command after we fetched a rendezvous
descriptor, while we were building the introduction-point circuit, we
would give up entirely on trying to connect to the hidden service.

Original patch by rransom slightly edited to go into 0.2.1

Allow rend_client_send_introduction to fail transiently

i.e. without closing the AP connection.

Forget all rendezvous client state on SIGNAL NEWNYM

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Conflicts:
src/common/torint.h

I guess that had a bug number: add it to the changes file.

Fix clear_trackhostexits_mapping() to actually work as advertised

Previously, it would remove every trackhostexits-derived mapping
*from* xyz.<exitname>.exit; it was supposed to remove every
trackhostexits-derived mapping *to* xyz.<exitname>.exit.

Bugfix on 0.2.0.20-rc: fixes an XXX020 added while staring at bug-1090
issues.

make make check-spaces happier.

(still not happy.)

Fix double-free bug in microdesc parser

minor tweaks to manpage

Merge remote-tracking branch 'arma/bug1090-part1-squashed' into bug1090-part1-squashed

Merge branch 'bug1090-manpage-squashed' into bug1090-part1-squashed

explain an argument in a function comment

Revise the manpage to contain the actual intended *Nodes behavior

This is a squashed version of my former desired_nodes_behavior branch
that we used to specify the intended results wrt bug 1090.

Add a big changelog entry for bug 1090 fixes

Instead of checking whether we have unremoved intro points, check for usable ones

better user-facing warnings for unexpected last hops

these still aren't perfect, but we won't know how to correct them until
we start experiencing surprised users.

warn if we launch too many circuits for a given stream

revert most of ef81649d2fc

Now we believe it to be the case that we never build a circuit for our
stream that has an unsuitable exit, so we'll never need to use such
a circuit. The risk is that we have some code that builds the circuit,
but now we refuse to use it, meaning we just build a bazillion circuits
and ignore them all.

Add a circuit_purpose_to_string() function, and use it

We had a circuit_purpose_to_controller_string() function, but it was
pretty coarse-grained and didn't try to be human-readable.

Fix a check-spaces complaint

Explain the "using anyway" log message better

Also add a request to report any cases where we are not honoring
StrictNodes to the developers: These should now all be bugs.

Fix a log msg

Check transition of circuit purpose from INTRO->GENERAL if nodes are constrained

This looked at first like another fun way around our node selection
logic: if we had introduction circuits, and we wound up building too
many, we would turn extras into general-purpose circuits.  But when we
did so, we wouldn't necessarily check whether the general-purpose
circuits conformed to our node constraints.  For example, the last
node could totally be in ExcludedExitNodes and we wouldn't have cared...

...except that the circuit should already be internal, so it won't get user
streams attached to it, so the transition should generally be allowed.
Add an assert to make sure we're right about this, and have it not
check whether ExitNodes is set, since that's irrelevant to internal
circuits.

When cannibalizing a circuit, make sure it has no ExcludeNodes on it

This could happen if StrictNodes was 0 and we were forced to pick an
excluded node as the last hop of the circuit.

When there is a transition in permitted nodes, apply it to trackexithosts map

IOW, if we were using TrackExitHosts, and we added an excluded node or
removed a node from exitnodes, we wouldn't actually remove the mapping
that points us at the new node.

Also, note with an XXX022 comment a place that I think we are looking
at the wrong string.

Simplify calls to routerset_equal

The routerset_equal function explicitly handles NULL inputs, so
there's no need to check inputs for NULL before calling it.

Also fix a bug in routerset_equal where a non-NULL routerset with no
entries didn't get counted as equal to a NULL routerset.  This was
untriggerable, I think, but potentially annoying down the road.

If we have chosen an exit that shares a family with all bridges, fail the circuit

We could probably do something smarter here, but the situation is
unusual enough that it's okay to just fail the circuit.

Do not try to download descriptors for bridges in ExcludeNodes.

Correct the behavior of .exit with ExcludeNodes, StrictNodes, etc.

ExcludeExitNodes foo now means that foo.exit doesn't work.  If
StrictNodes is set, then ExcludeNodes foo also overrides foo.exit.

foo.exit , however, still works even if foo is not listed in ExitNodes.

Note another place that we need to fix a 1090 issue.

Do not automatically ignore Fast/Stable for exits when ExitNodes is set

This once maybe made sense when ExitNodes meant "Here are 3 exits;
use them all", but now it more typically means "Here are 3
countries; exit from there."  Using non-Fast/Stable exits created a
potential partitioning opportunity and an annoying stability
problem.

(Don't worry about the case where all of our ExitNodes are non-Fast
or non-Stable: we handle that later in the function by retrying with
need_capacity and need_uptime set to 0.)

Note a slightly less likely way to violate ExcludeNodes

Note that circuit purpose changing can violate ExcludeNodes

If we're excluded, and StrictNodes is set, do not do self-tests.

Add an XXX022-1090 to note consider_exit_fmily b0rkenness

three more cases where maybe we want to exclude

make formal a constraint that's been true a while now

refuse moria1.exit if moria1 is excluded

add a note reminding us to do this for foo.moria1.exit if we decide to.

note another case where strictnodes is considered for exits

If ExitNodes and Exclude{Exit}Nodes overlap, obey Exclude{Exit}Nodes.

Also, ExitNodes are always strict.

the new entrynodes behavior is always strict

don't exit enclave to excluded relays

slight tweak on circuit_conforms_to_options

this function really needs to get a total rewrite (or die)

For now, use #if 0 to disable it.

handle excludenodes for dir fetch/post

If we're picking a random directory node, never pick an excluded one.
But if we've chosen a specific one (or all), allow it unless strictnodes
is set (in which case warn so the user knows it's their fault).

When warning that we won't connect to a strictly excluded node,
log what it was we were trying to do at that node.

When ExcludeNodes is set but StrictNodes is not set, we only use
non-excluded nodes if we can, but fall back to using excluded nodes
if none of those nodes is usable.

If EntryNodes and ExcludeNodes overlap, obey ExcludeNodes.

refuse excluded hidserv nodes if strictnodes

Make hidden services more flaky for people who set both ExcludeNodes
and StrictNodes. Not recommended, especially for hidden service operators.

Expose a new process_signal(uintptr_t), not signal_callback()

This is a tweak to the bug2917 fix.  Basically, if we want to simulate
a signal arriving in the controller, we shouldn't have to pretend that
we're Libevent, or depend on how Tor sets up its Libevent callbacks.

Merge remote-tracking branch 'sebastian/bug2917' into maint-0.2.2

Merge remote-tracking branch 'public/bug2332' into maint-0.2.2

Make SIZE_T_CEILING unsigned; add a signed SSIZE_T_CEILING

None of the comparisons were _broken_ previously, but avoiding
signed/unsigned comparisons makes everybody happier.

Fixes bug2475.

Downgrade notice to info when downloading a cert.

fix some comments before they create conflicts

Fix compilation in last patch

Merge remote-tracking branch 'sebastian/bug2704' into maint-0.2.2

Fix more of bug 2704

The last entry of the *Maxima values in the state file was inflated by a
factor of NUM_SECS_ROLLING_MEASURE (currently 10). This could lead to
a wrong maximum value propagating through the state file history.

Don't leak the local hostname in relay nicknames

Fixes bug 2979, reported by tagnaq.

Merge commit '91aa6f08bcf0acbdfa038aaffe73e327ddd87c67' into maint-0.2.2

Make the Log configuration option expand ~

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Fix a bug in removing DNSPort requests from their circular list

Under heavy load, this could result in an assertion failure.  Fix for
bug 2933; bugfix on 0.2.0.10-alpha.

Prevent hugely inflated observed bandwidth values

When reading the bw history from the state file, we'd add the 900-second
value as traffic that occured during one second. Fix that by adding the
average value to each second.

This bug was present since 0.2.0.5-alpha, but was hidden until
0.2.23-alpha when we started using the saved values.

Don't sometimes undercount bw average

This fixes the first part of bug 2704. It should occur only rarely when
no bw maxima are known. Bugfix on 0.2.2.23-alpha. Fixes bug 2704.

Standardize our printf code on %d, not %i.

Merge remote-tracking branch 'rransom/bug2948' into maint-0.2.2

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Merge remote-tracking branch 'rransom/bug2750-v3' into maint-0.2.1

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Ouch: correctly tabify the micro-revision.i target in Makefile.am (0.2.1 only)

Don't report empty bw-history lines in extrainfo

Some tor relays would report lines like these in their extrainfo
documents:
dirreq-write-history 2011-03-14 16:46:44 (900 s)

This was confusing to some people who look at the stats. It would happen
whenever a relay first starts up, or when a relay has dirport disabled.
Change this so that lines without actual bw entries are omitted.
Implements ticket 2497.