Remove delay to become HSDir in privnets

Properly refcount client_identity_key

In a2bb0bf we started using a separate client identity key. When we are
in "public server mode" (that means not a bridge) we will use the same
key. Reusing the key without doing the proper refcounting leads to a
segfault on cleanup during shutdown. Fix that.

Also introduce an assert that triggers if our refcount falls below 0.
That should never happen.

Fix a whitespace error

Merge branch 'bug988-nm' into maint-0.2.2

Add some asserts to get_{tlsclient|server}_identity_key

We now require that:
  - Only actual servers should ever call get_server_identity_key
  - If you're being a client or bridge, the client and server keys should
    differ.
  - If you're being a public relay, the client and server keys
    should be the same.

Rename get_client_identity_key to get_tlsclient_identity_key

Fix a remaining bug in Robert's bug1859 fix.

When intro->extend_info is created for an introduction point, it
only starts out with a nickname, not necessarily an identity digest.
Thus, doing router_get_by_digest isn't necessarily safe.

Merge remote branch 'hoganrobert/bug1859' into maint-0.2.2

Merge remote branch 'sebastian/relay_early_rend' into maint-0.2.2

Fix a logic error in 98aee84. Found by boboper

Add a ! to directory_caches_dir_info() to fix a logic error

We want to fetch directory info more aggressively if we need it to
refuseunknownexits.  Thus, we'll want it if our exit policy is _NOT_
reject *.

Merge branch 'bug2097' into maint-0.2.2

Fix a read of a freed pointer while in set_current_consensus

Found by rransom while working on issue #988.  Bugfix on
0.2.2.17-alpha.  Fixes bug 2097.

Remove redundant -Wpointer-sign CFLAG

-Wpointer-sign is implied with -Wall, which we use when building with
--enable-gcc-warnings.

Remove redundant -Wformat -Wformat-security CFLAGS

When configuring with --enable-gcc-warnings, we use -Wformat=2 which
automatically enables the available -Wformat switches, so adding them
again in the --enable-gcc-hardening case doesn't make sense..

Use ssp-buffer-size param when hardening

We used to enable ssp-buffer-size=1 only when building with
--enable-gcc-warnings. That would result in warnings (and no
protection for small arrays) when building with
--enable-gcc-hardening without enabling warnings, too. Fixes bug
2031.

Also remove an XXX: We now allow to build with -fstack-protector
by using --enable-gcc-hardening.

Send relay_early cells in rend circs

There are no relay left that run version 0.2.1.3 through 0.2.1.18, so
changing this behaviour should be safe now.

Issues with router_get_by_nickname() (3)

Add changes file

Issues with router_get_by_nickname()

https://trac.torproject.org/projects/tor/ticket/1859

Use router_get_by_digest() instead of router_get_by_hexdigest()
in circuit_discard_optional_exit_enclaves() and
rend_client_get_random_intro(), per Nick's comments.

Using router_get_by_digest() in rend_client_get_random_intro() will
break hidden services published by Tor versions pre 0.1.2.18 and
0.2.07-alpha as they only publish by nickname. This is acceptable
however as these versions only publish to authority tor26 and
don't work for versions in the 0.2.2.x series anyway.

Issues with router_get_by_nickname()

https://trac.torproject.org/projects/tor/ticket/1859

There are two problems in this bug:

1. When an OP makes a .exit request specifying itself as the exit, and the exit
   is not yet listed, Tor gets all the routerinfos needed for the circuit but
   discovers in circuit_is_acceptable() that its own routerinfo is not in the
   routerdigest list and cannot be used. Tor then gets locked in a cycle of
   repeating these two steps. When gathering the routerinfos for a circuit,
   specifically when the exit has been chosen by .exit notation, Tor needs to
   apply the same rules it uses later on when deciding if it can build a
   circuit with those routerinfos.

2. A different bug arises in the above situation when the Tor instance's
   routerinfo *is* listed in the routerlist, it shares its nickname with a
   number of other Tor nodes, and it does not have 'Named' rights to its
   nickname.
   So for example, if (i) there are five nodes named Bob in the network, (ii) I
   am running one of them but am flagged as 'Unnamed' because someone else
   claimed the 'Bob' nickname first, and (iii) I run my Tor as both client
   and exit the following can happen to me:
     - I go to www.evil.com
     - I click on a link www.evil.com.bob.exit
     - My request will exit through my own Tor node rather than the 'Named'
       node Bob or any of the others.
     - www.evil.com now knows I am actually browsing from the same computer
       that is running my 'Bob' node

So to solve both issues we need to ensure:

- When fulfilling a .exit request we only choose a routerinfo if it exists in
  the routerlist, even when that routerinfo is ours.
- When getting a router by nickname we only return our own router information
  if it is not going to be used for building a circuit.

We ensure this by removing the special treatment afforded our own router in
router_get_by_nickname(). This means the function will only return the
routerinfo of our own router if it is in the routerlist built from authority
info and has a unique nickname or is bound to a non-unique nickname.

There are some uses of router_get_by_nickname() where we are looking for the
router by name because of a configuration directive, specifically local
declaration of NodeFamilies and EntryNodes and other routers' declaration of
MyFamily. In these cases it is not at first clear if we need to continue
returning our own routerinfo even if our router is not listed and/or has a
non-unique nickname with the Unnamed flag.

The patch treats each of these cases as follows:

Other Routers' Declaration of MyFamily
 This happens in routerlist_add_family(). If another router declares our router
 in its family and our router has the Unnamed flag or is not in the routerlist
 yet, should we take advantage of the fact that we know our own routerinfo to
 add us in anyway? This patch says 'no, treat our own router just like any
 other'. This is a safe choice because it ensures our client has the same view
 of the network as other clients. We also have no good way of knowing if our
 router is Named or not independently of the authorities, so we have to rely on
 them in this.

Local declaration of NodeFamilies
 Again, we have no way of knowing if the declaration 'NodeFamilies
 Bob,Alice,Ringo' refers to our router Bob or the Named router Bob, so we have
to defer to the authorities and treat our own router like any other.

Local declaration of NodeFamilies
 Again, same as above. There's also no good reason we would want our client to
 choose it's own router as an entry guard if it does not meet the requirements
 expected of any other router on the network.

In order to reduce the possibility of error, the patch also replaces two
instances where we were using router_get_by_nickname() with calls to
router_get_by_hexdigest() where the identity digest of the router
is available.

Fix MIPSpro and time_t signedness detection

3d6e2830876 silenced the autogen.sh warnings as it was supposed to, but
introduced two bugs. Fix them.

Fix warnings with new versions of autoconf

It looks like autoconf 2.68 introduced a bunch of new warnings when it
didn't like the syntax you used or forgot to use
AC_LANG_(SOURCE|PROGRAM).

Maintain separate server and client identity keys when appropriate.

Fixes a bug described in ticket #988.

Maintain separate server and client TLS contexts.

Fixes bug #988.

Refactor tor_tls_context_new:

* Make tor_tls_context_new internal to tortls.c, and return the new
  tor_tls_context_t from it.

* Add a public tor_tls_context_init wrapper function to replace it.

Add public_server_mode function.

Correct a bogus comment.

Whether or not OpenSSL reference-counts SSL_CTX objects is irrelevant;
what matters is that Tor reference-counts its wrapper objects for
SSL_CTXs.

Correct a couple of log messages in tortls.c

Fix several comments in tortls.c

Clarify PublishServerDescriptor even more

Merge remote branch 'rransom/manpage-fixes' into maint-0.2.2

Merge remote branch 'origin/maint-0.2.1' into maint-0.2.2

Update to the October 1 2010 Maxmind GeoLite Country database.

fix comment

log when we guess our ip address, not just when we fail

bump to 0.2.2.17-alpha-dev

retroactively declare the cbt fixes to be major

also put in release blurbs

Describe BridgeRelay and PublishServerDescriptor more correctly.

improve rpm init script by borrowing from Debian

Update rpm spec file so that it will build without manual intervention on all rpm-based distributions

AUTHORS doesn't exist, so stop trying to cp it. Add 'sudo' to a mv that needs higher permissions.

bump to 0.2.2.17-alpha

write up a changelog file

Add a changes file for the bug1912 fix

Note an XXX about potential overflow

Use an upper and lower bound for bridge weights

When picking bridges (or other nodes without a consensus entry (and
thus no bandwidth weights)) we shouldn't just trust the node's
descriptor. So far we believed anything between 0 and 10MB/s, where 0
would mean that a node doesn't get any use from use unless it is our
only one, and 10MB/s would be a quite siginficant weight. To make this
situation better, we now believe weights in the range from 20kB/s to
100kB/s. This should allow new bridges to get use more quickly, and
means that it will be harder for bridges to see almost all our traffic.

Fix check-spaces

Merge commit 'mikeperry/bug1772' into maint-0.2.2

Nominaly lower the minimum timeout value to 1500.

This won't change any behavior, since it will still be rounded back
up to 2seconds, but should reduce the chances of some extra warns.

Merge branch 'bug1772' into maint-0.2.2

fix two casts

Comment network liveness and change detection behavior.

no measurement circs if not enough build times

In the first 100 circuits, our timeout_ms and close_ms
are the same. So we shouldn't transition circuits to purpose
CIRCUIT_PURPOSE_C_MEASURE_TIMEOUT, since they will just timeout again
next time we check.

refactor and recomment; no actual changes

Merge commit 'mikeperry/bug1739' into maint-0.2.2

Merge commit 'mikeperry/bug1740' into maint-0.2.2

Add changes file.

Cap the circuit build timeout to the max time we've seen.

Also, cap the measurement timeout to 2X the max we've seen.

Do away with the complexity of the network liveness detection.

We really should ignore any timeouts that have *no* network activity for their
entire measured lifetime, now that we have the 95th percentile measurement
changes. Usually this is up to a minute, even on fast connections.

Fix state checks on liveness handling.

If we really want all this complexity for these stages here, we need to handle
it better for people with large timeouts. It should probably go away, though.

Fix non-live condition checks.

Rechecking the timeout condition was foolish, because it is checked on the
same codepath. It was also wrong, because we didn't round.

Also, the liveness check itself should be <, and not <=, because we only have
1 second resolution.

Add changes file.

Send control port events for timeouts.

We now differentiate between timeouts and cutoffs by the REASON string and
the PURPOSE string.

Add changes file.

Only count timeout data for 3 hop circuits.

Use 4/3 of this timeout value for 4 hop circuits, and use half of it for
canabalized circuits.

even more comment

improve code comments, based on comments from nick

a changelog entry for the entrynodes retry mess

handle ugly edge case in retrying entrynodes

Specifically, a circ attempt that we'd launched while the network was
down could timeout after we've marked our entrynodes up, marking them
back down again. The fix is to annotate as bad the OR conns that were
around before we did the retry, so if a circuit that's attached to them
times out we don't do anything about it.

Actually notice when our last entrynode goes down

Otherwise we'd never set have_minimum_dir_info to false, so the
"optimistic retry" would never trigger.

optimistically retry EntryNodes on socks request

We used to mark all our known bridges up when they're all down and we
get a new socks request. Now do that when we've set EntryNodes too.

remove a redundant assert

refactor; no actual changes

Merge branch 'maint-0.2.1' into maint-0.2.2

actually retry bridges when your network goes away

Remove the completely outdated Win32Build directory

If you want to try to build Tor with a recent MSVC, you are better
off starting from scratch than trying to use the project files that
we used to build 2006 versions of Tor using 2006 versions of MSVC.

a dir-spec entry for refuseunknownexits

plus quiet a log line

the actual changelog entry this time

changelog entry for bug1751

Merge remote branch 'sebastian/bug1964' into maint-0.2.2

Fix a bridge segfault

When we enabled support to change statistic options without restarting
Tor we forgot to initialize geoip_countries. Fix that.

Merge branch 'refuseunknown' into maint-0.2.2

Add RefuseUnknownExits to the manpage

Merge branch 'bug1751_enabling' into maint-0.2.2

Change bug1751 enabling code based on comments from arma

Merge remote branch 'public/bug1954' into maint-0.2.2

Merge branch 'bug1805' into maint-0.2.2

Clean up some bug1805 comments based on arma's feedback

Merge remote branch 'mikeperry/bug1952-merge' into maint-0.2.2

Add changelog for bug 1952.

Update dir-spec.txt with new weight constraints.

Implement new Wxx constraints.

Cases 1 and 3b are provably correct. Case 2b has a fallback to first try to
maximize entropy.

Consistency issues in load_windows_system_library patch. Thanks Sebastian

Merge remote branch 'sebastian/continuation'

Note that the torrc format doesn't need nl at end

Merge branch 'bug1511'

Tweak continuation-and-comment logic

I think there was a read-off-the-end-of-the-buffer bug that I fixed.
At least I added some good comments, I hope.

Add new torrc line continuation unit tests

We want to make sure that we don't break old torrc files that might have
used something like this made-up example:

    ContactInfo UberUser <uber@user.com> # /// Fake email! \\\
    Log info file /home/nick.mathewson/projects/tor-info.log

And we also want to support the following style of writing your torrc:

    ExcludeNodes \
    # Node1337 is run by the Bavarian Illuminati
      Node1337, \
    # The operator of Node99 looked at me funny
      Node99

The code already handles both cases, but the unit test should help prove
it.

Rename has_completed_circuit to can_complete_circuit

Also redocument it.  Related to #1362.

Merge remote branch 'arma/bug1362'