Merge commit 'nickm/fix_security_bug_022' into maint-0.2.2

Merge remote branch 'origin/maint-0.2.1' into maint-0.2.2

Change gabelmoo's IP address and ports.

Merge remote branch fix_security_bug_021 into fix_security_bug_022

Conflicts:
src/common/memarea.c
src/or/or.h
src/or/rendclient.c

Add a changelog entry

Make payloads into uint8_t.

This will avoid some signed/unsigned assignment-related bugs.

Merge remote branch 'origin/maint-0.2.1' into maint-0.2.2

Conflicts:
src/config/geoip

Have all of our allocation functions and a few others check for underflow

It's all too easy in C to convert an unsigned value to a signed one,
which will (on all modern computers) give you a huge signed value.  If
you have a size_t value of size greater than SSIZE_T_MAX, that is way
likelier to be an underflow than it is to be an actual request for
more than 2gb of memory in one go.  (There's nothing in Tor that
should be trying to allocate >2gb chunks.)

Base SIZE_T_CEILING on SSIZE_T_MAX.

Update to the December 1 2010 Maxmind GeoLite Country database.

Merge branch 'bug2081_followup_022' into maint-0.2.2

Reject relay versions older than 0.2.0.26-rc

This was the first version to cache the correct directory information.

Fixes bug 2156.

revise bug2081_followup changelog

Fix a bug in calculating wakeup time on 64-bit machines.

If you had TIME_MAX > INT_MAX, and your "time_to_exhaust_bw =
accountingmax/expected_bandwidth_usage * 60" calculation managed to
overflow INT_MAX, then your time_to_consider value could underflow and
wind up being rediculously low or high.  "Low" was no problem;
negative values got caught by the (time_to_consider <= 0) check.
"High", however, would get you a wakeup time somewhere in the distant
future.

The fix is to check for time_to_exhaust_bw overflowing INT_MAX, not
TIME_MAX: We don't allow any accounting interval longer than a month,
so if time_to_exhaust_bw is significantly larger than 31*24*60*60, we
can just clip it.

This is a bugfix on 0.0.9pre6, when accounting was first introduced.
It fixes bug 2146, unless there are other causes there too.  The fix
is from boboper.  (I tweaked it slightly by removing an assignment
that boboper marked as dead, and lowering a variable that no longer
needed to be function-scoped.)

Add a missing ! to directory_fetches_from_authorities

The old logic would have us fetch from authorities if we were refusing
unknown exits and our exit policy was reject*.  Instead, we want to
fetch from authorities if we're refusing unknown exits and our exit
policy is _NOT_ reject*.

Fixed by boboper.  Fixes more of 2097.  Bugfix on 0.2.2.16-alpha.

Don't crash when accountingmax is set in non-server Tors

We use a hash of the identity key to seed a prng to tell when an
accounting period should end.  But thanks to the bug998 changes,
clients no longer have server-identity keys to use as a long-term seed
in accounting calculations.  In any case, their identity keys (as used
in TLS) were never never fixed.  So we can just set the wakeup time
from a random seed instead there.  Still open is whether everybody
should be random.

This patch fixes bug 2235, which was introduced in 0.2.2.18-alpha.

Diagnosed with help from boboper on irc.

Fix a harmless off-by-one error in counting controller argument lengths

Bugfix on 0.1.1.1-alpha; found by boboper.

Specified grammars for orconn-status and entry-guards for Tor versions 0.1.2.2-alpha through 0.2.2.1-alpha with feature VERBOSE_NAMES turned off.

Correct information about support for guards being called helper nodes.

The spec stated that support for the helper-nodes command would be removed
in 0.1.3.x, however support for this command is still in Tor. Updated the spec
to reflect this and added a node that the command is deprecated.

Correct grammars to reflect that VERBOSE_NAMES is part of the protocol.

Several updates to grammars for events and GETINFO results.  All relate
to the fact that LongName has replaced ServerID since 0.2.2.1-alpha. See
documentation of VERBOSE_NAMES for more information. The following
grammars were changed:
  * orconn-status GETINFO result
  * entry-guards GETINFO result
  * Path general token
  * OR Connection status changed event
  * New descriptors available event
In all cases a note was added about when the old grammar applies.

Several changes to the way tokens describing servers are documented.

(1) Made the wording of the comments consistant with token names.
Digest/Fingerprint and Name/Nickname were being used interchangeably.
Better to just use Fingerprint and Nickname becuase they are the names
of the tokens.

(2) Places the tokens currently in use before the tokens used in older
versions.  ServerSpec should be documented before ServerID.

(3) Added a note to the comments about ServerID that cross reference
the VERBOSE_FEATURE, allowing users to see when and why ServerID was
replaced with LongName.

Clarify description of FEATURES in control-spec.

(1) On by default is a bad way to describe features. Rather, they
are always on and should be viewed as a part of the control
protocol. Updated the wording in USEFEATURE to reflect this.

(2) Made descriptions of Tor versions consistant across all
features. There is the version in which a feature was introduced and
the version in which it became part of the protocol.

(3) Reworded the description of the VERBOSE_NAMES feature. The
previous wording describes the way things used to be first. Better to
lead with the current state of things and then describe how it differs
from old versions.

Merge branch 'maint-0.2.1' into maint-0.2.2

Conflicts:

doc/Makefile.am

add 0.2.1.27 blurb and changelog to release notes

fix changes file for 2210

Revise comment on 2210 a little; clean up n_streams/num_streams confusion

Also add a changes file

Add wrappers function for libc random()

On windows, it's called something different.

Fix whitespace in patch for 2210 and backport to 0.2.2

Improve fairness when activating streams in circuit_resume_edge_reading_helper

 The reason the "streams problem" occurs is due to the complicated
interaction between Tor's congestion control and libevent. At some point
during the experiment, the circuit window is exhausted, which blocks all
edge streams. When a circuit level sendme is received at Exit, it
resumes edge reading by looping over linked list of edge streams, and
calling connection_start_reading() to inform libevent to resume reading.
When the streams are activated again, Tor gets the chance to service the
first three streams activated before the circuit window is exhausted
again, which causes all streams to be blocked again. As an experiment,
we reversed the order in which the streams are activated, and indeed the
first three streams, rather than the last three, got service, while the
others starved.

 Our solution is to change the order in which streams are activated. We
choose a random edge connection from the linked list, and then we
activate streams starting from that chosen stream. When we reach the end
of the list, then we continue from the head of the list until our chosen
stream (treating the linked list as a circular linked list). It would
probably be better to actually remember which streams have received
service recently, but this way is simple and effective.

Merge branch 'exitstats' into maint-0.2.2

comment karsten's bug2196 patch a little

Merge remote branch 'rransom/fix2195-fix' into maint-0.2.2

Avoid dereferencing NULL if a bridge fails to build an ei descriptor.

Reported by an anonymous commenter on Trac.

Report only the top 10 ports in exit-port stats.

Fix compilation with mingw and OpenSSL 0.9.8m+

Use S_CASE for ehostunreach, not E_CASE. Partial backport of 69deb22f. Fixes 0.2.1 compilation on windows

stop shipping doc/img and doc/website in the tarball

pick a more accurate release date

Have authorities reject routers running verions susceptible to bug 1038.

bump to 0.2.2.19-alpha

prepare for our emergency openssl fix release

Merge remote branch 'origin/maint-0.2.1' into maint-0.2.2

Merge branch 'fix2204' into maint-0.2.1

Do not set the hostname TLS extension server-side; only client-side

This may fix bug 2204, and resolve the incompatibility with openssl
0.9.8p/1.0.0b.

Fix a unit test broken by fix for 2195

Merge branch 'fix2183', remote branch 'rransom/fix2195-v2' into maint-0.2.2

Add changes file for bug2195.

Fix logic error in router_dump_router_to_string.

Spotted by Nick Mathewson.

Add comments to some of the bug2183 fix code

Generate a router descriptor even if generating an extra-info descriptor fails.

Fixes bug #2195.

Do not emit an extra-info-digest descriptor line if the digest is zero.

Tweak the bugfix for 2183 a bit more.

new development version

final touchups

bump to 0.2.2.18-alpha

warn more about AllowSingleHopExits

merge in more changelog entries

Merge commit 'nickm/1776_redux_v1' into maint-0.2.2

Clean up my 1776 fix a bit

Sebastian notes (and I think correctly) that one of our ||s should
have been an &&, which simplifies a boolean expression to decide
whether to replace bridges.  I'm also refactoring out the negation at
the start of the expression, to make it more readable.

Move controller event for socks warning into log_unsafe_socks_warning

Merge branch 'bug2000_nm_022' into maint-0.2.2

changes entry for nopublish removal in 5040c855d

Make the coducmentation for SingleHop stuff slightly more dire

Merge remote branch 'sebastian/manpagefixups' into maint-0.2.2

Rate-limit unsafe socks warning

Pick 5 seconds as the limit. 5 seconds is a compromise here between
making sure the user notices that the bad behaviour is (still) happening
and not spamming their log too much needlessly (the log message is
pretty long). We also keep warning every time if safesocks is
specified, because then the user presumably wants to hear about every
blocked instance.

(This is based on the original patch by Sebastian, then backported to
0.2.2 and with warnings split into their own function.)

Don't use log_err for non-criticial warnings.

Try harder not to exceed the 50 KB extra-info descriptor limit.

Our checks that we don't exceed the 50 KB size limit of extra-info
descriptors apparently failed. This patch fixes these checks and reserves
another 250 bytes for appending the signature. Fixes bug 2183.

Avoid perma-blocking the controller on bug in shrink_freelist

In all likelihood, this bug would make Tor assert, but if it doesn't,
let's not have two bugs.

Add changes file for bug1125

Merge remote branch 'rransom/bug1125-022' into maint-0.2.2

Merge remote branch 'origin/maint-0.2.1' into maint-0.2.2

Add changes file for bug1125

Disable logging to control port connections in buf_shrink_freelists.

If buf_shrink_freelists calls log_warn for some reason, we don't want the log
call itself to throw buf_shrink_freelists further off the rails.

Move the original log_info call out of the core of buf_shrink_freelists.

Sending a log message to a control port can cause Tor to allocate a buffer,
thereby changing the length of the freelist behind buf_shrink_freelists's back,
thereby causing an assertion to fail.

Fixes bug #1125.

Disable logging to control port connections in buf_shrink_freelists.

If buf_shrink_freelists calls log_warn for some reason, we don't want the log
call itself to throw buf_shrink_freelists further off the rails.

Move the original log_info call out of the core of buf_shrink_freelists.

Sending a log message to a control port can cause Tor to allocate a buffer,
thereby changing the length of the freelist behind buf_shrink_freelists's back,
thereby causing an assertion to fail.

Fixes bug #1125.

Merge remote branch 'sebastian/remove-osx-expert-package' into maint-0.2.2

Merge branch 'maint-0.2.1' into maint-0.2.2

let unpublished bridges learn their ip address too

Merge remote branch 'origin/maint-0.2.1' into maint-0.2.2

Enforce multiplicity rules when parsing annotations.

We would never actually enforce multiplicity rules when parsing
annotations, since the counts array never got entries added to it for
annotations in the token list that got added by earlier calls to
tokenize_string.

Found by piebeer.

Fix a bug where seting allow_annotations==0 only ignores annotations, but does not block them

Bulletproof the routerlist manipulation functions to handle reinserting the same descriptor

Document hs dht min uptime change in privnets

In f87c6f100d2faf8d we made it so that MinUptimeHidServDirectoryV2
defaults to 0 if TestingTorNetwork is set. Add a manpage entry and a
changes file.

Document the AllowSingleHopExits option

Improve documentation for RelayBandwdith* options

Jesse Adelman noticed that we don't currently describe what
happens very well.

Add V3BandwidthsFile to the manpage

Break NoPublish support

Change Natd into NATD in our options.

Breaking this out of the last commit because this might be more
controversial.

Synx manpage and source wrt option capitalization

We had a spelling discrepancy between the manpage and the source code
for some option. Resolve these in favor of the manpage, because it
makes more sense (for example, HTTP should be capitalized).

Comment out the (unused) RunTesting option

The code that makes use of the RunTesting option is #if 0, so setting
this option has no effect. Mark the option as obsolete for now, so that
Tor doesn't list it as an available option erroneously.

Fix a typo in the manpage

Remove the torrc.complete file.

We haven't been keeping it up to date, and the manpage exists as a
replacement for users who want an overview of all available options.

Change checkOptionDocs.pl to be case sensitive

Remove everything related to os x expert package

We decided to no longer ship expert packages for OS X because they're a
lot of trouble to keep maintained and confuse users. For those who want
a tor on OS X without Vidalia, macports is a fine option. Alternatively,
building from source is easy, too.

The polipo stuff that is still required for the Vidalia bundle build can
now be found in the torbrowser repository,
git://git.torproject.org/torbrowser.git.

fold the changes files into a changelog

move to the november 1 maxmind geoip db

Fix the assert in bug 1776

In the case where old_router == NULL but sdmap has an entry for the
router, we can currently safely infer that the old_router was not a
bridge.  Add an assert to ensure that this remains true, and fix the
logic not to die with the tor_assert(old_router) call.

Remove delay to become HSDir in privnets

Properly refcount client_identity_key

In a2bb0bf we started using a separate client identity key. When we are
in "public server mode" (that means not a bridge) we will use the same
key. Reusing the key without doing the proper refcounting leads to a
segfault on cleanup during shutdown. Fix that.

Also introduce an assert that triggers if our refcount falls below 0.
That should never happen.