Merge commit 'debian-tor-0.2.2.4-alpha-1'

Fix two bugs found by Coverity scan.

One was a simple buffer overrun; the other was a high-speed pointer
collision.  Both were introduced by my microdescs branch.

Merge branch 'microdesc'

Changelog for microdescriptor branch.

Document some formerly undocumented functions.

Fix compile with warnings problems on Snow Leopard

Add functions to serve microdescs and flavored consensuses.

Revise consensus-flavors proposal to better URLs.

The old flavored consensus URL format made it harder to decode URLs
based on their prefixes, and didn't take into account our "only give
it to me if it's signed by enough authorities" stuff.

Document the microdescriptor code better.

Fix various bugs in microdescriptor caching.

Make start_writing_to_stdio_file() respect O_BINARY.

Actually remember all the consensus types when we are done generating them.

Parse detached signatures and microdesc networkstatuses correctly.

Revise proposal 162: SHA256(x), not SHA256(SHA256(x))

The point of doing SHA256 twice is, generally, is to prevent message
extension attacks where an attacker who knows H(A) can calculate
H(A|B).  But for attaching a signature to a document, the attacker
already _knows_ A, so trying to keep them from calculating H(A|B) is
pointless.

Implement signatures for microdesc consensuses right.

This means we need to handle the existence of multiple flavors of signature
in a detached signatures document, generate them correctly, and so on.

Generate all the flavors of consensuses when building consensuses.

Parse detached signature documents with multiple flavors and algorithms.

Refactor consensus signature storage for multiple digests and flavors.

This patch introduces a new type called document_signature_t to represent the
signature of a consensus document.  Now, each consensus document can have up
to one document signature per voter per digest algorithm.  Also, each
detached-signatures document can have up to one signature per <voter,
algorithm, flavor>.

Code to generate, store, and parse microdescriptors and consensuses.

The consensus documents are not signed properly, not served, and not
exchanged yet.

Add a function to get the most frequent member of a list.

Add ability to parse one or more m line from a vote.

Functions to encode microdescriptors and their lines.

Revise 162's idea of how detached signatures work with flavors

The original proposal was vague and would have made older Tors reject
detached-signature documents as soon as they saw one with flavors.

Allow signed data to include other hashes later.

Previously, we insisted that a valid signature must be a signature of
the expected digest.  Now we accept anything that starts with the
expected digest.  This lets us include another digest later.

Signature-checking code can handle longer digests.

Make signature-generation code handle different key and digest lengths.

Support for encoding and decoding 256-bit digests in base64

Merge commit 'origin/maint-0.2.1'

Conflicts:
ChangeLog
configure.in
contrib/tor-mingw.nsi.in
src/or/config.c
src/win32/orconfig.h

bump to 0.2.1.20

Move moria1 and Tonga to alternate IP addresses.

Merge commit 'origin/maint-0.2.1'

Merge commit 'phobos/polipo-updates-maint-0.2.1' into maint-0.2.1

Merge commit 'phobos/tor-dmg-naming-update'

Merge commit 'origin/maint-0.2.1'

read the "circwindow" parameter from the consensus

backport of c43859c5c12361fad505
backport of 0d13e0ed145f4c1b5bd1

Code to parse and access network parameters.

Partial backport of 381766ce4b1145460.
Partial backport of 56c6d78520a98fb64.

add blurbs for recent dev releases

Another event2 evdns fix.

Fix a crash when using evdns from Libevent 2.

When we tried to use the deprecated non-threadsafe evdns
interfaces in Libevent 2 without using the also-deprecated
event_init() interface, Libevent 2 would sensibly crash, since it
has no guess where to find the Libevent library.

Here we use the evdns_base_*() functions instead if they're
present, and fake them if they aren't.

bump to 0.2.2.5-alpha-dev

move nickm's commit to the correct release

updated naming.

update naming

Move android changelog entry to now-correct Tor version.

Merge commit 'public/android'

fix compile on windows

bump to 0.2.2.5-alpha

Move dizum to an alternate IP address.

Ship test.h in release

The test suite need the test.h file to build. Add it to
noinst_HEADERS in the Makefile.am so it gets included
in the tarball that make dist produces.

Merge branch 'debian-merge' into debian

* debian-merge: (52 commits)
  Ship debian source with src/test/test.h
  New testsuite location
  New upstream version
  Fix testsuite call.
  bump to 0.2.2.4-alpha
  Don't set unreachable from dirvote unless we've been running a while.
  correct the spec for the stream_bw event.
  fix a bug where we were decrementing the wrong bucket
  remove some dead code. some of it was tickling coverity.
  add blurbs for recent alpha releases
  Fix a memleak when throwing away some build times
  amend changelog for recent commits, plus clean up
  Tweak an assert that shouldn't fire either way.
  Tweak values for when to discard all of our history.
  Remove another overzealous assert.
  try to stem the 'sea of fail'
  fix the wiki link in doc pages. remove obsolete FAQ.
  Ignore one-hop circuits for circuit timeout calc
  Move Tonga to an alternate IP address
  update spec to reflect change in Fast definition
  ...

Ship debian source with src/test/test.h

Upstream failed to ship src/test/test.h.  Ship it in debian/ and
manually copy it in place during configure and clean up in clean.  Let's
not use the patch system as this will most likely be rectified by next
release.

New testsuite location

The testsuite moved from src/or/test to src/test/test, but let's call it
using "make check" now.

New upstream version

Merge commit 'tor-0.2.2.4-alpha' into debian-merge

* commit 'tor-0.2.2.4-alpha': (49 commits)
  Fix testsuite call.
  bump to 0.2.2.4-alpha
  Don't set unreachable from dirvote unless we've been running a while.
  correct the spec for the stream_bw event.
  fix a bug where we were decrementing the wrong bucket
  remove some dead code. some of it was tickling coverity.
  add blurbs for recent alpha releases
  Fix a memleak when throwing away some build times
  amend changelog for recent commits, plus clean up
  Tweak an assert that shouldn't fire either way.
  Tweak values for when to discard all of our history.
  Remove another overzealous assert.
  try to stem the 'sea of fail'
  fix the wiki link in doc pages. remove obsolete FAQ.
  Ignore one-hop circuits for circuit timeout calc
  Move Tonga to an alternate IP address
  update spec to reflect change in Fast definition
  Move moria1 to a nearby IP address
  Dir auths reject relays running < Tor 0.1.2.14
  Fix 1108: Handle corrupt or large build times state.
  ...

Fix testsuite call.

tinytest_main() returns 0 on success, -1 on errors and 1 on test
failures.  So test.c should check on !=0 instead of <0.

bump to 0.2.2.4-alpha

Don't set unreachable from dirvote unless we've been running a while.

This is a possible fix for bug 1023, where if we vote (or make a v2
consensus networkstatus) right after we come online, we can call
rep_hist_note_router_unreachable() on every router we haven't connected
to yet, and thereby make all their uptime values reset.

correct the spec for the stream_bw event.

"neonomad" pointed out on or-talk that the order is opposite from the
intuitive order. explain why. we chose to fix the spec rather than the
code because there are controllers like torflow that already expect
the current behavior.

fix a bug where we were decrementing the wrong bucket

i think this doesn't actually affect anything, since linked
conns usually don't impact buckets

remove some dead code. some of it was tickling coverity.

add blurbs for recent alpha releases

Fix a memleak when throwing away some build times

This was introduced in f7e6e852e80c22b40a8f09bc1c85074726d7078e.
Found by Coverity

amend changelog for recent commits, plus clean up

Tweak an assert that shouldn't fire either way.

There were however other places where we used to call this
function that might have caused this to fire. Better
safe than sorry now.

Tweak values for when to discard all of our history.

This seems to be happening to me a lot on a garbage DSL line.
We may need to come up with 2 threshholds: a high short onehop
count and a lower longer count.

Remove another overzealous assert.

Pretimeouts may have build time data, just no timeout data.

try to stem the 'sea of fail'

fix the wiki link in doc pages. remove obsolete FAQ.

Ignore one-hop circuits for circuit timeout calc

Don't count one-hop circuits when we're estimating how long it
takes circuits to build on average. Otherwise we'll set our circuit
build timeout lower than we should. Bugfix on 0.2.2.2-alpha.

Move Tonga to an alternate IP address

update spec to reflect change in Fast definition

we made anybody who has 20KB/s Fast by definition, in 0.2.1.14-rc,
but it looks like we forgot to fix the spec.

Move moria1 to a nearby IP address

Dir auths reject relays running < Tor 0.1.2.14

Directory authorities now reject Tor relays with versions less than
0.1.2.14. This step cuts out four relays from the current network,
none of which are very big.

Fix 1108: Handle corrupt or large build times state.

1108 was actually just a fencepost error in an assert,
but making the state file handling code resilient is a
good idea.

Add changelog entry for Android work.

Make tor-gencert build on Android

Previously, tor-gencert would call RSA_generate_key() directly.
This won't work on Android, which removes the (deprecated since
OpenSSL 0.9.8) function.  We can't call RSA_generate_key_ex()
unconditionally either, since that didn't exist before 0.9.8.
Instead, we must call our own crypto_pk_generate_key_with_bits,
which knows how to call RSA_generate_key or RSA_generate_key_ex as
appropriate.

 [Based on patch by Nathan Freitas]

Alter keygen function to generate keys of different lengths.

Disable OpenSSL engines when building for Android.

Apparently the Android developers dumped OpenSSL's support for hardware
acceleration in order to save some memory, so you can't build programs using
engines on Android.

[Patch revised by nickm]

Include util.h and log.h as relative paths.

This shouldn't be necessary, but apparently the Android cross-compiler
doesn't respect -I as well as it should.  (-I is supposed to add to the
*front* of the search path.  Android's gcc wrapper apparently likes to add to
the end.  This is broken, but we need to work around it.)

Whitespace fix

fix two comment bugs for load_stats_file()

Merge commit 'karsten/fix-another-stats-bug'

Fix some win32 compilation warnings

Fix an issue with including stats in extra-info descriptors.

Improved fix for test_memeq_hex leak.

The earlier fix would only handle the success case.  In the failing
case, test_mem_op does a goto done, which would leave the leak leaking.

Fix a memleak

Found by coverity

test_mem_op_hex was leaking memory, which showed up in a few
tests.

Also, the dir_param test had a memleak of its own.

Found by Coverity

Make sure we can't overflow in connection_ap_handshake_send_resolve

Found by Coverity

Make a NULL check in test_dir.c non-redundant.

Should quiet a coverity warning.

Fix memory leak

Some memory could be lost in the error case of
circuit_build_times_parse_state.

Found by Coverity

Describe how to regenerate the TLS state name table.

Merge branch 'master' of ssh://git.torproject.org/git/tor

Revert to the "June 3 2009" ip-to-country file.

The September one seems to have removed most US IP addresses.

Merge commit 'karsten/stats-fixes-master'

Fix a couple of smaller issues with gathering statistics.

- Avoid memmoving 0 bytes which might lead to compiler warnings.

- Don't require relays to be entry node AND bridge at the same to time to
  record clients.

- Fix a memory leak when writing dirreq-stats.

- Don't say in the stats files that measurement intervals are twice as long
  as they really are.

- Reduce minimum observation time for requests to 12 hours, or we might
  never record usage.

- Clear exit stats correctly after writing them, or we accumulate old stats
  over time.

- Reset interval start for buffer stats, too.

Fix compilation on OpenSSLs with unusual state lists.

"Unusual" in this context means "not the same as nickm's."  We should grow a
better list later.

(Also, move TLS state table to a separate header.)

Debugging logs for TLS handshake

The big change is to add a function to display the current SSL handshake
state, and to log it everywhere reasonable.  (A failure in
SSL23_ST_CR_SRVR_HELLO_A is different from one in
SSL3_ST_CR_SESSION_TICKET_A.)

This patch also adds a new log domain for OR handshaking, so you can pull out
all the handshake log messages without having to run at debug for everything.
For example, you'd just say "log notice-err [handshake]debug-err file
tor.log".

Merge commit 'debian-tor-0.2.2.3-alpha-1'

downgrade a log notice at startup

This was the only log notice that happened during other
tor invocations, like --verify-config and --list-fingerprint.
Plus, now we think it works, so no need to hear about it.

Merge branch 'debian-merge' into debian

* debian-merge:
  New upstream version
  finishing touches on the changelog
  bump to 0.2.2.3-alpha, plus add a changelog for bug 1103
  Be more robust to bad circwindow values
  Fix Bug 1103.
  Bump version to 0.2.2.2-alpha-dev

New upstream version