Merge remote-tracking branch 'rransom-tor/bug3825c'

Merge branch 'ticket4200'

Fix missing word in changes/ticket4200

Check for jumping clock in *format_*stats functions

None of these were real bugs (yet), because the callers made sure
everything was fine. Make it more explicit. Suggested by Nick

Add new stats type: descriptor fetch stats

This is used for the bridge authority currently, to get a better
intuition on how many descriptors are actually fetched from it and how
many fetches happen in total.

Implements ticket 4200.

remove code related to tracking descriptor serving times

This had broken due to bitrot - it doesn't know about microdescriptors
at all, and afaik hasn't generally been used in ages.

Merge remote-tracking branch 'rransom-tor/bug4091'

Check whether a client port is a Unix socket before using its IP addr

Bugfix on commit c1ac0695d5bc64b555c345e4be87b18bab3ae56b, not yet in any
release.  Fixes bug 4091; bug reported by SwissTorHelp.

Merge remote-tracking branch 'origin/maint-0.2.2'

Merge remote-tracking branch 'rransom-tor/bug4251-022' into maint-0.2.2

Merge remote-tracking branch 'origin/maint-0.2.2'

Fix crash when changing node restrictions with DNS lookup in progress

Fixes bug 4259, bugfix on 0.2.2.25-alpha.  Bugfix by "Tey'".

Original message by submitter:

  Changing nodes restrictions using a controller while Tor is doing
  DNS resolution could makes Tor crashes (on WinXP at least). The
  problem can be repeated by trying to reach a non-existent domain
  using Tor:

    curl --socks4a 127.0.0.1:9050 inexistantdomain.ext

  .. and changing the ExitNodes parameter through the control port
  before Tor returns a DNS resolution error (of course, the following
  command won't work directly if the control port is password
  protected):

    echo SETCONF ExitNodes=TinyTurtle | nc -v 127.0.0.1 9051

  Using a non-existent domain is needed to repeat the issue so that
  Tor takes a few seconds for resolving the domain (which allows us to
  change the configuration). Tor will crash while processing the
  configuration change.

  The bug is located in the addressmap_clear_excluded_trackexithosts
  method which iterates over the entries of the addresses map in order
  to check whether the changes made to the configuration will impact
  those entries. When a DNS resolving is in progress, the new_adress
  field of the associated entry will be set to NULL. The method
  doesn't expect this field to be NULL, hence the crash.

Free rend_data and intro_key when extra intro circs become general-purpose

Merge branch 'maint-0.2.2'

Merge branch 'maint-0.2.1' into maint-0.2.2

Update to the October 2011 GeoIP database.

Check for intro circ timeouts properly

Previously, we would treat an intro circuit failure as a timeout iff the
circuit failed due to a mismatch in relay identity keys.  (Due to a bug
elsewhere, we only recognize relay identity-key mismatches on the first
hop, so this isn't as bad as it could have been.)

Bugfix on commit eaed37d14c6e1dc93a392f62ef2e501f75e4878a, not yet in any
release.

Merge branch 'bug3512'

Stop using addr_port_lookup as an address splitting function

It's too risky to have a function where if you leave one parameter
NULL, it splits up address:port strings, but if you set it, it does
hostname resolution.

Change "reverse_lookup_name" functions to refer to "PTR_name"s

Under the new convention, having a tor_addr.*lookup function that
doesn't do hostname resolution is too close for comfort.

I used this script here, and have made no other changes.

  s/tor_addr_parse_reverse_lookup_name/tor_addr_parse_PTR_name/g;
  s/tor_addr_to_reverse_lookup_name/tor_addr_to_PTR_name/g;

Fix names of functions that convert strings to addrs

Now let's have "lookup" indicate that there can be a hostname
resolution, and "parse" indicate that there wasn't.  Previously, we
had one "lookup" function that did resolution; four "parse" functions,
half of which did resolution; and a "from_str()" function that didn't
do resolution.  That's confusing and error-prone!

The code changes in this commit are exactly the result of this perl
script, run under "perl -p -i.bak" :

  s/tor_addr_port_parse/tor_addr_port_lookup/g;
  s/parse_addr_port(?=[^_])/addr_port_lookup/g;
  s/tor_addr_from_str/tor_addr_parse/g;

This patch leaves aton and pton alone: their naming convention and
behavior is is determined by the sockets API.

More renaming may be needed.

Fix a bunch of whitespace errors

Merge branch 'prop176-v2'

Add some points to make it easy to turn off v3 support

Changes file for prop176 branch

Quiet two notices, and spelling mistake cleanup

Fix a few 64bit compiler warnings

Add more log statements for protocol/internal failures

Remove auth_challenge field from or_handshake_state_t

We didn't need to record this value; it was already recorded
implicitly while computing cell digests for later examination in the
authenticate cells.

spec conformance: allow only one cert of each type

Give tor_cert_get_id_digests() fail-fast behavior

Right now we can take the digests only of an RSA key, and only expect to
take the digests of an RSA key.  The old tor_cert_get_id_digests() would
return a good set of digests for an RSA key, and an all-zero one for a
non-RSA key.  This behavior is too error-prone: it carries the risk that
we will someday check two non-RSA keys for equality and conclude that
they must be equal because they both have the same (zero) "digest".

Instead, let's have tor_cert_get_id_digests() return NULL for keys we
can't handle, and make its callers explicitly test for NULL.

Fix some more issues wrt tor_cert_new found by asn

Make more safe_str usage happen for new logs in command.c

Set up network parameters on non-authenticated incoming connections

Also add some info log messages for the steps of the v3 handshake.

Now my test network bootstraps!

Make sure we stop putting cells into our hash at the right time.

Bugfixes for authenticate handling and generation

Fix log message about what cells we are sending

more verbose log for recording an odd cell

Actually accept cells in SERVER_RENEGOTIATING

Generate certificates that enable v3 handshake

Allow "finished flushing" during v3 handshake

Hook up all of the prop176 code; allow v3 negotiations to actually work

Remove a no-longer-relevant comment

Make tor_tls_cert_is_valid check key lengths

New functions to record digests of cells during v3 handshake

Also, free all of the new fields in or_handshake_state_t

Implement cert/auth cell reading

Basic function to write authenticate cells

Also, tweak the cert cell code to send auth certs

Function to return peer cert as tor_tls_cert

Add AUTH keys as specified in proposal 176

Our keys and x.509 certs are proliferating here.  Previously we had:
   An ID cert (using the main ID key), self-signed
   A link cert (using a shorter-term link key), signed by the ID key

Once proposal 176 and 179 are done, we will also have:
   Optionally, a presentation cert (using the link key),
       signed by whomever.
   An authentication cert (using a shorter-term ID key), signed by
       the ID key.

These new keys are managed as part of the tls context infrastructure,
since you want to rotate them under exactly the same circumstances,
and since they need X509 certificates.

Functions to get a public RSA key from a cert

Function to detect certificate types that signal v3 certificates

Function to get digests of the certs and their keys

More functions to manipulate certs received in cells

Function to extract the TLSSECRETS field for v3 handshakes

Functions to send cert and auth_challenge cells.

Cell types and states for new OR handshake

Also, define all commands > 128 as variable-length when using
v3 or later link protocol.  Running into a var cell with an
unrecognized type is no longer a bug.

Add a sha256 hmac function, with tests

Turn X509 certificates into a first-class type and add some functions

New function to get all digests of a public key

Merge remote-tracking branch 'origin/maint-0.2.2'

Merge remote-tracking branch 'sebastian/osxcompile'

Consider hibernation before dropping privs

Without this patch, Tor wasn't sure whether it would be hibernating or
not, so it postponed opening listeners until after the privs had been
dropped. This doesn't work so well for low ports. Bug was introduced in
the fix for bug 2003. Fixes bug 4217, reported by Zax and katmagic.
Thanks!

Fix a compile warning on OS X 10.6 and up

Add a missing comma in tor_check_port_forwarding

My fault; fix for bug 4213.

Update documentation comment for rend_client_reextend_intro_circuit

One of its callers assumes a non-zero result indicates a permanent failure
(i.e. the current attempt to connect to this HS either has failed or is
 doomed).  The other caller only requires that this function's result
never equal -2.

Bug reported by Sebastian Hahn.

Don't launch a useless circuit in rend_client_reextend_intro_circuit

Fixes bug 4212.  Bug reported by katmagic and found by Sebastian.

Merge remote-tracking branch 'origin/maint-0.2.2'

This merge is here to take a commit (feature 3951) that we already
have in master, so use "merge -s ours"

Note ticket and source version for feature3951 in changes file

Merge remote-tracking branch 'karsten/feature3951' into maint-0.2.2

Merge remote-tracking branch 'public/bug2003_nm'

reinstate a notice for the non-loopback socksport case

Thanks to prop171, it's no longer a crazy thing to do, but you should
make sure that you really meant it!

Merge remote-tracking branch 'rransom-tor/bug4018'

Merge remote-tracking branch 'public/bug2430'

Merge remote-tracking branch 'asn2/bug3656'

Conflicts:
src/common/util.c
src/common/util.h
src/or/config.h
src/or/main.c
src/test/test_util.c

Merge remote-tracking branch 'origin/maint-0.2.2'

Avoid running DNS self-tests if we're operating as a bridge

Revive our beautiful unit tests.

They broke when the PT_PROTO_INFANT proxy state was added.

Make it compile on Windows™.

Support multiple transports in a single transport line.

Support multiple comma-separated transpotrs in a single
{Client,Server}TransportPlugin line.

Turn on directory request statistics by default.

Change the default values for collecting directory request statistics and
inlcuding them in extra-info descriptors to 1.

Don't break if we are configured to collect directory request or entry
statistics and don't have a GeoIP database. Instead, print out a notice
and skip initializing the affected statistics code.

This is the cherry-picked 499661524b0a572303087af721325608dd91f7ce.

Merge remote-tracking branch 'origin/maint-0.2.2'

Fix compilation of 3335 and 3825 fixes

In master, they ran into problems with the edge_conn/entry_conn split.

Merge remote-tracking branch 'rransom-tor/bug3335-v2'

Conflicts:
src/or/connection_edge.c
src/or/rendclient.c

Add changes file for bug 4094

Rephrase the log messages emitted if the TestSocks check is positive

Previously Tor would always claim to have been given a hostname
by the client, while actually only verifying that the client
is using SOCKS4A or SOCKS5 with hostnames. Both protocol versions
allow IP addresses, too, in which case the log messages were wrong.

Fixes #4094.

Remove an HS's last_hid_serv_requests entries when a conn. attempt ends

Record the HS's address in last_hid_serv_request keys

Fix comment typo

Detect and remove unreachable intro points

Clear the timed_out flag when an HS connection attempt ends

Record intro point timeouts in rend_intro_point_t

Refetch an HS's desc if we don't have a usable one

Previously, we wouldn't refetch an HS's descriptor unless we didn't
have one at all.  That was equivalent to refetching iff we didn't have
a usable one, but the next commit will make us keep some non-usable HS
descriptors around in our cache.

Code bugfix on the release that introduced the v2 HS directory system,
because rend_client_refetch_v2_renddesc's documentation comment should
have described what it actually did, not what its behaviour happened
to be equivalent to; no behaviour change in this commit.

Looks like Windows version 6.2 will be Windows 8

Thanks to funkstar for the report

bump to 0.2.3.5-alpha

give 0.2.3.5-alpha a blurb

fix default for TokenBucketRefillInterval in man page

fold in recent changes entries

refill our token buckets 10 times/sec, not 100

refilling often is good, but refilling often has unclear side effects
on a) cpu load, and b) making sure every cell, ever, is sent out one at
a time

Merge branch 'maint-0.2.2'

bridges should use create_fast cells for their own circuits

fixes bug 4124, as noticed in bug 4115