Merge remote-tracking branch 'origin/maint-0.2.2'

Check return value in fmt_addr

Previously, if tor_addr_to_str() returned NULL, we would reuse the
last value returned by fmt_addr().  (This could happen if we were
erroneously asked to format an AF_UNSPEC address.)  Now instead we
return "???".

Fix a warning message. (Found by rransom)

Initialize listener connection addr fields properly

Add a missing break in a switch statement

Add changes file for optimistic client behavior

Merge branch 'optimistic-client'

The conflicts are with the proposal 171 circuit isolation code, and
they're all trivial: they're just a matter of both branches adding
some unrelated code in the same places.

Conflicts:
src/or/circuituse.c
src/or/connection.c

Unit test for generic_buffer_set_to_copy

Merge remote-tracking branch 'public/prop171_v2'

Fix spurious warning in bufferevent socks parsing

The problem was that we weren't initializing want_length to 0 before
calling parse_socks() the first time, so it looked like we were
risking an infinite loop when in fact we were safe.

Fixes 3615; bugfix on 0.2.3.2-alpha.

Fix a compile warning in config.c reported by sebastian

Take a smarter approach to clearing isolation info

Back when I added this logic in 20c0581a79, the rule was that whenever
a circuit finished building, we cleared its isolation info. I did that
so that we would still use the circuit even if all the streams that
had previously led us to tentatively set its isolation info had closed.

But there were problems with that approach: We could pretty easily get
into a case where S1 had led us to launch C1 and S2 had led us to
launch C2, but when C1 finished, we cleared its isolation and attached
S2 first.  Since C2 was still marked in a way that made S1
unattachable to it, we'd then launch another circuit needlessly.

So instead, we try the following approach now: when a circuit is done
building, we try to attach streams to it.  If it remains unused after
we try attaching streams, then we clear its isolation info, and try
again to attach streams.

Thanks to Sebastian for helping me figure this out.

Merge remote-tracking branch 'origin/maint-0.2.2'

Untangle first sentence of changes/bug3607

Specify text or binary mode in every start_writing_to_stdio_file call

Use socks username/password information in stream isolation

Turn streq_opt into a generic strcmp_opt.

Manpage updates for proposal 171 (isolated streams)

Stick controller-originated resolves in their own session group

Implement sensible isolation for tunneled directory conns

One-hop dirconn streams all share a session group, and get the
ISO_SESSIONGRP flag: they may share circuits with each other and
nothing else.

Anonymized dirconn streams get a new internal-use-only ISO_STREAM
flag: they may not share circuits with anything, including each other.

Implement destaddr-based isolation

The new candidate rule, which arma suggested and I like, is that
the original address as received from the client connection or as
rewritten by the controller is the address that counts.

Add an option to limit the number of non-open client circuits.

This is mainly meant as a way to keep clients from accidentally
DOSing themselves by (e.g.) enabling IsolateDestAddr or
IsolateDestPort on a port that they use for HTTP.

Launch sufficient circuits to satisfy pending isolated streams

Our old "do we need to launch a circuit for stream S" logic was,
more or less, that if we had a pending circuit that could handle S,
we didn't need to launch a new one.

But now that we have streams isolated from one another, we need
something stronger here: It's possible that some pending C can
handle either S1 or S2, but not both.

This patch reuses the existing isolation logic for a simple
solution: when we decide during circuit launching that some pending
C would satisfy stream S1, we "hypothetically" mark C as though S1
had been connected to it.  Now if S2 is incompatible with S1, it
won't be something that can attach to C, and so we'll launch a new
stream.

When the circuit becomes OPEN for the first time (with no streams
attached to it), we reset the circuit's isolation status.  I'm not
too sure about this part: I wanted some way to be sure that, if all
streams that would have used a circuit die before the circuit is
done, the circuit can still get used.  But I worry that this
approach could also lead to us launching too many circuits.  Careful
thought needed here.

Implement stream isolation

This is the meat of proposal 171: we change circuit_is_acceptable()
to require that the connection is compatible with every connection
that has been linked to the circuit; we update circuit_is_better to
prefer attaching streams to circuits in the way that decreases the
circuits' usefulness the least; and we update link_apconn_to_circ()
to do the appropriate bookkeeping.

Add a new isolation type and field: "nym epoch"

The "nym epoch" of a stream is defined as the number of times that
NEWNYM had been called before the stream was opened.  All streams
are isolated by nym epoch.

This feature should be redundant with existing signewnym stuff, but
it provides a good belt-and-suspenders way for us to avoid ever
letting any circuit type bypass signewnym.

Const-ify a few functions

(Unused) backend logic for stream isolation

This patch adds fields to track how streams should be isolated, and
ensures that those fields are set correctly.  It also adds fields to
track what streams can go on a circuit, and adds functions to see
whether a streams can go on a circuit and update the circuit
accordingly.  Those functions aren't yet called.

Refactor listener_connection_t into its own type.

This will allow us to add more fields to listener_connection_t
without bloating the other connection types.

Parse prop171 options; refactor listener/port option code

Proposal 171 gives us a new syntax for parsing client port options.
You can now have as many FooPort options as you want (for Foo in
Socks, Trans, DNS, NATD), and they can have address:port arguments,
and you can specify the level of isolation on those ports.

Additionally, this patch refactors the client port parsing logic to
use a new type, port_cfg_t.  Previously, ports to be bound were
half-parsed in config.c, and later re-parsed in connection.c when
we're about to bind them.  Now, parsing a port means converting it
into a port_cfg_t, and binding it uses only a port_cfg_t, without
needing to parse the user-provided strings at all.

We should do a related refactoring on other port types.  For
control ports, that'll be easy enough.  For ORPort and DirPort,
we'll want to do this when we solve proposal 118 (letting servers
bind to and advertise multiple ports).

This implements tickets 3514 and 3515.

Merge remote-tracking branch 'public/bug3560'

Bump version to 0.2.3.2-alpha-dev

Remember optimistically sent data until we have gotten a CONNECTED

Since we can retry failed streams under some circumstances, we need
to be ready to send data queued on them.

Add a generic_buffer_t to use the best buffer type we have on hand

Also add a quick function to copy all the data in a buffer.  (This
one could be done much better, but let's see if it matters.)

Only use optimistic data with exits that support it

This adds a little code complexity: we need to remember for each
node whether it supports the right feature, and then check for each
connection whether it's exiting at such a node.  We store this in a
flag in the edge_connection_t, and set that flag at link time.

finish the changelog

bump to 0.2.3.2-alpha

start folding in the 0.2.3.2-alpha changelog entries

Initial optimistic_client fixes

  - Conform to make check-spaces
  - Build without warnings from passing size_t to %d
  - Use connection_get_inbuf_len(), not buf_datalen (otherwise bufferevents
    won't work).
  - Don't log that we're using this feature at warn.

Implement the client side of optimistic data (proposal 174)

Enhance findMergedChanges to allow looking at non-release targets

Remove changes files already merged in 0.2.2.30-rc

forward-port the 0.2.2.30-rc changelog

Better messages when we're stalled because of microdescriptors

It's a little confusing for me to say "only X/Y descriptors" when
I have microdescriptors enabled.  So, let's fix that.

Fix bug in upload/download of hsdesc with microdescs

Previously we were using router_get_by_id(foo) to test "do we have a
descriptor that will let us make an anonymous circuit to foo".  But
that isn't right for microdescs: we should have been using node_t.

Fixes bug 3601; bugfix on 0.2.3.1-alpha.

Merge remote-tracking branch 'sebastian/compile_warning'

Fix a wide line.  "Tradition!"

Fix a compile warning on OS X 10.6

Remove compare_addr_to_node_policy

Instead, use compare_tor_addr_to_node_policy everywhere.

One advantage of this is that compare_tor_addr_to_node_policy can
better distinguish 0.0.0.0 from "unknown", which caused a nasty bug
with microdesc users.

Treat null address as "unknown", not "rejected" in md policy

Previously, we had an issue where we'd treat an unknown address as
0, which turned into "0.0.0.0", which looked like a rejected
address.  This meant in practice that as soon as we started doing
comparisons of unknown uint32 addresses to short policies, we'd get
'rejected' right away.  Because of the circumstances under which
this would be called, it would only happen when we had local DNS
cached entries and we were looking to launch new circuits.

Remove compare_addr_to_addr_policy

Nothing used it but the unit tests; everything else knows to use
compare_tor_addr_to_addr_policy instead.

Make WIN32_WINNT defines conditional

Requested by Gisle Vanem on tor-dev.  I'm not quite sure this is the
right solution, but it's probably harmless.

Merge remote-tracking branch 'origin/maint-0.2.2'

Conflicts:
src/or/control.c

Merge branch 'bug3577' into maint-0.2.2

Improve error msg on failed getinfo fingerprint

Only download microdesc consensus from caches that support it

Bugfix on 0.2.3.1-alpha; found by arma; never got a bug number.

Merge remote-tracking branch 'origin/maint-0.2.2'

Update HACKING with some more release instructions

Change GETINFO fingerprint to look at server_mode, not my_descriptor

It's possible for us to be a server and have a fingerprint without
having yet generated a descriptor.

Fixes bug 3577; bugfix on 0.2.0.1-alpha

Resolve a warning from the bug1666 branch

Merge remote-tracking branch 'public/bug1666'

Conflicts:
doc/spec/socks-extensions.txt
src/or/buffers.c
src/or/config.c
src/or/connection_edge.c

Avoid warning in broken_state_count_compare

Add more error checks to socks parsing code

Suggested by Linus to avoid uninitialized reads or infinite loops if
it turns out our code is buggier than we had thought.

Merge branch 'bug2798'

Tweaks to bug2798 based on comments by arma

Turn on microdescriptors for clients

Merge remote-tracking branch 'rransom-tor/bug3427'

Merge branch 'bug2616'

Merge branch 'feature3116_squashed'

Disable recording new broken conns when we have bootstrapped

Rationale: right now there seems to be no way for our bootstrap
status to dip under 100% once it has reached 100%.  Thus, recording
broken connections after that point is useless, and wastes memory.

If at some point in the future we allow our bootstrap level to go
backwards, then we should change this rule so that we disable
recording broken connection states _as long as_ the bootstrap status
is 100%.

Clear broken connection map on successful bootstrap

Document feature3116 fns and improve output

- We were reporting the _bottom_ N failing states, not the top N.
- With bufferevents enabled, we logged all TLS states as being "in
  bufferevent", which isn't actually informative.
- When we had nothing to report, we reported nothing too loudly.
- Also, we needed documentation.

Report the states of failed TLS connections from bootstrap_problem

Limit the number of different handshake reasons to report

If connections failed in more than 10 different states, let's just
report the top ten states.

Record the states of failing OR connections

This code lets us record the state of any outgoing OR connection
that fails before it becomes open, so we can notice if they're all
dying in the same SSL state or the same OR handshake state.

More work is still needed:
  - We need documentation
  - We need to actually call the code that reports the failure when
    we realize that we're having a hard time connecting out or
    making circuits.
  - We need to periodically clear out all this data -- perhaps,
    whenever we build a circuit successfully?
  - We'll eventually want to expose it to controllers, perhaps.

Partial implementation of feature 3116.

Make a function static

Now that connection_dir_about_to_close() is in directory.c, there's
no reason to expose connection_dir_request_failed().

Split connection_about_to_close_connection into separate functions

This patch does NOTHING but:
  - move code
  - add declarations and includes as needed to make the new code
    work
  - declare the new functions.

typo in feature2841; spotted by asn

Changes file for feature2841.

Fix compilation from 2841 branch

Merge remote-tracking branch 'public/bug2841'

Conflicts:
src/or/config.c

Fix cut'n'paste bug in comment.

Rename and tweak nodelist_add_node_family() to add node

It's very easy for nodelist_add_node_family(sl,node) to accidentally
add 'node', and kind of hard to make sure that it omits it.  Instead
of taking pains to leave 'node' out, let's instead make sure that we
always include it.

I also rename the function to nodelist_add_node_and_family, and
audit its users so that they don't add the node itself any longer,
since the function will take care of that for them.

Resolves bug 2616, which was not actually a bug.

Revise code for adding EntryNodes to guards.

Previously, we'd just take all the nodes in EntryNodes, see which
ones were already in the guard list, and add the ones that weren't.
There were some problems there, though:

   * We'd add _every_ entry in EntryNodes, and add them in the order
     they appeared in the routerlist.  This wasn't a problem
     until we added the ability to give country-code or IP-range
     entries in the EntryNodes set, but now that we did, it is.

     (Fix: We now shuffle the entry nodes before adding them; only
     add up to 10*NumEntryGuards)

   * We didn't screen EntryNodes for the Guard flag.  That's okay
     if the user has specified two or three entry nodes manually,
     but if they have listed a whole subcontinent, we should
     restrict ourselves to the entries that are currently guards.

     (Fix: separate out the new guard from the new non-guard nodes,
     and add the Guards first.)

   * We'd prepend new EntryNodes _before_ the already configured
     EntryNodes.  This could lead to churn.

     (Fix: don't prepend these.)

This patch also pre-screens EntryNodes entries for
reachableaddresses/excludenodes, even though we check for that
later.  This is important now, since we cap the number of entries
we'll add.

Look at the right consensus in router_add_to_routerlist()

Just looking at the "latest" consensus could give us a microdesc
consensus, if microdescs were enabled. That would make us decide
that every routerdesc was unlisted in the latest consensus and drop
them all: Ouch.

Fixes bug 3113; bugfix on 0.2.3.1-alpha.

Merge branch 'bug2797'

Remove a redundant condition in compare_addr_to_node_policy

A && A == A.

Found by frosty_un

Make nodelist_purge avoid orphaned microdescs in rs-less nodes

We have an invariant that a node_t should have an md only if it has
a routerstatus.  nodelist_purge tried to preserve this by removing
all nodes without a routerstatus or a routerinfo.  But this left
nodes with a routerinfo and a microdesc untouched, even if they had
a routerstatus.

Bug found by frosty_un.

Merge branch 'maint-0.2.2'

Merge branch 'maint-0.2.1' into maint-0.2.2

update to the july 2011 geoip db

Kill redundant checks around routerset_contains_*()

All of the routerset_contains*() functions return 0 if their
routerset_t argument is NULL.  Therefore, there's no point in
doing "if (ExcludeNodes && routerset_contains*(ExcludeNodes...))",
for example.

This patch fixes every instance of
         if (X && routerstatus_contains*(X,...))

Note that there are other patterns that _aren't_ redundant.  For
example, we *don't* want to change:
        if (EntryNodes && !routerstatus_contains(EntryNodes,...))

Fixes #2797.  No bug here; just needless code.

Merge remote-tracking branch 'public/bug3153'

Conflicts:
src/or/nodelist.c

Merge branch 'bug3263'

Have transitions in public_server_mode count as affects_descriptor

Previously, we'd get a new descriptor for free when
public_server_mode() changed, since it would count as
affects_workers, which would call init_keys(), which would make us
regenerate a new descriptor.  But now that we fixed bug 3263,
init_keys() is no longer necessarily a new descriptor, and so we
need to make sure that public_server_mode() counts as a descriptor
transition.

oops; wrong bug number.

Remove unused var in write_to_evbuffer_zlib

Avoid double-free in bufferevent read/write cbs

Fixes bug 3404; bugfix on 0.2.3.1-alpha.

Merge remote-tracking branch 'origin/maint-0.2.2'

Correctly send a SUCCEEDED event for rdns requests

The issue was that we overlooked the possibility of reverse DNS success
at the end of connection_ap_handshake_socks_resolved(). Issue discovered
by katmagic, thanks!

Merge remote-tracking branch 'origin/maint-0.2.2'