Launch sufficient circuits to satisfy pending isolated streams

Our old "do we need to launch a circuit for stream S" logic was,
more or less, that if we had a pending circuit that could handle S,
we didn't need to launch a new one.

But now that we have streams isolated from one another, we need
something stronger here: It's possible that some pending C can
handle either S1 or S2, but not both.

This patch reuses the existing isolation logic for a simple
solution: when we decide during circuit launching that some pending
C would satisfy stream S1, we "hypothetically" mark C as though S1
had been connected to it.  Now if S2 is incompatible with S1, it
won't be something that can attach to C, and so we'll launch a new
stream.

When the circuit becomes OPEN for the first time (with no streams
attached to it), we reset the circuit's isolation status.  I'm not
too sure about this part: I wanted some way to be sure that, if all
streams that would have used a circuit die before the circuit is
done, the circuit can still get used.  But I worry that this
approach could also lead to us launching too many circuits.  Careful
thought needed here.

Implement stream isolation

This is the meat of proposal 171: we change circuit_is_acceptable()
to require that the connection is compatible with every connection
that has been linked to the circuit; we update circuit_is_better to
prefer attaching streams to circuits in the way that decreases the
circuits' usefulness the least; and we update link_apconn_to_circ()
to do the appropriate bookkeeping.

Add a new isolation type and field: "nym epoch"

The "nym epoch" of a stream is defined as the number of times that
NEWNYM had been called before the stream was opened.  All streams
are isolated by nym epoch.

This feature should be redundant with existing signewnym stuff, but
it provides a good belt-and-suspenders way for us to avoid ever
letting any circuit type bypass signewnym.

Const-ify a few functions

(Unused) backend logic for stream isolation

This patch adds fields to track how streams should be isolated, and
ensures that those fields are set correctly.  It also adds fields to
track what streams can go on a circuit, and adds functions to see
whether a streams can go on a circuit and update the circuit
accordingly.  Those functions aren't yet called.

Refactor listener_connection_t into its own type.

This will allow us to add more fields to listener_connection_t
without bloating the other connection types.

Parse prop171 options; refactor listener/port option code

Proposal 171 gives us a new syntax for parsing client port options.
You can now have as many FooPort options as you want (for Foo in
Socks, Trans, DNS, NATD), and they can have address:port arguments,
and you can specify the level of isolation on those ports.

Additionally, this patch refactors the client port parsing logic to
use a new type, port_cfg_t.  Previously, ports to be bound were
half-parsed in config.c, and later re-parsed in connection.c when
we're about to bind them.  Now, parsing a port means converting it
into a port_cfg_t, and binding it uses only a port_cfg_t, without
needing to parse the user-provided strings at all.

We should do a related refactoring on other port types.  For
control ports, that'll be easy enough.  For ORPort and DirPort,
we'll want to do this when we solve proposal 118 (letting servers
bind to and advertise multiple ports).

This implements tickets 3514 and 3515.

Merge remote-tracking branch 'public/bug3560'

Bump version to 0.2.3.2-alpha-dev

finish the changelog

bump to 0.2.3.2-alpha

start folding in the 0.2.3.2-alpha changelog entries

Enhance findMergedChanges to allow looking at non-release targets

Remove changes files already merged in 0.2.2.30-rc

forward-port the 0.2.2.30-rc changelog

Better messages when we're stalled because of microdescriptors

It's a little confusing for me to say "only X/Y descriptors" when
I have microdescriptors enabled.  So, let's fix that.

Fix bug in upload/download of hsdesc with microdescs

Previously we were using router_get_by_id(foo) to test "do we have a
descriptor that will let us make an anonymous circuit to foo".  But
that isn't right for microdescs: we should have been using node_t.

Fixes bug 3601; bugfix on 0.2.3.1-alpha.

Merge remote-tracking branch 'sebastian/compile_warning'

Fix a wide line.  "Tradition!"

Fix a compile warning on OS X 10.6

Remove compare_addr_to_node_policy

Instead, use compare_tor_addr_to_node_policy everywhere.

One advantage of this is that compare_tor_addr_to_node_policy can
better distinguish 0.0.0.0 from "unknown", which caused a nasty bug
with microdesc users.

Treat null address as "unknown", not "rejected" in md policy

Previously, we had an issue where we'd treat an unknown address as
0, which turned into "0.0.0.0", which looked like a rejected
address.  This meant in practice that as soon as we started doing
comparisons of unknown uint32 addresses to short policies, we'd get
'rejected' right away.  Because of the circumstances under which
this would be called, it would only happen when we had local DNS
cached entries and we were looking to launch new circuits.

Remove compare_addr_to_addr_policy

Nothing used it but the unit tests; everything else knows to use
compare_tor_addr_to_addr_policy instead.

Make WIN32_WINNT defines conditional

Requested by Gisle Vanem on tor-dev.  I'm not quite sure this is the
right solution, but it's probably harmless.

Merge remote-tracking branch 'origin/maint-0.2.2'

Conflicts:
src/or/control.c

Merge branch 'bug3577' into maint-0.2.2

Improve error msg on failed getinfo fingerprint

Only download microdesc consensus from caches that support it

Bugfix on 0.2.3.1-alpha; found by arma; never got a bug number.

Merge remote-tracking branch 'origin/maint-0.2.2'

Update HACKING with some more release instructions

Change GETINFO fingerprint to look at server_mode, not my_descriptor

It's possible for us to be a server and have a fingerprint without
having yet generated a descriptor.

Fixes bug 3577; bugfix on 0.2.0.1-alpha

Resolve a warning from the bug1666 branch

Merge remote-tracking branch 'public/bug1666'

Conflicts:
doc/spec/socks-extensions.txt
src/or/buffers.c
src/or/config.c
src/or/connection_edge.c

Avoid warning in broken_state_count_compare

Add more error checks to socks parsing code

Suggested by Linus to avoid uninitialized reads or infinite loops if
it turns out our code is buggier than we had thought.

Merge branch 'bug2798'

Tweaks to bug2798 based on comments by arma

Turn on microdescriptors for clients

Merge remote-tracking branch 'rransom-tor/bug3427'

Merge branch 'bug2616'

Merge branch 'feature3116_squashed'

Disable recording new broken conns when we have bootstrapped

Rationale: right now there seems to be no way for our bootstrap
status to dip under 100% once it has reached 100%.  Thus, recording
broken connections after that point is useless, and wastes memory.

If at some point in the future we allow our bootstrap level to go
backwards, then we should change this rule so that we disable
recording broken connection states _as long as_ the bootstrap status
is 100%.

Clear broken connection map on successful bootstrap

Document feature3116 fns and improve output

- We were reporting the _bottom_ N failing states, not the top N.
- With bufferevents enabled, we logged all TLS states as being "in
  bufferevent", which isn't actually informative.
- When we had nothing to report, we reported nothing too loudly.
- Also, we needed documentation.

Report the states of failed TLS connections from bootstrap_problem

Limit the number of different handshake reasons to report

If connections failed in more than 10 different states, let's just
report the top ten states.

Record the states of failing OR connections

This code lets us record the state of any outgoing OR connection
that fails before it becomes open, so we can notice if they're all
dying in the same SSL state or the same OR handshake state.

More work is still needed:
  - We need documentation
  - We need to actually call the code that reports the failure when
    we realize that we're having a hard time connecting out or
    making circuits.
  - We need to periodically clear out all this data -- perhaps,
    whenever we build a circuit successfully?
  - We'll eventually want to expose it to controllers, perhaps.

Partial implementation of feature 3116.

Make a function static

Now that connection_dir_about_to_close() is in directory.c, there's
no reason to expose connection_dir_request_failed().

Split connection_about_to_close_connection into separate functions

This patch does NOTHING but:
  - move code
  - add declarations and includes as needed to make the new code
    work
  - declare the new functions.

typo in feature2841; spotted by asn

Changes file for feature2841.

Fix compilation from 2841 branch

Merge remote-tracking branch 'public/bug2841'

Conflicts:
src/or/config.c

Fix cut'n'paste bug in comment.

Rename and tweak nodelist_add_node_family() to add node

It's very easy for nodelist_add_node_family(sl,node) to accidentally
add 'node', and kind of hard to make sure that it omits it.  Instead
of taking pains to leave 'node' out, let's instead make sure that we
always include it.

I also rename the function to nodelist_add_node_and_family, and
audit its users so that they don't add the node itself any longer,
since the function will take care of that for them.

Resolves bug 2616, which was not actually a bug.

Revise code for adding EntryNodes to guards.

Previously, we'd just take all the nodes in EntryNodes, see which
ones were already in the guard list, and add the ones that weren't.
There were some problems there, though:

   * We'd add _every_ entry in EntryNodes, and add them in the order
     they appeared in the routerlist.  This wasn't a problem
     until we added the ability to give country-code or IP-range
     entries in the EntryNodes set, but now that we did, it is.

     (Fix: We now shuffle the entry nodes before adding them; only
     add up to 10*NumEntryGuards)

   * We didn't screen EntryNodes for the Guard flag.  That's okay
     if the user has specified two or three entry nodes manually,
     but if they have listed a whole subcontinent, we should
     restrict ourselves to the entries that are currently guards.

     (Fix: separate out the new guard from the new non-guard nodes,
     and add the Guards first.)

   * We'd prepend new EntryNodes _before_ the already configured
     EntryNodes.  This could lead to churn.

     (Fix: don't prepend these.)

This patch also pre-screens EntryNodes entries for
reachableaddresses/excludenodes, even though we check for that
later.  This is important now, since we cap the number of entries
we'll add.

Look at the right consensus in router_add_to_routerlist()

Just looking at the "latest" consensus could give us a microdesc
consensus, if microdescs were enabled. That would make us decide
that every routerdesc was unlisted in the latest consensus and drop
them all: Ouch.

Fixes bug 3113; bugfix on 0.2.3.1-alpha.

Merge branch 'bug2797'

Remove a redundant condition in compare_addr_to_node_policy

A && A == A.

Found by frosty_un

Make nodelist_purge avoid orphaned microdescs in rs-less nodes

We have an invariant that a node_t should have an md only if it has
a routerstatus.  nodelist_purge tried to preserve this by removing
all nodes without a routerstatus or a routerinfo.  But this left
nodes with a routerinfo and a microdesc untouched, even if they had
a routerstatus.

Bug found by frosty_un.

Merge branch 'maint-0.2.2'

Merge branch 'maint-0.2.1' into maint-0.2.2

update to the july 2011 geoip db

Kill redundant checks around routerset_contains_*()

All of the routerset_contains*() functions return 0 if their
routerset_t argument is NULL.  Therefore, there's no point in
doing "if (ExcludeNodes && routerset_contains*(ExcludeNodes...))",
for example.

This patch fixes every instance of
         if (X && routerstatus_contains*(X,...))

Note that there are other patterns that _aren't_ redundant.  For
example, we *don't* want to change:
        if (EntryNodes && !routerstatus_contains(EntryNodes,...))

Fixes #2797.  No bug here; just needless code.

Merge remote-tracking branch 'public/bug3153'

Conflicts:
src/or/nodelist.c

Merge branch 'bug3263'

Have transitions in public_server_mode count as affects_descriptor

Previously, we'd get a new descriptor for free when
public_server_mode() changed, since it would count as
affects_workers, which would call init_keys(), which would make us
regenerate a new descriptor.  But now that we fixed bug 3263,
init_keys() is no longer necessarily a new descriptor, and so we
need to make sure that public_server_mode() counts as a descriptor
transition.

oops; wrong bug number.

Remove unused var in write_to_evbuffer_zlib

Avoid double-free in bufferevent read/write cbs

Fixes bug 3404; bugfix on 0.2.3.1-alpha.

Merge remote-tracking branch 'origin/maint-0.2.2'

Correctly send a SUCCEEDED event for rdns requests

The issue was that we overlooked the possibility of reverse DNS success
at the end of connection_ap_handshake_socks_resolved(). Issue discovered
by katmagic, thanks!

Merge remote-tracking branch 'origin/maint-0.2.2'

Fix weird formatting of html manpage

Asciidoc was inserting <pre> tags for paragraphs that started with a
'+' at the beginning of the line. Instead, we need a space in front of
the plus.

Merge branch 'maint-0.2.2'

appease check-spaces

Merge remote-tracking branch 'origin/maint-0.2.2'

Merge remote-tracking branch 'rransom-tor/bug3465-023-v2'

Merge remote-tracking branch 'rransom-tor/bug3465-022' into maint-0.2.2

Refactor the interfaces of transport/proxy lookup fns

Returning a tristate is needless here; we can just use the yielded
transport/proxy_type field to tell whether there's a proxy, and have
the return indicate success/failure.

Also, store the proxy_type in the or_connection_t rather than letting
it get out of sync if a configuration reload happens between launching
the or_connection and deciding what to say with it.

Future-proof and user-proof parse_bridge_line

Simplify parse_client_transport_line

Style and grammar tweaks on 2841 branch

Small tweaks to 2841 code

    - const-ify some transport_t pointers
    - Remove a vestigial argument to parse_bridge_line
    - Make it compile without warnings on my laptop with
      --enable-gcc-warnings

Merge branch 'cov217_master'

Merge remote-tracking branch 'origin/maint-0.2.2'

Merge branch 'cov217_022_squashed' into maint-0.2.2

Use strlcpy when copying node IDs into measured_bw_line_t

We were using strncpy before, which isn't our style for stuff like
this.

This isn't a bug, though: before calling strncpy, we were checking
that strlen(src) was indeed == HEX_DIGEST_LEN, which is less than
sizeof(dst), so there was no way we could fail to NUL-terminate.
Still, strncpy(a,b,sizeof(a)) is an idiom that we ought to squash
everyplace.

Fixes CID #427.

Merge branch 'cid30_changelog' into maint-0.2.2

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Merge branches 'cov217_021' and 'cid_450' into maint-0.2.1

Use strlcpy in create_unix_sockaddr()

Using strncpy meant that if listenaddress were ever >=
sizeof(sockaddr_un.sun_path), we would fail to nul-terminate
sun_path.  This isn't a big deal: we never read sun_path, and the
kernel is smart enough to reject the sockaddr_un if it isn't
nul-terminated.  Nonetheless, it's a dumb failure mode.  Instead, we
should reject addresses that don't fit in sockaddr_un.sun_path.

Coverity found this; it's CID 428.  Bugfix on 0.2.0.3-alpha.

Fix a rare memory leak in rend_cache_store

When we rejected a descriptor for not being the one we wanted, we
were letting the parsed descriptor go out of scope.

Found by Coverity; CID # 30.

Bugfix on 0.2.1.26.

(No changes file yet, since this is not in any 0.2.1.x release.)

Add a changelog entry for cid30 fix.

Fix insanely large stack_allocation in log_credential_status

I'm not one to insist on C's miserly stack limits, but allocating a
256K array on the stack is too much even for me.

Bugfix on 0.2.1.7-alpha.  Found by coverity.  Fixes CID # 450.

Check return value of crypto_global_init in test.c

This will let the unit tests fail in a less mystifying way if the
crypto subsystem is b0rken, and will also make Coverity happier.

CID # 429.

Defensive programming: don't crash with broken node_t

Every node_t has either a routerinfo_t or a routerstatus_t, so every
node_t *should* have a nickname.  Nonetheless, let's make sure in
hex_digest_nickname_matches().

Should quiet CID 434.

Don't shadow parameters with local variables

This is a little error-prone when the local has a different type
from the parameter, and is very error-prone with both have the same
type.  Let's not do this.

Fixes CID #437,438,439,440,441.

Replace 4 more sscanf()s with tor_sscanf()

For some inexplicable reason, Coverity departs from its usual
standards of avoiding false positives here, and warns about all
sscanf usage, even when the formatting strings are totally safe.

Addresses CID # 447, 446.

Replace a "const const" with a "const"

Looks like this squeaked in while I was doing a search-and-replace
to constify things.  Coverity CID 483.