Get rid of an unused parameter warning on win

Sockets are unsigned on windows

this gets rid of a warning about signed/unsigned comparison

Merge remote-tracking branch 'origin/maint-0.2.2'

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Update to the August 2011 GeoIP database.

Merge remote-tracking branch 'public/bug3550'

Remove connection_edge_streams_are_compatible

It's dead code (not used anywhere by the current proposal 171 algorithm).

Fix handling of ISO_STREAM

Now we track *which* stream with ISO_STREAM set is associated to a
particular circuit, so that we won't think that stream is incompatible
with its circuit and launch another one a second later, and we use that
same field to mark circuits which have had an ISO_STREAM stream attached
to them, so that we won't ever put a second stream on that circuit.

Fixes bug 3695.

Fix log message typo

Merge remote-tracking branch 'public/bug3683'

Clear socks auth fields before free

Handle storing much longer socks4 authentication data.

Clean up bridge-stats code.

Only write a bridge-stats string if bridge stats have been
initialized.  This behavior is similar to dirreq-stats, entry-stats,
etc.

Also add a few unit tests for the bridge-stats code.

Separate generation of an entry-stats string from writing it to disk.

This commit is similar to the previous two commits for dirreq-stats,
but for entry-stats.

Separate generation of a dirreq-stats string from writing it to disk.

This patch separates the generation of a dirreq-stats string from
actually writing it to disk.  The new geoip_format_dirreq_stats()
generates a dirreq-stats string that geoip_dirreq_stats_write() writes
to disk.  All the state changing (e.g., resetting the dirreq-stats
history and initializing the next measurement interval) takes place in
geoip_dirreq_stats_write().  That allows us to finally test the
dirreq-stats code better.

Clean up geoip_dirreq_stats_write().

We later want to split this function into one function that generates
the dirreq-stats string and one that writes it to disk.

Add unit tests for buffer-stats.

Now that formatting the buffer-stats string is separate from writing
it to disk, we can also decouple the logic to extract stats from
circuits and finally write some unit tests for the history code.

Separate generation of a buffer-stats string from writing it to disk.

The new rep_hist_format_buffer_stats() generates a buffer-stats string
that rep_hist_buffer_stats_write() writes to disk.  All the state
changing (e.g., resetting the buffer-stats history and initializing
the next measurement interval) takes place in
rep_hist_buffer_stats_write().  That allows us to finally test the
buffer-stats code better.

Clean up rep_hist_buffer_stats_write().

We later want to split this function into one function that generates
the buffer-stats string and one that writes it to disk.

Create cell-stats history even if we didn't see a single circuit.

So far, if we didn't see a single circuit, we refrained from
generating a cell-stats string and logged a warning.  Nobody will
notice the warning, and people will wonder why there's no cell-stats
string in the extra-info descriptor.  The better behavior is to
generate a cell-stats string with all zeros.

Replace files in stats/ rather than appending to them.

Right now, we append statistics to files in the stats/ directory for
half of the statistics, whereas we overwrite these files for the other
half. In particular, we append buffer, dirreq, and entry stats and
overwrite exit, connection, and bridge stats.

Appending to files was useful when we didn't include stats in extra-info
descriptors, because otherwise we'd have to copy them away to prevent
Tor from overwriting them.

But now that we include statistics in extra-info descriptors, it makes
no sense to keep the old statistics forever. We should change the
behavior to overwriting instead of appending for all statistics.

Implements #2930.

Make --quiet and --hush apply to default logs, not only initial logs

Fixes bug 3550; bugfix on 0.2.0.10-alpha (where --quiet was introduced).

Treat socks_request->{username,password} as non-NUL-terminated

They *are* non-NUL-terminated, after all (and they have to be, since
the SOCKS5 spec allows them to contain embedded NULs.  But the code
to implement proposal 171 was copying them with tor_strdup and
comparing them with strcmp_opt.

Fix for bug on 3683; bug not present in any yet-released version.

Implement protocol-type isolation correctly.

Previously we'd just looked at the connection type, but that's
always CONN_TYPE_AP.  Instead, we should be looking at the type of
the listener that created the connection.

Spotted by rransom; fixes bug 3636.

put the 0.2.1.30 stanza in the master changelog too

reach back in time and correct two changelog entries

Initial patch to build Tor with msvc and nmake

We'll still need to tweak it so that it looks for includes and
libraries somewhere more sensible than "where we happened to find
them on Erinn's system"; so that tests and tools get built too;
so that it's a bit documented; and so that we actually try running
the output.

Work done with Erinn Clark.

Re-order tor_fw_helper_LDADD flags so that they work

Patch from "blueness".

Improve log messages for optimistic data retry

Add src/test/test{-child}.exe to gitignore. bug3626

remember our future plan for bug 3617

(that is, to change the default for "UseOptimisticData auto" to
1 once we are more convinced that it works correctly.)

Add another precondition for isolation-clearing; fix 3620

Do not cannibalize a circuit with isolation values set.

For accuracy, s/exit_allows_optimistic_data/may_use_optimistic_data/

Add an OptimisticData option to control client-side optimistic data

Don't assert for listener connections

Check for port config before addr config in client port options

Otherwise, we'll fail, since "9050" looks like a perfectly fine address.

Oops: we need to call parse_client_ports with validate_only==0 at least once

Merge remote-tracking branch 'origin/maint-0.2.2'

Check return value in fmt_addr

Previously, if tor_addr_to_str() returned NULL, we would reuse the
last value returned by fmt_addr().  (This could happen if we were
erroneously asked to format an AF_UNSPEC address.)  Now instead we
return "???".

Fix a warning message. (Found by rransom)

Initialize listener connection addr fields properly

Add a missing break in a switch statement

Add changes file for optimistic client behavior

Merge branch 'optimistic-client'

The conflicts are with the proposal 171 circuit isolation code, and
they're all trivial: they're just a matter of both branches adding
some unrelated code in the same places.

Conflicts:
src/or/circuituse.c
src/or/connection.c

Unit test for generic_buffer_set_to_copy

Merge remote-tracking branch 'public/prop171_v2'

Fix spurious warning in bufferevent socks parsing

The problem was that we weren't initializing want_length to 0 before
calling parse_socks() the first time, so it looked like we were
risking an infinite loop when in fact we were safe.

Fixes 3615; bugfix on 0.2.3.2-alpha.

Fix a compile warning in config.c reported by sebastian

Take a smarter approach to clearing isolation info

Back when I added this logic in 20c0581a79, the rule was that whenever
a circuit finished building, we cleared its isolation info. I did that
so that we would still use the circuit even if all the streams that
had previously led us to tentatively set its isolation info had closed.

But there were problems with that approach: We could pretty easily get
into a case where S1 had led us to launch C1 and S2 had led us to
launch C2, but when C1 finished, we cleared its isolation and attached
S2 first.  Since C2 was still marked in a way that made S1
unattachable to it, we'd then launch another circuit needlessly.

So instead, we try the following approach now: when a circuit is done
building, we try to attach streams to it.  If it remains unused after
we try attaching streams, then we clear its isolation info, and try
again to attach streams.

Thanks to Sebastian for helping me figure this out.

Merge remote-tracking branch 'origin/maint-0.2.2'

Untangle first sentence of changes/bug3607

Specify text or binary mode in every start_writing_to_stdio_file call

Use socks username/password information in stream isolation

Turn streq_opt into a generic strcmp_opt.

Manpage updates for proposal 171 (isolated streams)

Stick controller-originated resolves in their own session group

Implement sensible isolation for tunneled directory conns

One-hop dirconn streams all share a session group, and get the
ISO_SESSIONGRP flag: they may share circuits with each other and
nothing else.

Anonymized dirconn streams get a new internal-use-only ISO_STREAM
flag: they may not share circuits with anything, including each other.

Implement destaddr-based isolation

The new candidate rule, which arma suggested and I like, is that
the original address as received from the client connection or as
rewritten by the controller is the address that counts.

Add an option to limit the number of non-open client circuits.

This is mainly meant as a way to keep clients from accidentally
DOSing themselves by (e.g.) enabling IsolateDestAddr or
IsolateDestPort on a port that they use for HTTP.

Launch sufficient circuits to satisfy pending isolated streams

Our old "do we need to launch a circuit for stream S" logic was,
more or less, that if we had a pending circuit that could handle S,
we didn't need to launch a new one.

But now that we have streams isolated from one another, we need
something stronger here: It's possible that some pending C can
handle either S1 or S2, but not both.

This patch reuses the existing isolation logic for a simple
solution: when we decide during circuit launching that some pending
C would satisfy stream S1, we "hypothetically" mark C as though S1
had been connected to it.  Now if S2 is incompatible with S1, it
won't be something that can attach to C, and so we'll launch a new
stream.

When the circuit becomes OPEN for the first time (with no streams
attached to it), we reset the circuit's isolation status.  I'm not
too sure about this part: I wanted some way to be sure that, if all
streams that would have used a circuit die before the circuit is
done, the circuit can still get used.  But I worry that this
approach could also lead to us launching too many circuits.  Careful
thought needed here.

Implement stream isolation

This is the meat of proposal 171: we change circuit_is_acceptable()
to require that the connection is compatible with every connection
that has been linked to the circuit; we update circuit_is_better to
prefer attaching streams to circuits in the way that decreases the
circuits' usefulness the least; and we update link_apconn_to_circ()
to do the appropriate bookkeeping.

Add a new isolation type and field: "nym epoch"

The "nym epoch" of a stream is defined as the number of times that
NEWNYM had been called before the stream was opened.  All streams
are isolated by nym epoch.

This feature should be redundant with existing signewnym stuff, but
it provides a good belt-and-suspenders way for us to avoid ever
letting any circuit type bypass signewnym.

Const-ify a few functions

(Unused) backend logic for stream isolation

This patch adds fields to track how streams should be isolated, and
ensures that those fields are set correctly.  It also adds fields to
track what streams can go on a circuit, and adds functions to see
whether a streams can go on a circuit and update the circuit
accordingly.  Those functions aren't yet called.

Refactor listener_connection_t into its own type.

This will allow us to add more fields to listener_connection_t
without bloating the other connection types.

Parse prop171 options; refactor listener/port option code

Proposal 171 gives us a new syntax for parsing client port options.
You can now have as many FooPort options as you want (for Foo in
Socks, Trans, DNS, NATD), and they can have address:port arguments,
and you can specify the level of isolation on those ports.

Additionally, this patch refactors the client port parsing logic to
use a new type, port_cfg_t.  Previously, ports to be bound were
half-parsed in config.c, and later re-parsed in connection.c when
we're about to bind them.  Now, parsing a port means converting it
into a port_cfg_t, and binding it uses only a port_cfg_t, without
needing to parse the user-provided strings at all.

We should do a related refactoring on other port types.  For
control ports, that'll be easy enough.  For ORPort and DirPort,
we'll want to do this when we solve proposal 118 (letting servers
bind to and advertise multiple ports).

This implements tickets 3514 and 3515.

Merge remote-tracking branch 'public/bug3560'

Bump version to 0.2.3.2-alpha-dev

Remember optimistically sent data until we have gotten a CONNECTED

Since we can retry failed streams under some circumstances, we need
to be ready to send data queued on them.

Add a generic_buffer_t to use the best buffer type we have on hand

Also add a quick function to copy all the data in a buffer.  (This
one could be done much better, but let's see if it matters.)

Only use optimistic data with exits that support it

This adds a little code complexity: we need to remember for each
node whether it supports the right feature, and then check for each
connection whether it's exiting at such a node.  We store this in a
flag in the edge_connection_t, and set that flag at link time.

finish the changelog

bump to 0.2.3.2-alpha

start folding in the 0.2.3.2-alpha changelog entries

Initial optimistic_client fixes

  - Conform to make check-spaces
  - Build without warnings from passing size_t to %d
  - Use connection_get_inbuf_len(), not buf_datalen (otherwise bufferevents
    won't work).
  - Don't log that we're using this feature at warn.

Implement the client side of optimistic data (proposal 174)

Enhance findMergedChanges to allow looking at non-release targets

Remove changes files already merged in 0.2.2.30-rc

forward-port the 0.2.2.30-rc changelog

Better messages when we're stalled because of microdescriptors

It's a little confusing for me to say "only X/Y descriptors" when
I have microdescriptors enabled.  So, let's fix that.

Fix bug in upload/download of hsdesc with microdescs

Previously we were using router_get_by_id(foo) to test "do we have a
descriptor that will let us make an anonymous circuit to foo".  But
that isn't right for microdescs: we should have been using node_t.

Fixes bug 3601; bugfix on 0.2.3.1-alpha.

Merge remote-tracking branch 'sebastian/compile_warning'

Fix a wide line.  "Tradition!"

Fix a compile warning on OS X 10.6

Remove compare_addr_to_node_policy

Instead, use compare_tor_addr_to_node_policy everywhere.

One advantage of this is that compare_tor_addr_to_node_policy can
better distinguish 0.0.0.0 from "unknown", which caused a nasty bug
with microdesc users.

Treat null address as "unknown", not "rejected" in md policy

Previously, we had an issue where we'd treat an unknown address as
0, which turned into "0.0.0.0", which looked like a rejected
address.  This meant in practice that as soon as we started doing
comparisons of unknown uint32 addresses to short policies, we'd get
'rejected' right away.  Because of the circumstances under which
this would be called, it would only happen when we had local DNS
cached entries and we were looking to launch new circuits.

Remove compare_addr_to_addr_policy

Nothing used it but the unit tests; everything else knows to use
compare_tor_addr_to_addr_policy instead.

Make WIN32_WINNT defines conditional

Requested by Gisle Vanem on tor-dev.  I'm not quite sure this is the
right solution, but it's probably harmless.

Merge remote-tracking branch 'origin/maint-0.2.2'

Conflicts:
src/or/control.c

Merge branch 'bug3577' into maint-0.2.2

Improve error msg on failed getinfo fingerprint

Only download microdesc consensus from caches that support it

Bugfix on 0.2.3.1-alpha; found by arma; never got a bug number.

Merge remote-tracking branch 'origin/maint-0.2.2'

Update HACKING with some more release instructions

Change GETINFO fingerprint to look at server_mode, not my_descriptor

It's possible for us to be a server and have a fingerprint without
having yet generated a descriptor.

Fixes bug 3577; bugfix on 0.2.0.1-alpha

Resolve a warning from the bug1666 branch

Merge remote-tracking branch 'public/bug1666'

Conflicts:
doc/spec/socks-extensions.txt
src/or/buffers.c
src/or/config.c
src/or/connection_edge.c

Avoid warning in broken_state_count_compare

Add more error checks to socks parsing code

Suggested by Linus to avoid uninitialized reads or infinite loops if
it turns out our code is buggier than we had thought.