Lower path use bias thresholds.

I noticed bad wifi networks can have low use success rates.

bump to 0.2.4.10-alpha-dev

bump to 0.2.4.10-alpha

fold in changes for 0.2.4.10-alpha

Merge branch 'authdir_quick_fix'

Merge branch 'bug8146_etc'

Quick fix on 5956 for authorities

Authorities don't set is_possible_guard on node_t, so they were
never deciding that they could build enough paths.  This is a quick
and dirty fix.

Bug not in any released version of Tor

Merge branch 'bug8153'

Reinstate some fixes/tweaks from 6e4a4002

These seem to have gotten conflicted out of existence while mike was
working on path bias stuff.

Thanks to sysrqb for collecting these in a handy patch.

Fix a warning when building with --disable-curve25519

It appears that the code for 7291 gave an unused-value warning when
built with --disable-curve25519.

Fix compilation with --disable-curve25519 option

The fix is to move the two functions to format/parse base64
curve25519 public keys into a new "crypto_format.c" file.  I could
have put them in crypto.c, but that's a big file worth splitting
anyway.

Fixes bug 8153; bugfix on 0.2.4.8-alpha where I did the fix for 7869.

When we mark a node as a sybil, mark it down and reset its uptime to 0

This prevents bug 8147, where such nodes would accrue points towards
Guard, Fast, HSDir, and so on.

Fixes bug 8147.

Ignore tiny bandwidths entirely when computing thresholds

Another bug 8145 fix.

Increase the minimum value for the Fast flag to 4096.

Fix for 8145.

Refactor should-count-towards-thresholds test into new function

When computing performance thresholds, ignore omitted-as-sybil nodes.

Fixes bug 8146.

Whoops: evdns_log,  not tor_log, in src/ext/eventdns.c

Merge remote-tracking branch 'public/feature7706'

Merge remote-tracking branch 'public/bug7708_023_v3_squashed'

Clarify documentation of connection_finished_flushing

Fix serious breakage in connection_handle_write_impl

When we first implemented TLS, we assumed in conneciton_handle_write
that a TOR_TLS_WANT_WRITE from flush_buf_tls meant that nothing had
been written. But when we moved our buffers to a ring buffer
implementation back in 0.1.0.5-rc (!), we broke that invariant: it's
possible that some bytes have been written but nothing.

That's bad.  It means that if we do a sequence of TLS writes that ends
with a WANTWRITE, we don't notice that we flushed any bytes, and we
don't (I think) decrement buckets.

Fixes bug 7708; bugfix on 0.1.0.5-rc

Merge branch 'ticket8081_squashed'

Fix a couple of warnings on the 8081 branch.

Add EntryGuardPathUseBias to state file keyword list.

Increment an informational counter for use failed state.

This informational counter is probably now redundant, but might as well keep
it consistent I guess.

Rename and relocate the bw weight scale param getter.

It had nothing to do with circuit build times.

Fix a log typo found by sysrqb.

Bounds-check path bias rate parameters.

The other remaining parameters don't really need range checks.

Refactor code that rolls back the use state

Also document it better.

Mention this refactoring in the comments for the path state machine.

Refactor and rename pathbias rate evaluation.

Refactor the scaling parameter fetching into a single function.

Also, deprecate the torrc options for the scaling values. It's unlikely anyone
but developers will ever tweak them, even if we provided a single ratio value.

Mark entry guard state dirty everwhere the pathbias code touches it.

Add a tristate to guard against unexpected circ purpose transitions

Clarify state transition and related pathbias comments

Merge branch 'rename_log_7599'

Help us track bug 8093:

Improve the log message when "Bug/attack: unexpected sendme cell
from client" occurs.

fix wide lines from tor_log rename

Fix a silly mistake in the tor_mathlog() documentation. Give it a unit test.

Remove old wrapper code and defines for keeping log() and log(3) apart

This is the non-automated portion of bug 7599.

Rename log() to tor_log() for logging

This is meant to avoid conflict with the built-in log() function in
math.h.  It resolves ticket 7599.  First reported by dhill.

This was generated with the following perl script:

 #!/usr/bin/perl -w -i -p

 s/\blog\(LOG_(ERR|WARN|NOTICE|INFO|DEBUG)\s*,\s*/log_\L$1\(/g;

 s/\blog\(/tor_log\(/g;

typo in crypto_curve25519.c comment, spotted by rransom

whitespace fix

Merge branch 'double-0-check'

Use %d, not %02d, for decimal percentages

Cosmetic tweak on 5956; not in any released tor.

Merge branch 'rename_queue_macros_squashed'

Rename all of the macros in tor_queue.h to start with TOR_

Merge branch 'bug5956_squashed'

Parameterize FRAC_USABLE_NEEDED for fraction of circuits

Instead of hardcoding the minimum fraction of possible paths to 0.6, we
take it from the user, and failing that from the consensus, and
failing that we fall back to 0.6.

Compute whether we're ready to build circuits based on fraction of paths

Previously we did this based on the fraction of descriptors we
had. But really, we should be going based on what fraction of paths
we're able to build based on weighted bandwidth, since otherwise a
directory guard or two could make us behave quite oddly.

Implementation for feature 5956

Add an optional out-arg to count_usable_descriptors

This way we get the usable nodes themselves, so we can feed them into
frac_nodes_with_descriptors

Add a function to compute fraction of nodes (by weighted bw) with descriptors

Document the ?? country code.

Detect platforms where memset(0) doesn't set doubles to 0.0.

This is allowed by the C statndard, which permits you to represent
doubles any way you like, but in practice we have some code that
assumes that memset() clears doubles in structs.  Noticed as part of
7802 review; see 8081 for more info.

Fix unit test to not expect v2 directory request geoip info

When we implemented #5823 and removed v2 directory request info, we
never actually changed the unit tests not to expect it.

Fixes bug 8084; bug not in any released version of Tor.

Merge branch 'bug7802' of ssh://git-rw.torproject.org/mikeperry/tor

Merge branch 'time_based_onionqueue_v2' of ssh://git-rw.torproject.org/nickm/tor

Bug 8024: Check for null/closed channel before probing.

Merge remote-tracking branch 'public/bug8012'

More of b30d06255c24165 for #6826: fix compat_libevent compilation

It looks like there was a compilation error for 6826 on some
platforms.  Removing even more now-uncallable code to handle detecting
libevent versions before 1.3e.

Fixes bug 8012; bug not in any released Tor.

squash! Remove a source of error during path bias scaling

Improve debug logs and fix a state fencepost error.

squash! Implement Path use bias accounting.

Make a debug log more informative.

Prevent early close of path bias testing circuits.

We need to let them live long enough to perform the test.

squash! Remove a source of error during path bias scaling

Move a log message about scaling to after we scale

Merge remote-tracking branch 'karsten/bug5823'

Bug 7802 changes file.

Document path use bias options in the manpage.

Remove a source of error during path bias scaling

If any circuits were opened during a scaling event, we were scaling attempts
and successes by different amounts. This leads to rounding error.

The fix is to record how many circuits are in a state that hasn't been fully
counted yet, and subtract that before scaling, and add it back afterwords.

Don't immediately count cannibalized circs as used.

Since they use RELAY_EARLY (which can be seen by all hops on the path),
it's not safe to say they actually count as a successful use.

There are also problems with trying to allow them to finish extending due to
the circuit purpose state machine logic. It is way less complicated (and
possibly more semantically coherent) to simply wait until we actually try to
do something with them before claiming we 'used' them.

Also, we shouldn't call timed out circuits 'used' either, for semantic
consistency.

Roll back the path_state for circs if we detatch a stream.

An adversary could let the first stream request succeed (ie the resolve), but
then tag and timeout the remainder (via cell dropping), forcing them on new
circuits.

Rolling back the state will cause us to probe such circuits, which should lead
to probe failures in the event of such tagging due to either unrecognized
cells coming in while we wait for the probe, or the cipher state getting out
of sync in the case of dropped cells.

Implement Path use bias accounting.

Path use bias measures how often we can actually succeed using the circuits we
actually try to use. It is a subset of path bias accounting, but it is
computed as a separate statistic because the rate of client circuit use may
vary depending on use case.

Remove -v flag from autoreconf by default

You can get it back by saying ./autogen.sh -v

Patch from onizuka; for bug 4664.

This isn't a complete fix, since starting from a clean checkout still
reports that it's installing stuff

Split smartlist_choose_node_by_bandwidth_weights

This is a minimal refactoring to expose the weighted bandwidth
calculations for each node so I can use them to see what fraction of
nodes, weighted by bandwidth, we have descriptors for.

When excluding nodes by country, exclude {??} and {A1} too

This is ticket 7706, reported by "bugcatcher."  The rationale here
is that if somebody says 'ExcludeNodes {tv}', then they probably
don't just want to block definitely Tuvaluan nodes: they also want
to block nodes that have unknown country, since for all they know
such nodes are also in Tuvalu.

This behavior is controlled by a new GeoIPExcludeUnknown autobool
option.  With the default (auto) setting, we exclude ?? and A1 if
any country is excluded.  If the option is 1, we add ?? and A1
unconditionally; if the option is 0, we never add them.

(Right now our geoip file doesn't actually seem to include A1: I'm
including it here in case it comes back.)

This feature only takes effect if you have a GeoIP file.  Otherwise
you'd be excluding every node.

Replace base-{16,32,64} with base{16,32,64} in the code

Patch from onizuka generated with

 find ./ -type f -perm -u+rw -exec sed -ri 's/(Base)-(16|32|64)/\1\2/gi' {} \;

Fixes issue 6875 on Tor.

Merge branch '024_msvc_more'

Another msvc changes entry

For now, always use donna32 on msvc

Add ntor-related modules to the Makefiles.nmake

Fix an MSVC warning in onion.h prototypes

Even more code-removal for 6826

(Pull on a thread and the whole sweater unravels.)

Add a missing part of bug 7311's makefile.nmake tweaks

Fix by "ultramage".

This already has a changes entry.

Merge branch 'bug6826_squashed'

Drop detection logic for pre-1.3 busted libevents

This won't actually break them any worse than they were broken before:
it just removes a set of warnings that nobody was actually seeing, I
hope.

Closes 6826

Merge remote-tracking branch 'public/bug6302'

Remove dirreq-v2-* lines from extra-info descriptors.

Implements the rest of #5823.

Implement proposal 204: ignore subdomains in hidden service addresses

The implementation is pretty straightforward: parse_extended_hostname() is
modified to drop any leading components from an address like
'foo.aaaaaaaaaaaaaaaa.onion'.

Merge branch '024_msvc_squashed'

Conflicts:
src/or/or.h
 srcwin32/orconfig.h

Fix an instance of snprintf; don't use _snprintf directly

Changes files for 024_msvc branch

When building with MSVC, call every enum bitfield unsigned

Fixes bug 7305.

Add HAVE_EVENT_BASE_LOOPEXIT to win32/orconfig.h

Fix for bug 7308

Add more test modules for nmake makefiles

Try to build tinytest.obj from the right sources

use the /Fe flag with msvc

Fixes 7309

Add missing targets to src/test/Makefile.nmake. Fix for 7316

Add HAVE_EVENT2_DNS_H to MSVC orconfig.h

Fix for bug 7313

Fix a const warning under msvc

Add clean target and test subdir to makefile.nmake

Add missing objects to Makefile.nmake

Add missing includes and libs to makefile.nmake

Fixes bugs 7312 and 7310.