Merge branch 'bug2286_unit_test_squashed'

Test alternate values of maxunmeasuredbw too

Update unmeasured bandwidth clipping unit test per NickM's bugfix for the Unmeasured=1 issue

Refactor storing of measured_bw versus Unmeasured=1.

This patch moves the measured_bw field and the has_measured_bw field
into vote_routerstatus_t, since only votes have 'Measured=XX' set on
their weight line.

I also added a new bw_is_unmeasured flag to routerstatus_t to
represent the Unmeasured=1 flag on a w line.  Previously, I was using
has_measured_bw for this, which was quite incorrect: has_measured_bw
means that the measured_bw field is set, and it's probably a mistake
to have it serve double duty as meaning that 'baandwidth' represents a
measured value.

While making this change,I also found a harmless but stupid bug in
dirserv_read_measured_bandwidths: It assumes that it's getting a
smartlist of routerstatus_t, when really it's getting a smartlist of
vote_routerstatus_t.  C's struct layout rules mean that we could never
actually get an error because of that, but it's still quite incorrect.
I fixed that, and in the process needed to add two more sorting and
searching helpers.

Finally, I made the Unmeasured=1 flag get parsed.  We don't use it for
anything yet, but someday we might.

This isn't complete yet -- the new 2286 unit test doesn't build.

Add unit test for unmeasured bandwidth clipping in consensus

Refactor v3_networkstatus test to allow reuse of test for measuredbw

Note some annoyinc copy-and-paste code

Tweak consensus method 17 based on arma's comments

Instead of capping whenever a router has fewer than 3 measurements,
we cap whenever a router has fewer than 3 measurements *AND* there
are at least 3 authorities publishing measured bandwidths.

We also generate bandwidth lines with a new "Unmeasured=1" flag,
meaning that we didn't have enough observations for a node to use
measured bandwidth values in the authority's input, whether we capped
it or not.

touchups on 78582760

Document (on man page) which DNS record types Tor knows.

Fixes bug 7876

Revise some comments in router.c

Avoid the phrase "legally valid" (as opposed to valid but not legal)?
And document what functions really do.

Fix for bug 6935.

Fix a bug that roger found in the wide_circ_id code

Merge remote-tracking branch 'public/bug8209'

Merge remote-tracking branch 'public/bug8207'

Merge remote-tracking branch 'public/wide_circ_ids'

Conflicts:
src/or/channel.h
src/or/connection_or.c
src/or/cpuworker.c

make check-spaces

Merge remote-tracking branch 'public/feature4994-rebased'

Fix unreachable use-before-assign in test_util_join_win_cmdline

Apparently there is a compiler that believes this is something to
warn about.

Merge remote-tracking branch 'public/integers_donna'

Authorities were adding downtime for every relay every restart

Stop marking every relay as having been down for one hour every
time we restart a directory authority. These artificial downtimes
were messing with our Stable and Guard flag calculations.

Fixes bug 8218 (introduced by the fix for 1035). Bugfix on 0.2.2.23-alpha.

Use torint.h in curve25519-donna*.c

This will get it building on systems that lack stdint.h

Merge remote-tracking branch 'arma/bug1992'

Restore the entry/dirguard distinction.

We shouldn't be calling choose_random_entry() for directory
conncetions; that's what choose_random_dirguard() is for.

tor.1: Specify what Auto means for RefuseUnknownExits in more detail

Merge remote-tracking branch 'origin/maint-0.2.3'

oops; add a missing semicolon

(Cherry-picked from fc35ee4910326dc1ae718482b30e57666a71df85)

get rid of the new caching notion in resolve_my_address()

and replace it with the good old-fashioned two functions approach

simplify timing checks

now that both timers are on the same schedule, there's no point
tracking separate timers.

Check for IP address change every minute, not 15 minutes

Relays used to check every 10 to 60 seconds, as an accidental side effect
of calling directory_fetches_from_authorities() when considering doing
a directory fetch. The fix for bug 1992 removes that side effect. At the
same time, bridge relays never had the side effect, leading to confused
bridge operators who tried crazy tricks to get their bridges to notice
IP address changes (see ticket 1913).

The new behavior is to reinstate an every-60-seconds check for both
public relays and bridge relays, now that the side effect is gone.

Stop trying to resolve our hostname so often

For example, we were doing a resolve every time we think about doing a
directory fetch. Now we reuse the cached answer in some cases.

Fixes bugs 1992 (bugfix on 0.2.0.20-rc) and 2410 (bugfix on
0.1.2.2-alpha).

Don't tor_close_socket(-1) in tor-resolve.

Bugfix on 96b1bd4fb8e64.  Not in any released Tor.

Teach resolve_my_address() to return a cached answer

I didn't make any of the callers use this feature yet.

Fix two more coverity-spotted leaks in master.

One is a probably-impossible leak if we fail to sign a consensus;
another occurs when we can't look up the user we're trying to chown
our sockets to.

Avoid null-pointer deref in pathbias_is_new_circ_attempt

Coverity is worried about this (CID 980653).  It hasn't happened in
testing, but we might as well make sure it can't happen.

Fix a nigh-impossible overflow in cpuworker.c

When we compute the estimated microseconds we need to handle our
pending onionskins, we could (in principle) overflow a uint32_t if
we ever had 4 million pending onionskins before we had any data
about how onionskins take.  Nevertheless, let's compute it properly.

Fixes bug 8210; bugfix on 0.2.4.10. Found by coverity; this is CID
980651.

Fix a null-deref-on-fail in unit tests

If geoip_format_bridge_stats() returned NULL when it should have
returned a string, we would have tried to deref NULL, and died.  Not
a big deal in the unit tests, but still worth fixing.

Found by coverity; This is CID 743384.

Make _SC_OPEN_MAX actually get used when closing fds before exec.

Fixes bug 8209; bugfix on 0.2.3.1-alpha.

oops; add a missing semicolon

Merge remote-tracking branch 'public/bug7816_023'

Fix another memory leak

This one occurs when changing configuration options. Found by
coverity.

Merge remote-tracking branch 'public/bug8208'

Check whether ei is non-NULL before altering it.

This fixes a crash bug if we fail to generate an extrainfo
descriptor.

Fixes bug 8208; bugfix on 0.2.3.16-alpha.

Suppress a coverity false positive in connection_edge_package_raw_inbuf

Coverity is worried that we're checking entry_conn in some cases,
but not in the case where we set entry_conn->pending_optimistic_data.

This commit should calm it down (CID 718623).

Make hidden service authorization work again.

The refactoring in commit 471ab340325 wasn't complete enough: we
were checking the auth_len variable, but never actually setting it,
so it would never seem that authentication had been provided.

This commit also removes a bunch of unused variables from
rend_service_introduce, whose unusedness we hadn't noticed because
we were wiping them at the end of the function.

Fix for bug 8207; bugfix on 0.2.4.1-alpha.

Fix even more dead code and resource leaks in the unit tests

Found by coverity

Fix a very short-lived socket leak in tor-resolve

This shouldn't actually matter, since tor-resolve will return soon
after this function exits, but it's nice to be warning-free

Found by coverity, fixes CID 718633

Resolve memory leaks in the unit tests and benchmarks (found by coverity)

These shouldn't really matter, but it's nice to be leak-free.

Fix a copy-and-paste issue found by coverity

Fixes CID 980650; bugfix on 0.2.4.10-alpha.

Speed up the curve25519 unit test by doing fewer iterations

This test was accounting for about 2/3 of our unit tests' runtime,
even on systems with a fast curve25519.  No test should take so long.

Merge remote-tracking branch 'public/bug8158'

Avoid generating extra spaces when explaining how we guessed our address

Refactor resolve_my_address() so logs are more accurate / helpful

It returns the method by which we decided our public IP address
(explicitly configured, resolved from explicit hostname, guessed from
interfaces, learned by gethostname).

Now we can provide more helpful log messages when a relay guesses its IP
address incorrectly (e.g. due to unexpected lines in /etc/hosts). Resolves
ticket 2267.

While we're at it, stop sending a stray "(null)" in some cases for the
server status "EXTERNAL_ADDRESS" controller event. Resolves bug 8200.

log the hostname that resolve_my_address() used to guess our IP

Merge remote-tracking branch 'public/bug7801_v2'

Replace magic constants for wide_circ_ids with inline function calls

Wrap more macro definitions in (parentheses)

To avoid surprises, good coding practice suggests parenthesizing every
macro definition -- or at the very least, all those involving an
expression.

Improve comment at Andrea's request

Merge remote-tracking branch 'public/signof_enum'

changes file for bug7801

Unit test for tor_weak_random_range

Add explicit check for !first_conn in ...resume_edge_reading_helper

This check isn't necessary (see comment on #7801), but it took at
least two smart people a little while to see why it wasn't necessary,
so let's have it in to make the code more readable.

Improve comment about our random stream choice algorithm

Fix numerous problems with Tor's weak RNG.

We need a weak RNG in a couple of places where the strong RNG is
both needless and too slow.  We had been using the weak RNG from our
platform's libc implementation, but that was problematic (because
many platforms have exceptionally horrible weak RNGs -- like, ones
that only return values between 0 and SHORT_MAX) and because we were
using it in a way that was wrong for LCG-based weak RNGs.  (We were
counting on the low bits of the LCG output to be as random as the
high ones, which isn't true.)

This patch adds a separate type for a weak RNG, adds an LCG
implementation for it, and uses that exclusively where we had been
using the platform weak RNG.

Add doxygen for bug8158 functions

Coalesce identical adjacent microdescriptor vote lines.

Refactor generating the m lines in a vote into its own function

Merge remote-tracking branch 'karsten/geoip-manual-update'

Merge remote-tracking branch 'origin/maint-0.2.3'

Merge remote-tracking branch 'origin/maint-0.2.2' into maint-0.2.3

Comment out now obsolete change in geoip-manual.

Update to the February 2013 GeoIP database.

Merge remote-tracking branch 'public/easy_ratelim'

Conflicts:
src/or/connection.c

Have autoconf check whether enums are signed.

Fixes bug 7727; fix on 0.2.4.10-alpha.

Use a nicely written autoconf macro to determine the sign of a type

This beats our old implementation, which wouldn't work when cross-compiling

Merge remote-tracking branch 'arma/bug7054'

Merge remote-tracking branch 'public/bug7816_023'

Conflicts:
src/common/util.c

Merge remote-tracking branch 'public/bug7816_024'

Merge branch 'bug7902'

whitespace fix

Merge branch 'ticket8161_squashed'

Mention a trac ticket relevant to an XXX comment.

Better document an XXX comment about refactoring.

Changes file for path use bias threshold changes.

Separate the flags for logging use bias.

I think we want both sets of messages to appear independently to help us know
what needs tuning.

Merge branch 'bug8121_squashed'

Tolerate curve25519 backends where the high bit of the pk isn't ignored

Right now, all our curve25519 backends ignore the high bit of the
public key. But possibly, others could treat the high bit of the
public key as encoding out-of-bounds values, or as something to be
preserved. This could be used to distinguish clients with different
backends, at the cost of killing a circuit.

As a workaround, let's just clear the high bit of each public key
indiscriminately before we use it. Fix for bug 8121, reported by
rransom. Bugfix on 0.2.4.8-alpha.

revise history

New consensus method: clip the maximum votable unmeasured bw

If we're deciding on a node's bandwidth based on "Bandwidth="
declarations, clip it to "20" or to the maxunmeasuredbw parameter,
if it's voted on.

This adds a new consensus method.

This is "part A" of bug 2286

Merge remote-tracking branch 'public/bug8151'

Update manpage for new pathbias use thresholds.

Lower path use bias thresholds.

I noticed bad wifi networks can have low use success rates.

bump to 0.2.4.10-alpha-dev

bump to 0.2.4.10-alpha

fold in changes for 0.2.4.10-alpha

Include a flag-thresholds line in each vote to describe flag cutoffs

Implements ticket 8151.

Merge branch 'authdir_quick_fix'

Merge branch 'bug8146_etc'

Quick fix on 5956 for authorities

Authorities don't set is_possible_guard on node_t, so they were
never deciding that they could build enough paths.  This is a quick
and dirty fix.

Bug not in any released version of Tor

Merge branch 'bug8153'

Reinstate some fixes/tweaks from 6e4a4002

These seem to have gotten conflicted out of existence while mike was
working on path bias stuff.

Thanks to sysrqb for collecting these in a handy patch.