Refactor tor to support the new tor-fw-helper protocol.

Add handle_fw_helper_output(), a function responsible for parsing the
output of tor-fw-helper. Refactor tor_check_port_forwarding() and
run_scheduled_events() accordingly too.

We now issue warnings when we get control output from tor-fw-helper,
and we log the verbose output of tor-fw-helper in LOG_INFO.

Conflicts:
src/common/util.c

Use get_lines_from_handle() in configure_proxy().

Introduce get_lines_from_handle().

get_lines_from_handle() is a multiplatform function which drains lines
from a stream and stuffs it into a smartlist. It's useful for
line-based protocols, like the one managed proxy and the tor-fw-helper
protocols.

All loging messages are now sent to stderr.

stdout should be clean for control messages.

Refactor our backends' interface.

Further implement tor-fw-helper's TCP port forwarding system.

Implement the new TCP port parsing logic in tor-fw-helper.

Refactor tor-fw-helper port forwarding logic.

Make it port-purpose-agnostic; that is it should treat each port as
equal, and not expect to get a DirPort and an ORPort.

fold in the changes files

in-progress due to various bugs i uncovered in the ipv6 config option
meanings.

minor typos i found while constructing the changelog

forward-port the 0.2.3.21-rc changelog

one more already-merged changes file

remove the changes files that are merged into 0.2.3.21-rc

Merge remote-tracking branch 'origin/maint-0.2.3'

Merge remote-tracking branch 'arma/bug6743' into maint-0.2.3

Merge branch 'bug5535_only_rebased'

Merge remote-tracking branch 'linus/bug6363_only-ln'

Allocate vote_microdesc_hash_t using tor_malloc_zero().

In case the struct grows in the future. Shouldn't be too expensive.

Whitespace.

Remove spurious debug log printout.

Remove trailing semicolon from #define TOR_ADDR_NULL.

Can it ever help? I can only see harm. What am I missing?

Take microdesc into account when deciding about preferred OR port.

Make node_ipv6_preferred() take microdescs into account.

Also, make node_get_prim_orport() indicate in its return value whether
a valid OR port was copied or not.

Maybe we should make it legal to pass ap_out==NULL?

Take microdesc IPv6 address into account when setting node->ipv6_preferred.

Also, do this only for clients, explicitly.

Also, give the flag a value every time we set consensus. We used to
touch it only when ClientPreferIPv6ORPort was set, which was wrong.

Use preferred OR for nodes with routerstatus and microdesc too.

extend_info_from_node() used to use the primary OR port (i.e. IPv4)
unless the node had routerinfo. Now that we have IPv6 addresses in
microdescs we may want to use them.

Note that this patch changes using r->cache_info.identity_digest into
using node->identity. I count on these being well synchronised, or
things would break in other ways. Right?

Add IPv6 OR port to microdesc_t and populate it.

Clients connect to public relays over IPv6.

Add ClientUseIPv6 and ClientPreferIPv6ORPort configuration options.

Use "preferred OR port" for all entry nodes, not only for bridges.

Mark bridges with "prefer IPv6 OR port" if an IPv6 address is
configured in Bridge line and ClientPreferIPv6ORPort is set.

Mark relays with "prefer IPv6 OR port" if an IPv6 address is found in
descriptor and ClientPreferIPv6ORPort is set.

Filter "preferred OR port" through the ClientUseIPv6 config option. We
might want to move this test to where actual connection is being set
up once we have a fall back mechanism in place.

Have only non-servers pick an IPv6 address for the first hop: We
don't want relays to connect over IPv6 yet. (IPv6 has never been used
for second or third hops.)

Implements ticket 5535.

Clear the ipv6_preferred flag like the others.

I'm not entirely sure that this is meningful but I'm pretty sure it's
not harmful. Seems like the logical thing to do.

Fix a comment.

Add tor_addr_port_new().

Generate microdescriptors with "a" lines.

Generate and store all supported microdescriptor formats. Generate
votes with one "m" line for each format. Only "m" lines with version
info matching chosen consensus method will be voted upon.

An optimisation would be to combine "m" lines with identical hashes,
i.e. instead of "m 1,2,3 H1" and "m 4,5 H1", say "m 1,2,3,4,5 H1".

Have directory authorities vote on IPv6 OR ports according to the spec

Define new new consensus method 14 adding "a" lines to vote and
consensus documents.

From proposal 186:

  As with other data in the vote derived from the descriptor, the
  consensus will include whichever set of "a" lines are given by the
  most authorities who voted for the descriptor digest that will be
  used for the router.

This patch implements this.

Rename configure.in to configure.ac

This is the preferred filename to use with Autoconf 2.50 and later.

Merge remote-tracking branch 'arma/bug6759'

Merge remote-tracking branch 'arma/feature6758'

Merge remote-tracking branch 'arma/feature6760'

resolve an XXX by agreeing with nickm

make "Launching %d requests for %d routers" message more useful

specifically, specify what sort of routers we're fetching.

quiet "I learned some more directory information" on startup

Reserve it for when new directory information arrives in response to
a fetch.

Resolves ticket 6760.

Don't log about reloading the microdescriptor cache at startup

Addresses bug 6759.

omit the first heartbeat message (resolves ticket 6758)

fix whitespace and trivial typo

Make begindir_cutoff the same as general_cutoff

Allow one-hop directory fetching circuits the full "circuit build timeout"
period, rather than just half of it, before failing them and marking
the relay down. This fix should help reduce cases where clients declare
relays (or worse, bridges) unreachable because the TLS handshake takes
a few seconds to complete.

Fixes bug 6743 (one piece of bug 3443); bugfix on 0.2.2.2-alpha, where
we changed the timeout from a static 30 seconds.

retroactively fix version typo in changelog

Merge remote-tracking branch 'origin/maint-0.2.3'

Merge branch 'bug6732' into maint-0.2.3

Remove changes files which have been removed in release-0.2.3

Document the --branch argument to contrib/findMergedChanges.pl

Document consensus and microdesc files

Bugfix for #6732.

Merge remote-tracking branch 'origin/maint-0.2.3'

Quiet "Set buildtimeout to low val" warnings: make them info

Fix for #6251

Merge remote-tracking branch 'mikeperry/bug6647'

Merge (with -s ours) remote-tracking branch 'origin/maint-0.2.3'

We are doing this merge to avoid taking the patch from
"nickm/disable_pathbias_warnings_v2" into 0.2.4 -- we're going to try
to fix the pathbias code for real here.

Merge branch 'disable_pathbias_warnings_v2' into maint-0.2.3

Downgrade path-bias warning messages to INFO for now.

We've had over two months to fix them, and didn't.  Now we need
0.2.3.x stable.  Yes, it would be cool to get this working in
0.2.3.x, but not at the expense of delaying every other feature that
_does_ work in 0.2.3.x.  We can do a real fix in 0.2.4.

Merge remote-tracking branch 'origin/maint-0.2.3'

Merge branch 'bug6710_023' into maint-0.2.3

Merge remote-tracking branch 'origin/maint-0.2.3'

Merge remote-tracking branch 'origin/maint-0.2.2' into maint-0.2.3

Conflicts:
src/or/policies.c

Merge branch 'bug6690_022' into maint-0.2.2

and fix them here too

Bug 6647: Add changes file

Fix changes file for 6710: before 0.0.8pre1, you couldn't extend to
a router that another router wasn't already connected to.

Do not assert when comparing a null address/port against a policy

This can create a remote crash opportunity for/against directory
authorities.

Disable extending to private/internal addresses by default

This is important, since otherwise an attacker can use timing info
to probe the internal network.

Also, add an option (ExtendAllowPrivateAddresses) so that
TestingTorNetwork won't break.

Fix for bug 6710; bugfix on all released versions of Tor.

Fix whitespace

Merge branch 'bug6524_nm'

Changes file for nonrecursive make branch

Update .gitignore with new autotools droppings from nonrecursive make

Better fix to avoid loudness on mkdir -p

(commit message by nickm)

build: minimal adjustments to make out-of-tree build work

Merge remote-tracking branch 'linus/bug6364'

Merge remote-tracking branch 'linus/bug6362'

Merge remote-tracking branch 'origin/maint-0.2.3'

Merge remote-tracking branch 'public/bug6472' into maint-0.2.3

Make node_assert_ok less duplicatey

This comes at the cost of making its failure message a little less
friendly, but since when do assertion failures count as
user-friendly?

Clarify docs on get_configured_bridge_by_*_digest

We now need automake 1.9 or later

Automake 1.7 is too broken to even investigate why it broke at this point.

Bug 6647: Use correct scale constant and prevent rounding error

We were effectively resetting our counts, and the rounding error
leads to incorrect log messages.

Bug 6475: Demote pathbias log messages for 0.2.3.x

Also make a couple of them less scary.

We'll do a separate, additional commit on 0.2.4.x to bump them back
up again.

Disable path bias accounting if we have no guards.

This should eliminate a lot of notices for Directory Authorities and other
situations where circuits built without using guard nodes.

Move ipv6_preferred from routerinfo_t to node_t.

Move extend_info_from_router() from circuitbuild.c to router.c and
make it static.

Add get_configured_bridge_by_orports_digest() and have
get_configured_bridge_by_routerinfo() and
node_is_a_configured_bridge() use it. We now consider all OR ports of
a bridge when looking for it.

Move node_get_*_orport to nodelist.c.

Fix a cut'n'paste error in header of nodelist.h.

Add node_assert_ok().

Add router_get_all_orports(). It's duplicating code from
node_get_all_orports(). Worth fixing at the cost of complicating the
API slightly?

Add some attributes to make a2x quieter

Make asciidoc generation quieter

Make the _sha1.i file generation quieter

Add missing dependency so the html.in files get built

Replace man_MANS with nodist_man1_MANS

(commit message by nickm)

s/AM_CONFIG_HEADER/AC_CONFIG_HEADERS/

Apparently the former will stop working with newer auto*

(commit message by nickm)

Remove #6480 fix from 0.2.2.38 changelog - it was not included

(Forward-port from release-0.2.2 to master)

Fetch IPv6 address from NETINFO "other OR's address" field.

The my_apparent_addr is still unused, apart from now being logged in
the "Got good NETINFO cell" info message.

Merge branch 'bug6638'

Merge remote-tracking branch 'origin/maint-0.2.3'

Merge remote-tracking branch 'public/bug6404' into maint-0.2.3

Merge remote-tracking branch 'linus/bug6621'

Avoid spurious warnings in rend_service_introduce

There was some code in the "err:" block that would always log a
warning, reporting an "unknown error" if we hadn't set err_msg.  But
there were also plenty of "goto err" blocks that did their own
logging, and never set err_msg at all.  Now we should only log when
we have an error message to log.

This fixes bug 6638, from no released Tor version.

Send IPv6 address in NETINFO cells.

Closes #6364.

Make all relays, not only bridges, capable of advertising an IPv6 OR port.

Closes #6362.

Merge remote-tracking branch 'origin/maint-0.2.3'

whitespace fix

When iterating over connections pending DNS, skip marked ones

Failure to do this would lead to double-free cases and similar,
especially when the exit's DNS was broken. See bug 6472 for full
details; this is a fix for 6472.

Anonymous patch from "cypherpunks" on trac.