Enable the ntor handshake on the client side.

"works for me"

Enable handling of create2/extend2/created2/extended2

Don't check create cells too much when we're relaying them

We want to sanity-check our own create cells carefully, and other
people's loosely.

Implement scheme to allow ntor requests/responses via older servers

Use created_cell_format where appropriate

Use new wrappers for making,sending,processing create/extend cells

Teach cpuworker and others about create_cell_t and friends

The unit of work sent to a cpuworker is now a create_cell_t; its
response is now a created_cell_t.  Several of the things that call or
get called by this chain of logic now take create_cell_t or
created_cell_t too.

Since all cpuworkers are forked or spawned by Tor, they don't need a
stable wire protocol, so we can just send structs.  This saves us some
insanity, and helps p

Code to parse and format CREATE{,2,_FAST} cells and their allies

As elsewhere, it makes sense when adding or extending a cell type to
actually make the code to parse it into a separate tested function.

This commit doesn't actually make anything use these new functions;
that's for a later commit.

Rename handshake_digest to rend_circ_nonce

The handshake_digest field was never meaningfully a digest *of* the
handshake, but rather is a digest *from* the handshake that we exapted
to prevent replays of ESTABLISH_INTRO cells.  The ntor handshake will
generate it as more key material rather than taking it from any part
of the circuit handshake reply..

Massive refactoring of the various handshake types

The three handshake types are now accessed from a unified interface;
their state is abstracted from the rest of the cpath state, and so on.

Refactor the CREATE_FAST handshake code to match the others.

Split onion.[ch] into onion{,_fast,_tap}.[ch]

I'm going to want a generic "onionskin" type and set of wrappers, and
for that, it will be helpful to isolate the different circuit creation
handshakes.  Now the original handshake is in onion_tap.[ch], the
CREATE_FAST handshake is in onion_fast.[ch], and onion.[ch] now
handles the onion queue.

This commit does nothing but move code and adjust header files.

Wrangle curve25519 onion keys: generate, store, load, publish, republish

Here we try to handle curve25519 onion keys from generating them,
loading and storing them, publishing them in our descriptors, putting
them in microdescriptors, and so on.

This commit is untested and probably buggy like whoa

Move curve25519 keypair type to src/common; give it functions

This patch moves curve25519_keypair_t from src/or/onion_ntor.h to
src/common/crypto_curve25519.h, and adds new functions to generate,
load, and store keypairs.

Refactor strong os-RNG into its own function

Previously, we only used the strong OS entropy source as part of
seeding OpenSSL's RNG.  But with curve25519, we'll have occasion to
want to generate some keys using extremely-good entopy, as well as the
means to do so.  So let's!

This patch refactors the OS-entropy wrapper into its own
crypto_strongest_rand() function, and makes our new
curve25519_secret_key_generate function try it as appropriate.

curve25519-donna-c64: make endian-neutralness fns static

Implementat the ntor handshake

The ntor handshake--described in proposal 216 and in a paper by
Goldberg, Stebila, and Ustaoglu--gets us much better performance than
our current approach.

Add a wrapper around, and test and build support for, curve25519.

We want to use donna-c64 when we have a GCC with support for
64x64->uint128_t multiplying.  If not, we want to use libnacl if we
can, unless it's giving us the unsafe "ref" implementation.  And if
that isn't going to work, we'd like to use the
portable-and-safe-but-slow 32-bit "donna" implementation.

We might need more library searching for the correct libnacl,
especially once the next libnacl release is out -- it's likely to have
bunches of better curve25519 implementations.

I also define a set of curve25519 wrapper functions, though it really
shouldn't be necessary.

We should eventually make the -donna*.c files get build with
-fomit-frame-pointer, since that can make a difference.

curve25519-donna-c64: work on bigendian and alignment-happy systems

There was one place in curve25519-donna-c64 that was relying on
unaligned access and relying on little-endian values.  This patch
fixes that.

I've sent Adam a pull request.

Make curve25519-donna work with our compiler warnings.

Add fallback implementations for curve25519: curve25519_donna

This is copied from Adam Langley's curve25519-donna package, as
of commit 09427c9cab32075c06c3487aa01628030e1c5ae7.

Add a data-invariant linear-search map structure

I'm going to use this for looking op keys server-side for ntor.

Add a unit test for the old KDF while we're at it

Implement HKDF from RFC5869

This is a customizable extract-and-expand HMAC-KDF for deriving keys.
It derives from RFC5869, which derives its rationale from Krawczyk,
H., "Cryptographic Extraction and Key Derivation: The HKDF Scheme",
Proceedings of CRYPTO 2010, 2010, <http://eprint.iacr.org/2010/264>.

I'm also renaming the existing KDF, now that Tor has two of them.

This is the key derivation scheme specified in ntor.

There are also unit tests.

Add benchmark to test onionskin performance.

Add a crypto_dh_dup, for benchmark support

Merge remote-tracking branch 'asn/bug7592_take2'

Return connection_exit_connect() if payload creation failed.

Fixes bug #7592; bugfix on 882b389668067a29bb539d0f5bd5cb2f83b93012.

The bug is not present in any released versions of Tor.

fix some typos

Merge branch 'bug7013_take2_squashed'

Introduce tor_addr_port_parse() and use it to parse ServerTransportListenAddr.

Add a torrc option to specify the bind address of managed proxies.

Make sure that the error in ADDRMAP events is well-formed

"error=Unable to launch resolve request" is not a nice thing to tell
the controller.  Bugfix on 0.2.0.19-alpha (c11c48fc).

Minor documentation fix

Note limitation of parse_rfc_1123_time

RFC1123 suggests that we should handle two-year times, and a full
range of time zones, and other stuff too.  We don't.

In comments and logs, say "UTC" not "GMT"

Fix for #6113.

Note that the RFC1123 times we generate still all say 'GMT'.  I'm
going to suggest this is not worth changing.

Refer to RFC 4648 instead of the obsolete RFC 3548

Affects comments only. For ticket 6849.

forward-port the 0.2.3.25 changelog and release notes

Merge branch 'bug7493_redux'

Initialize ipv{4,6}_traffic_ok in entry_connection_new

This one is necessary for sending BEGIN cells with sane flags when
self-testing a directory port.  All real entry connections were
getting their ipv{4,6}_traffic_ok flags set from their listeners, and
for begindir entry connections we didn't care, but for directory
self-testing, we had a problem.

Fixes at least one more case of 7493; if there are more lingering
cases of 7493, this might fix them too.

Bug not in any released version of Tor.

when counting available descs, say whether we're counting exits

Give useful warning when both IPv4 and IPv6 are disabled on a socksport

Allow IPv4 traffic on default and old-style-config SocksPorts.

Looks like when i was writing the code to set the ipv4_traffic flag on
port_cfg_t, I missed some cases, such as the one where the port was
set from its default value.

Fix for 7493. Bug not in any released Tor.

Merge branch 'ipv6_exits'

Set IPv4/IPv6 flags correctly when being a SOCKS client

Remove some XXXX commens in dns.c

Previously, I was freaking out about passing an unspec address to
dns_found_answer() on an error, since I was using the address type to
determine whether the error was an error on an ipv4 address lookup or
on an ipv6 address lookup.  But now dns_found_answer() has a separate
orig_query_type argument to tell what kind of query it is, so there's
no need to freak out.

Fix up some comments in connection_edge.c

Add a changes file for IPv6 exits

Add manual page entries for new IPv6-exits options

Add another missing function doc

Initial support for AAAA requests on DNSPort.

This is imperfect, since it sends back whatever we would send to
a socks RESOLVE request, when in reality we should send back whatever
was asked for.

Let tor-resolve generate PTR requests for IPv6 addresses

Accept reverse resolve requests for IPv6 addresses

Add IPv6 support to tor-resolve so it can hear about IPv6 answers

Make DNS resolve requests work for IPv6

* If there's an IPv4 and an IPv6 address, return both in the resolved
  cell.
* Treat all resolve requests as permitting IPv6, since by the spec they're
  allowed to, and by the code that won't break anything.

Fix a bug in policy_is_reject_star() that was making IPv4 exits break

IPv4-only exits have an implicit "reject [::]/0", which was making
policy_is_reject_star() return 1 for them, making us refuse to do
hostname lookups.

This fix chanes policy_is_reject_star() to ask about which family we meant.

Add some missing doxygen for ipv6 exit code

Actually send back correctly-formed IPv6 CONNECTED cells

We had some old code to send back connected cells for IPv6 addresses,
but it was wrong.  Fortunately, it was also unreachable.

Remove some unused defines in dns.c

Repair DNS NEXIST hijacking workaround

The code previously detected wildcarding and replaced wildcarded
answers with DNS_STATUS_FAILED_PERMANENT.  But that status variable
was no longer used!  Remove the status variable, and instead change
the value of 'result' in evdns_callback.

Thank goodness for compiler warnings. In this case,
unused-but-set-variable.

Thanks to Linus for finding this one.

Implement a PreferIPv6 flag for SocksPorts

Define a wrapper for evdns_base_resolve_ipv6 for systems w/o libevent 2

Make address_is_invalid_destination recognize ipv6 addrs as valid.

Actually generate microdescriptors with p6 lines.

Remove a since-fixed XXX; improve a doxygen comment

Actually advertise IPv6 exit policies.

I have a theory that my tests will work better if the code I'm testing
isn't disabled.

Revise the DNS subsystem to handle IPv6 exits.

Now, every cached_resolve_t can remember an IPv4 result *and* an IPv6
result.  As a light protection against timing-based distinguishers for
IPv6 users (and against complexity!), every forward request generates
an IPv4 *and* an IPv6 request, assuming that we're an IPv6 exit.  Once
we have answers or errors for both, we act accordingly.

This patch additionally makes some useful refactorings in the dns.c
code, though there is quite a bit more of useful refactoring that could
be done.

Additionally, have a new interface for the argument passed to the
evdns_callback function.  Previously, it was just the original address
we were resolving.  But it turns out that, on error, evdns doesn't
tell you the type of the query, so on a failure we didn't know whether
IPv4 or IPv6 queries were failing.

The new convention is to have the first byte of that argument include
the query type.  I've refactored the code a bit to make that simpler.

Change signature of router_compare_to_my_exit_policy so dns can use it

Also, fix the function so it actually looks at our ipv6 exit policy.

Whitespace cleanup

Reindent a block in dns.c

Actually send BEGIN cell flags

This uses advertised IPv6 ports as an implicit version check.

When asking for a specific address type, others aren't acceptable

I think it is correct to decorate these addresses.

Better checking of exit policies for connections by hostname

Only send begin cell flags when we have some to send

Never support IPv6 traffic on a SOCKS4 connection.

Add a function to set a tor_addr_t to a null address

Get the client side of receiving an IPv6 address to work

This makes it so we can handle getting an IPv6 in the 3 different
formats we specified it for in RESOLVED cells,
END_STREAM_REASON_EXITPOLICY cells, and CONNECTED cells.

We don't cache IPv6 addresses yet, since proposal 205 isn't
implemented.

There's a refactored function for parsing connected cells; it has unit
tests.

Reject IPv4 or IPv6 addresses from the user depending on SOCKS settings

Rename ipv{4,6}_only to bind_ipv{4,6}_only

This is to avoid confusion with the ipv{4,6}_traffic flags.

Add {No,}IPv{4,6}Traffic options to SOCKSPort

These options are for telling the SOCKSPort that it should allow or
not allow connections to IPv4/IPv6 addresses.

These aren't implemented yet; this is just the code to read the
options and get them into the entrey_connection_t.

Make DNS callback pass IPv6 answers to dns_answer_found

Also, count ipv6 timeouts vs others.  If we have too many ipv6
requests time out, then we could be degrading performance because of a
broken DNS server that ignores AAAA requests.  Other cases in which
we never learn an AAAA address aren't so bad, since they don't slow
A (ipv4) answers down very much.

Make dns wildcarding checks work for ipv6

Add an IPv6Exit configuration option

Don't advertise an IPv6 exit policy, or accept IPv6 exit requests,
if IPv6Exit is not true.

Simplest version of server-side IPv6 support (no dns)

This is a relatively simple set of changes: we mostly need to
remove a few "but not for IPv6" changes.  We also needed to tweak
the handling of DNS code to generate RESOLVED cells that could get
an IPv6 answer in return.

Record, send, and receive flags in BEGIN cells

Add IPv6 support to compare_to_addr_to_node_policy

Authorities put p6 lines into microdescriptors.

Parse IPv6 policy summaries from router descriptors and microdescs

Better policy support for IPv6

Now, "accept *:80" means "accept all addresses on port 80", and not
just IPv4.  For just v4, say "accept *4:80"; for just v6 say "accept
*6:80".

We can parse these policies from torrc just fine, and we should be
successfully keeping them out of descriptors for now.

We also now include appropriate IPv6 addresses in "reject private:*"

Add a new family-specific syntax for tor_addr_parse_mask_ports

By default, "*" means "All IPv4 addresses" with
tor_addr_parse_mask_ports, so I won't break anything.  But if the new
EXTENDED_STAR flag is provided, then * means "any address", *4 means
"any IPv4 address" (that is, 0.0.0.0/0), and "*6" means "any IPv6
address" (that is, [::]/0).

This is going to let us have a syntax for specifying exit policies in
torrc that won't drive people mad.

Also, add a bunch of unit tests for tor_addr_parse_mask_ports to test
these new features, and to increase coverage.

Refactor begin cell parsing into its own function, with tests.

Add 'flags' argument to begin cells, per proposal 208.

Refactor client_dns_set_{reverse_,}addressmap() to take a circ

We'd like these functions to be circuit-relative so that we can
implement a per-circuit DNS cache and per-circuit DNS cache rules for
proposal 205 or its successors.  I'm doing this now, as a part of the
IPv6 exits code, since there are about to be a few more instances
of code using this.

Move address map into its own file.

Merge branch 'bug7267' of ssh://git-rw.torproject.org/user/andrea/tor

Add comment explaining different channel close functions

Merge remote-tracking branch 'public/bug7059'

Actually distribute the geoip6 file.

Fixes a bug (with no ticket) on 0.2.4.6-alpha.

Add changes file for bug 7267

Call channel_mark_for_close() properly in hibernate_go_dormant()