Start refactoring trusted_dir_servers into trusted and fallback lists

We use trusted_dir_server_t for two pieces of functionality: a list of
all directory authorities, and a list of initial places to look for
a directory.  With this patch we start to separate those two roles.

There is as of now no actual way to be a fallback directory without being
an authority.

Correct moribund logic about caching v2 networkstatuses

Make output of router_get_trusted_dir_servers const

Merge remote-tracking branch 'asn/bug7592_take2'

Return connection_exit_connect() if payload creation failed.

Fixes bug #7592; bugfix on 882b389668067a29bb539d0f5bd5cb2f83b93012.

The bug is not present in any released versions of Tor.

fix some typos

Merge branch 'bug7013_take2_squashed'

Introduce tor_addr_port_parse() and use it to parse ServerTransportListenAddr.

Add a torrc option to specify the bind address of managed proxies.

Make sure that the error in ADDRMAP events is well-formed

"error=Unable to launch resolve request" is not a nice thing to tell
the controller.  Bugfix on 0.2.0.19-alpha (c11c48fc).

Minor documentation fix

Note limitation of parse_rfc_1123_time

RFC1123 suggests that we should handle two-year times, and a full
range of time zones, and other stuff too.  We don't.

In comments and logs, say "UTC" not "GMT"

Fix for #6113.

Note that the RFC1123 times we generate still all say 'GMT'.  I'm
going to suggest this is not worth changing.

Refer to RFC 4648 instead of the obsolete RFC 3548

Affects comments only. For ticket 6849.

forward-port the 0.2.3.25 changelog and release notes

Merge branch 'bug7493_redux'

Initialize ipv{4,6}_traffic_ok in entry_connection_new

This one is necessary for sending BEGIN cells with sane flags when
self-testing a directory port.  All real entry connections were
getting their ipv{4,6}_traffic_ok flags set from their listeners, and
for begindir entry connections we didn't care, but for directory
self-testing, we had a problem.

Fixes at least one more case of 7493; if there are more lingering
cases of 7493, this might fix them too.

Bug not in any released version of Tor.

when counting available descs, say whether we're counting exits

Give useful warning when both IPv4 and IPv6 are disabled on a socksport

Allow IPv4 traffic on default and old-style-config SocksPorts.

Looks like when i was writing the code to set the ipv4_traffic flag on
port_cfg_t, I missed some cases, such as the one where the port was
set from its default value.

Fix for 7493. Bug not in any released Tor.

Merge branch 'ipv6_exits'

Set IPv4/IPv6 flags correctly when being a SOCKS client

Remove some XXXX commens in dns.c

Previously, I was freaking out about passing an unspec address to
dns_found_answer() on an error, since I was using the address type to
determine whether the error was an error on an ipv4 address lookup or
on an ipv6 address lookup.  But now dns_found_answer() has a separate
orig_query_type argument to tell what kind of query it is, so there's
no need to freak out.

Fix up some comments in connection_edge.c

Add a changes file for IPv6 exits

Add manual page entries for new IPv6-exits options

Add another missing function doc

Initial support for AAAA requests on DNSPort.

This is imperfect, since it sends back whatever we would send to
a socks RESOLVE request, when in reality we should send back whatever
was asked for.

Let tor-resolve generate PTR requests for IPv6 addresses

Accept reverse resolve requests for IPv6 addresses

Add IPv6 support to tor-resolve so it can hear about IPv6 answers

Make DNS resolve requests work for IPv6

* If there's an IPv4 and an IPv6 address, return both in the resolved
  cell.
* Treat all resolve requests as permitting IPv6, since by the spec they're
  allowed to, and by the code that won't break anything.

Fix a bug in policy_is_reject_star() that was making IPv4 exits break

IPv4-only exits have an implicit "reject [::]/0", which was making
policy_is_reject_star() return 1 for them, making us refuse to do
hostname lookups.

This fix chanes policy_is_reject_star() to ask about which family we meant.

Add some missing doxygen for ipv6 exit code

Actually send back correctly-formed IPv6 CONNECTED cells

We had some old code to send back connected cells for IPv6 addresses,
but it was wrong.  Fortunately, it was also unreachable.

Remove some unused defines in dns.c

Repair DNS NEXIST hijacking workaround

The code previously detected wildcarding and replaced wildcarded
answers with DNS_STATUS_FAILED_PERMANENT.  But that status variable
was no longer used!  Remove the status variable, and instead change
the value of 'result' in evdns_callback.

Thank goodness for compiler warnings. In this case,
unused-but-set-variable.

Thanks to Linus for finding this one.

Implement a PreferIPv6 flag for SocksPorts

Define a wrapper for evdns_base_resolve_ipv6 for systems w/o libevent 2

Make address_is_invalid_destination recognize ipv6 addrs as valid.

Actually generate microdescriptors with p6 lines.

Remove a since-fixed XXX; improve a doxygen comment

Actually advertise IPv6 exit policies.

I have a theory that my tests will work better if the code I'm testing
isn't disabled.

Revise the DNS subsystem to handle IPv6 exits.

Now, every cached_resolve_t can remember an IPv4 result *and* an IPv6
result.  As a light protection against timing-based distinguishers for
IPv6 users (and against complexity!), every forward request generates
an IPv4 *and* an IPv6 request, assuming that we're an IPv6 exit.  Once
we have answers or errors for both, we act accordingly.

This patch additionally makes some useful refactorings in the dns.c
code, though there is quite a bit more of useful refactoring that could
be done.

Additionally, have a new interface for the argument passed to the
evdns_callback function.  Previously, it was just the original address
we were resolving.  But it turns out that, on error, evdns doesn't
tell you the type of the query, so on a failure we didn't know whether
IPv4 or IPv6 queries were failing.

The new convention is to have the first byte of that argument include
the query type.  I've refactored the code a bit to make that simpler.

Change signature of router_compare_to_my_exit_policy so dns can use it

Also, fix the function so it actually looks at our ipv6 exit policy.

Whitespace cleanup

Reindent a block in dns.c

Actually send BEGIN cell flags

This uses advertised IPv6 ports as an implicit version check.

When asking for a specific address type, others aren't acceptable

I think it is correct to decorate these addresses.

Better checking of exit policies for connections by hostname

Only send begin cell flags when we have some to send

Never support IPv6 traffic on a SOCKS4 connection.

Add a function to set a tor_addr_t to a null address

Get the client side of receiving an IPv6 address to work

This makes it so we can handle getting an IPv6 in the 3 different
formats we specified it for in RESOLVED cells,
END_STREAM_REASON_EXITPOLICY cells, and CONNECTED cells.

We don't cache IPv6 addresses yet, since proposal 205 isn't
implemented.

There's a refactored function for parsing connected cells; it has unit
tests.

Reject IPv4 or IPv6 addresses from the user depending on SOCKS settings

Rename ipv{4,6}_only to bind_ipv{4,6}_only

This is to avoid confusion with the ipv{4,6}_traffic flags.

Add {No,}IPv{4,6}Traffic options to SOCKSPort

These options are for telling the SOCKSPort that it should allow or
not allow connections to IPv4/IPv6 addresses.

These aren't implemented yet; this is just the code to read the
options and get them into the entrey_connection_t.

Make DNS callback pass IPv6 answers to dns_answer_found

Also, count ipv6 timeouts vs others.  If we have too many ipv6
requests time out, then we could be degrading performance because of a
broken DNS server that ignores AAAA requests.  Other cases in which
we never learn an AAAA address aren't so bad, since they don't slow
A (ipv4) answers down very much.

Make dns wildcarding checks work for ipv6

Add an IPv6Exit configuration option

Don't advertise an IPv6 exit policy, or accept IPv6 exit requests,
if IPv6Exit is not true.

Simplest version of server-side IPv6 support (no dns)

This is a relatively simple set of changes: we mostly need to
remove a few "but not for IPv6" changes.  We also needed to tweak
the handling of DNS code to generate RESOLVED cells that could get
an IPv6 answer in return.

Record, send, and receive flags in BEGIN cells

Add IPv6 support to compare_to_addr_to_node_policy

Authorities put p6 lines into microdescriptors.

Parse IPv6 policy summaries from router descriptors and microdescs

Better policy support for IPv6

Now, "accept *:80" means "accept all addresses on port 80", and not
just IPv4.  For just v4, say "accept *4:80"; for just v6 say "accept
*6:80".

We can parse these policies from torrc just fine, and we should be
successfully keeping them out of descriptors for now.

We also now include appropriate IPv6 addresses in "reject private:*"

Add a new family-specific syntax for tor_addr_parse_mask_ports

By default, "*" means "All IPv4 addresses" with
tor_addr_parse_mask_ports, so I won't break anything.  But if the new
EXTENDED_STAR flag is provided, then * means "any address", *4 means
"any IPv4 address" (that is, 0.0.0.0/0), and "*6" means "any IPv6
address" (that is, [::]/0).

This is going to let us have a syntax for specifying exit policies in
torrc that won't drive people mad.

Also, add a bunch of unit tests for tor_addr_parse_mask_ports to test
these new features, and to increase coverage.

Refactor begin cell parsing into its own function, with tests.

Add 'flags' argument to begin cells, per proposal 208.

Refactor client_dns_set_{reverse_,}addressmap() to take a circ

We'd like these functions to be circuit-relative so that we can
implement a per-circuit DNS cache and per-circuit DNS cache rules for
proposal 205 or its successors.  I'm doing this now, as a part of the
IPv6 exits code, since there are about to be a few more instances
of code using this.

Move address map into its own file.

Merge branch 'bug7267' of ssh://git-rw.torproject.org/user/andrea/tor

Add comment explaining different channel close functions

Merge remote-tracking branch 'public/bug7059'

Actually distribute the geoip6 file.

Fixes a bug (with no ticket) on 0.2.4.6-alpha.

Add changes file for bug 7267

Call channel_mark_for_close() properly in hibernate_go_dormant()

bump to 0.2.4.6-alpha-dev

bump to 0.2.4.6-alpha

fold in changes files

Merge branch 'maint-0.2.3'

use a more logical operator

Fix a harmless bug when opting against publishing a relay descriptor
because DisableNetwork is set.

Fixes bug 7464; bugfix on 0.2.3.9-alpha.

Possible fix for bug 7212

This is the simplest possible workaround: make it safe to call
circuit_cell_queue_clear() on a non-attached circuit, and make it
safe-but-a-LD_BUG-warning to call update_circuit_on_cmux() on a
non-attached circuit.

 LocalWords:  unstage src Untracked

Merge branch 'check_for_orconn_on_close_squashed' of ssh://git-rw.torproject.org/user/andrea/tor

Add changes file for connection_mark_for_close()/connection_mark_and_flush() or_connection_t checking

Make everything in connection.c that uses connection_or_notify_error() also use connection_mark_and_close_internal() to avoid spurious warnings

Check for orconns in connection_mark_for_close and connection_mark_and_flush, and pass the call through channel_close_for_error with a warning to avoid asserts

Fix a memory leak in handling errors on CERTS cells. bug 7422

Fix test.c compilation on mingw32.

Looks like windows doesn't have an s6_addr32 in its in6_addr.

Bug not in any released version of Tor; bugfix on abb886014e1ee.

Merge remote-tracking branch 'origin/maint-0.2.3'

Turn a memwipe in tor_process_handle_destroy() back to memset

It broke linking on tor-resolve.c, and it's not actually sanitizing
anything sensitive.  Fix for bug 7420; bug not on ony released Tor.

Turn some memset()s introduced in tor 0.2.4 into memwipe()s

Merge remote-tracking branch 'origin/maint-0.2.3'

Conflicts:
src/common/crypto.c
src/or/rendservice.c

Merge branch 'bug7352_023_rebased' into maint-0.2.3

Add and use and unlikely-to-be-eliminated memwipe()

Apparently some compilers like to eliminate memset() operations on
data that's about to go out-of-scope.  I've gone with the safest
possible replacement, which might be a bit slow.  I don't think this
is critical path in any way that will affect performance, but if it
is, we can work on that in 0.2.4.

Fixes bug 7352.

Merge branch 'bug7350' of ssh://git-rw.torproject.org/user/andrea/tor

Add changes file for bug7350

Don't call channel_send_destroy() when closing a circuit on a closing channel

Check for closing channel in channel_send_destroy()

Merge branch 'bug7285'