Merge remote-tracking branch 'origin/maint-0.2.4'

This is an "ours" merge, taking nothing, since we already had the
changes that were in a83abcf5ee5cb8fe245bc97e0

Fix unittest compilation with --disable-curve25519

This is a fix for 9700, which we already fixed in 0.2.5.x, but which
got left in 0.2.4.x.

This is a partial backport of a0a855d586d99540277014ccd3

Merge remaining changes/* items into ChangeLog

(Not taking bug11235 since it's a whitespace fix)

extract some changelog principles into doc/HACKING

sort stanzas by interest, and sort by version within stanzas

(users want to know about client fixes before they want to know about
unit test fixes.)

missing colon

use the formatting from 0.2.4.21 for the 0.2.4.21 changelog stanza

fix a few grammar things, and deprecate 'servers' and 'nodes'

also clarify a few explanations. so far so good!

copy-edit the 0.2.5.3-alpha changelog even more

Work on the changelog for 0.2.5.3-alpha some more

Add changes file for bug #11235

Appease make check-spaces

Update to latest tinytest

(This pulls in some fixes to tinytest_demo.c, which Tor doesn't build.)

Sort the 0.2.5.3-alpha changelog entries a little better.

Still haven't edited any.

Also, remove all the changes/* entries that got merged back in
6b5ef3889d83c715973d.

Clarify ClientOnly documentation

The option is unneeded, not meaningless, so explain what it does.

Patch from Matt Pagan; fixes 9059.

Fix some leaks/missed checks in the unit tests

Coverity spotted these.

Sort the 0.2.5.3-alpha changelog a little

Start work on an 0.2.5.3-alpha changelog.

This collects all the changes file, and find the stuff that also
appeared new in 0.2.4.21.

bugfix-on for 5018_notice

Merge remote-tracking branch 'asn/bug5018_notice'

Merge remote-tracking branch 'origin/maint-0.2.4'

Remove the unused router_hex_digest_matches

When I removed some unused functions in 5bfa373eeeb, this became
unused as well.

Merge remote-tracking branch 'asn/bug11069_take2'

Throw control port warning if we failed to connect to all our bridges.

 Tone down the log message for when we don't need a PT proxy.

Merge branch 'bug11156_squashed'

Merge branch 'bug11043_take2_squashed'

Don't do directory fetches before all PTs have been configured.

Improve the log message for when the Extended ORPort is not enabled.

Upgrade to the latest version of tinytest.

This brings us to tinytest commit 709a36ba63ff16d8.

The only big change tor-side is that we don't need our own test_mem_op
operation any longer.

tinytest tt_{mem,str}_op now handle NULLs better

Now a NULL argument to either makes it fail, not crash.

Fies bug 9004; bugfix on 0.2.2.4-alpha.

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge branch 'bug11108'

Clarify default behavior of {SOCKS,Dir}Policy harder

Improvement on 11108 fix; suggested by cypherpunks.

Give the HTTPS url for jenkins in doc/HACKING

Correct the URL in the "a relay on win95???" message

This is a fix for 9393; it's not a bugfix on any Tor version per se,
but rather on whatever Tor version was current when we reorganized the
wiki.

Fix whitespace errors, all of them mine.

Rename PredictedCircsRelevanceTime->PredictedPortsRelevanceTime

All circuits are predictive; it's the ports that are expiring here.

Merge branch 'ticket9176_squashed'

Conflicts:
doc/tor.1.txt

Fix wide lines.

Lower the maximum for PrecictedCircsRelevanceTime to one hour

Fixed spacing.

More correctly documented PredictedCircsRelevanceTime in tor.1.txt

Added max value to PredictedCircsRelevanceTime.

Added Documentation for PredictedCircsRelevanceTime config file argument.

PredictedCircsRelevanceTime: limit how long we predict a port will be used

By default, after you've made a connection to port XYZ, we assume
you might still want to have an exit ready to connect to XYZ for one
hour. This patch lets you lower that interval.

Implements ticket 91

Merge remote-tracking branch 'arma/ticket5528'

Conflicts:
src/or/router.c
src/test/test_dir.c

Merge remote-tracking branch 'public/bug8788'

Document alternate bandwidth/memory unit spellings

Include v3 in documented 'protocols' in rend_service_descriptor_t

Also make it unsigned and document that it's for INTRODUCE cell versions.

Fixes 9099; bugfix on 0.2.1.5-alpha, which introduced the v3 protocol.

Merge branch 'bug10169_025_v2'

Conflicts:
src/test/test.c

Merge remote-tracking branch 'public/bug10169_024' into bug10169_025_v2

Conflicts:
src/common/compat_libevent.h
src/or/relay.c

Merge remote-tracking branch 'public/bug10169_023' into bug10169_024

Conflicts:
src/or/relay.c

Mention doc/HACKING in the readme

ATTR_NORETURN is needed on lost_owning_controller now

This should fixes some "hey, that function could have
__attribute__((noreturn))" warnings  introduced by f96400d9.

Bug not in any released version of Tor.

Warn if ports are specified in {Socks,Dir}Policy

We have ignored any ports listed here since 80365b989 (0.0.7rc1),
but we didn't warn the user that we were ignoring them.  This patch
adds a warning if you put explicit ports in any of the options
{Socks,Dir}Policy or AuthDir{Reject,Invalid,BadDir,BadExit}.  It
also adjusts the manpage to say that ports are ignored.

Fixes ticket 11108.

Fix compilation warnings in tor_addr_make_null patch

There was one "missing prototype" warning because the test function
wasn't static, and one "unused parameter" warning about the "data"
parameter.

Also, I added a couple of tests to make sure that the "make_null"
addresses really were the addresses we expected, by formatting them
as strings.

add test for tor_addr_make_null

Signed-off-by: Kevin Murray <spam@kdmurray.id.au>

tweak changes file.

Fix max client name length in HiddenServiceAuthorizeClient description

REND_CLIENTNAME_MAX_LEN is set to 16, not 19.

trivial whitespace fixes

forward-port the 0.2.4.21 release notes

whitespace fix

Merge branch 'bug10884_squashed'

Unit tests for test_routerkeys_write_fingerprint

Unit tests for pk fingerprint functions

Tighten router_write_fingerprint impl

Write hashed bridge fingerprint to logs and to disk.

Implements #10884.

Merge remote-tracking branch 'karsten/task-5824'

Monotonize the OOM-killer data timers

In a couple of places, to implement the OOM-circuit-killer defense
against sniper attacks, we have counters to remember the age of
cells or data chunks.  These timers were based on wall clock time,
which can move backwards, thus giving roll-over results for our age
calculation.  This commit creates a low-budget monotonic time, based
on ratcheting gettimeofday(), so that even in the event of a time
rollback, we don't do anything _really_ stupid.

A future version of Tor should update this function to do something
even less stupid here, like employ clock_gettime() or its kin.

Merge remote-tracking branch 'public/bug10449'

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'public/no_itime_queue' into maint-0.2.4

Trivial comment fix.

Merge remote-tracking branch 'public/bug11048'

Merge remote-tracking branch 'karsten/geoip2regcountry'

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Fix geoip by falling back to registered countries.

See 1d2179bc900f1646a5491b65294e78b175e70056 in master for details.

"""
Fall back to registered country if necessary.

When extracting geoip and geoip6 files from MaxMind's GeoLite2 Country
database, we only look at country->iso_code which is the two-character ISO
3166-1 country code of the country where MaxMind believes the end user is
located.

But if MaxMind thinks a range belongs to anonymous proxies, they don't put
anything there.  Hence, we omit those ranges and resolve them all to '??'.
That's not what we want.

What we should do is first try country->iso_code, and if there's no such
key, try registered_country->iso_code which is the country in which the
ISP has registered the IP address.

In short: let's fill all A1 entries with what ARIN et. al think.
"""

Fall back to registered country if necessary.

When extracting geoip and geoip6 files from MaxMind's GeoLite2 Country
database, we only look at country->iso_code which is the two-character ISO
3166-1 country code of the country where MaxMind believes the end user is
located.

But if MaxMind thinks a range belongs to anonymous proxies, they don't put
anything there.  Hence, we omit those ranges and resolve them all to '??'.
That's not what we want.

What we should do is first try country->iso_code, and if there's no such
key, try registered_country->iso_code which is the country in which the
ISP has registered the IP address.

In short: let's fill all A1 entries with what ARIN et. al think.

Download MaxMind's geoip file over https.

If the cert turns out to be invalid or if wget is otherwise unable to
verify it, it's going to return an error and not download the file for us.

Spotted by nickm.

Merge branch 'bug11047'

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'public/feature9777_024_squashed' into maint-0.2.4

Threadproof our log_backtrace implementation

It's possible for two threads to hit assertion failures at the same
time.  If that happens, let's keep them from stomping on the same
cb_buf field.

Fixes bug 11048; bugfix on 0.2.5.2-alpha. Reported by "cypherpunks".

pass our compiler -fasynchronous-unwind-tables by default

This should make more platforms (in particular, ones with compilers
where -fomit-frame-pointer is on by default but table generation
isn't) support backtrace generation.  Thanks to cypherpunks for this
one.

Fixes bug 11047; bugfix on 0.2.5.2-alpha.

Include instructions on generating geoip files.

Implements #10924.

When not an exit node, don't test for DNS hijacking.

Back in 5e762e6a5c0e6729bb7dbb586af2690c087d9ba8, non-exit servers
stopped launching DNS requests for users.  So there's no need for them
to see if their DNS answers are hijacked.

Patch from Matt Pagan.  I think this is a 965 fix.

Merge remote-tracking branch 'public/bug10987_024'

Style tweaks on code, changes file for 10987

Fix: send back correct IPv6 SOCKS5 connect reply

For a client using a SocksPort connection and IPv6, the connect reply
from tor daemon did not handle AF_INET6 thus sending back the wrong
payload to the client.

A changes file is provided and this fixes #10987

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Changes file for b063ebbc60a1fce9

This bugfix didn't get a trac ticket because the internet in this
room is an exercise in futility.

fixed long -> int implicit cast warning line 3453

Merge remote-tracking branch 'origin/maint-0.2.4'

whoops; mistaek in a496010642c2. so many comma

Merge remote-tracking branch 'origin/maint-0.2.4'

add changes file for bug 10929

Enveigle configure to look for a2x.py as well as a2x.

It's not guaranteed that every package symlinks a2x to a2x.py; OpenBSD
does not do this, so let's just look for a2x.py as well.

changes file for 10928

Restitute a successful stat call to this test case.

Since the first stat call is made for it to deliberately fail, and we
reference st.st_mode without st having valid data, st.st_mode can contain
garbage and cause chmod to fail with EINVAL. We rerun stat and ensure it
succeeded.

Also make use of tt_abort_perror, to properly convey failure reasons to
the user.