Distcheck repair: add new python testing code to "tarballs"

'make distcheck' now passes again.

test_config.c: log which address should have failed

Clean up test_hs.c: warning fix; tor_free() usage.

My OSX laptop rightly gave a warning because of sticking strlen() into
an int, but once I took a closer look... it appears that the strlen()
was part of a needlessly verbose implementation for tor_strdup().

While I was there, I fixed the usage of tor_free() in test_hs.c: It
checks for NULL, and it zeros its argument.  So instead of
    if (foo) {
      tor_free(foo);
      foo = NULL;
    }
we should just say
    tor_free(foo);

TransProxyType replaces TransTPROXY option

I'm making this change now since ipfw will want its own option too,
and proliferating options here isn't sensible.

(See #10582 and #10267)

More fixes to rip out all of the v2 directory code.

(This was a squash commit, but I forgot to squash it. Sorry! --Nick)

10365: Close connections if the VERSIONS cell has an odd length.

Fixes issue 10365.

check-spaces fixes for test_router.c

Defensive programming in control_event_hs_descriptor_*

It looks to me like these functions can never get called with NULL
arguments, but better safe than sorry.

Merge remote-tracking branch 'houqp/hs_control'

slownacl's pure-python curve25519 lets us test ntor everywhere.

Improvement on f308adf8382bc7e61ea05a172, where we made the ntor
unit tests run everywhere... so long as a python curve25519 module
was installed.  Now the unit tests don't require that module.

Merge remote-tracking branch 'public/bug10758'

changelog for 10793

Some anti-forensics paranoia...

sed -i 's/BN_free/BN_clear_free/g'

Merge branch 'feature_10582'

Add a sandbox rule to allow IP_TRANSPARENT

Move the friendly warning about TPROXY and root to EPERM time

I'm doing this because:
   * User doesn't mean you're running as root, and running as root
     doesn't mean you've set User.
   * It's possible that the user has done some other
     capability-based hack to retain the necessary privileges.

Add support for TPROXY via new TransTPRoxy option

Based on patch from "thomo" at #10582.

add test case for node_describe_by_id

add test case for hidden service async events

add hidden service descriptor async control event

add change log for hs_desc async event

Rip out all of the v2 directory code.

The remaining vestige is that we continue to publish the V2dir flag,
and that, for the controller, we continue to emit v2 directory
formats when requested.

sort the changes entries that nick added

also replace them with the versions of the changelog stanzas from
release-0.2.4, for consistency

Document more coverage tricks in doc/HACKING

Add some more options to the findMoreChanges.pl kludge-script

Note a missing number.

Incorporate changes from 0.2.4.20 into 0.2.5.2 changelog-in-progress

Move all merged-in-0.2.4.18-rc items into 0.2.5.2-alpha changelog section.

whitespace fixes

Coverate in util.c: test that tor_parse_* rejects negative base.

Add an --accel switch to run unit tests with crypto acceleration

Fix some seccomp2 issues

Fix for #10563.  This is a compatibility issue with libseccomp-2.1.
I guess you could call it a bugfix on 0.2.5.1?

Add explicit check for 0-length extend2 cells

This is harmless in the Tor of today, but important for correctness.

Fixes bug 10536; bugfix on 0.2.4.8-alpha. Reported by "cypherpunks".

Merge remote-tracking branch 'public/bug10485'

Move onion-type stats message into heartbeat

Fix for 10485. Fix on 0.2.4.17-alpha.

Merge remote-tracking branch 'origin/maint-0.2.4'

Clarify DirPort multiplicity

Fix for #10470 as suggested by arma

and forward-port those lines too

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge branch 'bug10465' into maint-0.2.4

Fix automapping to ipv6

Bugfix on 0.2.4.7-alpha; fixes bug 10465.

forward-port recent changelogs and release notes

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge branch 'bug10456' into maint-0.2.4

Fix a logic error in circuit_stream_is_being_handled.

When I introduced the unusable_for_new_circuits flag in
62fb209d837f3f551, I had a spurious ! in the
circuit_stream_is_being_handled loop.  This made us decide that
non-unusable circuits (that is, usable ones) were the ones to avoid,
and caused it to launch a bunch of extra circuits.

Fixes bug 10456; bugfix on 0.2.4.12-alpha.

Merge remote-tracking branch 'linus/bug10324'

Merge remote-tracking branch 'origin/maint-0.2.4'

Conflicts:
src/common/crypto.c

Merge branch 'bug10402_redux_024' into maint-0.2.4

Never allow OpenSSL engines to replace the RAND_SSLeay method

This fixes bug 10402, where the rdrand engine would use the rdrand
instruction, not as an additional entropy source, but as a replacement
for the entire userspace PRNG.  That's obviously stupid: even if you
don't think that RDRAND is a likely security risk, the right response
to an alleged new alleged entropy source is never to throw away all
previously used entropy sources.

Thanks to coderman and rl1987 for diagnosing and tracking this down.

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge branch 'bug10423' into maint-0.2.4

Merge remote-tracking branch 'origin/maint-0.2.4'

Conflicts:
src/or/microdesc.c

Conflict because one change was on line adjacent to line where
01206893 got fixed.

Merge remote-tracking branch 'public/bug10409_023' into maint-0.2.4

Avoid double-free on failure to dump_descriptor() a cached md

This is a fix for 10423, which was introducd in caa0d15c in 0.2.4.13-alpha.

Spotted by bobnomnom.

Avoid free()ing from an mmap on corrupted microdesc cache

The 'body' field of a microdesc_t holds a strdup()'d value if the
microdesc's saved_location field is SAVED_IN_JOURNAL or
SAVED_NOWHERE, and holds a pointer to the middle of an mmap if the
microdesc is SAVED_IN_CACHE.  But we weren't setting that field
until a while after we parsed the microdescriptor, which left an
interval where microdesc_free() would try to free() the middle of
the mmap().

This patch also includes a regression test.

This is a fix for #10409; bugfix on 0.2.2.6-alpha.

Make tor-gencert create 2048 bit signing keys.

Fix get_configured_bridge_by_addr_port_digest(.,.,NULL)

The old behavior was that NULL matched only bridges without known
identities; the correct behavior is that NULL should match all
bridges (assuming that their addr:port matches).

Merge remote-tracking branch 'public/bug10131_024'

Remove a check in channeltls.c that could never fail.

We were checking whether a 8-bit length field had overflowed a
503-byte buffer. Unless somebody has found a way to store "504" in a
single byte, it seems unlikely.

Fix for 10313 and 9980. Based on a pach by Jared L Wong. First found
by David Fifield with STACK.

Set CREATE_NO_WINDOW in tor_spawn_background.

This flag prevents the creation of a console window popup on Windows. We
need it for pluggable transport executables--otherwise you get blank
console windows when you launch the 3.x browser bundle with transports
enabled.

http://msdn.microsoft.com/en-us/library/ms684863.aspx#CREATE_NO_WINDOW

The browser bundles that used Vidalia used to set this flag when
launching tor itself; it was apparently inherited by the pluggable
transports launched by tor. In the 3.x bundles, tor is launched by some
JavaScript code, which doesn't have the ability to set CREATE_NO_WINDOW.
tor itself is now being compiled with the -mwindows option, so that it
is a GUI application, not a console application, and doesn't show a
console window in any case. This workaround doesn't work for pluggable
transports, because they need to be able to write control messages to
stdout.

https://trac.torproject.org/projects/tor/ticket/9444#comment:30

Merge branch 'bug4677'

Restore prop198 behavior from 4677 patch

The previous commit from piet would have backed out some of proposal
198 and made servers built without the V2 handshake not use the
unrestricted cipher list from prop198.

Bug not in any released Tor.

Restore ability to build with V2_HANDSHAKE_SERVER

Fixes bug 4677; bugfix on 0.2.3.2-alpha. Fix by "piet".

Avoid warning about impossible check for flags & 0

Fixes CID 743381

Only update view of micrdescriptor pos if pos is fetchable.

It's conceivable (but probably impossible given our code) that lseek
could return -1 on an error; when that happens, we don't want off to
become -1.

Fixes CID 1035124.

Add checks to prevent memcmp(.,.,negative) in tests (CID 1064417)

Fix another unit test memory leak. CID1087949,CID1087950.

Fix a bunch of coverity-spotted unit test resource leaks

CIDs: 1130994, 1130993, 1130992, 1130991

Remove needless fd var from test. CID 1130989.

Handle unlikely negative time in tor_log_err_sigsafe

Coverity wants this; CID 1130990.

Whitespace cleanup

Merge remote-tracking branch 'sysrqb/bug9859_5'

Fix crypto/digests test

Merge branch 'finish_prop157'

Tweak #10162 documentation a bit

Add a _GNU_SOURCE definition to backtrace.c to fix compilation

Whoops; changes files belong in changes.

Whoops -- add missing defined().

Make header includes match declarations in pc_from_ucontext.m4

With any luck, this will clean up errors where we detect that
REG_{EIP,RIP} is present in autoconf, but when we go to include it,
it isn't there.

Fix compilation under openssl 0.9.8

It's not nice to talk about NID_aes_{128,256}_{ctr,gcm} when they
don't exist.

Fix on 84458b79a78ea7e26820bf0; bug not in any released Tor.

Remove 'struct timeval now' that was shadowing 'struct timeval now'.

This was a mistake in the merge commit 7a2b30fe16eacc040b3dd11. It
would have made the CellStatistics code give completely bogus
results. Bug not in any released Tor.

Fix whitespace

Log more OpenSSL engine statuses at startup.

Fixes ticket 10043; patch from Joshua Datko.

Merge branch 'backtrace_squashed_merged'

Merge branch 'backtrace_squashed'

Conflicts:
src/common/sandbox.c
src/common/sandbox.h
src/common/util.c
src/or/main.c
src/test/include.am
src/test/test.c

Improve backtrace changes file

Refactor format_*_number_sigsafe to have a common implementation

Reseolve DOCDOC and XXXXs in backtrace.c

Tests for backtrace.c

These need to be a separate executable, since the point of backtrace.c
is that it can crash and write stuff.

Unit tests for new functions in log.c

Make backtrace handler handle signals correctly.

This meant moving a fair bit of code around, and writing a signal
cleanup function.  Still pretty nice from what I can tell, though.

Use pc_from_ucontext.m4 from Google Performance Tools

This M4 module lets us learn the right way (out of at least 18
possibilities) to extract the current PC for stack-trace-fixup-in-signal
purposes.  The Google Performance Tools license is 3-clause BSD.

Improve new assertion message logging

Don't report that a failure happened in the assertion_failed function just
because we logged it from there.

Add a sighandler-safe logging mechanism

We had accidentially grown two fake ones: one for backtrace.c, and one
for sandbox.c.  Let's do this properly instead.

Now, when we configure logs, we keep track of fds that should get told
about bad stuff happening from signal handlers.  There's another entry
point for these that avoids using non-signal-handler-safe functions.

On Linux (and some other systems) we need -rdynamic for backtraces

Basic backtrace ability

On platforms with the backtrace/backtrace_symbols_fd interface, Tor
can now dump stack traces on assertion failure.  By default, I log
them to DataDir/stack_dump and to stderr.

forward-port the 0.2.4.18-rc changelog

Merge remote-tracking branch 'origin/maint-0.2.4'

Conflicts:
src/or/relay.c

Conflict changes were easy; compilation fixes required were using
using TOR_SIMPLEQ_FIRST to get head of cell queue.

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Conflicts:
src/or/or.h
src/or/relay.c

Conflicts were simple to resolve.  More fixes were needed for
compilation, including: reinstating the tv_to_msec function, and renaming
*_conn_cells to *_chan_cells.

Merge branch 'bug9093_023' into maint-0.2.3