Merge remote-tracking branch 'public/bug10131_024'

Remove a check in channeltls.c that could never fail.

We were checking whether a 8-bit length field had overflowed a
503-byte buffer. Unless somebody has found a way to store "504" in a
single byte, it seems unlikely.

Fix for 10313 and 9980. Based on a pach by Jared L Wong. First found
by David Fifield with STACK.

Set CREATE_NO_WINDOW in tor_spawn_background.

This flag prevents the creation of a console window popup on Windows. We
need it for pluggable transport executables--otherwise you get blank
console windows when you launch the 3.x browser bundle with transports
enabled.

http://msdn.microsoft.com/en-us/library/ms684863.aspx#CREATE_NO_WINDOW

The browser bundles that used Vidalia used to set this flag when
launching tor itself; it was apparently inherited by the pluggable
transports launched by tor. In the 3.x bundles, tor is launched by some
JavaScript code, which doesn't have the ability to set CREATE_NO_WINDOW.
tor itself is now being compiled with the -mwindows option, so that it
is a GUI application, not a console application, and doesn't show a
console window in any case. This workaround doesn't work for pluggable
transports, because they need to be able to write control messages to
stdout.

https://trac.torproject.org/projects/tor/ticket/9444#comment:30

Merge branch 'bug4677'

Restore prop198 behavior from 4677 patch

The previous commit from piet would have backed out some of proposal
198 and made servers built without the V2 handshake not use the
unrestricted cipher list from prop198.

Bug not in any released Tor.

Restore ability to build with V2_HANDSHAKE_SERVER

Fixes bug 4677; bugfix on 0.2.3.2-alpha. Fix by "piet".

Avoid warning about impossible check for flags & 0

Fixes CID 743381

Only update view of micrdescriptor pos if pos is fetchable.

It's conceivable (but probably impossible given our code) that lseek
could return -1 on an error; when that happens, we don't want off to
become -1.

Fixes CID 1035124.

Add checks to prevent memcmp(.,.,negative) in tests (CID 1064417)

Fix another unit test memory leak. CID1087949,CID1087950.

Fix a bunch of coverity-spotted unit test resource leaks

CIDs: 1130994, 1130993, 1130992, 1130991

Remove needless fd var from test. CID 1130989.

Handle unlikely negative time in tor_log_err_sigsafe

Coverity wants this; CID 1130990.

Whitespace cleanup

Merge remote-tracking branch 'sysrqb/bug9859_5'

Fix crypto/digests test

Merge branch 'finish_prop157'

Tweak #10162 documentation a bit

Add a _GNU_SOURCE definition to backtrace.c to fix compilation

Whoops; changes files belong in changes.

Whoops -- add missing defined().

Make header includes match declarations in pc_from_ucontext.m4

With any luck, this will clean up errors where we detect that
REG_{EIP,RIP} is present in autoconf, but when we go to include it,
it isn't there.

Fix compilation under openssl 0.9.8

It's not nice to talk about NID_aes_{128,256}_{ctr,gcm} when they
don't exist.

Fix on 84458b79a78ea7e26820bf0; bug not in any released Tor.

Remove 'struct timeval now' that was shadowing 'struct timeval now'.

This was a mistake in the merge commit 7a2b30fe16eacc040b3dd11. It
would have made the CellStatistics code give completely bogus
results. Bug not in any released Tor.

Fix whitespace

Log more OpenSSL engine statuses at startup.

Fixes ticket 10043; patch from Joshua Datko.

Merge branch 'backtrace_squashed_merged'

Merge branch 'backtrace_squashed'

Conflicts:
src/common/sandbox.c
src/common/sandbox.h
src/common/util.c
src/or/main.c
src/test/include.am
src/test/test.c

Improve backtrace changes file

Refactor format_*_number_sigsafe to have a common implementation

Reseolve DOCDOC and XXXXs in backtrace.c

Tests for backtrace.c

These need to be a separate executable, since the point of backtrace.c
is that it can crash and write stuff.

Unit tests for new functions in log.c

Make backtrace handler handle signals correctly.

This meant moving a fair bit of code around, and writing a signal
cleanup function.  Still pretty nice from what I can tell, though.

Use pc_from_ucontext.m4 from Google Performance Tools

This M4 module lets us learn the right way (out of at least 18
possibilities) to extract the current PC for stack-trace-fixup-in-signal
purposes.  The Google Performance Tools license is 3-clause BSD.

Improve new assertion message logging

Don't report that a failure happened in the assertion_failed function just
because we logged it from there.

Add a sighandler-safe logging mechanism

We had accidentially grown two fake ones: one for backtrace.c, and one
for sandbox.c.  Let's do this properly instead.

Now, when we configure logs, we keep track of fds that should get told
about bad stuff happening from signal handlers.  There's another entry
point for these that avoids using non-signal-handler-safe functions.

On Linux (and some other systems) we need -rdynamic for backtraces

Basic backtrace ability

On platforms with the backtrace/backtrace_symbols_fd interface, Tor
can now dump stack traces on assertion failure.  By default, I log
them to DataDir/stack_dump and to stderr.

forward-port the 0.2.4.18-rc changelog

Merge remote-tracking branch 'origin/maint-0.2.4'

Conflicts:
src/or/relay.c

Conflict changes were easy; compilation fixes required were using
using TOR_SIMPLEQ_FIRST to get head of cell queue.

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Conflicts:
src/or/or.h
src/or/relay.c

Conflicts were simple to resolve.  More fixes were needed for
compilation, including: reinstating the tv_to_msec function, and renaming
*_conn_cells to *_chan_cells.

Merge branch 'bug9093_023' into maint-0.2.3

Make the dir-key-crosscert element required

In proposal 157, we added a cross-certification element for
directory authority certificates. We implemented it in
0.2.1.9-alpha.  All Tor directory authorities now generate it.
Here, as planned, make it required, so that we can finally close
proposal 157.

The biggest change in the code is in the unit test data, where some
old hardcoded certs that we made long ago have become no longer
valid and now need to be replaced.

Fix test_cmdline_args to work with old openssl

If openssl was old, Tor would add a warning about its version in
between saying "no torrc found, using reasonable defaults" and
"configuration was valid".

Merge remote-tracking branch 'origin/maint-0.2.4'

missing changes file for #10124

Merge remote-tracking branch 'origin/maint-0.2.4'

Fix two more DirServer mentions in log

Fix a wide line

Change documentation DirServer->DirAuthority

We renamed the option, but we didn't actually fix it in the log
messages or the docs.  This patch does that.

For #10124.  Patch by sqrt2.

Tweak file documentation in tor.1.txt

Updating manpage to describe some of the data directory files.

Documentation and tests for 10060

Implementing --allow-missing-torrc CLI option.

Improved circuit queue out-of-memory handler

Previously, when we ran low on memory, we'd close whichever circuits
had the most queued cells. Now, we close those that have the
*oldest* queued cells, on the theory that those are most responsible
for us running low on memory, and that those are the least likely to
actually drain on their own if we wait a little longer.

Based on analysis from a forthcoming paper by Jansen, Tschorsch,
Johnson, and Scheuermann. Fixes bug 9093.

Merge branch 'prop221_squashed_024'

Conflicts:
src/or/or.h

circuit_build_failed: distinguish "got DESTROY" case

Roger spotted this on tor-dev in his comments on proposal 221.

We etect DESTROY vs everything else, since arma likes network
timeout indicating failure but not overload indicating failure.

Implement proposal 221: Stop sending CREATE_FAST

This makes FastFirstHopPK an AUTOBOOL; makes the default "auto"; and
makes the behavior of "auto" be "look at the consensus."

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'public/bug9645' into maint-0.2.4

Appease make check-spaces

Merge remote-tracking branch 'public/bug10063'

Add missing includes for circpathbias.h

Move other #9731 check to start of its functions

At arma's suggestion.  Looks like I missed this one.

Make circpathbias and circuitbuild compile.

That was the tricky part

Move pathbias functions into a new file.

Does not compile yet.  This is the "no code changed" diff.

Move #9731 checks to start of their functions

At arma's suggestion.

Merge remote-tracking branch 'public/bug9731'

Merge remote-tracking branch 'origin/maint-0.2.4'

Do an "ours" merge to not take the 0.2.4 fix for #9731

Merge remote-tracking branch 'public/bug9731b' into maint-0.2.4

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'public/bug9780_024_v2' into maint-0.2.4

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'public/bug6055_v2_024' into maint-0.2.4

Only use -Wlogical-op with GCC 4.6 and later

It generates an apparently spurious warning with gcc 4.4 in debian;
we haven't tested 4.5.

Mention that tor is client-by-default. From Weasel. Resolves #10057

Minor manpage tweaks from weasel; closes #10058

Add changelog entry for merged #7359.

Add some clarity and checks to cell_queue_append_packed_copy

It's not cool to have "circ may be NULL if use_stats false, but
otherwise we crash" as an undocumented API constraint. :)

Merge remote-tracking branch 'karsten/morestats5'

Add the -Wlogical-op switch when building with GCC 4.3 or later.

Fix an always-true assert in PT code.

Merge remote-tracking branch 'public/bug5018'

Conflicts:
src/or/entrynodes.c

Document that unneeded transports are ignored.

Suggested by Roger in
https://trac.torproject.org/projects/tor/ticket/5018#comment:11.

Simplify transport_is_needed.

By Roger at
https://trac.torproject.org/projects/tor/ticket/5018#comment:11.

Only launch transport proxies that provide useful transports.

Merge branch 'morestats4' into morestats5

Conflicts:
doc/tor.1.txt
src/or/config.c
src/or/connection.h
src/or/control.c
src/or/control.h
src/or/or.h
src/or/relay.c
src/or/relay.h
src/test/test.c

squash! Pass const uint64_t pointers, document array length.

Don't cast uint64_t * to const uint64_t * explicitly.  The cast is always
safe, so C does it for us.  Doing the cast explitictly can hide bugs if
the input is secretly the wrong type.

Suggested by Nick.

clarify that DisableNetwork closes connections too

Merge remote-tracking branch 'public/bug9934_nm'

Tweak 5605 changes file

Merge remote-tracking branch 'Ryman/bug5605'

Log the origin address of controller connections

Resolves 9698; patch from "sigpipe".

Make test_cmdline_args.py work with older pythons

I was using the assertIn() function on unit tests, which Python 2.7
introduced.  But we'd like to be able to run our unit tests on Pythons
from older operating systems.

A Bridge Authority should compute flag thresholds

As a bridge authority, before we create our networkstatus document, we
should compute the thresholds needed for the various status flags
assigned to each bridge based on the status of all other bridges. We
then add these thresholds to the networkstatus document for easy access.
Fixes for #1117 and #9859.

Better detection for certain broken cross-compiling situations.

Fixes bug 9869; patch from Benedikt Gollatz.

Give a better warning when stack protection breaks linking.

Fix for 9948; patch from Benedikt Gollatz.

DROPGUARDS controller command

Implements ticket 9934; patch from "ra"

Merge remote-tracking branch 'linus/bug9206_option'