forward-port recent changelogs and release notes

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge branch 'bug10456' into maint-0.2.4

Fix a logic error in circuit_stream_is_being_handled.

When I introduced the unusable_for_new_circuits flag in
62fb209d837f3f551, I had a spurious ! in the
circuit_stream_is_being_handled loop.  This made us decide that
non-unusable circuits (that is, usable ones) were the ones to avoid,
and caused it to launch a bunch of extra circuits.

Fixes bug 10456; bugfix on 0.2.4.12-alpha.

Merge remote-tracking branch 'linus/bug10324'

Merge remote-tracking branch 'origin/maint-0.2.4'

Conflicts:
src/common/crypto.c

Merge branch 'bug10402_redux_024' into maint-0.2.4

Never allow OpenSSL engines to replace the RAND_SSLeay method

This fixes bug 10402, where the rdrand engine would use the rdrand
instruction, not as an additional entropy source, but as a replacement
for the entire userspace PRNG.  That's obviously stupid: even if you
don't think that RDRAND is a likely security risk, the right response
to an alleged new alleged entropy source is never to throw away all
previously used entropy sources.

Thanks to coderman and rl1987 for diagnosing and tracking this down.

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge branch 'bug10423' into maint-0.2.4

Merge remote-tracking branch 'origin/maint-0.2.4'

Conflicts:
src/or/microdesc.c

Conflict because one change was on line adjacent to line where
01206893 got fixed.

Merge remote-tracking branch 'public/bug10409_023' into maint-0.2.4

Avoid double-free on failure to dump_descriptor() a cached md

This is a fix for 10423, which was introducd in caa0d15c in 0.2.4.13-alpha.

Spotted by bobnomnom.

Avoid free()ing from an mmap on corrupted microdesc cache

The 'body' field of a microdesc_t holds a strdup()'d value if the
microdesc's saved_location field is SAVED_IN_JOURNAL or
SAVED_NOWHERE, and holds a pointer to the middle of an mmap if the
microdesc is SAVED_IN_CACHE.  But we weren't setting that field
until a while after we parsed the microdescriptor, which left an
interval where microdesc_free() would try to free() the middle of
the mmap().

This patch also includes a regression test.

This is a fix for #10409; bugfix on 0.2.2.6-alpha.

Make tor-gencert create 2048 bit signing keys.

Fix get_configured_bridge_by_addr_port_digest(.,.,NULL)

The old behavior was that NULL matched only bridges without known
identities; the correct behavior is that NULL should match all
bridges (assuming that their addr:port matches).

Merge remote-tracking branch 'public/bug10131_024'

Remove a check in channeltls.c that could never fail.

We were checking whether a 8-bit length field had overflowed a
503-byte buffer. Unless somebody has found a way to store "504" in a
single byte, it seems unlikely.

Fix for 10313 and 9980. Based on a pach by Jared L Wong. First found
by David Fifield with STACK.

Set CREATE_NO_WINDOW in tor_spawn_background.

This flag prevents the creation of a console window popup on Windows. We
need it for pluggable transport executables--otherwise you get blank
console windows when you launch the 3.x browser bundle with transports
enabled.

http://msdn.microsoft.com/en-us/library/ms684863.aspx#CREATE_NO_WINDOW

The browser bundles that used Vidalia used to set this flag when
launching tor itself; it was apparently inherited by the pluggable
transports launched by tor. In the 3.x bundles, tor is launched by some
JavaScript code, which doesn't have the ability to set CREATE_NO_WINDOW.
tor itself is now being compiled with the -mwindows option, so that it
is a GUI application, not a console application, and doesn't show a
console window in any case. This workaround doesn't work for pluggable
transports, because they need to be able to write control messages to
stdout.

https://trac.torproject.org/projects/tor/ticket/9444#comment:30

Merge branch 'bug4677'

Restore prop198 behavior from 4677 patch

The previous commit from piet would have backed out some of proposal
198 and made servers built without the V2 handshake not use the
unrestricted cipher list from prop198.

Bug not in any released Tor.

Restore ability to build with V2_HANDSHAKE_SERVER

Fixes bug 4677; bugfix on 0.2.3.2-alpha. Fix by "piet".

Avoid warning about impossible check for flags & 0

Fixes CID 743381

Only update view of micrdescriptor pos if pos is fetchable.

It's conceivable (but probably impossible given our code) that lseek
could return -1 on an error; when that happens, we don't want off to
become -1.

Fixes CID 1035124.

Add checks to prevent memcmp(.,.,negative) in tests (CID 1064417)

Fix another unit test memory leak. CID1087949,CID1087950.

Fix a bunch of coverity-spotted unit test resource leaks

CIDs: 1130994, 1130993, 1130992, 1130991

Remove needless fd var from test. CID 1130989.

Handle unlikely negative time in tor_log_err_sigsafe

Coverity wants this; CID 1130990.

Whitespace cleanup

Merge remote-tracking branch 'sysrqb/bug9859_5'

Fix crypto/digests test

Merge branch 'finish_prop157'

Tweak #10162 documentation a bit

Add a _GNU_SOURCE definition to backtrace.c to fix compilation

Whoops; changes files belong in changes.

Whoops -- add missing defined().

Make header includes match declarations in pc_from_ucontext.m4

With any luck, this will clean up errors where we detect that
REG_{EIP,RIP} is present in autoconf, but when we go to include it,
it isn't there.

Fix compilation under openssl 0.9.8

It's not nice to talk about NID_aes_{128,256}_{ctr,gcm} when they
don't exist.

Fix on 84458b79a78ea7e26820bf0; bug not in any released Tor.

Remove 'struct timeval now' that was shadowing 'struct timeval now'.

This was a mistake in the merge commit 7a2b30fe16eacc040b3dd11. It
would have made the CellStatistics code give completely bogus
results. Bug not in any released Tor.

Fix whitespace

Log more OpenSSL engine statuses at startup.

Fixes ticket 10043; patch from Joshua Datko.

Merge branch 'backtrace_squashed_merged'

Merge branch 'backtrace_squashed'

Conflicts:
src/common/sandbox.c
src/common/sandbox.h
src/common/util.c
src/or/main.c
src/test/include.am
src/test/test.c

Improve backtrace changes file

Refactor format_*_number_sigsafe to have a common implementation

Reseolve DOCDOC and XXXXs in backtrace.c

Tests for backtrace.c

These need to be a separate executable, since the point of backtrace.c
is that it can crash and write stuff.

Unit tests for new functions in log.c

Make backtrace handler handle signals correctly.

This meant moving a fair bit of code around, and writing a signal
cleanup function.  Still pretty nice from what I can tell, though.

Use pc_from_ucontext.m4 from Google Performance Tools

This M4 module lets us learn the right way (out of at least 18
possibilities) to extract the current PC for stack-trace-fixup-in-signal
purposes.  The Google Performance Tools license is 3-clause BSD.

Improve new assertion message logging

Don't report that a failure happened in the assertion_failed function just
because we logged it from there.

Add a sighandler-safe logging mechanism

We had accidentially grown two fake ones: one for backtrace.c, and one
for sandbox.c.  Let's do this properly instead.

Now, when we configure logs, we keep track of fds that should get told
about bad stuff happening from signal handlers.  There's another entry
point for these that avoids using non-signal-handler-safe functions.

On Linux (and some other systems) we need -rdynamic for backtraces

Basic backtrace ability

On platforms with the backtrace/backtrace_symbols_fd interface, Tor
can now dump stack traces on assertion failure.  By default, I log
them to DataDir/stack_dump and to stderr.

forward-port the 0.2.4.18-rc changelog

Merge remote-tracking branch 'origin/maint-0.2.4'

Conflicts:
src/or/relay.c

Conflict changes were easy; compilation fixes required were using
using TOR_SIMPLEQ_FIRST to get head of cell queue.

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Conflicts:
src/or/or.h
src/or/relay.c

Conflicts were simple to resolve.  More fixes were needed for
compilation, including: reinstating the tv_to_msec function, and renaming
*_conn_cells to *_chan_cells.

Merge branch 'bug9093_023' into maint-0.2.3

Make the dir-key-crosscert element required

In proposal 157, we added a cross-certification element for
directory authority certificates. We implemented it in
0.2.1.9-alpha.  All Tor directory authorities now generate it.
Here, as planned, make it required, so that we can finally close
proposal 157.

The biggest change in the code is in the unit test data, where some
old hardcoded certs that we made long ago have become no longer
valid and now need to be replaced.

Fix test_cmdline_args to work with old openssl

If openssl was old, Tor would add a warning about its version in
between saying "no torrc found, using reasonable defaults" and
"configuration was valid".

Merge remote-tracking branch 'origin/maint-0.2.4'

missing changes file for #10124

Merge remote-tracking branch 'origin/maint-0.2.4'

Fix two more DirServer mentions in log

Fix a wide line

Change documentation DirServer->DirAuthority

We renamed the option, but we didn't actually fix it in the log
messages or the docs.  This patch does that.

For #10124.  Patch by sqrt2.

Tweak file documentation in tor.1.txt

Updating manpage to describe some of the data directory files.

Documentation and tests for 10060

Implementing --allow-missing-torrc CLI option.

Improved circuit queue out-of-memory handler

Previously, when we ran low on memory, we'd close whichever circuits
had the most queued cells. Now, we close those that have the
*oldest* queued cells, on the theory that those are most responsible
for us running low on memory, and that those are the least likely to
actually drain on their own if we wait a little longer.

Based on analysis from a forthcoming paper by Jansen, Tschorsch,
Johnson, and Scheuermann. Fixes bug 9093.

Merge branch 'prop221_squashed_024'

Conflicts:
src/or/or.h

circuit_build_failed: distinguish "got DESTROY" case

Roger spotted this on tor-dev in his comments on proposal 221.

We etect DESTROY vs everything else, since arma likes network
timeout indicating failure but not overload indicating failure.

Implement proposal 221: Stop sending CREATE_FAST

This makes FastFirstHopPK an AUTOBOOL; makes the default "auto"; and
makes the behavior of "auto" be "look at the consensus."

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'public/bug9645' into maint-0.2.4

Appease make check-spaces

Merge remote-tracking branch 'public/bug10063'

Add missing includes for circpathbias.h

Move other #9731 check to start of its functions

At arma's suggestion.  Looks like I missed this one.

Make circpathbias and circuitbuild compile.

That was the tricky part

Move pathbias functions into a new file.

Does not compile yet.  This is the "no code changed" diff.

Move #9731 checks to start of their functions

At arma's suggestion.

Merge remote-tracking branch 'public/bug9731'

Merge remote-tracking branch 'origin/maint-0.2.4'

Do an "ours" merge to not take the 0.2.4 fix for #9731

Merge remote-tracking branch 'public/bug9731b' into maint-0.2.4

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'public/bug9780_024_v2' into maint-0.2.4

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'public/bug6055_v2_024' into maint-0.2.4

Only use -Wlogical-op with GCC 4.6 and later

It generates an apparently spurious warning with gcc 4.4 in debian;
we haven't tested 4.5.

Mention that tor is client-by-default. From Weasel. Resolves #10057

Minor manpage tweaks from weasel; closes #10058

Add changelog entry for merged #7359.

Add some clarity and checks to cell_queue_append_packed_copy

It's not cool to have "circ may be NULL if use_stats false, but
otherwise we crash" as an undocumented API constraint. :)

Merge remote-tracking branch 'karsten/morestats5'

Add the -Wlogical-op switch when building with GCC 4.3 or later.

Fix an always-true assert in PT code.

Merge remote-tracking branch 'public/bug5018'

Conflicts:
src/or/entrynodes.c