Make the python test scripts work on python3

The python scripts invoked by 'make check' didn't work on python3
before.  That was a problem on systems where 'python' is python3.

Fixes bug 11608; bugfix on 0.2.5.2-alpha.

Stub changelog section for 0.2.5.5-alpha

The #tor topic no longer includes a version.

Bump version to 0.2.5.4-alpha-dev

Fix hyphen handling in format_changelog

reflow changelog.

place the cherries on top and call it done

promote two stanzas; shuffle around two more

touchups on upcoming changelog

resolve a typo: sanboxing->sandboxing.

two changelog tweaks suggested by Andrea

Write a release blurb

Re-order and combine changelog sections

Integrate another entry to the changelog; twiddle changelog more

Work on style, add some sentences to blurb, explain that 10468 is more
general than had been described, etc etc

format_changelog.py now formats the first section, in-place.

Bump version to 0.2.5.4-alpha.

Probably releasing within ~22 hours, pending testing

fix memory leak in dump_exit_policy_to_string tests

Include the scan-build.sh script I used for 8793

Otherwise we'll never remember what to re-run before each release, or
whether we tried a given checker.

Merge branch 'scanbuild_fixes'

Changes file for scan-build fixes (#8793)

Revise changelog verbiage; try to tighten it up.

ChangeLog: spell-check, prefer "relay" to "node" or "server"

Try to sort the changelog a little more

Fwd-port: Add a missing changelog entry back from 0.2.4.11-alpha

When I merged the fix for #7351, and implemented proposal 214 (4-byte
circuit IDs), I forgot to add a changes file.  Later, we never noticed
that it didn't have one.

Resolves ticket #11555.  Thanks to cypherpunks for noticing this was
missing.

This is a cherry-pick of 75e10f58a97f051f7d8576f96c2e32fcb2f07ade into
the master branch.

Reformat the changelog for 0.2.5.4-alpha.  No textual changes.

Also, add a script to do this, since doing it manually with fmt sucks.

More changes files get added to the changelog

whitespace fix

Merge remote-tracking branch 'public/bug11553_025'

Merge branch 'bug11396_v2_squashed'

Conflicts:
src/or/main.c

Expose the real maxmeminqueues via a GETINFO

That is, GETINFO limits/max-mem-in-queues

Change the logic for the default for MaxMemInQueues

If we can't detect the physical memory, the new default is 8 GB on
64-bit architectures, and 1 GB on 32-bit architectures.

If we *can* detect the physical memory, the new default is
  CLAMP(256 MB, phys_mem * 0.75, MAX_DFLT)
where MAX_DFLT is 8 GB on 64-bit architectures and 2 GB on 32-bit
architectures.

You can still override the default by hand.  The logic here is simply
trying to choose a lower default value on systems with less than 12 GB
of physical RAM.

get_total_system_memory(): see how much RAM we have

copy all the changes files into the changelog again. still unedited

Merge remote-tracking branch 'public/bug11553_024' into bug11553_025

Conflicts:
src/or/circuitbuild.c

Improvements to #11553 fix based on review

Use a per-channel ratelim_t to control the rate at which we report
failures for each channel.

Explain why I picked N=32.

Never return a zero circID.

Thanks to Andrea and to cypherpunks.

Merge remote-tracking branch 'public/bug10268'

Merge remote-tracking branch 'public/bug11200'

Merge branch 'bug11156_issue2_squashed'

Slightly improve the documentation of src/or/transports.c

Make it clear that a SIGHUP is not the only action that can cause a
config re-read.

Rename the got_hup element of managed proxies.

Since we need to toggle that element in non-SIGHUP situations too where
the config was re-read (like in SETCONF or RESETCONF).

Don't halt bootstrap to figure out if we should restart PT proxies.

Instead, figure out if we should restart PT proxies _immediately_ after
we re-read the config file.

Merge remote-tracking branch 'origin/maint-0.2.4'

This is an "ours" merge, to avoid taking the 0.2.4 version of the

Merge remote-tracking branch 'public/bug9229_024' into maint-0.2.4

Merge remote-tracking branch 'public/bug9229_025'

Conflicts:
src/or/entrynodes.c

scan-build: memarea_strndup() undefined behavior

The memarea_strndup() function would have hit undefined behavior by
creating an 'end' pointer off the end of a string if it had ever been
given an 'n' argument bigger than the length of the memory ares that
it's scanning.  Fortunately, we never did that except in the unit
tests.  But it's not a safe behavior to leave lying around.

scan-build: avoid undef behaior in tor_inet_pton

If we had an address of the form "1.2.3.4" and we tried to pass it to
tor_inet_pton with AF_INET6, it was possible for our 'eow' pointer to
briefly move backwards to the point before the start of the string,
before we moved it right back to the start of the string.  C doesn't
allow that, and though we haven't yet hit a compiler that decided to
nuke us in response, it's best to fix.

So, be more explicit about requiring there to be a : before any IPv4
address part of the IPv6 address.  We would have rejected addresses
without a : for not being IPv6 later on anyway.

scan-build: sizeof(ptr*) in a debugging log in ext_orport.c

Instead of taking the length of a buffer, we were taking the length of
a pointer, so that our debugging log would cover only the first
sizeof(void*) bytes of the client nonce.

scan-build: Fix harmless sizeof(ptr) in test_oom.c

We meant to using random bytes to fill a buffer, up to 3000 at a
time. Instead we were taking them sizeof(void*) at a time.

scan-build: close stdio FILEs on error in tor-gencert

This is harmless, since tor-gencert exits right afterwards, but it's
best to clean up after ourselves.

scan-build: truncate tinytest hexified outputs to 1024 bytes.

scan-build didn't like the unlimited version since we might need to
overflow size_t to hexify a string that took up half our address
space. (!)

scan-build: limit hashtable size so it always fits in SSIZE_MAX

scan-build recognizes that in theory there could be a numeric overflow
here.

This can't numeric overflow can't trigger IRL, since in order to fill a
hash table with more than P=402653189 buckets with a reasonable load
factor of 0.5, we'd first have P/2 malloced objects to put in it--- and
each of those would have to take take at least sizeof(void*) worth of
malloc overhead plus sizeof(void*) content, which would run you out of
address space anyway on a 32-bit system.

scan-build: bulletproof last-chance errormsg generation in rendservice.c

If 'intro' is NULL in these functions, I'm pretty sure that the
error message must be set before we hit the end.  But scan-build
doesn't notice that, and is worried that we'll do a null-pointer
dereference in the last-chance errormsg generation.

scan-build: Have clear_pending_onions walk the lists more obviously

As it stands, it relies on the fact that onion_queue_entry_remove
will magically remove each onionskin from the right list.  This
patch changes the logic to be more resilient to possible bugs in
onion_queue_entry_remove, and less confusing to static analysis tools.

scan-build: in cpuworker, initialize tv_start

scan-build doesn't realize that a request can't be timed at the end
unless it's timed at the start, and so it's not possible for us to
be subtracting start from end without start being set.
Nevertheless, let's not confuse it.

scan-build: get_proxy_addrport should always set its outputs

When get_proxy_addrport returned PROXY_NONE, it would leave
addr/port unset. This is inconsistent, and could (if we used the
function in a stupid way) lead to undefined behavior. Bugfix on
5b050a9b0, though I don't think it affects tor-as-it-is.

scan-build: when logging a path length, check build_state.

Throughout circuituse, when we log about a circuit, we log its
desired path length from build_state. scan-build is irrationally
concerned that build_state might be NULL.

scan-build: Be consistent with a needless check in circuitmux.c

In circuitmux_detach_all_circuits, we check whether an HT iterator
gives us NULL.  That should be impossible for an HT iterator.  But
our checking it has confused scan-build (justly) into thinking that
our later use of HT_NEXT_RMV might not be kosher.  I'm taking the
coward's route here and strengthening the check.  Bugfix on
fd31dd44. (Not a real bug though)

scan-build: fix a crash-on-fail possibility in test_policy.c

scan-build: Avoid crashing on BUG in circuit_get_by_rend_token_and_purpose

If we fail in circuit_get_by_rend_token_and_purpose because the
circuit has no rend_info, don't try to reference fiends from its
rend_info when logging an error.  Bugfix on 8b9a2cb68, which is
going into Tor 0.2.5.4-alpha.

scan-build: circuit_cpath_support_ntor had a dead initialization

We were initializing cpath twice, which doesn't make sense.

scan-build: check impossible null-pointer case in buffers.c

When maintaining buffer freelists, we don't skip more than there
are, so (*chp) can't be null to begin with.  scan-build has no way
to know that.

scan-build: Add a check for result from getaddrinfo

As documented, getaddrinfo always sets its result when it returns
no error.  But scan-build doesn't know that, and thinks we might
be def

Merge remote-tracking branch 'public/bug9963_v2_024'

Improved message when running sandbox on Linux without libseccomp

Previously we said "Sandbox is not implemented on this platform" on
Linux boxes without libseccomp.  Now we say that you need to build
Tor built with libseccomp. Fixes bug 11543; bugfix on 0.2.5.1-alpha.

Merge remote-tracking branch 'public/bug11553_024' into bug11553_025

Add a rate-limiter for the other circuitID exhaustion warning

Diagnostic warning to see if it's pending destroys causing 11553

Merge remote-tracking branch 'public/bug11553_024' into bug11553_025

Conflicts:
src/or/channel.h

Switch to random allocation on circuitIDs.

Fixes a possible root cause of 11553 by only making 64 attempts at
most to pick a circuitID.  Previously, we would test every possible
circuit ID until we found one or ran out.

This algorithm succeeds probabilistically. As the comment says:

  This potentially causes us to give up early if our circuit ID
  space is nearly full.  If we have N circuit IDs in use, then we
  will reject a new circuit with probability (N / max_range) ^
  MAX_CIRCID_ATTEMPTS.  This means that in practice, a few percent
  of our circuit ID capacity will go unused.

  The alternative here, though, is to do a linear search over the
  whole circuit ID space every time we extend a circuit, which is
  not so great either.

This makes new vs old clients distinguishable, so we should try to
batch it with other patches that do that, like 11438.

Supply better and less frequent warnings on circID exhaustion

Fixes the surface behavior of #11553

Merge remote-tracking branch 'public/ticket11528_024'

Remove spurious libevent include in sandbox.c

Elevate server TLS cipher preferences over client

The server cipher list is (thanks to #11513) chosen systematically to
put the best choices for Tor first.  The client cipher list is chosen
to resemble a browser.  So let's set SSL_OP_CIPHER_SERVER_PREFERENCE
to have the servers pick according to their own preference order.

Fix uninitialized-ram free in unit tests

Fix on fb595922; bug not in any released Tor. Found with
--enable-expensive-hardening.

Merge more changes files (verbatim) into the changelog

Merge remote-tracking branch 'public/sandbox_fixes_rebased_2'

Attribute 13304 and 13306 to 0.2.4.4-alpha.

Merge remote-tracking branch 'andrea/bug11304'

Merge remote-tracking branch 'andrea/bug11306'

Merge remote-tracking branch 'public/bug11477'

Merge branch '10267_plus_10896_rebased_twice'

Changes file for 10896

Call pf-divert openbsd-specific, not no-linux

Fix OSX compilation.

Whitespace, doc fixes

Educate tor on OpenBSD's use of divert-to rules with the pf firewall.

This means that tor can run without needing to communicate with ioctls
to the firewall, and therefore doesn't need to run with privileges to
open the /dev/pf device node.

A new TransProxyType is added for this purpose, "pf-divert"; if the user
specifies this TransProxyType in their torrc, then the pf device node is
never opened and the connection destination is determined with getsockname
(as per pf(4)). The default behaviour (ie., when TransProxyType is "default"
when using the pf firewall) is still to assume that pf is configured with
rdr-to rules.

tor_addr_from_sockaddr() is applicable in ipfw code, so use it.

ipfw TransPort support on FreeBSD (10267)

This isn't on by default; to get it, you need to set "TransProxyType
ipfw".  (The original patch had automatic detection for whether
/dev/pf is present and openable, but that seems marginally fragile.)

add a changes file for the sandbox fixes series

Log the name of the failing syscall on failure

Block certain option transitions while sandbox enabled

Sandbox: permit O_NONBLOCK and O_NOCTTY for files we refuse

OpenSSL needs this, or RAND_poll() will kill the process.

Also, refuse with EACCESS, not errno==-1 (!).

Don't reload logs or rewrite pidfile while sandbox is active

Don't allow change to ConnLimit while sandbox is active

Allow reloading torrc and writing to router-stability

Use SCMP_CMP_MASKED_EQ to allow flags, not force them

Older versions of Libevent are happy to open SOCK_DGRAM sockets
non-cloexec and non-nonblocking, and then set those flags
afterwards. It's nice to be able to allow a flag to be on or off in
the sandbox without having to enumerate all its values.

Also, permit PF_INET6 sockets. (D'oh!)

Add a couple of missing renames so the server sandbox works again

Get Libevent's PRNG functioning under the linux sandbox

Libevent uses an arc4random implementation (I know, I know) to
generate DNS transaction IDs and capitalization.  But it liked to
initialize it either with opening /dev/urandom (which won't work
under the sandbox if it doesn't use the right pointer), or with
sysctl({CTL_KERN,KERN_RANDOM,RANDOM_UUIC}).  To make _that_ work, we
were permitting sysctl unconditionally.  That's not such a great
idea.

Instead, we try to initialize the libevent PRNG _before_ installing
the sandbox, and make sysctl always fail with EPERM under the
sandbox.

Make sure everything using an interned string is preceded by a log

(It's nice to know what we were about to rename before we died from
renaming it.)

Introduce arg-counting macros to wrap seccomp_rule_add()

The compiler doesn't warn about this code:
       rc = seccomp_rule_add(ctx, SCMP_ACT_ALLOW, SCMP_SYS(openat), 1,
           SCMP_CMP(0, SCMP_CMP_EQ, AT_FDCWD),
           SCMP_CMP(1, SCMP_CMP_EQ, param->value),
           SCMP_CMP(2, SCMP_CMP_EQ, O_RDONLY|...));
but note that the arg_cnt argument above is only 1.  This means that
only the first filter (argument 0 == AT_FDCWD) is actually checked!

This patch also fixes the above error in the openat() filter.
Earlier I fixed corresponding errors in filters for rename() and
mprotect().