Try to sort the changelog a little more

Fwd-port: Add a missing changelog entry back from 0.2.4.11-alpha

When I merged the fix for #7351, and implemented proposal 214 (4-byte
circuit IDs), I forgot to add a changes file.  Later, we never noticed
that it didn't have one.

Resolves ticket #11555.  Thanks to cypherpunks for noticing this was
missing.

This is a cherry-pick of 75e10f58a97f051f7d8576f96c2e32fcb2f07ade into
the master branch.

Reformat the changelog for 0.2.5.4-alpha.  No textual changes.

Also, add a script to do this, since doing it manually with fmt sucks.

More changes files get added to the changelog

whitespace fix

Merge remote-tracking branch 'public/bug11553_025'

Merge branch 'bug11396_v2_squashed'

Conflicts:
src/or/main.c

Expose the real maxmeminqueues via a GETINFO

That is, GETINFO limits/max-mem-in-queues

Change the logic for the default for MaxMemInQueues

If we can't detect the physical memory, the new default is 8 GB on
64-bit architectures, and 1 GB on 32-bit architectures.

If we *can* detect the physical memory, the new default is
  CLAMP(256 MB, phys_mem * 0.75, MAX_DFLT)
where MAX_DFLT is 8 GB on 64-bit architectures and 2 GB on 32-bit
architectures.

You can still override the default by hand.  The logic here is simply
trying to choose a lower default value on systems with less than 12 GB
of physical RAM.

get_total_system_memory(): see how much RAM we have

copy all the changes files into the changelog again. still unedited

Merge remote-tracking branch 'public/bug11553_024' into bug11553_025

Conflicts:
src/or/circuitbuild.c

Improvements to #11553 fix based on review

Use a per-channel ratelim_t to control the rate at which we report
failures for each channel.

Explain why I picked N=32.

Never return a zero circID.

Thanks to Andrea and to cypherpunks.

Merge remote-tracking branch 'public/bug10268'

Merge remote-tracking branch 'public/bug11200'

Merge branch 'bug11156_issue2_squashed'

Slightly improve the documentation of src/or/transports.c

Make it clear that a SIGHUP is not the only action that can cause a
config re-read.

Rename the got_hup element of managed proxies.

Since we need to toggle that element in non-SIGHUP situations too where
the config was re-read (like in SETCONF or RESETCONF).

Don't halt bootstrap to figure out if we should restart PT proxies.

Instead, figure out if we should restart PT proxies _immediately_ after
we re-read the config file.

Merge remote-tracking branch 'origin/maint-0.2.4'

This is an "ours" merge, to avoid taking the 0.2.4 version of the

Merge remote-tracking branch 'public/bug9229_024' into maint-0.2.4

Merge remote-tracking branch 'public/bug9229_025'

Conflicts:
src/or/entrynodes.c

Merge remote-tracking branch 'public/bug9963_v2_024'

Improved message when running sandbox on Linux without libseccomp

Previously we said "Sandbox is not implemented on this platform" on
Linux boxes without libseccomp.  Now we say that you need to build
Tor built with libseccomp. Fixes bug 11543; bugfix on 0.2.5.1-alpha.

Merge remote-tracking branch 'public/bug11553_024' into bug11553_025

Add a rate-limiter for the other circuitID exhaustion warning

Diagnostic warning to see if it's pending destroys causing 11553

Merge remote-tracking branch 'public/bug11553_024' into bug11553_025

Conflicts:
src/or/channel.h

Switch to random allocation on circuitIDs.

Fixes a possible root cause of 11553 by only making 64 attempts at
most to pick a circuitID.  Previously, we would test every possible
circuit ID until we found one or ran out.

This algorithm succeeds probabilistically. As the comment says:

  This potentially causes us to give up early if our circuit ID
  space is nearly full.  If we have N circuit IDs in use, then we
  will reject a new circuit with probability (N / max_range) ^
  MAX_CIRCID_ATTEMPTS.  This means that in practice, a few percent
  of our circuit ID capacity will go unused.

  The alternative here, though, is to do a linear search over the
  whole circuit ID space every time we extend a circuit, which is
  not so great either.

This makes new vs old clients distinguishable, so we should try to
batch it with other patches that do that, like 11438.

Supply better and less frequent warnings on circID exhaustion

Fixes the surface behavior of #11553

Merge remote-tracking branch 'public/ticket11528_024'

Remove spurious libevent include in sandbox.c

Elevate server TLS cipher preferences over client

The server cipher list is (thanks to #11513) chosen systematically to
put the best choices for Tor first.  The client cipher list is chosen
to resemble a browser.  So let's set SSL_OP_CIPHER_SERVER_PREFERENCE
to have the servers pick according to their own preference order.

Fix uninitialized-ram free in unit tests

Fix on fb595922; bug not in any released Tor. Found with
--enable-expensive-hardening.

Merge more changes files (verbatim) into the changelog

Merge remote-tracking branch 'public/sandbox_fixes_rebased_2'

Attribute 13304 and 13306 to 0.2.4.4-alpha.

Merge remote-tracking branch 'andrea/bug11304'

Merge remote-tracking branch 'andrea/bug11306'

Merge remote-tracking branch 'public/bug11477'

Merge branch '10267_plus_10896_rebased_twice'

Changes file for 10896

Call pf-divert openbsd-specific, not no-linux

Fix OSX compilation.

Whitespace, doc fixes

Educate tor on OpenBSD's use of divert-to rules with the pf firewall.

This means that tor can run without needing to communicate with ioctls
to the firewall, and therefore doesn't need to run with privileges to
open the /dev/pf device node.

A new TransProxyType is added for this purpose, "pf-divert"; if the user
specifies this TransProxyType in their torrc, then the pf device node is
never opened and the connection destination is determined with getsockname
(as per pf(4)). The default behaviour (ie., when TransProxyType is "default"
when using the pf firewall) is still to assume that pf is configured with
rdr-to rules.

tor_addr_from_sockaddr() is applicable in ipfw code, so use it.

ipfw TransPort support on FreeBSD (10267)

This isn't on by default; to get it, you need to set "TransProxyType
ipfw".  (The original patch had automatic detection for whether
/dev/pf is present and openable, but that seems marginally fragile.)

add a changes file for the sandbox fixes series

Log the name of the failing syscall on failure

Block certain option transitions while sandbox enabled

Sandbox: permit O_NONBLOCK and O_NOCTTY for files we refuse

OpenSSL needs this, or RAND_poll() will kill the process.

Also, refuse with EACCESS, not errno==-1 (!).

Don't reload logs or rewrite pidfile while sandbox is active

Don't allow change to ConnLimit while sandbox is active

Allow reloading torrc and writing to router-stability

Use SCMP_CMP_MASKED_EQ to allow flags, not force them

Older versions of Libevent are happy to open SOCK_DGRAM sockets
non-cloexec and non-nonblocking, and then set those flags
afterwards. It's nice to be able to allow a flag to be on or off in
the sandbox without having to enumerate all its values.

Also, permit PF_INET6 sockets. (D'oh!)

Add a couple of missing renames so the server sandbox works again

Get Libevent's PRNG functioning under the linux sandbox

Libevent uses an arc4random implementation (I know, I know) to
generate DNS transaction IDs and capitalization.  But it liked to
initialize it either with opening /dev/urandom (which won't work
under the sandbox if it doesn't use the right pointer), or with
sysctl({CTL_KERN,KERN_RANDOM,RANDOM_UUIC}).  To make _that_ work, we
were permitting sysctl unconditionally.  That's not such a great
idea.

Instead, we try to initialize the libevent PRNG _before_ installing
the sandbox, and make sysctl always fail with EPERM under the
sandbox.

Make sure everything using an interned string is preceded by a log

(It's nice to know what we were about to rename before we died from
renaming it.)

Introduce arg-counting macros to wrap seccomp_rule_add()

The compiler doesn't warn about this code:
       rc = seccomp_rule_add(ctx, SCMP_ACT_ALLOW, SCMP_SYS(openat), 1,
           SCMP_CMP(0, SCMP_CMP_EQ, AT_FDCWD),
           SCMP_CMP(1, SCMP_CMP_EQ, param->value),
           SCMP_CMP(2, SCMP_CMP_EQ, O_RDONLY|...));
but note that the arg_cnt argument above is only 1.  This means that
only the first filter (argument 0 == AT_FDCWD) is actually checked!

This patch also fixes the above error in the openat() filter.
Earlier I fixed corresponding errors in filters for rename() and
mprotect().

Fix sandbox protection for rename

(We were only checking the first parameter of each rename call.)

Upgrade warning about missing interned string for sandbox

Have sandbox string protection include multi-valued parmeters.

Clean up sandbox structures a bit

Drop pindex,pindex2 as unused.

Admit a type to avoid using a void*

Add missing rename function for non-linux platforms

Drop 'fr' parameter from sandbox code.

Appearently, the majority of the filenames we pass to
sandbox_cfg_allow() functions are "freeable right after". So, consider
_all_ of them safe-to-steal, and add a tor_strdup() in the few cases
that aren't.

(Maybe buggy; revise when I can test.)

Remove nonsensical exec permission from sandbox code.

Add 'rename' to the sandboxed syscalls

(If we don't restrict rename, there's not much point in restricting
open, since an attacker could always use rename to make us open
whatever they want.)

Only intern one copy of each magic string for the sandbox

If we intern two copies of a string, later calls to
sandbox_intern_string will give the wrong one sometimes.

Fix some initial sandbox issues.

Allow files that weren't in the list; Allow the _sysctl syscall;
allow accept4 with CLOEXEC and NONBLOCK.

Only expose clean_backtrace() if we'll implement it

Fixes windows compilation; bug not in any released Tor.

Bugfix on cc9e86db.

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

remove note about dannenberg; it has upgraded.

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Update the authority signing key blacklist

Now it only has dannenberg

Call connection_or_close_for_error() properly if write_to_buf() ever fails on an orconn

Avoid redundant calls to connection_mark_for_close() on listeners when setting DisableNetwork to 1

Close orconns correctly through channels when setting DisableNetwork to 1

Merge remote-tracking branch 'public/bug11465'

Answer a question in a comment; fix a wide line.

Fix compiler warning on test_status.c

add changes file for 11507

Uplift status.c unit test coverage with new test cases and macros.

A new set of unit test cases are provided, as well as introducing
an alternative paradigm and macros to support it. Primarily, each test
case is given its own namespace, in order to isolate tests from each
other. We do this by in the usual fashion, by appending module and
submodule names to our symbols. New macros assist by reducing friction
for this and other tasks, like overriding a function in the global
namespace with one in the current namespace, or declaring integer
variables to assist tracking how many times a mock has been called.

A set of tests for a small-scale module has been included in this
commit, in order to highlight how the paradigm can be used. This
suite gives 100% coverage to status.c in test execution.

Merge remote-tracking branch 'public/bug11513_024'

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Conflicts:
src/or/circuituse.c

Merge remote-tracking branch 'public/bug11519_023' into maint-0.2.3

Don't send uninitialized stack to the controller and say it's a date.

Fixes bug 11519, apparently bugfix on 0.2.3.11-alpha.

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Conflicts:
src/or/routerlist.h

Merge branch 'bug11464_023_squashed' into maint-0.2.3

Tweak changes file and comment dates.

Fill in the list of blacklisted signing keys.

I used a list of certificate files from arma, and a little script,
both at 11464.

Code to blacklist authority signing keys

(I need a list of actual signing keys to blacklist.)

New --enable-expensive-hardening option

It turns on -fsanitize=address and -fsanitize=ubsan if they work.

Most relays won't want this. Some clients may.  Ticket 11477.

New sort order for server choice of ciphersuites.

Back in 175b2678, we allowed servers to recognize clients who are
telling them the truth about their ciphersuites, and select the best
cipher from on that list. This implemented the server side of proposal
198.

In bugs 11492, 11498, and 11499, cypherpunks found a bunch of mistakes
and omissions and typos in the UNRESTRICTED_SERVER_CIPHER_LIST we had.
In #11513, I found a couple more.

Rather than try to hand-edit this list, I wrote a short python script
to generate our ciphersuite preferences from the openssl headers.

The new rules are:
  * Require forward secrecy.
  * Require RSA (since our servers only configure RSA keys)
  * Require AES or 3DES. (This means, reject RC4, DES, SEED, CAMELLIA,
    and NULL.)
  * No export ciphersuites.

Then:
  * Prefer AES to 3DES.
  * If both suites have the same cipher, prefer ECDHE to DHE.
  * If both suites have the same DHE group type, prefer GCM to CBC.
  * If both suites have the same cipher mode, prefer SHA384 to SHA256
    to SHA1.
  * If both suites have the same digest, prefer AES256 to AES128.

Merge remote-tracking branch 'asn/bug11486'

Add another unit test for parse_bridge_line().

changes file for 11465