Merge remote-tracking branch 'origin/maint-0.2.6'

Merge commit '1eb2c0cbd3a9be2650419bd07474770629261f56'

This is an 'ours' merge to leave the version number alone.

Fix another seccomp2 issue

Allow pipe() and pipe2() syscalls; we need these when eventfd2()
support is missing. Fixes bug 16363; bugfix on 0.2.6.3-alpha.  Patch
from "teor".

Merge remote-tracking branch 'teor/feature15817-clang-sanitizers'

Add a log message to try to track down #16013

Spell occurred right

fwd-port 0.2.6.9 changes

Merge remote-tracking branch 'teor/bug16343-master-key-assert'

Fix clang address of struct member always non-NULL in SSL master key

clang complains that the address of struct member in an assert in
SSL_SESSION_get_master_key is always non-NULL.
Instead, check each pointer argument is non-NULL before using it.

Fix on f90a704f1258 from 27 May 2015, not in any released version of tor.

Update and clarify release checklist

Bump version to 0.2.6.9

Tweak clang sanitizer blacklist for out-of-tree builds, make, ccache

Avoid using file names and file paths for compatibility with
out-of-tree builds.

Note make and ccache don't track blacklist dependencies,
add workarounds.

Merge remote-tracking branch 'teor/feature15817-clang-sanitizers'

Merge remote-tracking branch 'origin/maint-0.2.6'

HSDir flag now requires the Stable flag

Fixes #8243

Edit contrib/README to document the contrib/clang directory

Add instructions for clang sanitizers, static analyzer, and coverity

Document use of coverity, clang static analyzer, and clang dynamic
undefined behavior and address sanitizers in doc/HACKING.

Add clang dynamic sanitizer blacklist in
contrib/clang/sanitizer_blacklist.txt to exempt known undefined
behavior. Include detailed usage instructions in this blacklist file.

Patch by "teor".

Merge remote-tracking branch 'origin/maint-0.2.6'

Set session_group after the port's data structure has been populated.

Fixes #16247, patch by "jojelino".

Merge remote-tracking branch 'public/bug15760_hard_026_v2'

A few more minor OpenSSL 1.1 fixes.

 * Use `TLS_method()` instead of the deprecated `SSLv23_method()`
 * Fix one missed conversion to `SSL_CIPHER_get_id()`

Merge remote-tracking branch 'teor/bug16115-minor-fixes'

Merge remote-tracking branch 'origin/maint-0.2.6'

Fix sandboxing to work when running as a relay

This includes correctly allowing renaming secret_id_key and allowing the
eventfd2 and futex syscalls.  Fixes bug 16244; bugfix on 0.2.6.1-alpha.

Check for NULL values in getinfo_helper_onions

Fix on 915c7438a77e in Tor 0.2.7.1-alpha.

Ensure signing_key is non-NULL before accessing one of its members

signing_key can be NULL in ed_key_init_from_file in routerkeys.c.
Discovered by clang 3.7 address sanitizer.

Fix on c03694938ed0, not in any released version of Tor.

Remove undefined directive-in-macro in test_util_writepid

clang 3.7 complains that using a preprocessor directive inside
a macro invocation in test_util_writepid in test_util.c is undefined.

Fix on 79e85313aa61 on 0.2.7.1-alpha.

Always initialise return value in compute_desc_id in rendcommon.c

Fix on e6a581f126ba, released in 0.2.7.1-alpha.

Silence unused variable warnings in find_cipher_by_id

Unused variable warnings were still generated under some versions of OpenSSL.
Instead, make sure all variables are used under all versions.

Fix on 496df21c89d1, not in any released version of tor.

Fix an incorrect comment on spawn_func

spawn_func calls pthread_create on unix, not fork

Fix on existing code split out of compat.c into
compat_pthreads.c in c2f0d52b7fb9

Merge remote-tracking branch 'public/bug15760_hard_026_v2'

Conflicts:
src/common/tortls.c

Use autoconf, not OPENSSL_VERSION_NUMBER, to detect SSL_CIPHER_find

Repairs build with libressl

Use accessor functions for client_random/server_random/master_key

If OpenSSL accepts my patch to introduce these functions, they'll
be a way to help Tor work with OpenSSL 1.1.

Add a master-key-ed25519 line for convenience

More check-spaces fixes

Fix a memory leak in routerkeys.c

Fix some memory leaks in ed25519 code and tests

Appease make check-spaces

Fix return-type gcc warning

find_dl_schedule_and_len caused gcc to spit up with -Werror.

Signed-off-by: Sharif Olorin <sio@tesser.org>

Another memory leak bytes the dust.

Attempt to fix keypinning on Windows

Not that I would countenance a directory authority on Windows, but
it would be nice if the unit tests passed.

Fix another int-to-ptr cast.

Fix a warning from the clangalyzer.

Fix a sizeof(ptr) mistake in test-memwipe.c

more generic scan-build script

Merge remote-tracking branch 'origin/maint-0.2.6'

Fix sandbox use with systemd. bug 16212.

Avoid double-free on rend_add_service() failure

Rend_add_service() frees its argument on failure; no need to free again.

Fixes bug 16228, bugfix on 0.2.7.1-alpha

Found by coverity; this is CID 1301387.

There sure are a lot of these in test_hs.c. CID 1301385

Fix a bug in earlier torcert fix, fix another.

Another test_hs leak. CID 1301383.

Memory leak in tor_cert_parse. CID 1301382.

Memory leak in tor_cert_parse. CID gi1301381

Fix leak-on-test-failure in test_routerkeys.c

CID 1301379

Memory leak in test_hs_rend_data

CID 1301377

Fix memory leak in test_routerkeys

CID 1301376

Small leak in ed_key_init_from_file. CID 1301373

Memory leak on error in connection_or_compute_auth_cell_body. CID 1301372

fix memory leak on bad ns convote. CID 1301371.

Fix memory leak on failure to generate EI. CID 1301370.

Fix null dereference on key setup error.

CID 1301369

Update trunnel code.

This gets the minor change in trunnel 1.4.1, which should avoid
deadcode warnings from Coverity.

Avoid dereferencing null on unit test failure for link handshakes.

This fixes CID 1301368 -- found by coverity

Fix a bug when we fail to read a cert from a file.

Found by coverity -- CID 1301366.

Add assertions to crypto_dh_dup()

Without these, coverity is annoyed that aren't checking for NULL in bench.c

CID 1293335 -- found by coverity.

Impose an upper limit on threads per threadpool.

Found by Coverity; Fixes CID 1268069

Bug 12498 needs a changes file.

Merge branch '12498_ed25519_keys_v6'

Fixed numerous conflicts, and ported code to use new base64 api.

Document some ed25519 key options

Note some functions that should move or be merged

Do not allocate our ed-link crosscert till after tls ctx

We need this to prevent some annoying chutney crash-at-starts

Generate weird certificates correctly

(Our link protocol assumes that the link cert certifies the TLS key,
and there is an RSA->Ed25519 crosscert)

Regenerate ed25519 keys when they will expire soon.

Also, have testing-level options to set the lifetimes and
expiration-tolerances of all key types, plus a non-testing-level
option to set the lifetime of any auto-generated signing key.

# This is a combination of 2 commits.
# The first commit's message is:

Regenerate ed25519 keys when they will expire soon.

Also, have testing-level options to set the lifetimes and
expiration-tolerances of all key types, plus a non-testing-level
option to set the lifetime of any auto-generated signing key.

# The 2nd commit message will be skipped:

# fixup! Regenerate ed25519 keys when they will expire soon.

Only load master ed25519 secret keys when we absolutely must.

Implement ed25519 identity collation for voting.

This is a new collator type that follows proposal 220 for deciding
which identities to include.  The rule is (approximately):

  If a <ed,rsa> identity is listed by more than half of authorities,
  include it.  And include all <rsa> votes about that node as
  matching.

  Otherwise, if an <*,rsa> or <rsa> identity is listed by more than
  half of the authorities, and no <ed,rsa> has been listed, include
  it.

Refactor code that matches up routers with the same identity in votes

This makes 'routerstatus collation' into a first-class concept, so
we can change how that works for prop220.

Checkpoint some work on voting on ed25519 identities

 * Include ed25519 identities in votes
 * Include "no ed25519 identity" in votes
 * Include some commented-out code about identity voting.  (This
   will disappear.)
 * Include some functions for identity voting (These will disappear.)
 * Enforce uniqueness in ed25519 keys within a vote

Enforce more correspondence between ri and ei

In particular, they have to list the same ed25519 certificate, and
the SHA256 digest of the ei needs to match.

Sign extrainfo documents with ed25519

Extrainfo documents are now ed-signed just as are router
descriptors, according to proposal 220.  This patch also includes
some more tests for successful/failing parsing, and fixes a crash
bug in ed25519 descriptor parsing.

Revise makedesc.py: teach it how to emit ed signatures and crosscerts

Also, add a trivial ed25519-signed routerinfo to the tests.

Refactor link handshake cell type implementations to use trunnel

Unit tests still pass.

Fix memory leaks in test_link_handshake.c

Tests for AUTHENTICATE cell functionality.

Start testing cell encoders/processers for the v3 handshake.

An earlier version of these tests was broken; now they're a nicer,
more robust, more black-box set of tests.  The key is to have each
test check a handshake message that is wrong in _one_ way.

Add trunnel-generated items for link handshake code.

This includes the link handshake variations for proposal220.

We'll use this for testing first, and then use it to extend our
current code to support prop220.

Include ed25519 keys in microdescriptors.

Fix the position-check for ed25519 certs to work with annotations

When there are annotations on a router descriptor, the
ed25519-identity element won't be at position 0 or 1; it will be at
router+1 or router-1.

This patch also adds a missing smartlist function to search a list for
an item with a particular pointer.

Tie key-pinning logic into directory authority operation

With this patch:
  * Authorities load the key-pinning log at startup.
  * Authorities open a key-pinning log for writing at startup.
  * Authorities reject any router with an ed25519 key where they have
    previously seen that ed25519 key with a different RSA key, or vice
    versa.
  * Authorities warn about, but *do not* reject, RSA-only descriptors
    when the RSA key has previously gone along with an Ed25519 key.
    (We should make this a 'reject' too, but we can't do that until we're
    sure there's no legit reason to downgrade to 0.2.5.)

Key-pinning back-end for directory authorities.

This module implements a key-pinning mechanism to ensure that it's
safe to use RSA keys as identitifers even as we migrate to Ed25519
keys.  It remembers, for every Ed25519 key we've seen, what the
associated Ed25519 key is.  This way, if we see a different Ed25519
key with that RSA key, we'll know that there's a mismatch.

We persist these entries to disk using a simple format, where each
line has a base64-encoded RSA SHA1 hash, then a base64-endoded
Ed25519 key.  Empty lines, misformed lines, and lines beginning with
a # are ignored. Lines beginning with @ are reserved for future
extensions.

Implement proposal 228: cross-certification with onion keys

Routers now use TAP and ntor onion keys to sign their identity keys,
and put these signatures in their descriptors.  That allows other
parties to be confident that the onion keys are indeed controlled by
the router that generated the descriptor.

Implement proposal 228: cross-certification with onion keys

Routers now use TAP and ntor onion keys to sign their identity keys,
and put these signatures in their descriptors.  That allows other
parties to be confident that the onion keys are indeed controlled by
the router that generated the descriptor.

Implement ed25519-signed descriptors

Now that we have ed25519 keys, we can sign descriptors with them
and check those signatures as documented in proposal 220.

prop220: Implement certificates and key storage/creation

For prop220, we have a new ed25519 certificate type. This patch
implements the code to create, parse, and validate those, along with
code for routers to maintain their own sets of certificates and
keys.  (Some parts of master identity key encryption are done, but
the implementation of that isn't finished)

FIx a couple of mistypes.

Stop looking at session->ciphers when possible

If the OpenSSL team accepts my patch to add an
SSL_get_client_ciphers function, this patch will make Tor use it
when available, thereby working better with openssl 1.1.

Remove rectify_client_ciphers as needless.

We previously used this function instead of SSL_set_cipher_list() to
set up a stack of client SSL_CIPHERs for these reasons:

  A) In order to force a particular order of the results.

  B) In order to be able to include dummy entries for ciphers that
     this build of openssl did not support, so we could impersonate
     Firefox harder.

But we no longer do B, since we merged proposal 198 and stopped
lying about what ciphers we know.

And A was actually pointless, since I had misread the implementation
of SSL_set_cipher_list().  It _does_ do some internal sorting, but
that is pre-sorting on the master list of ciphers, not sorting on
the user's preferred order.

Revert "Try using SSL_get_ciphers in place of session->ciphers"

This reverts commit 67964cfa787461bc56380fe46439fd5c9863bb4f.

It was the cause of #16153, and was not in any released Tor.  We need
a better solution for getting session->ciphers.

Fix unit tests on MSVC2013.

Patch from "NewEraCracker."  Fixes bug16030; bugfix on 0.2.6.2-alpha.

Merge remote-tracking branch 'origin/maint-0.2.6'