Fix a bug when we fail to read a cert from a file.

Found by coverity -- CID 1301366.

Add assertions to crypto_dh_dup()

Without these, coverity is annoyed that aren't checking for NULL in bench.c

CID 1293335 -- found by coverity.

Impose an upper limit on threads per threadpool.

Found by Coverity; Fixes CID 1268069

Bug 12498 needs a changes file.

Merge branch '12498_ed25519_keys_v6'

Fixed numerous conflicts, and ported code to use new base64 api.

Document some ed25519 key options

Note some functions that should move or be merged

Do not allocate our ed-link crosscert till after tls ctx

We need this to prevent some annoying chutney crash-at-starts

Generate weird certificates correctly

(Our link protocol assumes that the link cert certifies the TLS key,
and there is an RSA->Ed25519 crosscert)

Regenerate ed25519 keys when they will expire soon.

Also, have testing-level options to set the lifetimes and
expiration-tolerances of all key types, plus a non-testing-level
option to set the lifetime of any auto-generated signing key.

# This is a combination of 2 commits.
# The first commit's message is:

Regenerate ed25519 keys when they will expire soon.

Also, have testing-level options to set the lifetimes and
expiration-tolerances of all key types, plus a non-testing-level
option to set the lifetime of any auto-generated signing key.

# The 2nd commit message will be skipped:

# fixup! Regenerate ed25519 keys when they will expire soon.

Only load master ed25519 secret keys when we absolutely must.

Implement ed25519 identity collation for voting.

This is a new collator type that follows proposal 220 for deciding
which identities to include.  The rule is (approximately):

  If a <ed,rsa> identity is listed by more than half of authorities,
  include it.  And include all <rsa> votes about that node as
  matching.

  Otherwise, if an <*,rsa> or <rsa> identity is listed by more than
  half of the authorities, and no <ed,rsa> has been listed, include
  it.

Refactor code that matches up routers with the same identity in votes

This makes 'routerstatus collation' into a first-class concept, so
we can change how that works for prop220.

Checkpoint some work on voting on ed25519 identities

 * Include ed25519 identities in votes
 * Include "no ed25519 identity" in votes
 * Include some commented-out code about identity voting.  (This
   will disappear.)
 * Include some functions for identity voting (These will disappear.)
 * Enforce uniqueness in ed25519 keys within a vote

Enforce more correspondence between ri and ei

In particular, they have to list the same ed25519 certificate, and
the SHA256 digest of the ei needs to match.

Sign extrainfo documents with ed25519

Extrainfo documents are now ed-signed just as are router
descriptors, according to proposal 220.  This patch also includes
some more tests for successful/failing parsing, and fixes a crash
bug in ed25519 descriptor parsing.

Revise makedesc.py: teach it how to emit ed signatures and crosscerts

Also, add a trivial ed25519-signed routerinfo to the tests.

Refactor link handshake cell type implementations to use trunnel

Unit tests still pass.

Fix memory leaks in test_link_handshake.c

Tests for AUTHENTICATE cell functionality.

Start testing cell encoders/processers for the v3 handshake.

An earlier version of these tests was broken; now they're a nicer,
more robust, more black-box set of tests.  The key is to have each
test check a handshake message that is wrong in _one_ way.

Add trunnel-generated items for link handshake code.

This includes the link handshake variations for proposal220.

We'll use this for testing first, and then use it to extend our
current code to support prop220.

Include ed25519 keys in microdescriptors.

Fix the position-check for ed25519 certs to work with annotations

When there are annotations on a router descriptor, the
ed25519-identity element won't be at position 0 or 1; it will be at
router+1 or router-1.

This patch also adds a missing smartlist function to search a list for
an item with a particular pointer.

Tie key-pinning logic into directory authority operation

With this patch:
  * Authorities load the key-pinning log at startup.
  * Authorities open a key-pinning log for writing at startup.
  * Authorities reject any router with an ed25519 key where they have
    previously seen that ed25519 key with a different RSA key, or vice
    versa.
  * Authorities warn about, but *do not* reject, RSA-only descriptors
    when the RSA key has previously gone along with an Ed25519 key.
    (We should make this a 'reject' too, but we can't do that until we're
    sure there's no legit reason to downgrade to 0.2.5.)

Key-pinning back-end for directory authorities.

This module implements a key-pinning mechanism to ensure that it's
safe to use RSA keys as identitifers even as we migrate to Ed25519
keys.  It remembers, for every Ed25519 key we've seen, what the
associated Ed25519 key is.  This way, if we see a different Ed25519
key with that RSA key, we'll know that there's a mismatch.

We persist these entries to disk using a simple format, where each
line has a base64-encoded RSA SHA1 hash, then a base64-endoded
Ed25519 key.  Empty lines, misformed lines, and lines beginning with
a # are ignored. Lines beginning with @ are reserved for future
extensions.

Implement proposal 228: cross-certification with onion keys

Routers now use TAP and ntor onion keys to sign their identity keys,
and put these signatures in their descriptors.  That allows other
parties to be confident that the onion keys are indeed controlled by
the router that generated the descriptor.

Implement proposal 228: cross-certification with onion keys

Routers now use TAP and ntor onion keys to sign their identity keys,
and put these signatures in their descriptors.  That allows other
parties to be confident that the onion keys are indeed controlled by
the router that generated the descriptor.

Implement ed25519-signed descriptors

Now that we have ed25519 keys, we can sign descriptors with them
and check those signatures as documented in proposal 220.

prop220: Implement certificates and key storage/creation

For prop220, we have a new ed25519 certificate type. This patch
implements the code to create, parse, and validate those, along with
code for routers to maintain their own sets of certificates and
keys.  (Some parts of master identity key encryption are done, but
the implementation of that isn't finished)

FIx a couple of mistypes.

Merge remote-tracking branch 'origin/maint-0.2.6'

Fix --enable-systemd builds on systems with libsystemd but not systemd

Fixes bug 16164; bugfix on 0.2.6.3-alpha. Patch from Peter Palfrader.

Revert "Try using SSL_get_ciphers in place of session->ciphers"

This reverts commit 67964cfa787461bc56380fe46439fd5c9863bb4f.

It was the cause of #16153, and was not in any released Tor.  We need
a better solution for getting session->ciphers.

Merge remote-tracking branch 'yawning/ticket16140'

Revert the broken part of 548b4be

Fixes 16152.

Remove support for OpenSSL without ECC.

As OpenSSL >= 1.0.0 is now required, ECDHE is now mandatory.  The group
has to be validated at runtime, because of RedHat lawyers (P224 support
is entirely missing in the OpenSSL RPM, but P256 is present and is the
default).

Resolves ticket #16140.

Generate error ASAP if building with too-old openssl

move "version" declaration to avoid "set but not used" warnings

Merge remote-tracking branch 'yawning/bug16052a_027'

fwd-port 0.2.6.8 changelog

19:38 < Yawning> nickm: you left the "+#ifndef SSL_clear_mode" block in ;_;

Merge branch 'bug16034_no_more_openssl_098_squashed'

Conflicts:
src/test/testing_common.c

Drop support for OpenSSLs without AES_CTR

Now that OpenSSL 0.9.8 is dead, crypto_seed_rng() needs no args

It needed an argument before because it wasn't safe to call
RAND_poll() on openssl 0.9.8c if you had already opened more fds
than would fit in fd_set.

Remove code to support OpenSSL 0.9.8

Stop poking SSL_CTX->comp_methods

Use SSL_CIPHER accessor functions

Use SSL_CIPHER_find where possible.

Try using SSL_get_ciphers in place of session->ciphers

This should help openssl 1.1.  On pre-1.1, we double-check that these
two methods give us the same list, since the underlying code is awfully
hairy.

Tweak rectify_client_ciphers to work with openssl 1.1

The key here is to never touch ssl->cipher_list directly, but only
via SSL_get_ciphers().  But it's not so simple.

See, if there is no specialized cipher_list on the SSL object,
SSL_get_ciphers returns the cipher_list on the SSL_CTX.  But we sure
don't want to modify that one!  So we need to use
SSL_set_cipher_list first to make sure that we really have a cipher
list on the SSL object.

Add support for 'HiddenServiceMaxStream' to 'ADD_ONION'.

Done as a separate commit to ease backporting the tunables to 0.2.6.x.

Add "HiddenServiceMaxStreams" as a per-HS tunable.

When set, this limits the maximum number of simultaneous streams per
rendezvous circuit on the server side of a HS, with further RELAY_BEGIN
cells being silently ignored.

This can be modified via "HiddenServiceMaxStreamsCloseCircuit", which
if set will cause offending rendezvous circuits to be torn down instead.

Addresses part of #16052.

Merge remote-tracking branch 'origin/maint-0.2.6'

Bump maint-0.2.6 to 0.2.6.8

Fix some compilation warnings

Merge remote-tracking branch 'andrea/ticket15358_squashed_2'

Merge remote-tracking branch 'special/bug16060'

Merge remote-tracking branch 'dgoulet/bug16021_027_01'

Silence two make rules

Changes file for ticket 15358

Add GETINFO network-liveness to control protocol

Implement EVENT_NETWORK_LIVENESS

Fix crash on HUP with mixed ephemeral services

Ephemeral services will be listed in rend_services_list at the end of
rend_config_services, so it must check whether directory is non-NULL
before comparing.

This crash happens when reloading config on a tor with mixed configured
and ephemeral services.

Fixes bug #16060. Bugfix on 0.2.7.1-alpha.

Test: add unit test for rend_data_t object and functions

Closes #16021

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Fix: init HSDirs list in rend_data_service_create

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Merge branch 'bug15880_027_03'

Test: fix HS_DESC to expect descriptor ID

With #15881 implemented, this adds the missing descriptor ID at the end of
the expected control message.

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Add missing descriptor ID to HS_DESC control event

For FAILED and RECEIVED action of the HS_DESC event, we now sends back the
descriptor ID at the end like specified in the control-spec section 4.1.25.

Fixes #15881

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Fix rend_config_services() indentation

Not sure what happened but whitespace gone wild! :)

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Use safe_str_client() for service ID in log

Scrub the service ID in a warning log.

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

tor_tls_get_buffer_sizes() will not work on openssl 1.1.  Patch from yawning

Use SSL_state() to inspect the state of SSL objects.

Use SSL_clear_mode where available.

SSL_clear_mode exists; we can use it.

Stop accessing 'ssl->s3->flags' when we are using openssl 1.1

This field was only needed to work with the now-long-gone (I hope,
except for some horrible apples) openssl 0.9.8l; if your headers say
you have openssl 1.1, you won't even need it.

ERR_remove_state() is deprecated since OpenSSL 1.0.0.

OpenSSL 1.1.0 must be built with "enable-deprecated", and compiled with
`OPENSSL_USE_DEPRECATED` for this to work, so instead, use the newer
routine as appropriate.

Merge remote-tracking branch 'origin/maint-0.2.6'

Merge remote-tracking branch 'origin/maint-0.2.5' into maint-0.2.6

Merge remote-tracking branch 'origin/maint-0.2.5'

Merge branch 'bug15823_025' into maint-0.2.5

Bump version to 0.2.7.1-alpha-dev

Add a .dummy file in the changes directory to stop git from removing it

comment patch from dgoulet that was in my inbox too long

reflow changelog.

Tweak spelling and word choice in changelog

Bump version to 0.2.7.1-alpha. (This is not the release yet.)

Intro blurb for 0.2.7.1-alpha

Tweak changelog more.

Fix segfault in HSPOST command introduce with feature #3523

Checking if node->rs->is_hs_dir when the router_status for the node does
not exist results in a segfault. This bug is not in any released Tor.

Merge branch 'writing_tests'

Write the outlines of a WritingTests.txt document

Also, add some sample tests to be examples.

Tweak changelog entries a bit

Fix a bug in format_changelog, in a silly way

Merge remote-tracking branch 'public/bug15821_025'

Fix out-of-bounds read in INTRODUCE2 client auth

The length of auth_data from an INTRODUCE2 cell is checked when the
auth_type is recognized (1 or 2), but not for any other non-zero
auth_type. Later, auth_data is assumed to have at least
REND_DESC_COOKIE_LEN bytes, leading to a client-triggered out of bounds
read.

Fixed by checking auth_len before comparing the descriptor cookie
against known clients.

Fixes #15823; bugfix on 0.2.1.6-alpha.

Re-sort and flow the changelog. Add new entry

Add collation/splitting support to sortChanges script

Fix a few more memory leaks; not in any released Tor