Merge remote-tracking branch 'dgoulet/rendcache_027_01'

fix some memory leaks that coverity found

Move cache objects and functions to rendcache.{c|h}

Every functions and objects that are used for hidden service descriptor
caches are moved to rendcache.{c|h}.

This commit does NOT change anything, just moving code around.

Fixes #16399

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Add rendcache.{c|h}

For now, rend_cache_entry_t has been moved from or.h to rendcache.h and
those files have been added to the build system.

In the next commit, these will contain hidden service descriptor cache ABI
and API for both client and directory side. The goal is to consolidate the
descriptor caches in one location to ease development, maintenance, review
and improve documentation for each cache behavior and algorithm.

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Merge remote-tracking branch 'origin/maint-0.2.6'

Merge remote-tracking branch 'dgoulet/bug16381_026_01-revert' into maint-0.2.6

Handle "keygen" if datadir does not yet exist

add test-memwipe to .gitignore

Fix an unchecked-case warning on windows

changes file for 13642

Merge branch '13642_offline_master_v2_squashed'

Support encrypted offline master keys with a new --keygen flag

When --keygen is provided, we prompt for a passphrase when we make a
new master key; if it is nonempty, we store the secret key in a new
crypto_pwbox.

Also, if --keygen is provided and there *is* an encrypted master key,
we load it and prompt for a passphrase unconditionally.

We make a new signing key unconditionally when --keygen is provided.
We never overwrite a master key.

Add a tor_getpass to read passphrases. Needs better backend.

Extend intro point to a 4th hop on cannibalization

Fixes #16260

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Merge remote-tracking branch 'origin/maint-0.2.6'

Merge remote-tracking branch 'origin/maint-0.2.5' into maint-0.2.6

Correctly handle failed crypto_early_init

If crypto_early_init fails, a typo in a return value from tor_init
means that tor_main continues running, rather than returning
an error value.

Fixes bug 16360; bugfix on d3fb846d8c98 in 0.2.5.2-alpha,
introduced when implementing #4900.

Patch by "teor".

Revert "Do not replace a HS descriptor with a different replica of itself"

This reverts commit 9407040c592184e05e45a3c1a00739c2dd302288.

Small fix, "e->received" had to be removed since that variable doesn't exist
anymore.

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Document the consensus download interval used by hidden services

In the comments in update_consensus_networkstatus_fetch_time_impl
in networkstatus.c

Fix spacing in tortls.c

Merge remote-tracking branch 'origin/maint-0.2.6'

Merge commit '1eb2c0cbd3a9be2650419bd07474770629261f56'

This is an 'ours' merge to leave the version number alone.

Fix another seccomp2 issue

Allow pipe() and pipe2() syscalls; we need these when eventfd2()
support is missing. Fixes bug 16363; bugfix on 0.2.6.3-alpha.  Patch
from "teor".

Merge remote-tracking branch 'teor/feature15817-clang-sanitizers'

Add a log message to try to track down #16013

Spell occurred right

fwd-port 0.2.6.9 changes

Merge remote-tracking branch 'teor/bug16343-master-key-assert'

Fix clang address of struct member always non-NULL in SSL master key

clang complains that the address of struct member in an assert in
SSL_SESSION_get_master_key is always non-NULL.
Instead, check each pointer argument is non-NULL before using it.

Fix on f90a704f1258 from 27 May 2015, not in any released version of tor.

Update and clarify release checklist

Bump version to 0.2.6.9

Tweak clang sanitizer blacklist for out-of-tree builds, make, ccache

Avoid using file names and file paths for compatibility with
out-of-tree builds.

Note make and ccache don't track blacklist dependencies,
add workarounds.

Merge remote-tracking branch 'teor/feature15817-clang-sanitizers'

Merge remote-tracking branch 'origin/maint-0.2.6'

HSDir flag now requires the Stable flag

Fixes #8243

Edit contrib/README to document the contrib/clang directory

Add instructions for clang sanitizers, static analyzer, and coverity

Document use of coverity, clang static analyzer, and clang dynamic
undefined behavior and address sanitizers in doc/HACKING.

Add clang dynamic sanitizer blacklist in
contrib/clang/sanitizer_blacklist.txt to exempt known undefined
behavior. Include detailed usage instructions in this blacklist file.

Patch by "teor".

Merge remote-tracking branch 'origin/maint-0.2.6'

Set session_group after the port's data structure has been populated.

Fixes #16247, patch by "jojelino".

Merge remote-tracking branch 'public/bug15760_hard_026_v2'

A few more minor OpenSSL 1.1 fixes.

 * Use `TLS_method()` instead of the deprecated `SSLv23_method()`
 * Fix one missed conversion to `SSL_CIPHER_get_id()`

Merge remote-tracking branch 'teor/bug16115-minor-fixes'

Merge remote-tracking branch 'origin/maint-0.2.6'

Fix sandboxing to work when running as a relay

This includes correctly allowing renaming secret_id_key and allowing the
eventfd2 and futex syscalls.  Fixes bug 16244; bugfix on 0.2.6.1-alpha.

Check for NULL values in getinfo_helper_onions

Fix on 915c7438a77e in Tor 0.2.7.1-alpha.

Ensure signing_key is non-NULL before accessing one of its members

signing_key can be NULL in ed_key_init_from_file in routerkeys.c.
Discovered by clang 3.7 address sanitizer.

Fix on c03694938ed0, not in any released version of Tor.

Remove undefined directive-in-macro in test_util_writepid

clang 3.7 complains that using a preprocessor directive inside
a macro invocation in test_util_writepid in test_util.c is undefined.

Fix on 79e85313aa61 on 0.2.7.1-alpha.

Always initialise return value in compute_desc_id in rendcommon.c

Fix on e6a581f126ba, released in 0.2.7.1-alpha.

Silence unused variable warnings in find_cipher_by_id

Unused variable warnings were still generated under some versions of OpenSSL.
Instead, make sure all variables are used under all versions.

Fix on 496df21c89d1, not in any released version of tor.

Fix an incorrect comment on spawn_func

spawn_func calls pthread_create on unix, not fork

Fix on existing code split out of compat.c into
compat_pthreads.c in c2f0d52b7fb9

Merge remote-tracking branch 'public/bug15760_hard_026_v2'

Conflicts:
src/common/tortls.c

Use autoconf, not OPENSSL_VERSION_NUMBER, to detect SSL_CIPHER_find

Repairs build with libressl

Use accessor functions for client_random/server_random/master_key

If OpenSSL accepts my patch to introduce these functions, they'll
be a way to help Tor work with OpenSSL 1.1.

Add a master-key-ed25519 line for convenience

More check-spaces fixes

Fix a memory leak in routerkeys.c

Fix some memory leaks in ed25519 code and tests

Appease make check-spaces

Fix return-type gcc warning

find_dl_schedule_and_len caused gcc to spit up with -Werror.

Signed-off-by: Sharif Olorin <sio@tesser.org>

Another memory leak bytes the dust.

Attempt to fix keypinning on Windows

Not that I would countenance a directory authority on Windows, but
it would be nice if the unit tests passed.

Fix another int-to-ptr cast.

Fix a warning from the clangalyzer.

Fix a sizeof(ptr) mistake in test-memwipe.c

more generic scan-build script

Merge remote-tracking branch 'origin/maint-0.2.6'

Fix sandbox use with systemd. bug 16212.

Avoid double-free on rend_add_service() failure

Rend_add_service() frees its argument on failure; no need to free again.

Fixes bug 16228, bugfix on 0.2.7.1-alpha

Found by coverity; this is CID 1301387.

There sure are a lot of these in test_hs.c. CID 1301385

Fix a bug in earlier torcert fix, fix another.

Another test_hs leak. CID 1301383.

Memory leak in tor_cert_parse. CID 1301382.

Memory leak in tor_cert_parse. CID gi1301381

Fix leak-on-test-failure in test_routerkeys.c

CID 1301379

Memory leak in test_hs_rend_data

CID 1301377

Fix memory leak in test_routerkeys

CID 1301376

Small leak in ed_key_init_from_file. CID 1301373

Memory leak on error in connection_or_compute_auth_cell_body. CID 1301372

fix memory leak on bad ns convote. CID 1301371.

Fix memory leak on failure to generate EI. CID 1301370.

Fix null dereference on key setup error.

CID 1301369

Update trunnel code.

This gets the minor change in trunnel 1.4.1, which should avoid
deadcode warnings from Coverity.

Avoid dereferencing null on unit test failure for link handshakes.

This fixes CID 1301368 -- found by coverity

Fix a bug when we fail to read a cert from a file.

Found by coverity -- CID 1301366.

Add assertions to crypto_dh_dup()

Without these, coverity is annoyed that aren't checking for NULL in bench.c

CID 1293335 -- found by coverity.

Impose an upper limit on threads per threadpool.

Found by Coverity; Fixes CID 1268069

Bug 12498 needs a changes file.

Merge branch '12498_ed25519_keys_v6'

Fixed numerous conflicts, and ported code to use new base64 api.

Document some ed25519 key options

Note some functions that should move or be merged

Do not allocate our ed-link crosscert till after tls ctx

We need this to prevent some annoying chutney crash-at-starts

Generate weird certificates correctly

(Our link protocol assumes that the link cert certifies the TLS key,
and there is an RSA->Ed25519 crosscert)

Regenerate ed25519 keys when they will expire soon.

Also, have testing-level options to set the lifetimes and
expiration-tolerances of all key types, plus a non-testing-level
option to set the lifetime of any auto-generated signing key.

# This is a combination of 2 commits.
# The first commit's message is:

Regenerate ed25519 keys when they will expire soon.

Also, have testing-level options to set the lifetimes and
expiration-tolerances of all key types, plus a non-testing-level
option to set the lifetime of any auto-generated signing key.

# The 2nd commit message will be skipped:

# fixup! Regenerate ed25519 keys when they will expire soon.

Only load master ed25519 secret keys when we absolutely must.

Implement ed25519 identity collation for voting.

This is a new collator type that follows proposal 220 for deciding
which identities to include.  The rule is (approximately):

  If a <ed,rsa> identity is listed by more than half of authorities,
  include it.  And include all <rsa> votes about that node as
  matching.

  Otherwise, if an <*,rsa> or <rsa> identity is listed by more than
  half of the authorities, and no <ed,rsa> has been listed, include
  it.

Refactor code that matches up routers with the same identity in votes

This makes 'routerstatus collation' into a first-class concept, so
we can change how that works for prop220.

Checkpoint some work on voting on ed25519 identities

 * Include ed25519 identities in votes
 * Include "no ed25519 identity" in votes
 * Include some commented-out code about identity voting.  (This
   will disappear.)
 * Include some functions for identity voting (These will disappear.)
 * Enforce uniqueness in ed25519 keys within a vote

Enforce more correspondence between ri and ei

In particular, they have to list the same ed25519 certificate, and
the SHA256 digest of the ei needs to match.

Sign extrainfo documents with ed25519

Extrainfo documents are now ed-signed just as are router
descriptors, according to proposal 220.  This patch also includes
some more tests for successful/failing parsing, and fixes a crash
bug in ed25519 descriptor parsing.