prop224: Circuit has opened and ESTABLISH_INTRO cell

Add the entry point from the circuit subsystem of "circuit has opened" which
is for all type of hidden service circuits. For the introduction point, this
commit actually adds the support for handling those circuits when opened and
sending ESTABLISH_INTRO on a circuit.

Rendevzou point circuit aren't supported yet at this commit.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Introduction circuit creation

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Service v3 descriptor creation and logic

This commit adds the functionality for a service to build its descriptor.
Also, a global call to build all descriptors for all services is added to the
service scheduled events.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Implement subcredential creation

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Add descriptor overlap mode function

The function has been added but not used except for the unit tests.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Scheduled events for service

Add the main loop entry point to the HS service subsystem. It is run every
second and make sure that all services are in their quiescent state after that
which means valid descriptors, all needed circuits opened and latest
descriptors have been uploaded.

For now, only v2 is supported and placeholders for v3 actions for that main
loop callback.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: API for the creation of blinded keys

Add a function for both the client and service side that is building a blinded
key from a keypair (service) and from a public key (client). Those two
functions uses the current time period information to build the key.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Implement constructor for hs_desc_intro_point_t

Add a new and free function for hs_desc_intro_point_t so the service can use
them to setup those objects properly.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Add onion key to service descriptor intro point

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Add the introduction point onion key to descriptor

A prop224 descriptor was missing the onion key for an introduction point which
is needed to extend to it by the client.

Closes #22979

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Helper to dup a link_specifier_t object

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Update hs identifier circuit

Remove the legacy intro point key because both service and client only uses
the ed25519 key even though the intro point chosen is a legacy one.

This also adds the CLIENT_PK key that is needed for the ntor handshake.

Signed-off-by: David Goulet <dgoulet@torproject.org>

trunnel: Add prop224 RENDEZVOUS1 cell definition

Signed-off-by: David Goulet <dgoulet@torproject.org>

fix wordo in comment

Fix remaining cases of hs_config failures without af_unix

Fix hs_config unit test on systems without unix sockets

Bugfix on 418059dd96f5f427eceffff1daeb2a2f6c4adbeb; jenkins found
this.

Rename the hybrid_encrypt/decrypt functions; label them as dangerous

We need to keep these around for TAP and old-style hidden services,
but they're obsolete, and we shouldn't encourage anyone to use them.
So I've added "obsolete" to their names, and a comment explaining
what the problem is.

Closes ticket 23026.

Improve comment about why we disable TLS compression.

Closes bug 22964.  Based on Teor's replacement there, but tries
to put the comment in a more logical place, and explain why we're
actually disabling compression in the first place.

test: Remove buggy unit test in test_hs_service

There isn't much of a point of this buggy test afterall to add twice the same
service object but with a different key which ultinately can end up failing
the test because 1/N_BUCKETS of probability that we end up to put the service
in the same bucket.

Fixes #23023

Signed-off-by: David Goulet <dgoulet@torproject.org>

fix whitespace issue

Merge branch 'bug17750_029_squashed'

Fix a signed integer overflow in dir/download_status_random_backoff

Fix for 22924. Bugfix on 0.2.9.1-alpha when the test was introducd
-- though it couldn't actually overflow until we fixed 17750.

Additionally, this only seems to overflow on 32-bit, and only when
the compiler doesn't re-order the (possibly dead) assignment out of
the way.  We ran into it on a 32-bit ubuntu trusty builder.

Fix 32-bit warnings in hs_common.c

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'bug22916_027' into maint-0.2.9

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'bug22803_030' into maint-0.3.0

Fix compiler warnings with openssl-scrypt/libscrypt test on clang

Clang didn't like that we were passing uint64_t values to an API
that wanted uint32_t.  GCC has either not cared, or has figured out
that the values in question were safe to cast to uint32_t.

Fixes bug22916; bugfix on 0.2.7.2-alpha.

Merge remote-tracking branch 'dgoulet/ticket21979_032_04'

prop224: Fix clang warnings

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'isis/bug19476'

Merge branch 'maint-0.3.1'

Merge branch 'fewer-diffs' into maint-0.3.1

Merge branch 'maint-0.3.1'

Merge branch 'bug22520_031' into maint-0.3.1

Merge branch 'maint-0.3.1'

Merge remote-tracking branch 'isis/bug22830_0.3.1' into maint-0.3.1

prop224: Move service version into config object

It makes more sense to have the version in the configuration object of the
service because it is afterall a torrc option (HiddenServiceVersion).

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Use the service config object when configuring

Both configuration function now takes the service config object instead of the
service itself.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Don't use char * for binary data

It turns out that some char * sneaked in our hs_common.c code. Replace those
by uint8_t *.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Add a clear configuration function

The added function frees any allocated pointers in a service configuration
object and reset all values to 0.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Don't use an array of config handlers

As per nickm suggestion, an array of config handlers will not play well with
our callgraph tool.

Instead, we'll go with a switch case on the version which has a good side
effect of allowing us to control what we pass to the function intead of a fix
set of parameters.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Detect duplicate configuration options

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Use a common function to parse uint64_t

Add a helper function to parse uint64_t and also does logging so we can reduce
the amount of duplicate code.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Revert "fixup! prop224: Add hs_config.{c|h} with a refactoring"

This reverts commit e2497e2ba038133026a475f0f93c9054187b2a1d.

test: Add v3 service load keys and accessors

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add v3 service config and registration test

This tests our hs_config.c API to properly load v3 services and register them
to the global map. It does NOT test the service object validity, that will be
the hs service unit test later on.

At this commit, we have 100% code coverage of hs_config.c.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Add rend_service_init()

Initialize both the global and staging service lists.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Add a function to check for invalid opts

Every hidden service option don't apply to every version so this new function
makes sure we don't have for instance an option that is only for v2 in a v3
configured service.

This works using an exclude lists for a specific version. Right now, there is
only one option that is not allowed in v3. The rest is common.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Load and/or generate v3 service keys

Try to load or/and generate service keys for v3. This write both the public
and private key file to disk along with the hostname file containing the onion
address.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Service address creation/validation

This also adds unit test and a small python script generating a deterministic
test vector that a unit test tries to match.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Configure v3 service from options

This commit adds the support in the HS subsystem for loading a service from a
set of or_options_t and put them in a staging list.

To achieve this, service accessors have been created and a global hash map
containing service object indexed by master public key. However, this is not
used for now. It's ground work for registration process.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add HS v2 service configuration unit tests

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Use v3 maximum intro points value when decoding v3

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Add a init/free_all function for the whole subsystem

Introduces hs_init() located in hs_common.c which initialize the entire HS v3
subsystem. This is done _prior_ to the options being loaded because we need to
allocate global data structure before we load the configuration.

The hs_free_all() is added to release everything from tor_free_all().

Note that both functions do NOT handle v2 service subsystem but does handle
the common interface that both v2 and v3 needs such as the cache and
circuitmap.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Add hs_config.{c|h} with a refactoring

Add the hs_config.{c|h} files contains everything that the HS subsystem needs
to load and configure services. Ultimately, it should also contain client
functions such as client authorization.

This comes with a big refactoring of rend_config_services() which has now
changed to only configure a single service and it is stripped down of the
common directives which are now part of the generic handler.

This is ground work for prop224 of course but only touches version 2 services
and add XXX note for version 3.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Initial import of hs_service_t

This object is the foundation of proposal 224 service work. It will change
and be adapted as it's being used more and more in the codebase. So, this
version is just a basic skeleton one that *will* change.

Signed-off-by: David Goulet <dgoulet@torproject.org>

rephist: Remove unused crypto_pk statistics.

These statistics were largely ununsed, and kept track of statistical information
on things like how many time we had done TLS or how many signatures we had
verified.  This information is largely not useful, and would only be logged
after receiving a SIGUSR1 signal (but only if the logging severity level was
less than LOG_INFO).

 * FIXES #19871.
 * REMOVES note_crypto_pk_op(), dump_pk_op(), and pk_op_counts from
   src/or/rephist.c.
 * REMOVES every external call to these functions.

Add a changes file for bug22830.

use CARGO_HOME instead of HOME when building with rust

New configuration option MaxConsensusAgeForDiffs

Relay operators (especially bridge operators) can use this to lower
or raise the number of consensuses that they're willing to hold for
diff generation purposes.

This enables a workaround for bug 22883.

Merge branch 'maint-0.3.1'

Merge branch 'bug22349_029' into maint-0.3.1

Merge branch 'maint-0.3.1'

Restore openssl and libscrypt includes in test_crypto_slow.c

This reverts part of commit 706c44a6ce0bbeee51c800521a3199d76e1dcd96.

It was a mistake to remove these includes: they were needed on
systems where we have openssl 1.1.0 *and* libscrypt, and where we
were validating the one against the other.

Fixes bug 22892; bugfix on 0.3.1.1-alpha.

Add changes file for #19476.

If writing a heartbeat message fails, retry after MIN_HEARTBEAT_PERIOD.

 * FIXES #19476.

Use the return value for choosing intervals

Merge branch 'maint-0.3.1'

Make consdiff tests pass on OS X too

Add more details about git branch use in tor

impact -> affect

Merge remote-tracking branch 'chelseakomlo/coding-standards-22762'

Avoid double-typedef errors on freebsd.

specify when to run make distcheck

prop224: Add common intropoint object

Groundwork for more prop224 service and client code. This object contains
common data that both client and service uses.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'bug17750_029_squashed'

Comment that failure schedules always use exponential backoff

Refactor exponential backoff multipliers into macros

There are only so many times you can type "4".

Add regression tests for 17750 and 20534

Use download_status_get_next_attempt_at() more often

This guards against future occurrences of 17750.

Give correct bounds in next_random_exponential_delay() comment

Make clients try fallbacks before authorities

Make clients wait for 6 seconds before trying to download their
consensus from an authority.

Fixes bug 17750, bugfix on 0.2.8.1-alpha.

Use LANG_ENGLISH in windows error messages

This change prevents us from generating corrupt messages when we
are confused about codepage settings, and makes Windows errors
consistent with the rest of our logs.

Fixes bug 22520; bugfix on 0.1.2.8-alpha.  Patch from "Vort".

Fix the expected bug warning in dir/param_voting_lookup tests

Merge branch 'bug21495'

Fix a couple of clang warnings

Merge branch 'ticket21859_032_01_squashed'

Fix wide lines

Use LD_BUG, not LOG_PROTOCOL_WARN, for bad-purpose cases.

Hide crypto_digest_t again and use an accessor for tests.

Explicit length checks in create_rend_cpath().

Had to also edit hs_ntor_circuit_key_expansion() to make it happen.

Explicit length checks in circuit_init_cpath_crypto().

Rename get_rend_cpath() to create_rend_cpath().

based on Nick's review.

Rename rend_circuit_validate_purpose() based on Nick's review.

Turn some warnings into bugs and non-fatal asserts.

Improve docs based on Nick's review.