Improve export_hs_client_circuit_id() function.

- Change default values.
- Beautify.
- Documentation.

Introduce per-service HiddenServiceExportCircuitID torrc option.

Moves code to a function, better viewed with --color-moved.

Encode Circuit ID as src IP in Proxy Protocol for Opportunistic Onions

Merge branch 'maint-0.3.4'

Merge remote-tracking branch 'teor/bug27464-034' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/318'

Merge remote-tracking branch 'tor-github/pr/315'

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.3.4'

Bug 25505: Check circuitmux queues before padding.

Merge remote-tracking branch 'mikeperry/bug25505'

Merge remote-tracking branch 'tor-github/pr/312'

Merge remote-tracking branch 'onionk/doublevote1'

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.4'

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge remote-tracking branch 'teor/ticket27252-034' into maint-0.3.4

Merge remote-tracking branch 'teor/ticket27252-033' into maint-0.3.3

Merge remote-tracking branch 'teor/ticket27252-032' into maint-0.3.2

Merge remote-tracking branch 'teor/ticket27252-029' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/313'

Merge remote-tracking branch 'tor-github/pr/314'

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.4'

Merge branch 'maint-0.2.9' into maint-0.3.2

Initialize 't' in ge25519_scalarmult_base_niels()

OSS-Fuzz's version of memorysanitizer can't tell that this value is
not going to be used unsafely.

Update geoip and geoip6 to the September 6 2018 database.

Defer reporting directory bootstrap progress

Existing cached directory information can cause misleadingly high
bootstrap percentages.  To improve user experience, defer reporting of
directory information progress until at least one connection has
succeeded to a relay or bridge.

Closes ticket 27169.

Bugfix: sizeof(socklen) doesn't make sense when calling connect()

Bugfix on 2f657a1416f2f81dd1be900269c4ae9bdb29f52d; bug not in
any Tor release.

Track bootstrap phase independently of progress

Track bootstrap phase (enumerated by bootstrap_status_t) independently
from the bootstrap progress (which can represent intermediate
progress).  This allows control_event_bootstrap_problem() to avoid
doing a linear search through the bootstrap progress space to find the
current bootstrap phase.

Refactor control_event_bootstrap_core() more

Eliminate a few conditional expressions in
control_event_bootstrap_core() by overwriting the status parameter.

Refactor control_event_bootstrap() somewhat

Move the mostly-invariant part of control_event_boostrap() into a
helper control_event_bootstrap_core().  The helper doesn't modify any
state beyond doing logging and control port notifications.

Deindent much of control_event_bootstrap

Make control_event_bootstrap() return void

Simplify control_event_bootstrap() by making it return void again.  It
is currently a fairly complicated function, and it's made more
complicated by returning an int to signal whether it logged at NOTICE
or INFO.

The callers conditionally log messages at level NOTICE based on this
return value.  Change the callers to unconditionally log their verbose
human-readable messages at level INFO to keep NOTICE logs less
cluttered.

This partially reverts the changes of #14950.

test: Fix coverity CID 1439129

One HSv3 unit test used "tor_memeq()" without checking the return value. This
commit changes that to use "tt_mem_op()" to actually make the test validate
something :).

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Fix coverity CID 1439130

Trivial fix of removing an uneeded NULL check in an HS v3 unit test.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Fix coverity CID 1439131

Simple uninitialized object that we could free in an HS v3 unit test.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Copy changelogs and releasenotes to master

Address coverity warnings (CID 1439133/1439132).

>>>>    CID 1439133:  Null pointer dereferences  (REVERSE_INULL)
>>>>    Null-checking "fields" suggests that it may be null, but it
>>>> has already been dereferenced on all paths leading to the check.

>>>>    CID 1439132:  Null pointer dereferences  (REVERSE_INULL)
>>>>    Null-checking "fields" suggests that it may be null, but it
>>>> has already been dereferenced on all paths leading to the check.

Merge branch 'maint-0.3.4'

"ours" to avoid version bump.

Bump to 0.3.4.8-dev

Merge branch 'maint-0.3.3' into maint-0.3.4

"ours" to avoid version bump.

Bump to 0.3.3.10-dev.

Merge branch 'maint-0.3.2' into maint-0.3.3

"ours" to avoid version bump.

Merge branch 'maint-0.2.9' into maint-0.3.2

"ours" to avoid version bump.

Bump to 0.3.2.12-dev

Bump to 0.2.9.17-dev

Call event_set_mem_functions during initialization

Refactor initialization in curve25519_basepoint_spot_check

This is an attempt to work around what I think may be a bug in
OSS-Fuzz, which thinks that uninitialized data might be passed to
the curve25519 functions.

make ipv6-only config complaint clearer

(a relay operator hit this on #tor-relays and couldn't make sense
of it. i couldn't either until i went to go read the code.)

Merge branch 'maint-0.3.4'

Merge branch 'maint-0.3.3' into maint-0.3.4

"ours" to avoid bump.

Merge branch 'maint-0.3.2' into maint-0.3.3

"ours" to avoid bump

Merge branch 'maint-0.2.9' into maint-0.3.2

"ours" to avoid bump

Bump to 0.3.3.10

Bump to 0.3.2.12

Bump to 0.2.9.17

Merge remote-tracking branch 'dgoulet/ticket20700_035_03'

HSv3: Don't assert when reading bad client-side privkeys.

HSv3: Add subcredential in client auth KDF on the client-side.

HSv3: Add subcredential in client auth KDF on the service-side.

Also update some client auth test vectors that broke...

hs-v3: Make hs_desc_build_fake_authorized_client() return an object

Return a newly allocated fake client authorization object instead of taking
the object as a parameter.

Signed-off-by: David Goulet <dgoulet@torproject.org>

bug: Use PATH_SEPARATOR instead of slash

In function get_fname_suffix, previously it uses /, but in fact it
should use PATH_SEPARATOR.

hs-v3: Improve v3 client authorization logging

Part of #20700.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Log client auth load activities client side

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Log client auth load activities service side

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Rename client_pk to client_auth_pk

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Rename client_sk to client_auth_sk

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: HS v3 client auth is config equal function

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Republish descriptors if client auth changes

When reloading tor, check if our the configured client authorization have
changed from what we previously had. If so, republish the updated descriptor.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Make all descriptor content free functions public

Series of functions that we now need in hs_service.c.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Re-enable the decoding in the encoding function

Previously, the validation by decoding a created descriptor was disabled
because the interface had to be entirely changed and not implemented at the
time.

This commit re-enabled it because it is now implemented.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: HS v3 descriptor decoding with client authorization

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Decrypt the descriptor with client private key

Parse the client authorization section from the descriptor, use the client
private key to decrypt the auth clients, and then use the descriptor cookie to
decrypt the descriptor.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Refactor the descriptor decryption/decoding

This commit refactors the existing decryption code to make it compatible with
a new logic for when the client authorization is enabled.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Refactor secret data building logic

Because this secret data building logic is not only used by the descriptor
encoding process but also by the descriptor decoding, refactor the function to
take both steps into account.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: HS v3 client authorization loading secret key

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Load client authorization secret key from file

The new ClientOnionAuthDir option is introduced which is where tor looks to
find the HS v3 client authorization files containing the client private key
material.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: HS v3 descriptor encoding with client authorization

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Encrypt the descriptor using a cookie

Previously, we encrypted the descriptor without the descriptor cookie. This
commit, when the client auth is enabled, the descriptor cookie is always used.

I also removed the code that is used to generate fake auth clients because it
will not be used anymore.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Build an HSv3 descriptor with authorized client

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: HS v3 building a descriptor with client auth

This commit tests that the descriptor building result, when the client
authorization is enabled, includes everything that is needed.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Generate all descriptor related keys

We need to generate all the related keys when building the descriptor, so that
we can encrypt the descriptor.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: HS v3 loading client auth keys service side

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs-v3: Load all client auth keys to the service

This commit loads all client public keys from every file in
`authorized_clients/` directory.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'teor/bug27521'

Merge branch 'maint-0.3.4'

"ours" to avoid version bump

Bump to 0.3.4.8

in master, remove changes files for already-merged changes

Copy updated 0.3.4.6-rc changelog to master

Forward-ports fix for 27488.

Merge branch 'maint-0.3.2' into maint-0.3.3

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.3.4'

Merge branch 'maint-0.2.9' into maint-0.3.2

Merge branch 'ticket27344_029' into maint-0.2.9

Tell openssl to build its TLS contexts with security level 1

Fixes bug 27344, where we'd break compatibility with old tors by
rejecting RSA1024 and DH1024.

Merge branch 'maint-0.3.4'

Merge remote-tracking branch 'teor/bug27460-034' into maint-0.3.4