Merge remote-tracking branch 'dgoulet/ticket23355_032_01'

Merge remote-tracking branch 'asn/bug23387_squashed'

test: Test that client picks the right HSDir for service.

This test is important because it tests that upload_descriptor_to_all()
is in synch with pick_hsdir_v3(). That's not the case for the
reachability test which just compares the responsible hsdir sets.

prop224: Pick the right hsdir index based on descriptor.

There was a bug in upload_descriptor_to_all() where we picked between
first and second hsdir index based on which time segment we are. That's
not right and instead we should be uploading our two descriptors using a
different hsdir index every time. That is, upload first descriptor using
first hsdir index, and upload second descriptor using second hdsir index.

Also simplify stuff in pick_hdsir_v3() since that's only used to fetch
descriptors and hence we can just always use the fetch hsdir index.

prop224: hs_time_between_tp_and_srv() -> hs_in_period_between_tp_and_srv()

Conflicts:
src/or/nodelist.c

prop224: 'is_new_tp' -> 'use_second_hdsir_index' in hs_get_responsible_hsdirs()

test: Improve our rotation and build descriptor tests

Because of the latest changes on when we rotate, longer lifetime of
descriptors and no more overlap period, the tests needed to be improved to
test more functionnalities.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Fix use out of scope and consensus timings

First, this fixes #23372.

Second, the consensus timings for the build descriptor have been changed to
the current test can pass. More extensive tests of descriptor rotation are
coming in a commit near you because the rotation and time period logic has
been changed.

Signed-off-by: David Goulet <dgoulet@torproject.org>

test: Add an HS v3 reachability unit test

This is a large and important unit test for the hidden service version
3! It tests the service reachability for a client using different
consensus timings and makes sure that the computed hashring is the same
on both side so it is actually reachable.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Make client and service pick same HSDir

With the latest change on how we use the HSDir index, the client and service
need to pick their responsible HSDir differently that is depending on if they
are before or after a new time period.

The overlap mode is active function has been renamed for this and test added.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Expand the overlap period concept to be a full SRV protocol run

Because of #23387, we've realized that there is one scenario that makes
the client unable to reach the service because of a desynch in the time
period used. The scenario is as follows:

  +------------------------------------------------------------------+
  |                                                                  |
  | 00:00      12:00       00:00       12:00       00:00       12:00 |
  | SRV#1      TP#1        SRV#2       TP#2        SRV#3       TP#3  |
  |                                                                  |
  |  $==========|-----------$===========|-----------$===========|    |
  |                                    ^ ^                           |
  |                                    C S                           |
  +------------------------------------------------------------------+

In this scenario the HS has a newer consensus than the client, and the
HS just moved to the next TP but the client is still stuck on the old
one. However, the service is not in any sort of overlap mode so it
doesn't cover the old TP anymore, so the client is unable to fetch a
descriptor.

We've decided to solve this by extending the concept of overlap period
to be permanent so that the service always publishes two descriptors and
aims to cover clients with both older and newer consensuses. See the
spec patch in #23387 for more details.

prop224: Use fetch and store HSDir indexes.

Based on our #23387 findings, it seems like to maintain 24/7
reachability we need to employ different logic when computing hsdir
indices for fetching vs storing. That's to guarantee that the client
will always fetch the current descriptor, while the service will always
publish two descriptors aiming to cover all possible edge cases.

For more details see the next commit and the spec branch.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'dgoulet/bug23429_032_01'

Merge branch 'ticket20119'

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'bug22644_029' into maint-0.2.9

Merge branch 'ticket22731'

Merge branch 'feature23237'

Merge branch 'ticket22377'

Merge remote-tracking branch 'dgoulet/ticket23427_032_01'

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.5' into maint-0.2.8

Update geoip and geoip6 to the September 6 2017 database.

hs: Do not assert on rend_data while iterating over circuits

The pruning process and the deleting ephemeral service function iterates over
all circuits and were asserting on rend_data for a matching circuit. This is
not good because now we have v3 circuits without a rend_data.

Fixes #23429

Signed-off-by: David Goulet <dgoulet@torproject.org>

doc: Add our Ubuntu packager to ReleasingTor.md

His full name is: Simon Deziel.

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: When computing hsdir index and time period, use valid_after time

Use the valid_after time from the consensus to get the time period number else
we might get out of sync with the overlap period that uses valid_after.

Make it an optional feature since some functions require passing a
specific time (like hs_get_start_time_of_next_time_period()).

Signed-off-by: David Goulet <dgoulet@torproject.org>

Whoops -- I messed a calltool target

Merge branch 'calltool'

Add support for running "calltool" on Tor via "make callgraph".

Closes #19307.

Talk about assertions in CodingStandards.md

Add a module comment to util_bug.h

Closes ticket 22824.

Fix crashes on empty +HSPOST and +POSTDESCRIPTOR commands

Fixes bug 22644; bugfix on 0.2.7.1-alpha and 0.2.0.1-alpha
respectively.

Merge branch 'maint-0.3.1'

Add a stack trace to the warning at issue with 23105.

With luck, this will help us diagnose 23105 and fix it.

I also added a stack trace to the warning right before it, since why
not.

Merge branch 'bug23361_032_01_squashed2'

prop224: Pick rendezvous point of protover HSRend=2

Version 3 hidden service needs rendezvous point that have the protocol version
HSRend >= 2 else the rendezvous cells are rejected.

Fixes #23361

Signed-off-by: David Goulet <dgoulet@torproject.org>

Better error on failure to load seccomp2 sandbox

There are two reasons this is likeliest to happen -- no kernel
support, and some bug in Tor.  We'll ask people to check the former
before they report. Closes 23090.

Merge remote-tracking branch 'dgoulet/bug23123_032_01'

Correctly describe which inputs would confuse the old BSD strtol

This fixes our changelog's description of 22789.

Exit when we can't write to a configured pid file

This is probably what the user wants, according to 20119.

Reject torrc if RunAsDaemon is given with relative paths.

The chdir() call in RunAsDaemon makes the behavior here surprising,
and either way of trying to resolve the surprise seems sure to
startle a significant fraction of users.  Instead, let's refuse to
guess, and refuse these configurations.

Closes ticket 22731.

Make url-canonicalizer canonicalize correctly.

Fix an erroneous !

Resolve inconsistencies between buf refactor and HTTP connect

Merge branch 'http_tunnel_squashed'

Add a fuzzer for HTTP CONNECT

Add a manpage entry and changes file for for HTTPTunnelPort

Add stream isolation support for HTTP CONNECT tunnels

I'm doing this using the Proxy-Authorization: header to support
clients that understand it, and with a new tor-specific header that
makes more sense for our use.

Add support for HTTP Connect tunnels

Export http-command parsing functions.

Make preferred_chunk_size nonstatic, and add a prefix to it

Merge branch 'refactor_buffers_api_3'

Refactor buffer APIs to put a buf_t first.

By convention, a function that frobs a foo_t should be called
foo_frob, and it should have a foo_t * as its first argument.  But
for many of the buf_t functions, the buf_t was the final argument,
which is silly.

Repair wide lines from previous commit.

Repair buffer API so everything starts with buf_.

Our convention is that functions which manipulate a type T should be
named T_foo.  But the buffer functions were super old, and followed
all kinds of conventions.  Now they're uniform.

Here's the perl I used to do this:

\#!/usr/bin/perl -w -i -p

s/read_to_buf\(/buf_read_from_socket\(/;
s/flush_buf\(/buf_flush_to_socket\(/;
s/read_to_buf_tls\(/buf_read_from_tls\(/;
s/flush_buf_tls\(/buf_flush_to_tls\(/;
s/write_to_buf\(/buf_add\(/;
s/write_to_buf_compress\(/buf_add_compress\(/;
s/move_buf_to_buf\(/buf_move_to_buf\(/;
s/peek_from_buf\(/buf_peek\(/;
s/fetch_from_buf\(/buf_get_bytes\(/;
s/fetch_from_buf_line\(/buf_get_line\(/;
s/fetch_from_buf_line\(/buf_get_line\(/;
s/buf_remove_from_front\(/buf_drain\(/;
s/peek_buf_startswith\(/buf_peek_startswith\(/;
s/assert_buf_ok\(/buf_assert_ok\(/;

Move buffers.c and buffers_tls.c into src/common

These are no longer tor-specific, so they can be part of the
infrastructure.

Move the tls parts of buffers.c into buffers_tls.c

Make buffers.c independent of or.h

Also, put ext_or function in new module; it had accidentally gotten
into proto_socks.c

Make buf_pullup() expose the pulled-up data.

This lets us drop the testing-only function buf_get_first_chunk_data(),
and lets us implement proto_http and proto_socks without looking at
buf_t internals.

Replace buf->datalen usage in proto_*.c with buf_datalen() call.

This lets us remove BUFFERS_PRIVATE from two of the modules.

Move protocol-specific functions out of buffers.c

This commit does not change the implementation of any function: it
only moves code and adds new includes as necessary.  Part of #23149.

Not all invizbox people have the same TLD... :/

Remove changes files that are already merged in 0.3.1.6-rc

Merge branch 'maint-0.3.1'

"ours" merge to avoid version bump.

Bump to 0.3.1.6-rc-dev

forward-port the 0.3.1.6-rc changelog

Merge branch 'maint-0.3.1'

test: Fix memory leak in hs_descriptor/decode_bad_signature

Fixes #23319

Cherry-picked from master; bug not in any released Tor.

Merge branch 'maint-0.3.1'

"ours" merge to avoid version bump

Bump version to 0.3.1.6-rc

Merge branch 'bug23331_032_01_squashed'

hs: Don't enter the HS v3 subsystem without a live consensus

The service needs the latest SRV and set of relays for the best accurate
hashring to upload its descriptor to so it needs a live consensus thus don't
do anything until we have it.

Fixes #23331

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.1'

Merge branch 'bug22752_031_simple' into maint-0.3.1

Merge remote-tracking branch 'dgoulet/bug23366_032_01'

Merge remote-tracking branch 'asn/bug23346'

Merge remote-tracking branch 'dgoulet/bug23327_032_01'

Merge branch 'bug23360_032_01'

hs: Remove dead code and uneeded feature

When merging #20657, somehow hs_service_dir_info_changed() became unused
leading to not use the re-upload to HSDir when we were missing information
feature.

Turns out that it is not possible to pick an HSDir with a missing descriptor
because in order to compute the HSDir index, the descriptor is mandatory to
have so we can know its position on the hashring.

This commit removes that dead feature and fix the
hs_service_dir_info_changed() not being used.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'asn/ticket23056_v2'

22752: Improve comments to explain why we're doing this fix.

Based on questions and comments from dgoulet, I've tried to fill
in the reasoning about why these functions work in the way that they
do, so that it will be easier for future programmers to understand
why this code exists and works the way it does.

Merge branch 'bug22818_squashed'

docs: Add notes on behaviours which Rust considers undefined.

docs: More Rust coding standards, based on without boats' comments.

Merge branch 'maint-0.3.1'

Merge remote-tracking branch 'public/bug23275_031' into maint-0.3.1

hs: Set rendezvous circuit timestamp_dirty all the time

We used to check if it was set to 0 which is what unused circuit have but when
the rendezvous circuit was cannibalized, the timestamp_dirty is not 0 but we
still need to reset it so we can actually use it without having the chance of
expiring the next second (or very soon).

Fixes #23123

Signed-off-by: David Goulet <dgoulet@torproject.org>

config: Make parse_outbound_addresses() return failures

The function was never returning an error code on failure to parse the
OutboundAddress* options.

In the process, it was making our test_options_validate__outbound_addresses()
not test the right thing.

Fixes #23366

Signed-off-by: David Goulet <dgoulet@torproject.org>

docs: More Rust coding standards w.r.t. fuzzing and safety.

docs: Clarify some portions of the Rust coding standards.

 * THANKS TO Henry de Valence for review.

prop224: Purge client state on NEWNYM

Closes #23355

Signed-off-by: David Goulet <dgoulet@torproject.org>

prop224: Clear list of prev hsdirs before we upload all descs.

This fixes a serious bug in our hsdir set change logic:

We used to add nodes in the list of previous hsdirs everytime we
uploaded to a new hsdir and we only cleared the list when we built a new
descriptor. This means that our prev_hsdirs list could end up with 7
hsdirs, if for some reason we ended up uploading our desc to 7 hsdirs
before rebuilding our descriptor (e.g. this can happen if the set of
hsdirs changed).

After our previous hdsir set had 7 nodes, then our old algorithm would
always think that the set has changed since it was comparing a smartlist
with 7 elements against a smartlist with 6 elements.

This commit fixes this bug, by clearning the prev_hsdirs list before we
upload to all hsdirs. This makes sure that our prev_hsdirs list always
contains the latest hsdirs!

prop224: Simplify HSDir set change algo.

Our logic for detecting hsdir set changes was needlessly compicated: we
had to sort smartlists and compare them.

Instead, we can simplify things by employing the following logic:
"We should reupload our descriptor if the latest HSDir set contains
nodes that were not previously there"

prop224 test: Improve desc_reupload_logic() test with more nodes.

prop224 test: Simplify interface for adding nodes to hash ring.

We want to have tests with big hash rings so let's make it an one-liner
to add nodes.