Merge branch 'neena-fix-1667'

Extract "not an HTTP proxy" messages.

Merge branch 'bug15554_032_01_squashed'

changes file for 15554

Add test that parses a hardcoded v2 descriptor.

Merge branch 'onionskin_refactor_2'

changes file for 22804

changes file for bug 22750

Use the proper syscall in sandbox error messages

Fixes #22750.

Merge remote-tracking branch 'asn/ticket22727_032_02'

Merge remote-tracking branch 'dgoulet/ticket22726_032_02'

CREATE_FAST is for when you don't know the onion key

it isn't (anymore) for when you think you can get away with saving some
crypto operations.

better comments and mild refactoring

Document the new functions from the refactor

Reindent the functions split from circuit_send_next_onion_skin().

This is a whitespace change only.

Split circuit_send_next_onion_skin() into its three main cases.

This commit is designed to have a very small diff.  Therefore,
the indentation is wrong.  The next commit will fix that.

Merge branch 'maint-0.3.1'

Update fuzzing_include_am to include updates from include.am

general formatting / whitespace / typo fixes

Add 0.3.1.4-alpha to changelog

Add 0.3.0.9 to changelog and releasenotes

Merge branch 'maint-0.3.1'

"ours" merge to avoid version bump.

Bump version to 0.3.1.4-alpha-dev

Merge branch 'maint-0.3.0' into maint-0.3.1

"ours" merge to avoid version bump.

bump to 0.3.0.9-dev

Merge branch 'maint-0.3.1'

"ours" merge to avoid version bump.

Bump 0.3.1 to 0.3.1.4-alpha

Merge branch 'maint-0.3.0' into maint-0.3.1

"ours" merge to avoid version bump.

Update maint-0.3.0 to 0.3.0.9

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'trove-2017-006' into maint-0.3.0

Merge branch 'maint-0.3.1'

Merge remote-tracking branch 'public/bug22670_031' into maint-0.3.1

Merge branch 'maint-0.3.1'

Merge branch 'ticket22684'

Adjust unit tests to account for fix to bug 22753.

Our mock network put all the guards on the same IPv4 address, which
doesn't fly when we start applying EnforceDistinctSubnets.  So in
this commit, I disable EnforceDistinctSubnets when running the old
guard_restriction_t test.

This commit also adds a regression test for #22753.

Consider the exit family when applying guard restrictions.

When the new path selection logic went into place, I accidentally
dropped the code that considered the _family_ of the exit node when
deciding if the guard was usable, and we didn't catch that during
code review.

This patch makes the guard_restriction_t code consider the exit
family as well, and adds some (hopefully redundant) checks for the
case where we lack a node_t for a guard but we have a bridge_info_t
for it.

Fixes bug 22753; bugfix on 0.3.0.1-alpha. Tracked as TROVE-2016-006
and CVE-2017-0377.

Changes file for bug22752 diagnostics

Log real error message when unable to remove a storagedir file

Attempts to help diagnose 22752.

Replace crash on missing handle in consdiffmgr with nonfatal assert

Attempts to mitigate 22752.

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge remote-tracking branch 'teor/bug21507-029' into maint-0.2.9

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge remote-tracking branch 'teor/bug21576_029_v2' into maint-0.2.9

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.3.0' into maint-0.3.1

"ours" merge to avoid taking redundant ws fix

whitespace fix

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.3.0' into maint-0.3.1

"Ours" merge to avoid taking backport of 21969

Merge remote-tracking branch 'asn/bug21969_bridges_030' into maint-0.3.0

Merge branch 'maint-0.3.1'

nodelist: Make HSv3 protover magic numbers a bit more readable.

Fix crash in LZMA module when the Sandbox is enabled.

This patch fixes a crash in our LZMA module where liblzma will allocate
slightly more data than it is allowed to by its limit, which leads to a
crash.

See: https://bugs.torproject.org/22751

ed25519: Add changes file for #22746.

ed25519: Add tests blinding bad ed25519 pubkeys.

ed25519: Also check that retval in the ref10 implementation.

ed25519: Check retval of unpack_negative_vartime in donna.

Merge branch 'maint-0.3.1'

Merge branch 'ahf_bugs_22702_squashed' into maint-0.3.1

Add changes file for bug #22702.

See: https://bugs.torproject.org/22702

Return "304 not modified" if a client already have the most recent consensus.

This makes our directory code check if a client is trying to fetch a
document that matches a digest from our latest consensus document.

See: https://bugs.torproject.org/22702

Set published_out for consensus cache entries in spooled_resource_estimate_size().

This patch ensures that the published_out output parameter is set to the
current consensus cache entry's "valid after" field.

See: https://bugs.torproject.org/22702

Merge branch 'asn_bug22006_final_squashed'

no newlines in log messages.

whitespace fix

Merge branch 'asn_bug22006_final_squashed'

ed25519: Dirauths validate router ed25519 pubkeys before pinning.

ed25519: Add unittests for ed25519 pubkey validation.

ed25519: Add func that checks for torsion component in pubkeys.

See https://lists.torproject.org/pipermail/tor-dev/2017-April/012213.html .

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.3.1'

Merge branch 'maint-0.2.7-redux' into maint-0.2.8

Merge branch 'maint-0.2.6' into maint-0.2.7-redux

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Merge branch 'bug22737_024' into maint-0.2.4

Fix an errant memset() into the middle of a struct in cell_pack().

This mistake causes two possible bugs. I believe they are both
harmless IRL.

BUG 1: memory stomping

When we call the memset, we are overwriting two 0 bytes past the end
of packed_cell_t.body. But I think that's harmless in practice,
because the definition of packed_cell_t is:

// ...
typedef struct packed_cell_t {
  TOR_SIMPLEQ_ENTRY(packed_cell_t) next;
  char body[CELL_MAX_NETWORK_SIZE];
  uint32_t inserted_time;
} packed_cell_t;

So we will overwrite either two bytes of inserted_time, or two bytes
of padding, depending on how the platform handles alignment.

If we're overwriting padding, that's safe.

If we are overwriting the inserted_time field, that's also safe: In
every case where we call cell_pack() from connection_or.c, we ignore
the inserted_time field. When we call cell_pack() from relay.c, we
don't set or use inserted_time until right after we have called
cell_pack(). SO I believe we're safe in that case too.

BUG 2: memory exposure

The original reason for this memset was to avoid the possibility of
accidentally leaking uninitialized ram to the network. Now
remember, if wide_circ_ids is false on a connection, we shouldn't
actually be sending more than 512 bytes of packed_cell_t.body, so
these two bytes can only leak to the network if there is another bug
somewhere else in the code that sends more data than is correct.

Fortunately, in relay.c, where we allocate packed_cell_t in
packed_cell_new() , we allocate it with tor_malloc_zero(), which
clears the RAM, right before we call cell_pack. So those
packed_cell_t.body bytes can't leak any information.

That leaves the two calls to cell_pack() in connection_or.c, which
use stack-alocated packed_cell_t instances.

In or_handshake_state_record_cell(), we pass the cell's contents to
crypto_digest_add_bytes(). When we do so, we get the number of
bytes to pass using the same setting of wide_circ_ids as we passed
to cell_pack(). So I believe that's safe.

In connection_or_write_cell_to_buf(), we also use the same setting
of wide_circ_ids in both calls. So I believe that's safe too.

I introduced this bug with 1c0e87f6d8c7a0abdadf1b5cd9082c10abc7f4e2
back in 0.2.4.11-alpha; it is bug 22737 and CID 1401591

Merge branch 'maint-0.3.1'

Merge branch 'bug22719_031' into maint-0.3.1

changes file for bug 22719

nodelist: Add functions to check for HS v3 support

This introduces node_supports_v3_hsdir() and node_supports_ed25519_hs_intro()
that checks the routerstatus_t of a node and if not present, checks the
routerinfo_t.

This is groundwork for proposal 224 service implementation in #20657.

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs: Ignore unparseable v3 introduction point

It is possible that at some point in time a client will encounter unknown or
new fields for an introduction point in a descriptor so let them ignore it for
forward compatibility.

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.3.1'

Merge branch 'bug22105_031' into maint-0.3.1

Merge branch 'maint-0.3.1'

Patch for 22720 from huyvq: exit(1) more often

See changes file for full details.

Merge branch 'maint-0.3.1'

Merge branch 'bug22212_squashed' into maint-0.3.1

Changes file for Bug 22212.

Demote a log message due to libevent delays.

This is a side-effect of being single-threaded. The worst cases of this are
actually Bug #16585.

Merge branch 'maint-0.3.1'

Fix a coverity warning about a no-op assert with-64 bit size_t

This is CID 1403400

Try a little harder to make sure we never call tor_compress_process wrong.