Changes file for bug22752 diagnostics

Log real error message when unable to remove a storagedir file

Attempts to help diagnose 22752.

Replace crash on missing handle in consdiffmgr with nonfatal assert

Attempts to mitigate 22752.

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge remote-tracking branch 'teor/bug21507-029' into maint-0.2.9

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge remote-tracking branch 'teor/bug21576_029_v2' into maint-0.2.9

Merge branch 'maint-0.3.0' into maint-0.3.1

"ours" merge to avoid taking redundant ws fix

whitespace fix

Merge branch 'maint-0.3.0' into maint-0.3.1

"Ours" merge to avoid taking backport of 21969

Merge remote-tracking branch 'asn/bug21969_bridges_030' into maint-0.3.0

Fix crash in LZMA module when the Sandbox is enabled.

This patch fixes a crash in our LZMA module where liblzma will allocate
slightly more data than it is allowed to by its limit, which leads to a
crash.

See: https://bugs.torproject.org/22751

Merge branch 'ahf_bugs_22702_squashed' into maint-0.3.1

Add changes file for bug #22702.

See: https://bugs.torproject.org/22702

Return "304 not modified" if a client already have the most recent consensus.

This makes our directory code check if a client is trying to fetch a
document that matches a digest from our latest consensus document.

See: https://bugs.torproject.org/22702

Set published_out for consensus cache entries in spooled_resource_estimate_size().

This patch ensures that the published_out output parameter is set to the
current consensus cache entry's "valid after" field.

See: https://bugs.torproject.org/22702

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.7-redux' into maint-0.2.8

Merge branch 'maint-0.2.6' into maint-0.2.7-redux

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Merge branch 'bug22737_024' into maint-0.2.4

Fix an errant memset() into the middle of a struct in cell_pack().

This mistake causes two possible bugs. I believe they are both
harmless IRL.

BUG 1: memory stomping

When we call the memset, we are overwriting two 0 bytes past the end
of packed_cell_t.body. But I think that's harmless in practice,
because the definition of packed_cell_t is:

// ...
typedef struct packed_cell_t {
  TOR_SIMPLEQ_ENTRY(packed_cell_t) next;
  char body[CELL_MAX_NETWORK_SIZE];
  uint32_t inserted_time;
} packed_cell_t;

So we will overwrite either two bytes of inserted_time, or two bytes
of padding, depending on how the platform handles alignment.

If we're overwriting padding, that's safe.

If we are overwriting the inserted_time field, that's also safe: In
every case where we call cell_pack() from connection_or.c, we ignore
the inserted_time field. When we call cell_pack() from relay.c, we
don't set or use inserted_time until right after we have called
cell_pack(). SO I believe we're safe in that case too.

BUG 2: memory exposure

The original reason for this memset was to avoid the possibility of
accidentally leaking uninitialized ram to the network. Now
remember, if wide_circ_ids is false on a connection, we shouldn't
actually be sending more than 512 bytes of packed_cell_t.body, so
these two bytes can only leak to the network if there is another bug
somewhere else in the code that sends more data than is correct.

Fortunately, in relay.c, where we allocate packed_cell_t in
packed_cell_new() , we allocate it with tor_malloc_zero(), which
clears the RAM, right before we call cell_pack. So those
packed_cell_t.body bytes can't leak any information.

That leaves the two calls to cell_pack() in connection_or.c, which
use stack-alocated packed_cell_t instances.

In or_handshake_state_record_cell(), we pass the cell's contents to
crypto_digest_add_bytes(). When we do so, we get the number of
bytes to pass using the same setting of wide_circ_ids as we passed
to cell_pack(). So I believe that's safe.

In connection_or_write_cell_to_buf(), we also use the same setting
of wide_circ_ids in both calls. So I believe that's safe too.

I introduced this bug with 1c0e87f6d8c7a0abdadf1b5cd9082c10abc7f4e2
back in 0.2.4.11-alpha; it is bug 22737 and CID 1401591

Merge branch 'bug22719_031' into maint-0.3.1

changes file for bug 22719

Merge branch 'bug22105_031' into maint-0.3.1

Patch for 22720 from huyvq: exit(1) more often

See changes file for full details.

Merge branch 'bug22212_squashed' into maint-0.3.1

Changes file for Bug 22212.

Demote a log message due to libevent delays.

This is a side-effect of being single-threaded. The worst cases of this are
actually Bug #16585.

Fix a coverity warning about a no-op assert with-64 bit size_t

This is CID 1403400

Try a little harder to make sure we never call tor_compress_process wrong.

Merge branch 'maint-0.3.0' into maint-0.3.1

Combine our "don't do this if no consensus" entryguards checks

Suggested by asn on 22400 review.

Merge branch 'bug22356_029' into maint-0.3.1

Merge branch 'bug22502_redux_031' into maint-0.3.1

Merge branch 'bug22672_031' into maint-0.3.1

Note that bw_accounting is obsoleted by values in the state file

Closes ticket 16082.

Note that pkgconfig is now needed, and has been for a few releases.

Merge remote-tracking branch 'argonblue/bug22638' into maint-0.3.1

Enforce the rule that COMPRESS_OK means progress was made.

If COMPRESS_OK occurs but data is neither consumed nor generated,
treat it as a BUG and a COMPRESS_ERROR.

This change is meant to prevent infinite loops in the case where
we've made a mistake in one of our compression backends.

Closes ticket 22672.

mingw/windows printf lacks %zd ; use %lu and casts instead

(This approach can lose accuracy, but it's only in debug-level messages.)

Fixes windows compilation. Bugfix on recent compress.c changes; bug
not in any released Tor.

Fix compress_none.c header comment

The Doxygen \file markup for compress_none.c had the wrong filename.
Fixes #22638.

Send the correct content-encoding when serving cached_dir_t objects

A cached_dir_t object (for now) is always compressed with
DEFLATE_METHOD, but in handle_get_status_vote() to we were using the
general compression-negotiation code decide what compression to
claim we were using.

This was one of the reasons behind 22502.

Fixes bug 22669; bugfix on 0.3.1.1-alpha

Correct the fix to bug 22629 to permit trailing non-garbage

This change makes it so that we can decompress concatenated zstd
outputs.

Add a unit test for decompressing concatenated inputs.

add a changes file for 22626, 22628, and 22629 (parts of 22502)

Merge remote-tracking branch 'teor/bug22502' into maint-0.3.1

Don't expand guard sample set unless consensus is "reasonably live"

Fixes what I think is the main root cause of 22400. Bugfix on
0.3.0.1-alpha.

Remove hardwired libfuzzer path; closes 22105.

Downgrade "assign_to_cpuworker failed" to INFO.

Closes ticket 22356

Merge branch 'maint-0.3.0' into maint-0.3.1

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge remote-tracking branch 'public/bug22516_029' into maint-0.2.9

Document more files in the datadirectory.

This improved list comes from the ls -R results that weasel and ln5
sent me.  Thanks!

Document sr-random and diff-cache.

Document key-pinning-journal

Closes 22347

Permit the fchmod system call.

Fixes bug 22516; bugfix on 0.2.5.4-alpha.

Add extra logging during compression and decompression

This helps diagnose failures.

Part of #22502.

Return TOR_COMPRESS_BUFFER_FULL when zstd has additional input

Fixes #22628.

Remove a redundant conditional in tor_zstd_compress_process

Part of #22502

Move a comment to the right place in tor_zstd_compress_process

Part of #22502

Check for trailing input garbage in tor_compress_impl() when decompressing

Fixes #22629.

Check if tor_compress_new() returns NULL in tor_compress_impl()

Partial fix to 22626.

Remove old callgraph scripts; recommend calltool instead.

Merge branch 'maint-0.2.9' into maint-0.3.0

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.3.0'

Merge branch 'maint-0.2.7-redux' into maint-0.2.8

Merge branch 'maint-0.2.6' into maint-0.2.7-redux

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Update geoip and geoip6 to the June 8 2017 database.

Merge branch 'maint-0.3.0'

"ours" merge to avoid version bump.

Merge branch 'maint-0.2.9' into maint-0.3.0

"ours" merge to avoid version bump.

Merge branch 'maint-0.2.8' into maint-0.2.9

Merge branch 'maint-0.2.7-redux' into maint-0.2.8

Merge branch 'maint-0.2.6' into maint-0.2.7-redux

"ours" merge to avoid version bump.

Merge branch 'maint-0.2.5' into maint-0.2.6

"ours" merge to avoid version bump.

Merge branch 'maint-0.2.4' into maint-0.2.5

"ours" merge to avoid version bump.

Add -dev to version number.

Add -dev to version number.

Add -dev to version number.

Add -dev to version number.

Add -dev to version number.

Add -dev to version number.

Add -dev to version number.

Add -dev to version number.

fwd-port more changelogs (0.2.4 through 0.2.8)

Tweak 0.2.9.11 changelog

copy changelog and releasenotes forward from 0.2.9, 0.3.0

Fold TROVE-2017-00[45] into changelog

Merge branch 'maint-0.3.0'

Merge branch 'maint-0.2.9' into maint-0.3.0

"ours" merge to avoid version bump.

Merge branch 'maint-0.2.8' into maint-0.2.9

"ours" merge to avoid version bump.

Merge branch 'maint-0.2.7-redux' into maint-0.2.8

"ours" merge to avoid version bump.