Merge branch 'tor-github/pr/943'

Merge branch 'tor-github/pr/955'

Merge branch 'tor-github/pr/939'

Merge branch 'tor-github/pr/930'

Merge remote-tracking branch 'tor-github/pr/944'

Rename outvar to follow _out convention.

Merge remote-tracking branch 'tor-github/pr/935'

Merge remote-tracking branch 'tor-github/pr/971'

Merge branch 'ticket30051_take2_squashed'

Add changes file

Call practracker from pre-push and pre-commit hooks

Merge remote-tracking branch 'tor-github/pr/962'

Travis: Show stem's tor log after failure

Closes ticket 30234.

Initialize rate_limited in hs_pick_hsdir() to false

Only set rate_limited in hs_pick_hsdir() if rate_limited_count or responsible_dirs_count is greater than 0

Initialize rate_limited to false in directory_get_from_hs_dir()

Make rate_limited and is_rate_limited a bool

Merge branch 'maint-0.4.0'

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.3.4' into maint-0.3.5

Merge branch 'maint-0.2.9' into maint-0.3.4

"ours" merge, to avoid taking any changes from PR 792 in 0.3.4.
(We already merged PR 791 for 29665 into 0.3.4.)

Merge remote-tracking branch 'tor-github/pr/710' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/726' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/745' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/947' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/946' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/638' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/791' into maint-0.3.4

Merge remote-tracking branch 'tor-github/pr/792' into maint-0.2.9

Merge branch 'maint-0.2.9' into maint-0.3.4

"ours" merge, to avoid taking any changes from PR 772 in 0.3.4.
(We already merged a different fix for 23790 into 0.3.2 and later.)

Merge remote-tracking branch 'tor-github/pr/772' into maint-0.2.9

practracker: accept more lines in microdescs_parse_from_string()

Part of 28223.

Merge branch 'tor-github/pr/938'

Merge branch 'tor-github/pr/925'

Merge branch 'maint-0.4.0'

Merge branch 'tor-github/pr/891' into maint-0.4.0

Grammar fixes for IPv6Exit in tor.1.txt

Update tor.1 man page for IPv6Exit

practracker: accept the extra 25 line string from 27821

connection_edge: remove an extra ;

connection_edge: Return a web page when HTTPTunnelPort is misconfigured

Return an informative web page when the HTTPTunnelPort is used as an
HTTP proxy.

Closes ticket 27821, patch by "eighthave".

Merge branch 'maint-0.4.0'

Merge branch 'maint-0.3.5' into maint-0.4.0

Update practracker exceptions.txt for policies.c

Clarify comment about IPv6Exit in policies_parse_exit_policy_from_options()

Clarify torrc comment for IPv6Exit

Add policy_using_default_exit_options() to determine if we're using the default exit options

Merge remote-tracking branch 'tor-github/pr/910'

Merge remote-tracking branch 'tor-github/pr/884'

In warn_if_nul_found, log surrounding context.

We need to encode here instead of doing escaped(), since fwict
escaped() does not currently handle NUL bytes.

Also, use warn_if_nul_found in more cases to avoid duplication.

fixup! Even more diagnostic messages for bug 28223.

Use TOR_PRIuSZ in place of %zu.

Document check for 30176, since it's a bit subtle.

Clear memory in smartlist_remove_keeporder.

The smartlist functions take great care to reset unused pointers inside
the smartlist memory to NULL.

The function smartlist_remove_keeporder does not clear memory in such
way when elements have been removed. Therefore call memset after the
for-loop that removes elements. If no element is removed, it is
effectively a no-op.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

Add test to verify that unused pointers are NULL.

The smartlist code takes great care to set all unused pointers inside
the smartlist memory to NULL. Check if this is also the case after
modifying the smartlist multiple times.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

Merge branch 'tor-github/pr/941'

Merge branch 'maint-0.4.0'

Merge branch 'tor-github/pr/948' into maint-0.4.0

Merge branch 'rust-panic1-035' into rust-panic1-040

Merge branch 'rust-panic1-034' into rust-panic1-035

Trivial merge: a blank line was removed between 0.3.4 and 0.3.5.

Merge branch 'rust-panic1' into rust-panic1-034

Update exceptions.txt for Bug #29613

Add changes file for Bug #29613

Update torrc.sample.in to IPv6Exit 1 being an exit by default

Become an exit relay if IPv6Exit is 1

Add an assertion to test_hs_cache.c to appease coverity.

Coverity doesn't like to see a path where we test a pointer for
NULL if we have already ready dereferenced the pointer on that
path.  While in this case, the check is not needed, it's best not to
remove checks from the unit tests IMO.  Instead, I'm adding an
earlier check, so that coverity, when analyzing this function, will
think that we have always checked the pointer before dereferencing
it.

Closes ticket 30180; CID 1444641.

changes: file for 30117

Travis: expand "make test-stem", so timelimit can signal python on timeout

Unlike kill, timelimit can only signal the process it launches. So we need
timelimit to launch python, not make.

Closes ticket 30117; diagnostic for 29437.

Merge branch 'tor-github/pr/908'

Merge branch 'tor-github/pr/754'

crypt_ops: Stop using a separate buffer in ed25519_signature_from_base64()

Part of 29960.

Fix a memory leak in tor-resolve.c

Closes bug 30151/coverity CID 1441830. Bugfix on 0.4.0.1-alpha when
we started doing trunnel parsing in tor-resolve.c.

Changes file and practracker updates for 30149.

Remove an extraneous _ from __COVERITY__

We had a typo in this check, so that coverity wasn't taking the
right path.

Bug not in any released Tor.

Add an assertion to num_ntors_per_tap().

This should please coverity, and fix CID 1415721.  It didn't
understand that networkstatus_get_param() always returns a value
between its minimum and maximum values.

Add an assertion to compute_weighted_bandwidths()

This should please coverity, and fix CID 1415722.  It didn't
understand that networkstatus_get_param() always returns a value
between its minimum and maximum values.

Add an assertion to pathbias_get_scale_ratio()

This should please coverity, and fix CID 1415723.  It didn't understand
that networkstatus_get_param() always returns a value between its
minimum and maximum values.

forward-port the 0.4.0.4-rc changelog

Merge branch 'maint-0.4.0'

bump to 0.4.0.4-rc-dev

Make repeated/rate limited HSFETCH queries fail with QUERY_RATE_LIMITED

Merge remote-tracking branch 'tor-github/pr/913'

Merge remote-tracking branch 'tor-github/pr/887'

Merge remote-tracking branch 'tor-github/pr/741'

Travis: use stem backtrace signals with timelimit

Part of 30117.

Merge branch 'maint-0.4.0'

Bump version to 0.4.0.4-rc

Fix pre-commit hook to correctly allow empty changes files.

Fixes bug 30120; bugfix not in any released Tor.

Merge branch 'maint-0.4.0'

Merge remote-tracking branch 'tor-github/pr/926' into maint-0.4.0

Add changes file for #30040.

Prevent double free on huge files with 32 bit.

The function compat_getdelim_ is used for tor_getline if tor is compiled
on a system that lacks getline and getdelim. These systems should be
very rare, considering that getdelim is POSIX.

If this system is further a 32 bit architecture, it is possible to
trigger a double free with huge files.

If bufsiz has been already increased to 2 GB, the next chunk would
be 4 GB in size, which wraps around to 0 due to 32 bit limitations.

A realloc(*buf, 0) could be imagined as "free(*buf); return malloc(0);"
which therefore could return NULL. The code in question considers
that an error, but will keep the value of *buf pointing to already
freed memory.

The caller of tor_getline() would free the pointer again, therefore
leading to a double free.

This code can only be triggered in dirserv_read_measured_bandwidths
with a huge measured bandwith list file on a system that actually
allows to reach 2 GB of space through realloc.

It is not possible to trigger this on Linux with glibc or other major
*BSD systems even on unit tests, because these systems cannot reach
so much memory due to memory fragmentation.

This patch is effectively based on the penetration test report of
cure53 for curl available at https://cure53.de/pentest-report_curl.pdf
and explained under section "CRL-01-007 Double-free in aprintf() via
unsafe size_t multiplication (Medium)".

scripts: In git-pull-all.sh, also fetch the latest tor-github pull requests

Implements ticket 30114.

practracker: accept 4 extra lines due to 30041

Merge branch 'maint-0.4.0'

Merge remote-tracking branch 'tor-github/pr/920' into maint-0.4.0

Merge branch 'maint-0.4.0'

Merge branch 'bug29922_035' into maint-0.4.0

Actually I believe this should be an EINVAL.

Changes file for bug30041

Check return value of buf_move_to_buf for error.

If the concatenation of connection buffer and the buffer of linked
connection exceeds INT_MAX bytes, then buf_move_to_buf returns -1 as an
error value.

This value is currently casted to size_t (variable n_read) and will
erroneously lead to an increasement of variable "max_to_read".

This in turn can be used to call connection_buf_read_from_socket to
store more data inside the buffer than expected and clogging the
connection buffer.

If the linked connection buffer was able to overflow INT_MAX, the call
of buf_move_to_buf would have previously internally triggered an integer
overflow, corrupting the state of the connection buffer.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>