Fix a double-free in failing case of handle_control_authenticate.

Bugfix on ed8f020e205267e6270494634346ab68d830e1d8; bug not in any
released version of Tor.  Found by Coverity; this is CID 1239290.

Use the DL_SCHED_CONSENSUS schedule for consensuses.

Fixes bug 11679; bugfix on 0.2.2.6-alpha

Activate INSTRUMENT_DOWNLOADS under clang analyzer as well as coverity

Patch from teor; ticket 13177.

Fix a windows unused-arg warning

Merge remote-tracking branch 'public/ticket_13119_v3'

torrc.sample: Fix units

Ignore coverage_html/

Merge remote-tracking branch 'origin/maint-0.2.5'

Add coccinelle script to remove pointless callocs

Merge remote-tracking branch 'origin/maint-0.2.4' into maint-0.2.5

clients now send correct address for rendezvous point

Clients now send the correct address for their chosen rendezvous point
when trying to access a hidden service. They used to send the wrong
address, which would still work some of the time because they also
sent the identity digest of the rendezvous point, and if the hidden
service happened to try connecting to the rendezvous point from a relay
that already had a connection open to it, the relay would reuse that
connection. Now connections to hidden services should be more robust
and faster. Also, this bug meant that clients were leaking to the hidden
service whether they were on a little-endian (common) or big-endian (rare)
system, which for some users might have reduced their anonymity.

Fixes bug 13151; bugfix on 0.2.1.5-alpha.

Add script to detect and remove unCish malloc-then-cast pattern

Also, apply it.

clean up eol whitespace from coccinelle-generated patches

Remove the legacy_test_helper and legacy_setup wrappers

These wrappers went into place when the default type for our unit
test functions changed from "void fn(void)" to "void fn(void *arg)".

To generate this patch, I did the same hokey-pokey as before with
replacing all operators used as macro arguments, then I ran a
coccinelle script, then I ran perl script to fix up everything that
used legacy_test_helper, then I manually removed the
legacy_test_helper functions, then I ran a final perl script to put
the operators back how they were.

==============================
 #!/usr/bin/perl -w -i -p

s/==,/_X_EQ_,/g;
s/!=,/_X_NE_,/g;
s/<,/_X_LT_,/g;
s/>,/_X_GT_,/g;
s/>=,/_X_GEQ_,/g;
s/<=,/_X_LEQ_,/g;

--------------------

@@
identifier func =~ "test_.*$";
statement S, S2;
@@
 static void func (
-void
+void *arg
 )
 {
 ... when != S2
+(void) arg;
 S
 ...
 }

--------------------
 #!/usr/bin/perl -w -i -p

s/, *legacy_test_helper, *([^,]+), *\&legacy_setup, *([^\}]+) *}/, $2, $1, NULL, NULL }/g;

--------------------
 #!/usr/bin/perl -w -i -p

s/_X_NEQ_/!=/g;
s/_X_NE_/!=/g;
s/_X_EQ_/==/g;
s/_X_GT_/>/g;
s/_X_LT_/</g;
s/_X_GEQ_/>=/g;
s/_X_LEQ_/<=/g;

--------------------

Add a changes file for 13119

Replace all uses of test_{str,}eq

Replace the remaining test_assert instances

remove two unused test_* macros

Replace remaining uses of deprecated test_mem* functions

Replace the remaining test_n?eq_ptr calls

Make not even macros use test_fail_msg.

Use coccinelle scripts to clean up our unit tests

This should get rid of most of the users of the old test_*
functions.  Some are in macros and will need manual cleanup, though.

This patch is for 13119, and was automatically generated with these
scripts.  The perl scripts are there because coccinelle hates
operators as macro arguments.

------------------------------

s/==,/_X_EQ_,/g;
s/!=,/_X_NE_,/g;
s/<,/_X_LT_,/g;
s/>,/_X_GT_,/g;
s/>=,/_X_GEQ_,/g;
s/<=,/_X_LEQ_,/g;

------------------------------
@@
expression a;
identifier func;
@@
 func (...) {
<...
-test_fail_msg
+TT_DIE
 (
+(
 a
+)
 )
 ...>
 }

@@
identifier func;
@@
 func (...) {
<...
-test_fail()
+TT_DIE(("Assertion failed."))
 ...>
 }

@@
expression a;
identifier func;
@@
 func (...) {
<...
-test_assert
+tt_assert
(a)
 ...>
 }

@@
expression a, b;
identifier func;
@@
 func (...) {
<...
-test_eq
+tt_int_op
 (a,
+_X_EQ_,
  b)
 ...>
 }

@@
expression a, b;
identifier func;
@@
 func (...) {
<...
-test_neq
+tt_int_op
 (a,
+_X_NEQ_,
  b)
 ...>
 }

@@
expression a, b;
identifier func;
@@
 func (...) {
<...
-test_streq
+tt_str_op
 (a,
+_X_EQ_,
  b)
 ...>
 }

@@
expression a, b;
identifier func;
@@
 func (...) {
<...
-test_strneq
+tt_str_op
 (a,
+_X_NEQ_,
  b)
 ...>
 }

@@
expression a, b;
identifier func;
@@
 func (...) {
<...
-test_eq_ptr
+tt_ptr_op
 (a,
+_X_EQ_,
  b)
 ...>
 }

@@
expression a, b;
identifier func;
@@
 func() {
<...
-test_neq_ptr
+tt_ptr_op
 (a,
+_X_NEQ_,
  b)
 ...>
 }

@@
expression a, b, len;
identifier func;
@@
 func (...) {
<...
-test_memeq
+tt_mem_op
 (a,
+_X_EQ_,
  b, len)
 ...>
 }

@@
expression a, b, len;
identifier func;
@@
 func (...) {
<...
-test_memneq
+tt_mem_op
 (a,
+_X_NEQ_,
  b, len)
 ...>
 }

------------------------------
@@
char a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a == b
+a, _X_EQ_, b
 )
 ...>
}

@@
int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a == b
+a, _X_EQ_, b
 )
 ...>
}

@@
long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a == b
+a, _X_EQ_, b
 )
 ...>
}

@@
unsigned int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a == b
+a, _X_EQ_, b
 )
 ...>
}

@@
unsigned long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a == b
+a, _X_EQ_, b
 )
 ...>
}

@@
char a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a != b
+a, _X_NEQ_, b
 )
 ...>
}

@@
int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a != b
+a, _X_NEQ_, b
 )
 ...>
}

@@
long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a != b
+a, _X_NEQ_, b
 )
 ...>
}

@@
unsigned int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a != b
+a, _X_NEQ_, b
 )
 ...>
}

@@
unsigned long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a != b
+a, _X_NEQ_, b
 )
 ...>
}

@@
char a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a >= b
+a, _X_GEQ_, b
 )
 ...>
}

@@
int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a >= b
+a, _X_GEQ_, b
 )
 ...>
}

@@
long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a >= b
+a, _X_GEQ_, b
 )
 ...>
}

@@
unsigned int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a >= b
+a, _X_GEQ_, b
 )
 ...>
}

@@
unsigned long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a >= b
+a, _X_GEQ_, b
 )
 ...>
}

@@
char a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a <= b
+a, _X_LEQ_, b
 )
 ...>
}

@@
int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a <= b
+a, _X_LEQ_, b
 )
 ...>
}

@@
long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a <= b
+a, _X_LEQ_, b
 )
 ...>
}

@@
unsigned int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a <= b
+a, _X_LEQ_, b
 )
 ...>
}

@@
unsigned long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a <= b
+a, _X_LEQ_, b
 )
 ...>
}

@@
char a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a > b
+a, _X_GT_, b
 )
 ...>
}

@@
int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a > b
+a, _X_GT_, b
 )
 ...>
}

@@
long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a > b
+a, _X_GT_, b
 )
 ...>
}

@@
unsigned int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a > b
+a, _X_GT_, b
 )
 ...>
}

@@
unsigned long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a > b
+a, _X_GT_, b
 )
 ...>
}

@@
char a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a < b
+a, _X_LT_, b
 )
 ...>
}

@@
int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a < b
+a, _X_LT_, b
 )
 ...>
}

@@
long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_int_op
 (
-a < b
+a, _X_LT_, b
 )
 ...>
}

@@
unsigned int a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a < b
+a, _X_LT_, b
 )
 ...>
}

@@
unsigned long a, b;
identifier func;
@@
 func (...) {
<...
-tt_assert
+tt_uint_op
 (
-a < b
+a, _X_LT_, b
 )
 ...>
}

------------------------------

s/_X_NEQ_/!=/g;
s/_X_NE_/!=/g;
s/_X_EQ_/==/g;
s/_X_GT_/>/g;
s/_X_LT_/</g;
s/_X_GEQ_/>=/g;
s/_X_LEQ_/<=/g;

s/test_mem_op\(/tt_mem_op\(/g;

Don't pass invalid memory regions to digestmap_set/get in test_routerlist

Fixes bug in c887e20e6a5a2c17c65; bug in no released Tor version.

Clean up a clangalyzer warning in directory_remove_invalid

"At this point in the code, msg has been set to a string
constant. But the tor code checks that msg is not NULL, and the
redundant NULL check confuses the analyser[...] To avoid this
spurious warning, the patch initialises msg to NULL."

Patch from teor. another part of 13157.

Clear up another clangalyzer issue

"The NULL pointer warnings on the return value of
tor_addr_to_in6_addr32() are incorrect. But clang can't work this
out itself due to limited analysis depth. To teach the analyser that
the return value is safe to dereference, I applied tor_assert to the
return value."

Patch from teor.  Part of 13157.

fix typo in comment

Mention "make check" in doc/HACKING

Give an example how to run the unit tests

Merge remote-tracking branch 'origin/maint-0.2.5'

(Do an "ours" merge to avoid taking version number changes)

Bump maint-0.2.5 to 0.2.5.7-rc-dev

forward-port changelog from 0.2.5.7-rc

One more whitespace fix

Whitespace cleanups in test_util

Whitespace cleanups in transports/test_pt

Update HACKING instructions to mention format_changelog script

Use tor_malloc_zero() in pt tests

Fixes for PT tests merged with 8402; patch from Yawning.

Merge remote-tracking branch 'origin/maint-0.2.5'

Merge remote-tracking branch 'public/bug13104_025'

Fix "comparison is always false" warnings in new test_util_di_ops

Having a constant zero means that unsigned < 0 is always false.

Reduce log severity for unused ClientTransportPlugin lines

Tor Browser includes several ClientTransportPlugin lines in its
torrc-defaults file, leading every Tor Browser user who looks at her
logs to see these notices and wonder if they're dangerous.

Resolves bug 13124; bugfix on 0.2.5.3-alpha.

Merge remote-tracking branch 'public/bug13104_025'

C90 compliance for #13104 fixes

Add a changes file for bug 13104

Avoid an overflow on negation in format_helper_exit_status

Part of 13104; patch from teor.

Avoid divide by zero and NaNs in scale_array_elements_to_u64

Patch from teor; part of 13104

Extra tests for tor_memeq and memcmp

(Patch from teor; part of 13104)

Avoid overflows and underflows in sscanf and friends

(Patch from teor on 13104)

Merge remote-tracking branch 'origin/maint-0.2.5'

In routerlist_assert_ok(), check r2 before taking &(r2->cache_info)

Technically, we're not allowed to take the address of a member can't
exist relative to the null pointer.  That makes me wonder how any sane
compliant system implements the offsetof macro, but let's let sleeping
balrogs lie.

Fixes 13096; patch on 0.1.1.9-alpha; patch from "teor", who was using
clang -fsanitize=undefined-trap -fsanitize-undefined-trap-on-error -ftrapv

Merge remote-tracking branch 'yawning/bug_8402'

Merge remote-tracking branch 'public/torrc_minimal'

Merge remote-tracking branch 'public/bug12908_025' into maint-0.2.5

Mark StrictE{ntry,xit}Nodes as obsolete.

Fix issues brought up in nickm's review.

 * Update pt_get_proxy_uri() documentation.
 * proxy_supported is now unsigned.
 * Added a changes file.

Add unittests for finding the third quartile of a set.

Merge remote-tracking branch 'asn/bug13064'

Remove now-pointless SIZE_MAX stanza from OpenBSD_malloc_linux

Use S?SIZE_MAX, not S?SIZE_T_MAX

This fixes bug 13102 (not on any released Tor) where using the
standard SSIZE_MAX name broke mingw64, and we didn't realize.

I did this with
   perl -i -pe 's/SIZE_T_MAX/SIZE_MAX/' src/*/*.[ch] src/*/*/*.[ch]

Remove client-side bad directory logic

Implements the second half of #13060.

Remove dirauth support for the BadDirectory flag

Implements the first half of #13060. The second half will be to remove
client support, too.

Merge branch 'bug12899_squashed'

Remove support for naming directory authorities

This implements the meat of #12899. This commit should simply remove the
parts of Tor dirauths used to check whether a relay was supposed to be
named or not, it doesn't yet convert to a new mechanism for
reject/invalid/baddir/badexiting relays.

Merge remote-tracking branch 'origin/maint-0.2.5'

Merge remote-tracking branch 'andrea/bug12160_025' into maint-0.2.5

Merge remote-tracking branch 'origin/maint-0.2.5'

Merge remote-tracking branch 'public/bug12700_024' into maint-0.2.5

Updated building-tor-msvc.txt

Add instructions for building Tor with MSVC.

Written by "NewEraCracker" on ticket 13081; I've added a note that
this is not our preferred or supported build method.

Merge remote-tracking branch 'origin/maint-0.2.5'

Clean up the MVSC nmake files so they work again.

Fixes bug 13081; bugfix on 0.2.5.1-alpha. Patch from "NewEraCracker."

Merge remote-tracking branch 'origin/maint-0.2.5'

Add more escaped() calls in directory.c

Patch from teor to fix 13071.

Merge remote-tracking branch 'origin/maint-0.2.5'

Expand the event_mask field in controller conns to 64 bits

Back in 078d6bcd, we added an event number 0x20, but we didn't make
the event_mask field big enough to compensate.

Patch by "teor". Fixes 13085; bugfix on 0.2.5.1-alpha.

Merge remote-tracking branch 'origin/maint-0.2.5'

Add cscope generated files to .gitignore.

Closes #13092; patch from dgoulet.

Evaluate TestingDirAuthVoteGuard only after filling all rs elements.

Correctly update channel local mark when address of incoming connection changes after handshake; fixes bug #12160

Fix add_fingerprint_to_dir() doc and signature

This function never returns non-null, but its usage doesn't reflect
that. Let's make it explicit. This will be mostly overridden by later
commits, so no changes file here.

Remove the AuthDirRejectUnlisted config option

This is in preparation for a big patch series removing the entire Naming
system from Tor. In its wake, the approved-routers file is being
deprecated, and a replacement option to allow only pre-approved routers
is not being implemented.

Merge remote-tracking branch 'intrigeri/bug12939-systemd-no-new-privileges'

Conflicts:
contrib/dist/tor.service.in

Merge remote-tracking branch 'intrigeri/bug12751-systemd-filesystem-sandbox'

Fix a couple of small memory leaks on failure cases.

[CID 1234702, 1234703]

Fix some 'dereference-before-null-check' warnings in test_circuitlist.c

Found by Coverity Scan.

[CID 1234704, 1234705, 1234706]

Fix the leaks that valgrind found in the new routerset tests.

(We have a tests-shouldn't-leak policy so that we won't accidentally
ignore true-positives.)

Use 'Bytes', not 'B', in torrc.sample.

Also put this change into torrc.minimal.in-staging

Closes ticket 10343

Fix: typo in torrc.sample.in

Divide torrc.sample into torrc.sample and torrc.minimal

torrc.minimal is now the one that should change as infrequently as
possible.  To schedule an change to go into it eventually, make your
change to torrc.minimal.in-sample.

torrc.sample is now the volatile one: we can change it to our hearts'
content.

Closes ticket #11144

Merge remote-tracking branch 'origin/maint-0.2.5'

Documenting reject6 and accept6 ExitPolicy entries in manpage.

Don't list relays w/ bw estimate of 0 in the consensus

This implements a feature from bug 13000. Instead of starting a bwauth
run with this wrong idea about their bw, relays should do the self-test
and then get measured.

Don't delay uploading a new desc if bw estimate was 0

When a tor relay starts up and has no historical information about its
bandwidth capability, it uploads a descriptor with a bw estimate of 0.
It then starts its bw selftest, but has to wait 20 minutes to upload the
next descriptor due to the MAX_BANDWIDTH_CHANGE_FREQ delay. This change
should mean that on average, relays start seeing meaningful traffic a
little quicker, since they will have a higher chance to appear in the
consensus with a nonzero bw.

Patch by Roger, changes file and comment by Sebastian.

Fix more (void*)11 warnings in the tests

Make iter for DECLARE_TYPED_DIGESTMAP_FNS be a pointer.

This fixes a clangalyzer warning, and makes our C slightly better C.

Use real pointers in unit tests, not (void*)101 etc

The clangalyzer hates (void*)101 etc

Don't include a backtrace test for dereferencing 0 under analyzers

They hate this.

Add more assertions to esc_for_log to please the clangalyzer.

Add an assertion to read_file_to_str_until_eof

The clangalyzer doesn't believe our math here.  I'm pretty sure our
math is right.  Also, add some unit tests.

Explicitly initialize addresses in tor_ersatz_socketpair

This should stop a false positive from the clangalyzer.

Apply the MALLOC_ZERO_WORKS fixup to tor_realloc as well.

Also, make MALLOC_ZERO_WORKS never get applied when clang analyzer is
running.  This should make the clangalyzer a little happier.