Make base16_decodes return number of decoded bytes

base16_decodes() now returns the number of decoded bytes. It's interface
changes from returning a "int" to a "ssize_t". Every callsite now checks the
returned value.

Fixes #14013

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'bug18280_029_03_nm_squashed'

test: Add base32_encode/decode unit tests

Signed-off-by: David Goulet <dgoulet@torproject.org>

Fix base32 API to take any source length in bytes

Fixes #18280

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Use the Autoconf macro AC_USE_SYSTEM_EXTENSIONS

The Autoconf macro AC_USE_SYSTEM_EXTENSIONS defines preprocessor macros
which turn on extensions to C and POSIX. The macro also makes it easier
for developers to use the extensions without needing (or forgetting) to
define them manually.

The macro can be safely used because it was introduced in Autoconf 2.60
and Tor requires Autoconf 2.63 and above.

Merge remote-tracking branch 'dgoulet/bug18604_029_01'

Mark an abort() as unreachable.

Coverage on parse_config_line_from_str_verbose.

Remove parse_config_line_from_str alias

All of our code just uses parse_config_line_from_str_verbose.

Mark code unreachable in unescape_string()

Also, add tests for it in case someday it does become reachable.

On Windows, tv_sec is long, not time_t.

I'm not angry, Windows: just very disappointed.

Correctly close intro circuit when deleting ephemeral HS

When deleting an ephemeral HS, we were only iterating on circuit with an
OPEN state. However, it could be possible that an intro point circuit didn't
reached the open state yet.

This commit makes it that we close the circuit regardless of its state
except if it was already marked for close.

Fixes #18604

Signed-off-by: David Goulet <dgoulet@torproject.org>

Try to fix memarea test on 32-bit systems

Tests for message rate-limiting

Also note a bug in the rate-limiting message.

I believe I found some dead code in our time parsing functions

tests for size_mul_check__()

it's important, and we should make sure we got it right.

Correct the rounding behavior on tv_mdiff.

Fix for bug 19428.

Improve coverage on tv_udiff, and tv_mdiff.

I found some bugs in tv_mdiff; separate commit for that

Improve coverage on esc_for_log, esc_for_log_len

add LCOV_EXCL for unreachable exit() blocks in src/common

Reach 100% line coverage on memarea.c

Mark src/common tor_assert(0)/tor_fragile_assert() unreached for coverage

I audited this to make sure I was only marking ones that really
should be unreachable.

forward-port changelog

Merge branch 'maint-0.2.8'

'ours' merge to avoid bumping version.

ondrej is no longer making rpms

Bump to 0.2.8.4-rc-dev

Perform cache lookup when FetchHidServDescriptors is set

The FetchHidServDescriptors check was placed before the descriptor cache
lookup which made the option not working because it was never using the
cache in the first place.

Fixes #18704

Patched-by: twim
Signef-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'maint-0.2.8'

This is an "ours" merge to avoid taking a version bump.

bump version to 0.2.8.4-rc

whoops; blank line

Use ENABLE/DISABLE_GCC_WARNING in masater.

Merge branch 'maint-0.2.8'

Resolve the remaining openssl "-Wredundant-decls" warnings.

Another part of 19406

Remove some duplicated warnings from the big list

Disable -Wc99-c11-compat

It triggers on the openssl headers, and doesn't seem to actually
help us.

use new-form macros to disable -Wredundant-decls

Merge branch 'maint-0.2.8'

Suppress the Wredundant-decls warning in another set of openssl headers

Bug 19406: Add a changes file.

Bug 19406: Fix the unit tests to work with OpenSSL 1.1.x

Just as it says on the tin.  Don't need to fully disable any tests and
reduce coverage either.  Yay me.

Bug 19406: OpenSSL removed SSL_R_RECORD_TOO_LARGE in 1.1.0.

This is a logging onlu change, we were suppressing the severity down to
INFO when it occured (treating it as "Mostly harmless").  Now it is no
more.

Bug 19406: OpenSSL made RSA and DH opaque in 1.1.0.

There's accessors to get at things, but it ends up being rather
cumbersome.  The only place where behavior should change is that the
code will fail instead of attempting to generate a new DH key if our
internal sanity check fails.

Like the previous commit, this probably breaks snapshots prior to pre5.

Bug 19406: OpenSSL changed the Thread API in 1.1.0 again.

Instead of `ERR_remove_thread_state()` having a modified prototype, it
now has the old prototype and a deprecation annotation.  Since it's
pointless to add extra complexity just to remain compatible with an old
OpenSSL development snapshot, update the code to work with 1.1.0pre5
and later.

Merge branch 'maint-0.2.8'

lintChanges fixes

Coverity dislikes (double) (int/int).

When you divide an int by an int and get a fraction and _then_ cast
to double, coverity assumes that you meant to cast to a double
first.

In my fix for -Wfloat-conversion in 493499a3399f8a8532b4b2a80006, I
did something like this that coverity didn't like.

Instead, I'm taking another approach here.

Fixes CID 1232089, I hope.

Merge branch 'maint-0.2.8'

Merge branch 'maint-0.2.7' into maint-0.2.8

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

Keep make check-spaces happy

typo/comment/log fixes i found in my sandbox from montreal

Update geoip and geoip6 to the June 7 2016 database.

Remove -Wc11-extensions

FreeBSD uses _Generic() in its system headers, and is within its
rights to do so.

Fix build on 32-bit systems.

Whoops -- this got lost in the merge.

Merge branch 'maint-0.2.8'

Merge remote-tracking branch 'public/bug19203_027' into maint-0.2.8

Merge branch 'bug19180_easy_squashed'

Add clang's -Wstring-conversion, and fix the one place it hits

Add -Wmissing-variable-declarations, with attendant fixes

This is a big-ish patch, but it's very straightforward.  Under this
clang warning, we're not actually allowed to have a global variable
without a previous extern declaration for it.  The cases where we
violated this rule fall into three roughly equal groups:
  * Stuff that should have been static.
  * Stuff that was global but where the extern was local to some
    other C file.
  * Stuff that was only global when built for the unit tests, that
    needed a conditional extern in the headers.

The first two were IMO genuine problems; the last is a wart of how
we build tests.

Add the -Wextra-semi warning from clang, and fix the cases  where it triggers

Resolve some warnings from OSX clang.

Add all the clang-only warnings that do not trigger now

Set our autoconf-breaking options last, not before we check for others

Use autoconf, not gcc version, to decide which warnings we have

This gives more accurate results under Clang, which can only help us
detect more warnings in more places.

Fixes bug 19216; bugfix on 0.2.0.1-alpha

Use -Wstrict-overflow=2 on gcc5+.

Enable -Woverlength-strings for GCC>=4.6 on MOST of the code.

IMO it's fine for us to make exceptions to this rule in the unit
tests, but not in the code at large.

Use -Wdouble-promotion in GCC >= 4.6

This warning triggers on silently promoting a float to a double.  In
our code, it's just a sign that somebody used a float by mistake,
since we always prefer double.

Add -Wfloat-conversion for GCC >= 4.9

This caught quite a few minor issues in our unit tests and elsewhere
in our code.

Add -Wunused-const-variable=2 on GCC >=6.1

This caused a trivial warning in curve25519-donna-64bit.h, which
had two unused constants.  I commented them out.

Add -Wduplicated-cond on GCC 6

Merge remote-tracking branch 'public/bug19203_027' into HEAD

Enable -Wnull-dereference (GCC >=6.1), and fix the easy cases

This warning, IIUC, means that the compiler doesn't like it when it
sees a NULL check _after_ we've already dereferenced the
variable. In such cases, it considers itself free to eliminate the
NULL check.

There are a couple of tricky cases:

One was the case related to the fact that tor_addr_to_in6() can
return NULL if it gets a non-AF_INET6 address.  The fix was to
create a variant which asserts on the address type, and never
returns NULL.

Merge remote-tracking branch 'asn/bug17688'

Reduce make check-spaces noise

Don't rely on consensus parameter to use a single guard.

Repair test_crypto_openssl_version with LibreSSL

Merge branch 'maint-0.2.8'

Check tor_sscanf return value in test_crypto.c

Coverity noticed that we check tor_sscanf's return value everywhere
else.

Use directory_must_use_begindir to predict we'll surely use begindir

Previously, we used !directory_fetches_from_authorities() to predict
that we would tunnel connections.  But the rules have changed
somewhat over the course of 0.2.8

Use tor_sscanf, not sscanf, in test_crypto.c

Fixes the 0.2.9 instance of bug #19213, which prevented mingw64 from
working.  This case wasn't in any released Tor.

Merge branch 'maint-0.2.8'

Merge branch 'maint-0.2.7' into maint-0.2.8

Use tor_sscanf, not sscanf, in test_util.c.

Fixes the 0.2.7 case of bug #19213, which prevented mingw64 from
working.

Let's not even talk about those errors, ok?

Wait, we had sprintf() in our unit tests?? FOR SHAME!

Replace nearly all XXX0vv comments with smarter ones

So, back long ago, XXX012 meant, "before Tor 0.1.2 is released, we
had better revisit this comment and fix it!"

But we have a huge pile of such comments accumulated for a large
number of released versions!  Not cool.

So, here's what I tried to do:

  * 0.2.9 and 0.2.8 are retained, since those are not yet released.

  * XXX+ or XXX++ or XXX++++ or whatever means, "This one looks
    quite important!"

  * The others, after one-by-one examination, are downgraded to
    plain old XXX.  Which doesn't mean they aren't a problem -- just
    that they cannot possibly be a release-blocking problem.

We no longer generate v0 directories. Remove the code to do so

remove now-irrelevant XXX020 comments in configure.ac

They apply to ancient GCC versions and to an unknown set of
configuration options. Notabug.

Fix a warning on unnamed nodes in node_get_by_nickname().

There was a > that should have been an ==, and a missing !.  These
together prevented us from issuing a warning in the case that a
nickname matched an Unnamed node only.

Fixes bug 19203; bugfix on 0.2.3.1-alpha.

Add another 22 or so GCC warnings. None currently triggers for me.

roger says this url is better

Merge remote-tracking branch 'arma/task19035-fixedup'

Merge remote-tracking branch 'public/hardening_flags_must_link'

remove a now-unused section of or.h

get rid of one more piece of --enable-instrument-downloads

Fix indentation and quotation of the headers

Do not warn on missing headers