Change many tortls.h declarations of private APIs to use structs

This change makes it so those those APIs will not require prior
inclusion of openssl headers.  I've left some APIs alone-- those
will change to be extra-private.

Remove some now-needless openssl includes from src/test.

It would appear that these includes weren't actually used.

Remove openssl/evp.h dependency from test_crypto.c

Remove crypto/rand include from test_crypto.c

Create a new test_crypto_openssl to test openssl-only crypto.c
functionality.

Make our ed25519 implementations no longer use openssl directly.

Make crypto_ed25519.c no longer depend on openssl

Now it calls through our own crypto API.

Isolate dmalloc/openssl bridge code to crypto.c

This makes it so main.c, and the rest of src/or, no longer need to
include any openssl headers.

Fix utimbuf initialization in storagedir/cleaning test

Fix another 32-bit warning in the spooling code

Fix i386 compilation from spooling patch. I seem to be good at breaking that.

Merge branch 'spooling_squashed'

Add nonfatal asserts for return val of dirserv_flushed_some

Improve documentation for connection_dirserv_flushed_some.

Refactor the directory spool implementation

The old implementation had duplicated code in a bunch of places, and
it interspersed spool-management with resource management.  The new
implementation should make it easier to add new resource types and
maintain the spooling code.

Closing ticket 21651.

Merge remote-tracking branch 'origin/maint-0.3.0'

Fix max sampled size logic when in bridge mode.

When calculating max sampled size, Tor would only count the number of
bridges in torrc, without considering that our state file might already
have sampled bridges in it. This caused problems when people swap
bridges, since the following error would trigger:

         [warn] Not expanding the guard sample any further; just hit the
                maximum sample threshold of 1

Storagedir test fix: save strings in binary mode to preserve length

Merge remote-tracking branch 'ahf/bugs/21757'

changes file for 21788

Merge remote-tracking branch 'jigsaw52/fix_leak_21788'

Check and cast st_size to size_t in storagedir code

This prevents an i386 compilation warning and fixes bug 21828. Bug not
in any released Tor.

Merge remote-tracking branch 'origin/maint-0.3.0'

Tweak test_entrynodes comment

Merge branch 'ticket21799' into maint-0.3.0

Add calltool cache files to gitignore

Use update_approx_time() to run a test 100 days in the past.

Fixes bug21799.

Fix very small memory leak #21788

Leak caused by clean_up_backtrace_handler not being called
on shutdown.

21151: document datadir default decently.

Merge branch 'ahf_bugs_21641_squashed'

Check onion key consensus parameters every hour.

This patch changes the way we decide when to check for whether it's time
to rotate and/or expiry our onion keys. Due to proposal #274 we can now
have the keys rotate at different frequencies than before and we thus
do the check once an hour when our Tor daemon is running in server mode.

This should allow us to quickly notice if the network consensus
parameter have changed while we are running instead of having to wait
until the current parameters timeout value have passed.

See: See: https://bugs.torproject.org/21641

Add periodic timer for expiring old onion keys.

This patch adds a new timer that is executed when it is time to expire
our current set of old onion keys. Because of proposal #274 this can no
longer be assumed to be at the same time we rotate our onion keys since
they will be updated less frequently.

See: https://bugs.torproject.org/21641

Add API to query the current onion key grace period.

This patch adds an API to get the current grace period, in days, defined
as the consensus parameter "onion-key-grace-period-days".

As per proposal #274 the values for "onion-key-grace-period-days" is a
default value of 7 days, a minimum value of 1 day, and a maximum value
defined by other consensus parameter "onion-key-rotation-days" also
defined in days.

See: https://bugs.torproject.org/21641

Make MIN_ONION_KEY_LIFETIME a consensus parameter defined value.

This patch turns `MIN_ONION_KEY_LIFETIME` into a new function
`get_onion_key_lifetime()` which gets its value from a network consensus
parameter named "onion-key-rotation-days". This allows us to tune the
value at a later point in time with no code modifications.

We also bump the default onion key lifetime from 7 to 28 days as per
proposal #274.

See: https://bugs.torproject.org/21641

Split strings at newline in tor_get_lines_from_handle().

This patch fixes a regression described in bug #21757 that first
appeared after commit 6e78ede73f which was an attempt to fix bug #21654.

When switching from buffered I/O to direct file descriptor I/O our
output strings from get_string_from_pipe() might contain newline
characters (\n). In this patch we modify tor_get_lines_from_handle() to
ensure that the function splits the newly read string at the newline
character and thus might return multiple lines from a single call to
get_string_from_pipe().

Additionally, we add a test case to test_util_string_from_pipe() to
ensure that get_string_from_pipe() correctly returns multiple lines in a
single call.

See: https://bugs.torproject.org/21757
See: https://bugs.torproject.org/21654

Generate src/test/fuzz/include.am from a script

It was very error-prone to maintain this by hand.

Merge branch 'storagedir_squashed'

Define a "storagedir" abstraction to hold numerous similar files

We could use one of these for holding "junk" descriptors and
unparseable things -- but we'll _need_ it for having cached
consensuses and diffs between them.

Now, resolve a new 64-bit warning in compat_threads.c

consdiff: Fix 32-bit compilation.

Thanks, jenkins!

changes file for consdiff backend

Merge branch 'prop140_21643_diff_only_squashed'

Switch ed-command parsing to use tor_parse_long.

Consdiff: extract router ID hash iteration functions

There was a frequent block of code that did "find the next router
line, see if we've hit the end of the list, get the ID hash from the
line, and enforce well-ordering."  Per Ahf's review, I'm extracting
it to its own function.

Make CONSENSUS_LINE_MAX_LEN a real define

Remove a couple of {\n\n instances

Use a better for X outside of base64_compare_table.

Reindent a few labels.

Avoid all needless memory copies when computing consensus diffs.

Previously, we operated on smartlists of NUL-terminated strings,
which required us to copy both inputs to produce the NUL-terminated
strings.  Then we copied parts of _those_ inputs to produce an
output smartlist of NUL-terminated strings.  And finally, we
concatenated everything into a final resulting string.

This implementation, instead, uses a pointer-and-extent pattern to
represent each line as a pointer into the original inputs and a
length.  These line objects are then added by reference into the
output. No actual bytes are copied from the original strings until
we finally concatenate the final result together.

Bookkeeping structures and newly allocated strings (like ed
commands) are allocated inside a memarea, to avoid needless mallocs
or complicated should-I-free-this-or-not bookkeeping.

In my measurements, this improves CPU performance by something like
18%.  The memory savings should be much, much higher.

Swap memory allocation strategy for lists of lines for diffs

Now we use a single allocation block for all the lines, rather than
calling strdup on them one at a time.  This should help performance
a tiny bit.

Fill in the missing documentation on the new functions

Prop140: Fix a crash bug.

Found while fuzzing: this could occur if we tried to copy a
nonexistent "line 0" while applying a diff.

Add fuzzers for consensus diff backend code

This takes two fuzzers: one which generates a diff and makes sure it
works, and one which applies a diff.

So far, they won't crash, but there's a bug in my
string-manipulation code someplace that I'm having to work around,
related to the case where you have a blank line at the end of a
file, or where you diff a file with itself.

Make consensus diff sha3 operations mockable.

(We'll want this for fuzzing)

String-based API for consensus diffs.

Also, add very strict split/join functions, and totally forbid
nonempty files that end with somethig besides a newline.  This
change is necessary to ensure that diff/apply are actually reliable
inverse operations.

Fix an abstraction violation.

Don't alias the insides of smartlist_t; that way lies madness.

Use "const" in consdiff.[ch]

prop140: Use sha3-256, not sha2-256

This is a protocol update from recent prop140 changes.

Also, per #21673, we need to check the entire document, including
signatures.

Add a couple more cases to reach 100% coverage.

Cover two more failing cases with unit tests

Fix an unreachable memory leak.

Also add a missing newline.

Remove digest[12]_hex

Tweak&test log messages on apply_diff

Fixes when applying diffs: Allow 2-line diffs, fix bogus free

The 2-line diff changs is needed to make the unit tests actually
test the cases that they thought they were testing.

The bogus free was found while testing those cases

Mark some warnings as bugs, and as (hopefully) unreachable.

Check for expected warnings in apply_ed_diff

Fix some logging on failed apply_ed_diff

No need to end a log message with newline.

test operator cleanup

Enforce correct log messages on diff generation failure tests

Test two more base64cmp cases.

Use "STATIC" to export consdiff fns for testing

Previously test_consdiff.c just did #include "consdiff.c", which is
not great style, and messes up coverage testing.

Consensus diff backend from Daniel Martí GSOC project.

(This commit was extracted by nickm based on the final outcome of
the project, taking only the changes in the files touched by this
commit from the consdiff_rebased branch.  The directory-system
changes are going to get worked on separately.)

Run the copyright update script.

Update updateCopyright to 2017

Merge branch 'bug21540_029_v2'

Correctly handle fd-drain errors on windows workqueues

Windows doesn't let you check the socket error for a socket with
WSAGetLastError() and getsockopt(SO_ERROR).  But
getsockopt(SO_ERROR) clears the error on the socket, so you can't
call it more than once per error.

When we introduced recv_ni to help drain alert sockets, back in
0.2.6.3-alpha, we had the failure path for recv_ni call getsockopt()
twice, though: once to check for EINTR and one to check for EAGAIN.
Of course, we never got the eagain, so we treated it as an error,
and warned about: "No error".

The fix here is to have these functions return -errno on failure.

Fixes bug 21540; bugfix on 0.2.6.3-alpha.

Merge branch 'maint-0.3.0'

Merge branch 'bug20059_024_v2' into maint-0.3.0

Avoid a double-mark bug when makring a pending circuit as "too old"

Fixes bug 20059; bugfix on 0.1.0.1-rc.

Merge branch 'deprecate_getinfo_network_status'

Merge remote-tracking branch 'public/feature21496'

Merge branch 'keccak-load-faster'

Note that bandwidth-limit options only affect TCP data.

Improve keccak-tiny performance by 15% on LE intel

The 64-bit load and store code was generating pretty bad output with
my compiler, so I extracted the code from csiphash and used that instead.

Close ticket 21737

Merge branch 'feature21622_only'

Changes file for feature 21622

Log info about intro point limits when they are reached and reset

Depends on 21594, part of 21622.

Log more info when a service descriptor has the wrong number of intro points

Depends on 21598, part of 21622.

Create function to log service introduction point creation limits

Depends on 21594, part of 21622.

(Resolved merge conflict in static function declarations.

Create logfiles in mode 0640

Patch from toralf; closes 21729.

Merge remote-tracking branch 'chelseakomlo/documentation_integ_tests'

Merge branch 'maint-0.3.0'

#21720: Update "directory server options" preamble in manpage

Fix some compilation warnings in {test_,}hs_descriptor.c

Nothing big: just some const char[]s that should have been static,
and some integer truncation warnings.

Warnings not in any released Tor.

Add a null statement to prevent some SMARTLIST_FOREACH() bugs.

So we require that SMARTLIST_FOREACH_END() have the name of the loop
variable in it.  But right now the only enforcement for that is to
clear the variable at the end of the loop, which is really not
sufficient: I spent 45 minutes earlier today debugging an issue
where I had said:
   SMARTLIST_FOREACH_BEGIN(spool, spooled_resource_t *, spooled) {
     ...
   } SMARTLIST_FOREACH_END(spool);

This patch makes it so that ONLY loop variables can be used, by
referring to the _sl_idx variable.

Merge branch 'maint-0.3.0'

Merge remote-tracking branch 'public/bug21682_030' into maint-0.3.0

Merge remote-tracking branch 'asn/bug21334_v3'

prop224: Rename padding size def to something less confusing.

People felt it could refer to the descriptor header section instead of
the plaintext of the superencrypted section.

prop224: Add unittests for decode_superencrypted().