Bugfixes on bug11243 fix for the not-added cases and tests

 1. The test that adds things to the cache needs to set the clock back so
    that the descriptors it adds are valid.

 2. We split ROUTER_NOT_NEW into ROUTER_TOO_OLD, so that we can
    distinguish "already had it" from "rejected because of old published
    date".

 3. We make extrainfo_insert() return a was_router_added_t, and we
    make its caller use it correctly.  This is probably redundant with
    the extrainfo_is_bogus flag.

Use symbolic constants for statuses in microdescs_add_to_cache.

Suggested by Andrea in her review of 11243.

Commit the script I used to generate signed ri and ei documents

Don't reset the download failure status of any object marked as impossible

Unit tests for 11243: loading ri, ei, mds from lists

These tests make sure that entries are actually marked
undownloadable as appropriate.

Base tests for 11243: test parsing for md, ei, and ri.

We didn't really have test coverage for these parsing functions, so
I went and made some.  These tests also verify that the parsing
functions set the list of invalid digests correctly.

Treat unparseable (micro)descriptors and extrainfos as undownloadable

One pain point in evolving the Tor design and implementing has been
adding code that makes clients reject directory documents that they
previously would have accepted, if those descriptors actually exist.
When this happened, the clients would get the document, reject it,
and then decide to try downloading it again, ad infinitum.  This
problem becomes particularly obnoxious with authorities, since if
some authorities accept a descriptor that others don't, the ones
that don't accept it would go crazy trying to re-fetch it over and
over. (See for example ticket #9286.)

This patch tries to solve this problem by tracking, if a descriptor
isn't parseable, what its digest was, and whether it is invalid
because of some flaw that applies to the portion containing the
digest.  (This excludes RSA signature problems: RSA signatures
aren't included in the digest.  This means that a directory
authority can still put another directory authority into a loop by
mentioning a descriptor, and then serving that descriptor with an
invalid RSA signatures.  But that would also make the misbehaving
directory authority get DoSed by the server it's attacking, so it's
not much of an issue.)

We already have a mechanism to mark something undownloadable with
downloadstatus_mark_impossible(); we use that here for
microdescriptors, extrainfos, and router descriptors.

Unit tests to follow in another patch.

Closes ticket #11243.

Clear the cached address from resolve_my_address() when our IP changes

Closes 11582; patch from "ra".

continue our habit of specifying the default in the manpage

Merge remote-tracking branch 'origin/maint-0.2.5'

Merge branch 'bug13295_v2_025' into maint-0.2.5

Don't use the getaddrinfo sandbox cache from tor-resolve

Fixes bug 13295; bugfix on 0.2.5.3-alpha.

The alternative here is to call crypto_global_init() from tor-resolve,
but let's avoid linking openssl into tor-resolve for as long as we
can.

Automake syntax error :/

Add missing ed25519_ref10 headers to NOINST_HEADERS.

Note when 13290 was introduced.

Merge remote-tracking branch 'teor/circuitstats-pareto-avoid-div-zero'

Note when 13291 was introduced.

Whitespace fixes on 13291 fix

Parenthesize macro arguments for 13291 fix

Stop spawn test failures due to a race condition with SIGCHLD on process exit

When a spawned process forks, fails, then exits very quickly, (this
typically occurs when exec fails), there is a race condition between the
SIGCHLD handler updating the process_handle's fields, and checking the
process status in those fields. The update can occur before or after the
spawn tests check the process status.

We check whether the process is running or not running (rather than just
checking if it is running) to avoid this issue.

Merge branch 'bug12971_take2_squashed'

Rename socks5 error code setting function again

I'd prefer not to use the name "send" for any function that doesn't
really send things.

Respond with 'Command not supported' SOCKS5 reply message upon reception of unsupported request.

Merge branch 'ticket961_squashed'

Changes file for ticket 961

Avoid frequent strcmp() calls for AccountingRule

Generally, we don't like to parse the same thing over and over; it's
best IMO to do it once at the start of the code.

Add an "AccountingRule" feature to permit limiting bw usage by read+write

Patch from "chobe".  Closes ticket 961.

Merge remote-tracking branch 'yawning/bug13213'

Merge remote-tracking branch 'rl1987/bug13228'

Whitespace fixes

Avoid division by zero in circuitstats pareto

In circuit_build_times_calculate_timeout() in circuitstats.c, avoid dividing
by zero in the pareto calculations.

If either the alpha or p parameters are 0, we would divide by zero, yielding
an infinite result; which would be clamped to INT32_MAX anyway. So rather
than dividing by zero, we just skip the offending calculation(s), and
use INT32_MAX for the result.

Division by zero traps under clang -fsanitize=undefined-trap -fsanitize-undefined-trap-on-error.

Stop test & bench build failures with --disable-curve25519

Ensure test & bench code that references curve25519 is disabled by the
appropriate macros. tor now builds with and without --disable-curve25519.

Merge branch 'bug13280'

Stop spurious clang shallow analysis null pointer errors

Avoid 4 null pointer errors under clang shallow analysis (the default when
building under Xcode) by using tor_assert() to prove that the pointers
aren't null. Resolves issue 13284 via minor code refactoring.

Stop ed25519 8-bit signed left shift overflowing

Standardise usage in ge_scalarmult_base.c for 1 new fix.

Use SHL{8,32,64} in ed25519/ref10 to avoid left-shifting negative values

This helps us avoid undefined behavior. It's based on a patch from teor,
except that I wrote a perl script to regenerate the patch:

  #!/usr/bin/perl -p -w -i

  BEGIN { %vartypes = (); }

  if (/^[{}]/) {
      %vartypes = ();
  }

  if (/^ *crypto_int(\d+) +([a-zA-Z_][_a-zA-Z0-9]*)/) {
      $vartypes{$2} = $1;
  } elsif (/^ *(?:signed +)char +([a-zA-Z_][_a-zA-Z0-9]*)/) {
      $vartypes{$1} = '8';
  }

  # This fixes at most one shift per line. But that's all the code does.
  if (/([a-zA-Z_][a-zA-Z_0-9]*) *<< *(\d+)/) {
      $v = $1;
      if (exists $vartypes{$v}) {
   s/$v *<< *(\d+)/SHL$vartypes{$v}($v,$1)/;
      }
  }

  # remove extra parenthesis
  s/\(SHL64\((.*)\)\)/SHL64\($1\)/;
  s/\(SHL32\((.*)\)\)/SHL32\($1\)/;
  s/\(SHL8\((.*)\)\)/SHL8\($1\)/;

Stop signed left shifts overflowing in ed25519: Macros

The macros let us use unsigned types for potentially overflowing left
shifts. Create SHL32() and SHL64() and SHL8() macros for convenience.

Improving error message.

Merge remote-tracking branch 'public/require_some_c99'

Avoid a "constant variable guards dead code" warning from coverity

Fixes CID 752028

Regenerate pwbox.c with the latest trunnel

This one should no longer generate dead-code warnings with coverity.
Fingers crossed?  This was CID 1241498

Comment-out dead code in ed25519/ref10

There are some loops of the form

       for (i=1;i<1;++i) ...

And of course, if the loop index is initialized to 1, it will never
be less than 1, and the loop body will never be executed.  This
upsets coverity.

Patch fixes CID 1221543 and 1221542

Check key_len in secret_to_key_new()

This bug shouldn't be reachable so long as secret_to_key_len and
secret_to_key_make_specifier stay in sync, but we might screw up
someday.

Found by coverity; this is CID 1241500

Fix a double-free in failing case of handle_control_authenticate.

Bugfix on ed8f020e205267e6270494634346ab68d830e1d8; bug not in any
released version of Tor.  Found by Coverity; this is CID 1239290.

[Yes, I used this commit message before, in 58e813d0fcfcecfc2017.
Turns out, that fix wasn't right, since I didn't look up a
screen. :P ]

Fix on that last fix.

Fix warnings on 32-bit builds.

When size_t is the most memory you can have, make sure that things
referring to real parts of memory are size_t, not uint64_t or off_t.

But not on any released Tor.

Merge branch 'ed25519_ref10_squashed'

Conflicts:
src/common/include.am
src/ext/README

Comments and tweaks based on review by asn

Add some documentation

Rename "derive" -> "blind"

Check for failure on randombytes().

Add benchmarks for ed25519 functions

Add comments to ed25519_vectors.inc

Cut the time to run the python ed25519 tests by a factor of ~6

I know it's pointless to optimize them, but I just can't let them
spend all that time in expmod() when native python pow() does the same
thing.

Add a reference implementation of our ed25519 modifications

Also, use it to generate test vectors, and add those test vectors
to test_crypto.c

This is based on ed25519.py from the ed25519 webpage; the kludgy hacks
are my own.

Add the pure-python ed25519 implementation, for testing.

More documentation for ed25519 stuff.

Fix linux compilation of ed25519_ref10

Our integer-definition headers apparently suck in a definition for
select(2), which interferes with the select() in ge_scalarmult_base.c

Draft implementation for ed25519 key blinding, as in prop224

This implementation allows somebody to add a blinding factor to a
secret key, and a corresponding blinding factor to the public key.

Robert Ransom came up with this idea, I believe.  Nick Hopper proved a
scheme like this secure.  The bugs are my own.

Add curve25519->ed25519 key conversion per proposal 228

For proposal 228, we need to cross-certify our identity with our
curve25519 key, so that we can prove at descriptor-generation time
that we own that key.  But how can we sign something with a key that
is only for doing Diffie-Hellman?  By converting it to the
corresponding ed25519 point.

See the ALL-CAPS warning in the documentation.  According to djb
(IIUC), it is safe to use these keys in the ways that ntor and prop228
are using them, but it might not be safe if we start providing crazy
oracle access.

(Unit tests included.  What kind of a monster do you take me for?)

Support for writing ed25519 public/private components to disk.

This refactors the "== type:tag ==" code from crypto_curve25519.c

Add encode/decode functions for ed25519 public keys

Restore the operation of extra_strong in ed25519_secret_key_generate

Another ed25519 tweak: store secret keys in expanded format

This will be needed/helpful for the key blinding of prop224, I
believe.

Fix API for ed25519_ref10_open()

This is another case where DJB likes sticking the whole signature
prepended to the message, and I don't think that's the hottest idea.

The unit tests still pass.

Tweak ed25519 ref10 signing interface to use less space.

Unit tests still pass.

Tweak ref10 keygen APIs to be more sane.

Add Ed25519 support, wrappers, and tests.

Taken from earlier ed25519 branch based on floodyberry's
ed25519-donna.  Tweaked so that it applies to ref10 instead.

Use --require-version to prevent running trunnel pre-1.2

(Also, regenerate trunnel stuff with trunnel 1.2.  This just adds a
few comments to our output.)

Have the run_trunnel.sh script tell trunnel to update src/ext/trunnel too

Add a script to run trunnel on the trunnel files.

Also, re-run the latest trunnel.

Closes ticket 13242

Mention trunnel in LICENSE and src/ext/README

Merge branch 'libscrypt_trunnel_squashed'

Conflicts:
src/test/test_crypto.c

Add tests for failing cases of crypto_pwbox

Use trunnel for crypto_pwbox encoding/decoding.

This reduces the likelihood that I have made any exploitable errors
in the encoding/decoding.

This commit also imports the trunnel runtime source into Tor.

Adjust pwbox format: use a random IV each time

Suggested by yawning

Test a full array of s2k flags with pwbox test.

Suggested by yawning.

Use preferred key-expansion means for pbkdf2, scrypt.

Use HKDF for RFC2440 s2k only.

Test vectors for PBKDF2 from RFC6070

Test vectors for scrypt from draft-josefsson-scrypt-kdf-00

Tweak and expose secret_to_key_compute_key for testing

Doing this lets me pass in a salt of an unusual length.

Rudimentary-but-sufficient passphrase-encrypted box code.

See crypto_pwbox.c for a description of the file format.

There are tests for successful operation, but it still needs
error-case tests.

More generic passphrase hashing code, including scrypt support

Uses libscrypt when found; otherwise, we don't have scrypt and we
only support openpgp rfc2440 s2k hashing, or pbkdf2.

Includes documentation and unit tests; coverage around 95%. Remaining
uncovered code is sanity-checks that shouldn't be reachable fwict.

Tell autoconf to make the compiler act as c99

Apparently some compilers want extra switches.

Tweak address.c to use a little c99 syntax

Since address.c is the first file to get compiled, let's have it use
a little judicious c99 in order to catch broken compilers that
somehow make it past our autoconf tests.

Require two c99 features (midblock decls, designated initializers)

c99 lets us do neat stuff like:

    {
      int j, k;
      foo(&j, &k);
      int z = j + k;
    }

and also
    struct point { int x; int y; };
    struct point pt = { .x=5, .y=5 };

This commit makes the configure scripts check to make sure your
compiler implements them.  It also disables our longstanding warning
about midblock declarations.

Closes ticket 13233.

Do not launch pluggable transport plugins when DisableNetwork is set.

When DisableNetwork is set, do not launch pluggable transport plugins,
and if any are running already, terminate the existing instances.
Resolves ticket 13213.

two more typos

+ is not how we say concatenate

Merge remote-tracking branch 'public/bug12693_025'

Merge branch 'master' of git-rw.torproject.org:/tor

Merge branch 'bug8197_squashed'

Conflicts:
src/test/test_policy.c

and forward-port those changelogs too

Writing comments for newly added functions.

Adding changes file for 8197.

Whitespace fixes

Using the new API in unit-test.

New API for policies_parse_exit_policy().

changes file for 12884

Remove config options that have been obsolete since 0.2.3

Merge remote-tracking branch 'arma/feature13211'

Merge remote-tracking branch 'arma/feature13153'

changes file for 7733