Merge branch 'bug13280'

Stop spurious clang shallow analysis null pointer errors

Avoid 4 null pointer errors under clang shallow analysis (the default when
building under Xcode) by using tor_assert() to prove that the pointers
aren't null. Resolves issue 13284 via minor code refactoring.

Stop ed25519 8-bit signed left shift overflowing

Standardise usage in ge_scalarmult_base.c for 1 new fix.

Use SHL{8,32,64} in ed25519/ref10 to avoid left-shifting negative values

This helps us avoid undefined behavior. It's based on a patch from teor,
except that I wrote a perl script to regenerate the patch:

  #!/usr/bin/perl -p -w -i

  BEGIN { %vartypes = (); }

  if (/^[{}]/) {
      %vartypes = ();
  }

  if (/^ *crypto_int(\d+) +([a-zA-Z_][_a-zA-Z0-9]*)/) {
      $vartypes{$2} = $1;
  } elsif (/^ *(?:signed +)char +([a-zA-Z_][_a-zA-Z0-9]*)/) {
      $vartypes{$1} = '8';
  }

  # This fixes at most one shift per line. But that's all the code does.
  if (/([a-zA-Z_][a-zA-Z_0-9]*) *<< *(\d+)/) {
      $v = $1;
      if (exists $vartypes{$v}) {
   s/$v *<< *(\d+)/SHL$vartypes{$v}($v,$1)/;
      }
  }

  # remove extra parenthesis
  s/\(SHL64\((.*)\)\)/SHL64\($1\)/;
  s/\(SHL32\((.*)\)\)/SHL32\($1\)/;
  s/\(SHL8\((.*)\)\)/SHL8\($1\)/;

Stop signed left shifts overflowing in ed25519: Macros

The macros let us use unsigned types for potentially overflowing left
shifts. Create SHL32() and SHL64() and SHL8() macros for convenience.

Merge remote-tracking branch 'public/require_some_c99'

Avoid a "constant variable guards dead code" warning from coverity

Fixes CID 752028

Regenerate pwbox.c with the latest trunnel

This one should no longer generate dead-code warnings with coverity.
Fingers crossed?  This was CID 1241498

Comment-out dead code in ed25519/ref10

There are some loops of the form

       for (i=1;i<1;++i) ...

And of course, if the loop index is initialized to 1, it will never
be less than 1, and the loop body will never be executed.  This
upsets coverity.

Patch fixes CID 1221543 and 1221542

Check key_len in secret_to_key_new()

This bug shouldn't be reachable so long as secret_to_key_len and
secret_to_key_make_specifier stay in sync, but we might screw up
someday.

Found by coverity; this is CID 1241500

Fix a double-free in failing case of handle_control_authenticate.

Bugfix on ed8f020e205267e6270494634346ab68d830e1d8; bug not in any
released version of Tor.  Found by Coverity; this is CID 1239290.

[Yes, I used this commit message before, in 58e813d0fcfcecfc2017.
Turns out, that fix wasn't right, since I didn't look up a
screen. :P ]

Fix on that last fix.

Fix warnings on 32-bit builds.

When size_t is the most memory you can have, make sure that things
referring to real parts of memory are size_t, not uint64_t or off_t.

But not on any released Tor.

Merge branch 'ed25519_ref10_squashed'

Conflicts:
src/common/include.am
src/ext/README

Comments and tweaks based on review by asn

Add some documentation

Rename "derive" -> "blind"

Check for failure on randombytes().

Add benchmarks for ed25519 functions

Add comments to ed25519_vectors.inc

Cut the time to run the python ed25519 tests by a factor of ~6

I know it's pointless to optimize them, but I just can't let them
spend all that time in expmod() when native python pow() does the same
thing.

Add a reference implementation of our ed25519 modifications

Also, use it to generate test vectors, and add those test vectors
to test_crypto.c

This is based on ed25519.py from the ed25519 webpage; the kludgy hacks
are my own.

Add the pure-python ed25519 implementation, for testing.

More documentation for ed25519 stuff.

Fix linux compilation of ed25519_ref10

Our integer-definition headers apparently suck in a definition for
select(2), which interferes with the select() in ge_scalarmult_base.c

Draft implementation for ed25519 key blinding, as in prop224

This implementation allows somebody to add a blinding factor to a
secret key, and a corresponding blinding factor to the public key.

Robert Ransom came up with this idea, I believe.  Nick Hopper proved a
scheme like this secure.  The bugs are my own.

Add curve25519->ed25519 key conversion per proposal 228

For proposal 228, we need to cross-certify our identity with our
curve25519 key, so that we can prove at descriptor-generation time
that we own that key.  But how can we sign something with a key that
is only for doing Diffie-Hellman?  By converting it to the
corresponding ed25519 point.

See the ALL-CAPS warning in the documentation.  According to djb
(IIUC), it is safe to use these keys in the ways that ntor and prop228
are using them, but it might not be safe if we start providing crazy
oracle access.

(Unit tests included.  What kind of a monster do you take me for?)

Support for writing ed25519 public/private components to disk.

This refactors the "== type:tag ==" code from crypto_curve25519.c

Add encode/decode functions for ed25519 public keys

Restore the operation of extra_strong in ed25519_secret_key_generate

Another ed25519 tweak: store secret keys in expanded format

This will be needed/helpful for the key blinding of prop224, I
believe.

Fix API for ed25519_ref10_open()

This is another case where DJB likes sticking the whole signature
prepended to the message, and I don't think that's the hottest idea.

The unit tests still pass.

Tweak ed25519 ref10 signing interface to use less space.

Unit tests still pass.

Tweak ref10 keygen APIs to be more sane.

Add Ed25519 support, wrappers, and tests.

Taken from earlier ed25519 branch based on floodyberry's
ed25519-donna.  Tweaked so that it applies to ref10 instead.

Use --require-version to prevent running trunnel pre-1.2

(Also, regenerate trunnel stuff with trunnel 1.2.  This just adds a
few comments to our output.)

Have the run_trunnel.sh script tell trunnel to update src/ext/trunnel too

Add a script to run trunnel on the trunnel files.

Also, re-run the latest trunnel.

Closes ticket 13242

Mention trunnel in LICENSE and src/ext/README

Merge branch 'libscrypt_trunnel_squashed'

Conflicts:
src/test/test_crypto.c

Add tests for failing cases of crypto_pwbox

Use trunnel for crypto_pwbox encoding/decoding.

This reduces the likelihood that I have made any exploitable errors
in the encoding/decoding.

This commit also imports the trunnel runtime source into Tor.

Adjust pwbox format: use a random IV each time

Suggested by yawning

Test a full array of s2k flags with pwbox test.

Suggested by yawning.

Use preferred key-expansion means for pbkdf2, scrypt.

Use HKDF for RFC2440 s2k only.

Test vectors for PBKDF2 from RFC6070

Test vectors for scrypt from draft-josefsson-scrypt-kdf-00

Tweak and expose secret_to_key_compute_key for testing

Doing this lets me pass in a salt of an unusual length.

Rudimentary-but-sufficient passphrase-encrypted box code.

See crypto_pwbox.c for a description of the file format.

There are tests for successful operation, but it still needs
error-case tests.

More generic passphrase hashing code, including scrypt support

Uses libscrypt when found; otherwise, we don't have scrypt and we
only support openpgp rfc2440 s2k hashing, or pbkdf2.

Includes documentation and unit tests; coverage around 95%. Remaining
uncovered code is sanity-checks that shouldn't be reachable fwict.

Tell autoconf to make the compiler act as c99

Apparently some compilers want extra switches.

Tweak address.c to use a little c99 syntax

Since address.c is the first file to get compiled, let's have it use
a little judicious c99 in order to catch broken compilers that
somehow make it past our autoconf tests.

Require two c99 features (midblock decls, designated initializers)

c99 lets us do neat stuff like:

    {
      int j, k;
      foo(&j, &k);
      int z = j + k;
    }

and also
    struct point { int x; int y; };
    struct point pt = { .x=5, .y=5 };

This commit makes the configure scripts check to make sure your
compiler implements them.  It also disables our longstanding warning
about midblock declarations.

Closes ticket 13233.

two more typos

+ is not how we say concatenate

Merge remote-tracking branch 'public/bug12693_025'

Merge branch 'master' of git-rw.torproject.org:/tor

Merge branch 'bug8197_squashed'

Conflicts:
src/test/test_policy.c

and forward-port those changelogs too

Writing comments for newly added functions.

Adding changes file for 8197.

Whitespace fixes

Using the new API in unit-test.

New API for policies_parse_exit_policy().

changes file for 12884

Remove config options that have been obsolete since 0.2.3

Merge remote-tracking branch 'arma/feature13211'

Merge remote-tracking branch 'arma/feature13153'

changes file for 7733

Merge remote-tracking branch 'public/bug7733a'

Merge remote-tracking branch 'intrigeri/bug13196-systemd-writable-run-directory'

clients use optimistic data when reaching hidden services

Allow clients to use optimistic data when connecting to a hidden service,
which should cut out the initial round-trip for client-side programs
including Tor Browser.

(Now that Tor 0.2.2.x is obsolete, all hidden services should support
server-side optimistic data.)

See proposal 181 for details. Implements ticket 13211.

Use optimistic data even if we don't know exitnode->rs

I think we should know the routerstatus for our exit relay, since
we built a circuit to it. So I think this is just a code simplication.

get rid of routerstatus->version_supports_optimistic_data

Clients are now willing to send optimistic circuit data (before they
receive a 'connected' cell) to relays of any version. We used to
only do it for relays running 0.2.3.1-alpha or later, but now all
relays are new enough.

Resolves ticket 13153.

get rid of trivial redundant comment

Stop silently skipping invalid args to setevents

Return an error when the second or later arguments of the
"setevents" controller command are invalid events. Previously we
would return success while silently skipping invalid events.

Fixes bug 13205; bugfix on 0.2.3.2-alpha. Reported by "fpxnns".

Merge branch 'maint-0.2.5'

Merge branch 'maint-0.2.4' into maint-0.2.5

Conflicts:
src/or/config.c

Merge branch 'maint-0.2.3' into maint-0.2.4

gabelmoo's IPv4 address changed

Add changes file for #13196.

Note that this will likely need to be folded with the changes file for #12751,
as this change is a mere fixup on top of the changes introduced for #12751.

systemd unit file: set up /var/run/tor as writable for the Tor service.

For some strange reason, this was not needed with systemd v208.
But it's needed with systemd v215 on current Debian sid, and entirely
makes sense.

Merge branch 'bug4244b_squashed'

Clients no longer write "DirReqStatistics 0" in their saveconf output

Stop modifying the value of our DirReqStatistics torrc option just
because we're not a bridge or relay. This bug was causing Tor
Browser users to write "DirReqStatistics 0" in their torrc files
as if they had chosen to change the config.

Fixes bug 4244; bugfix on 0.2.3.1-alpha.

Fix a double-free in failing case of handle_control_authenticate.

Bugfix on ed8f020e205267e6270494634346ab68d830e1d8; bug not in any
released version of Tor.  Found by Coverity; this is CID 1239290.

Use the DL_SCHED_CONSENSUS schedule for consensuses.

Fixes bug 11679; bugfix on 0.2.2.6-alpha

Activate INSTRUMENT_DOWNLOADS under clang analyzer as well as coverity

Patch from teor; ticket 13177.

Fix a windows unused-arg warning

Merge remote-tracking branch 'public/ticket_13119_v3'

torrc.sample: Fix units

Ignore coverage_html/

Merge remote-tracking branch 'origin/maint-0.2.5'

Add coccinelle script to remove pointless callocs

Merge remote-tracking branch 'origin/maint-0.2.4' into maint-0.2.5

clients now send correct address for rendezvous point

Clients now send the correct address for their chosen rendezvous point
when trying to access a hidden service. They used to send the wrong
address, which would still work some of the time because they also
sent the identity digest of the rendezvous point, and if the hidden
service happened to try connecting to the rendezvous point from a relay
that already had a connection open to it, the relay would reuse that
connection. Now connections to hidden services should be more robust
and faster. Also, this bug meant that clients were leaking to the hidden
service whether they were on a little-endian (common) or big-endian (rare)
system, which for some users might have reduced their anonymity.

Fixes bug 13151; bugfix on 0.2.1.5-alpha.

Add script to detect and remove unCish malloc-then-cast pattern

Also, apply it.

clean up eol whitespace from coccinelle-generated patches

Remove the legacy_test_helper and legacy_setup wrappers

These wrappers went into place when the default type for our unit
test functions changed from "void fn(void)" to "void fn(void *arg)".

To generate this patch, I did the same hokey-pokey as before with
replacing all operators used as macro arguments, then I ran a
coccinelle script, then I ran perl script to fix up everything that
used legacy_test_helper, then I manually removed the
legacy_test_helper functions, then I ran a final perl script to put
the operators back how they were.

==============================
 #!/usr/bin/perl -w -i -p

s/==,/_X_EQ_,/g;
s/!=,/_X_NE_,/g;
s/<,/_X_LT_,/g;
s/>,/_X_GT_,/g;
s/>=,/_X_GEQ_,/g;
s/<=,/_X_LEQ_,/g;

--------------------

@@
identifier func =~ "test_.*$";
statement S, S2;
@@
 static void func (
-void
+void *arg
 )
 {
 ... when != S2
+(void) arg;
 S
 ...
 }

--------------------
 #!/usr/bin/perl -w -i -p

s/, *legacy_test_helper, *([^,]+), *\&legacy_setup, *([^\}]+) *}/, $2, $1, NULL, NULL }/g;

--------------------
 #!/usr/bin/perl -w -i -p

s/_X_NEQ_/!=/g;
s/_X_NE_/!=/g;
s/_X_EQ_/==/g;
s/_X_GT_/>/g;
s/_X_LT_/</g;
s/_X_GEQ_/>=/g;
s/_X_LEQ_/<=/g;

--------------------

Add a changes file for 13119

Replace all uses of test_{str,}eq

Replace the remaining test_assert instances

remove two unused test_* macros

Replace remaining uses of deprecated test_mem* functions