Fix numerous 64->32 errors in the unit tests

Before the 11825 fix, these were all silently ignored.

Fix unearthed problems in unit tests

Fix numerous type errors in the unit tests

Remove tinytest casts that were suppressing them.

Fix for #11825.

Fix test_util_max_mem on 32-bit CPUs

More unit tests for #11648-related stuff

These are actually tests for #311.  It appears to me that we didn't
fix #311 properly when we thought we did in 475eb5d6; instead, the
real fix was 05eff35ac6d64b, a few minutes earlier.

Move structures into (private) part of buffers.h so we can inspect them while testing

Merge remote-tracking branch 'public/bug11648'

changes file for 11648

Return success when get_total_system_memory() succeeds.

Fixes bug 11805; bugfix on 0.2.5.4-alpha.

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge commit 'bb9b4c37f8e7f5cf78918f382e90d8b11ff42551' into maint-0.2.4

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'public/ticket11528_024' into maint-0.2.4

Merge remote-tracking branch 'public/bug11513_024' into maint-0.2.4

Merge remote-tracking branch 'public/update_ciphers_ff28' into maint-0.2.4

Merge remote-tracking branch 'public/bug11737_diagnostic'

Improve bug11743 message a bit.

Merge remote-tracking branch 'public/bug8387_diagnostic'

Better log message for 8387 diagnostic

Always finalize a zlib stream of server descriptors.

Possible fix for bug 11648.

Script to detect unused autoconf outputs

Should help speed up mingw builds by a percent or two.

Fix test_pick_circid on 32-bit platforms

Basic tests for get_unique_circ_id_by_chan.

Quick-and-dirty test for packed_cell_is_destroy

Move code-generation scripts to scripts/codegen

Now that we have a scripts/* directory, let's put the scripts we use
for generating C there.

README file for the scripts directory

Add a README file for the contrib directory

Mention siphash in src/ext/README

Remove a spurious variable.

Merge remote-tracking branch 'public/bug11750'

Merge branch 'bug11743_option_b'

Unit test for dirvote_create_microdescriptor

Unit test for write_to_buf_zlib

Future-proof "id" lines against proposal 220.

fix a copy-paste comment mistake

changes file for bug11743

Merge remote-tracking branch 'karsten/bug11742'

Check HT_REP_IS_BAD_() when giving a bug-7164 warning.

This may let us know if we're hitting 7164 because of an
hte_hash-corruption situation proposed by "cypherpunks" in bug
11737.

Add a siphash benchmark.

Faster chan_circid_entry_hash implementation

Since this is critical-path, let's tune the value we pass to
csiphash a little so it fits into one whole round.

Fix compilation with DEBUG_DNS_CACHE

Reported by cypherpunks.

Fix for #11761; bugfix on 0.2.3.13-alpha where we made ht.h stop using
_identifiers.

Use siphash on channel/circuit-id map too

Fixes ticket 11750.

Fix cross-compiling when 128-bit math compiles but won't link

Apparently, there exist cross-compiling environments for arm7 where
you can compile a 64x64->128 multiply, but not link it.

Fixes bug 11729; bugfix on 0.2.4.8-alpha. Patch from 'conradev'.

Consensus method 18: Add a base64 ID digest to the microdesc

This is a stopgap measure to make sure that microdescriptors never
collide; see bug 11743.

Don't start sandbox except for CMD_RUN_TOR

This was crashing on --verify-config in the debian startup script, if you
had sandboxing enabled.  Fixes 11609; fix on 0.2.5.1-alpha.

Remove /tor/dbg-stability.txt URL.

The /tor/dbg-stability.txt URL was meant to help debug WFU and MTBF
calculations, but nobody was using it.

Fixes #11742.

Tweak the changelog formatter a little.

(I had a bad clone of Knuth's algorithm sitting around in an old code
repository of mine.  I added orphan detection and smarter hyphenation;
it seems to give marginally better results than we had before.)

Fix test_config_write_to_data_subdir

Bugfix on aa0eb2022342798fc78b2bde89d393f37c59fe78; bugfix not on any
released Tor.

have only one code path for #9635 logging

Merge remote-tracking branch 'public/bug9635'

Merge remote-tracking branch 'public/bug11233_diagnose'

Merge branch 'bug11654_squashed'

Fix a misuse of strlcpy() introduced by the #11156 patch.

whitespace fix

Merge remote-tracking branch 'public/valgrind_tests'

Merge remote-tracking branch 'public/bug4345a_024'

Merge remote-tracking branch 'public/bug10849_025'

Conflicts:
src/or/config.c

Merge remote-tracking branch 'origin/maint-0.2.4'

(this is an "ours" merge, to avoid taking 6a4f5d9b4d into 0.2.5: that
commit downgrades the bug 7164 warning in versions <= 0.2.4 because it
isn't as useful as the one 0.2.5 has)

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Conflicts:
src/or/microdesc.c

Downgrade bug 7164 warning to INFO

The 0.2.5.x warning is the one that might help us track this down; the
warnings in stable are just annoying users over and over and over.

Changes file for bug 11623 (fix was in 91ff10f6be9)

Merge remote-tracking branch 'andrea/bug11476'

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Merge remote-tracking branch 'public/bug10849_023_bruteforce' into maint-0.2.3

Merge remote-tracking branch 'public/bug11628'

More .gitignore tweaks; goodbye latex; hello trs

We don't have any more latex files in Tor, so there's no reason to
.gitignore all of the latex droppings.  On the other hand, automake
likes to use .trs files and .log for test suite outputs.

Update .gitignore for doc, contrib changes

In doc, restoring torify made us generate some .in files we didn't
before.

In contrib, we added tor.service.in, but didn't add tor.service to .gitignore

Merge remote-tracking branch 'origin/maint-0.2.4'

Doing an "ours" merge to avoid taking 35699ef9f5d2814203653e16c, which is
a cherry-picked backport of 9686.

Drop the MaxMemInCellQueues lower limit down to 256 MB.

on #9686, gmorehose reports that the 500 MB lower limit is too high
for raspberry pi users.

This is a backport of 647248729fa65f0e51d062e2af8f4e8b38592bf5 to 0.2.4.

Note that in 0.2.4, the option is called MaxMemInCellQueues.

Merge remote-tracking branch 'public/bug11605_024'

Log info on ancient one-hop circuits in heartbeat

This is an attempt to diagnose 8387.

changes file for last patch

Quench gcc's complaints about discarding constness in TO_ORIGIN_CIRCUIT.

This was previously satisfied by using a temporary variable, but there
are three other instances in circuitlist.c that gcc is now bothered by,
so now introduce a CONST_TO_ORIGIN_CIRCUIT that takes a const
circuit_t instead.

Put tor.service in the right place, and autoconfify it

This closes 8368.

Add contrib/tor.service for use with systemd

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Stop leaking memory in error cases of md parsing

When clearing a list of tokens, it's important to do token_clear()
on them first, or else any keys they contain will leak.  This didn't
leak memory on any of the successful microdescriptor parsing paths,
but it does leak on some failing paths when the failure happens
during tokenization.

Fixes bug 11618; bugfix on 0.2.2.6-alpha.

Changes file for valgrind fixes

Fix leaks in tests related to setting options->DataDirectory

We pre-populate that value in main(), and we weren't freeing it
before overriding it.

Fix memory leaks in test_status.c

Fix leaks in dir voting tests

Changes file for bug 11632.

Search for python by looking for "python2.7" and "python3.3" as well.

Make --disable-buf-freelists build and pass unit tests

Merge remote-tracking branch 'public/bug11608'

changes file for 11634 documentation fixes

Provide missing documentation for two options. For 11634.

Fix capitalization of MaxMemInQueues

This won't affect anybody's configuration, but it makes it match what
we documented. Fixes part of 11634.

Remove documentation for obsolete FetchV2Networkstatus

Remove a spurious anchor in the manpage. part of 11634.

Fix some option names in the manpage.

Found with 'make check-docs'.  Part of 11634.

Actually put ExtORPortCookieAuthFile into config.c

Fixes bug 11635; bugfix on 0.2.5.1-alpha.

Remove privoxy from 'see also' section on manpage.

Fix the check-docs script

We broke it when we added anchors to the manpage.

This patch fixes it, and makes it sorta detect missing anchors.

Merge branch 'bug8966_v5'

Deal with the aftermath of sorting contrib

This basically amounts to grepping for every file that mentioned
contrib and adjusting its references to refer to the right place.

Clean the contrib directory with torch and machete.

We've accumulated a lot of cruft in this directory over the years: so
much, that it passed the point of being so disorganized that we no
longer browsed through it to see how bad it had gotten.

This patch (based on changes by rl1987) tries to remove the most
useless items, and split the others into reasonable directories.  It
creates a new scripts/ directory for maint and test scripts.

This patch was generated with the script below.  No other changes are made in
this patch.

#############
# new directories
mkdir -p contrib/test-tools
mkdir -p contrib/or-tools
mkdir -p contrib/dirauth-tools
mkdir -p contrib/operator-tools
mkdir -p contrib/client-tools
mkdir -p contrib/test-tools
mkdir -p contrib/dist
mkdir -p contrib/dist/suse
mkdir -p contrib/win32build

mkdir -p scripts/maint
mkdir -p scripts/test

############
# Deleted -- nobody who wants this is going to be looking for it here any
# longer.  Also, nobody wants it.
git rm contrib/auto-naming/README

# Deleted: We no longer do polipo.
git rm contrib/polipo/Makefile.mingw
git rm contrib/polipo/README
git rm contrib/polipo/polipo-mingw.nsi

# We haven't even tried to run this for ages. It is a relic of a bygone era
git rm contrib/mdd.py

# contrib/dir-tools/directory-archive/
# Tools for running a directory archive. No longer used - deleting them.
git rm contrib/directory-archive/crontab.sample
git rm contrib/directory-archive/fetch-all
git rm contrib/directory-archive/fetch-all-v3
git rm contrib/directory-archive/tar-them-up
git rm contrib/directory-archive/fetch-all-functions
git rm contrib/directory-archive/sort-into-month-folder

# This appears to be related to very old windows packaging stuff.
git rm contrib/bundle.nsi
git rm contrib/package_nsis-weasel.sh
git rm contrib/package_nsis.sh
git rm contrib/netinst.nsi
git rm contrib/torinst32.ico
git rm contrib/xenobite.ico

# This should not be needed for cross-compilation any more, should it?
git rm contrib/cross.sh

# I don't think anyone ever used this.
git rm contrib/make-signature.sh

# These are attempts to send tor controller commands from the command-line.
# They don't support modern authentication.
git rm contrib/tor-ctrl.sh

# this is for fetching about a tor server from a dirauth. But it
# doesn't authenticate the dirauth: yuck.
git rm contrib/sd

# wow, such unused, very perl4.
git rm contrib/tor-stress

####### contrib/dirauth-tools/
# Tools for running a directory authority

git mv contrib/add-tor contrib/dirauth-tools/
git mv contrib/nagios-check-tor-authority-cert contrib/dirauth-tools/

#######
# contrib/or-tools/
# Tools for examining relays
git mv contrib/check-tor contrib/or-tools/check-tor
git mv contrib/checksocks.pl contrib/or-tools/checksocks.pl
git mv contrib/exitlist contrib/or-tools/exitlist

#######
# contrib/operator-tools

# Tools for running a relay.
git mv contrib/linux-tor-prio.sh contrib/operator-tools/linux-tor-prio.sh
git mv contrib/tor-exit-notice.html contrib/operator-tools/tor-exit-notice.html
git mv contrib/tor.logrotate.in contrib/operator-tools/

######
# contrib/dist

git mv contrib/rc.subr contrib/dist/
git mv contrib/tor.sh.in contrib/dist/
git mv contrib/torctl.in contrib/dist/
git mv contrib/suse/* contrib/dist/suse/

######
# client-tools
git mv contrib/torify contrib/client-tools/torify
git mv contrib/tor-resolve.py contrib/client-tools/

######
# win32build

git mv contrib/package_nsis-mingw.sh contrib/win32build/
git mv contrib/tor.nsi.in contrib/win32build/
# Erinn didn't ask for this...
git mv contrib/tor-mingw.nsi.in contrib/win32build/
git mv contrib/tor.ico contrib/win32build/

######
# scripts/test
git mv contrib/cov-blame scripts/test/cov-blame
git mv contrib/cov-diff scripts/test/cov-diff
git mv contrib/coverage scripts/test/coverage
git mv contrib/scan-build.sh scripts/test/

######## scripts/maint
# Maintainance scripts
#
# These are scripts for developers to use when hacking on Tor.  They mostly
# look at the Tor source in one way or another.
git mv contrib/findMergedChanges.pl scripts/maint/findMergedChanges.pl
git mv contrib/checkOptionDocs.pl scripts/maint/checkOptionDocs.pl
git mv contrib/checkSpace.pl scripts/maint/checkSpace.pl
git mv contrib/redox.py scripts/maint/redox.py
git mv contrib/updateVersions.pl scripts/maint/updateVersions.pl
git mv contrib/checkLogs.pl scripts/maint/checkLogs.pl
git mv contrib/format_changelog.py scripts/maint/

New --disable-seccomp option to turn off support for seccomp.

Fixes 11628.