Merge remote-tracking branch 'public/valgrind_tests'

Merge remote-tracking branch 'public/bug4345a_024'

Merge remote-tracking branch 'public/bug10849_025'

Conflicts:
src/or/config.c

Merge remote-tracking branch 'origin/maint-0.2.4'

(this is an "ours" merge, to avoid taking 6a4f5d9b4d into 0.2.5: that
commit downgrades the bug 7164 warning in versions <= 0.2.4 because it
isn't as useful as the one 0.2.5 has)

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Conflicts:
src/or/microdesc.c

Downgrade bug 7164 warning to INFO

The 0.2.5.x warning is the one that might help us track this down; the
warnings in stable are just annoying users over and over and over.

Changes file for bug 11623 (fix was in 91ff10f6be9)

Merge remote-tracking branch 'andrea/bug11476'

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Merge remote-tracking branch 'public/bug10849_023_bruteforce' into maint-0.2.3

Merge remote-tracking branch 'public/bug11628'

More .gitignore tweaks; goodbye latex; hello trs

We don't have any more latex files in Tor, so there's no reason to
.gitignore all of the latex droppings.  On the other hand, automake
likes to use .trs files and .log for test suite outputs.

Update .gitignore for doc, contrib changes

In doc, restoring torify made us generate some .in files we didn't
before.

In contrib, we added tor.service.in, but didn't add tor.service to .gitignore

Merge remote-tracking branch 'origin/maint-0.2.4'

Doing an "ours" merge to avoid taking 35699ef9f5d2814203653e16c, which is
a cherry-picked backport of 9686.

Drop the MaxMemInCellQueues lower limit down to 256 MB.

on #9686, gmorehose reports that the 500 MB lower limit is too high
for raspberry pi users.

This is a backport of 647248729fa65f0e51d062e2af8f4e8b38592bf5 to 0.2.4.

Note that in 0.2.4, the option is called MaxMemInCellQueues.

Merge remote-tracking branch 'public/bug11605_024'

changes file for last patch

Quench gcc's complaints about discarding constness in TO_ORIGIN_CIRCUIT.

This was previously satisfied by using a temporary variable, but there
are three other instances in circuitlist.c that gcc is now bothered by,
so now introduce a CONST_TO_ORIGIN_CIRCUIT that takes a const
circuit_t instead.

Put tor.service in the right place, and autoconfify it

This closes 8368.

Add contrib/tor.service for use with systemd

Merge remote-tracking branch 'origin/maint-0.2.4'

Merge remote-tracking branch 'origin/maint-0.2.3' into maint-0.2.4

Stop leaking memory in error cases of md parsing

When clearing a list of tokens, it's important to do token_clear()
on them first, or else any keys they contain will leak.  This didn't
leak memory on any of the successful microdescriptor parsing paths,
but it does leak on some failing paths when the failure happens
during tokenization.

Fixes bug 11618; bugfix on 0.2.2.6-alpha.

Changes file for valgrind fixes

Fix leaks in tests related to setting options->DataDirectory

We pre-populate that value in main(), and we weren't freeing it
before overriding it.

Fix memory leaks in test_status.c

Fix leaks in dir voting tests

Changes file for bug 11632.

Search for python by looking for "python2.7" and "python3.3" as well.

Make --disable-buf-freelists build and pass unit tests

Merge remote-tracking branch 'public/bug11608'

changes file for 11634 documentation fixes

Provide missing documentation for two options. For 11634.

Fix capitalization of MaxMemInQueues

This won't affect anybody's configuration, but it makes it match what
we documented. Fixes part of 11634.

Remove documentation for obsolete FetchV2Networkstatus

Remove a spurious anchor in the manpage. part of 11634.

Fix some option names in the manpage.

Found with 'make check-docs'.  Part of 11634.

Actually put ExtORPortCookieAuthFile into config.c

Fixes bug 11635; bugfix on 0.2.5.1-alpha.

Remove privoxy from 'see also' section on manpage.

Fix the check-docs script

We broke it when we added anchors to the manpage.

This patch fixes it, and makes it sorta detect missing anchors.

Merge branch 'bug8966_v5'

Deal with the aftermath of sorting contrib

This basically amounts to grepping for every file that mentioned
contrib and adjusting its references to refer to the right place.

Clean the contrib directory with torch and machete.

We've accumulated a lot of cruft in this directory over the years: so
much, that it passed the point of being so disorganized that we no
longer browsed through it to see how bad it had gotten.

This patch (based on changes by rl1987) tries to remove the most
useless items, and split the others into reasonable directories.  It
creates a new scripts/ directory for maint and test scripts.

This patch was generated with the script below.  No other changes are made in
this patch.

#############
# new directories
mkdir -p contrib/test-tools
mkdir -p contrib/or-tools
mkdir -p contrib/dirauth-tools
mkdir -p contrib/operator-tools
mkdir -p contrib/client-tools
mkdir -p contrib/test-tools
mkdir -p contrib/dist
mkdir -p contrib/dist/suse
mkdir -p contrib/win32build

mkdir -p scripts/maint
mkdir -p scripts/test

############
# Deleted -- nobody who wants this is going to be looking for it here any
# longer.  Also, nobody wants it.
git rm contrib/auto-naming/README

# Deleted: We no longer do polipo.
git rm contrib/polipo/Makefile.mingw
git rm contrib/polipo/README
git rm contrib/polipo/polipo-mingw.nsi

# We haven't even tried to run this for ages. It is a relic of a bygone era
git rm contrib/mdd.py

# contrib/dir-tools/directory-archive/
# Tools for running a directory archive. No longer used - deleting them.
git rm contrib/directory-archive/crontab.sample
git rm contrib/directory-archive/fetch-all
git rm contrib/directory-archive/fetch-all-v3
git rm contrib/directory-archive/tar-them-up
git rm contrib/directory-archive/fetch-all-functions
git rm contrib/directory-archive/sort-into-month-folder

# This appears to be related to very old windows packaging stuff.
git rm contrib/bundle.nsi
git rm contrib/package_nsis-weasel.sh
git rm contrib/package_nsis.sh
git rm contrib/netinst.nsi
git rm contrib/torinst32.ico
git rm contrib/xenobite.ico

# This should not be needed for cross-compilation any more, should it?
git rm contrib/cross.sh

# I don't think anyone ever used this.
git rm contrib/make-signature.sh

# These are attempts to send tor controller commands from the command-line.
# They don't support modern authentication.
git rm contrib/tor-ctrl.sh

# this is for fetching about a tor server from a dirauth. But it
# doesn't authenticate the dirauth: yuck.
git rm contrib/sd

# wow, such unused, very perl4.
git rm contrib/tor-stress

####### contrib/dirauth-tools/
# Tools for running a directory authority

git mv contrib/add-tor contrib/dirauth-tools/
git mv contrib/nagios-check-tor-authority-cert contrib/dirauth-tools/

#######
# contrib/or-tools/
# Tools for examining relays
git mv contrib/check-tor contrib/or-tools/check-tor
git mv contrib/checksocks.pl contrib/or-tools/checksocks.pl
git mv contrib/exitlist contrib/or-tools/exitlist

#######
# contrib/operator-tools

# Tools for running a relay.
git mv contrib/linux-tor-prio.sh contrib/operator-tools/linux-tor-prio.sh
git mv contrib/tor-exit-notice.html contrib/operator-tools/tor-exit-notice.html
git mv contrib/tor.logrotate.in contrib/operator-tools/

######
# contrib/dist

git mv contrib/rc.subr contrib/dist/
git mv contrib/tor.sh.in contrib/dist/
git mv contrib/torctl.in contrib/dist/
git mv contrib/suse/* contrib/dist/suse/

######
# client-tools
git mv contrib/torify contrib/client-tools/torify
git mv contrib/tor-resolve.py contrib/client-tools/

######
# win32build

git mv contrib/package_nsis-mingw.sh contrib/win32build/
git mv contrib/tor.nsi.in contrib/win32build/
# Erinn didn't ask for this...
git mv contrib/tor-mingw.nsi.in contrib/win32build/
git mv contrib/tor.ico contrib/win32build/

######
# scripts/test
git mv contrib/cov-blame scripts/test/cov-blame
git mv contrib/cov-diff scripts/test/cov-diff
git mv contrib/coverage scripts/test/coverage
git mv contrib/scan-build.sh scripts/test/

######## scripts/maint
# Maintainance scripts
#
# These are scripts for developers to use when hacking on Tor.  They mostly
# look at the Tor source in one way or another.
git mv contrib/findMergedChanges.pl scripts/maint/findMergedChanges.pl
git mv contrib/checkOptionDocs.pl scripts/maint/checkOptionDocs.pl
git mv contrib/checkSpace.pl scripts/maint/checkSpace.pl
git mv contrib/redox.py scripts/maint/redox.py
git mv contrib/updateVersions.pl scripts/maint/updateVersions.pl
git mv contrib/checkLogs.pl scripts/maint/checkLogs.pl
git mv contrib/format_changelog.py scripts/maint/

New --disable-seccomp option to turn off support for seccomp.

Fixes 11628.

Make the python test scripts work on python3

The python scripts invoked by 'make check' didn't work on python3
before.  That was a problem on systems where 'python' is python3.

Fixes bug 11608; bugfix on 0.2.5.2-alpha.

Fix leaks in test_oom.c

Fix leaks in test_dir_formats

Fix numerous leaks in test_pt.c

I didn't find a managed_proxy_free() function any place; shouldn't
there be one?

Stub changelog section for 0.2.5.5-alpha

The #tor topic no longer includes a version.

test_cntev_append_cell_stats now no longer leaks

Fix leaks in test_exit_policy_dump_to_string

Memory leaks in test_config_addressmap

Fix a leak in test_buffer_allocation_tracking

Fix memory leak in unittest helper function.

Fix memory leak in test_util_asprintf

Fix memory leaks in test_cntev_append_cell_stats

fix uninitialized memory reads from test_geoip_with_pt. Found with valgrind

Fix memory leak in test_geoip

Fix memory leak in test_onion_queues

Fix memory leaks in test_circuit_timeout

Found with valgrind.

Bump version to 0.2.5.4-alpha-dev

Fix hyphen handling in format_changelog

reflow changelog.

place the cherries on top and call it done

promote two stanzas; shuffle around two more

touchups on upcoming changelog

resolve a typo: sanboxing->sandboxing.

Forbid TunneledDirConns 0 and PreferTunneledDirConns 0 if being a HS

Fixes bug 10849; bugfix on 0.2.1.1-alpha (I believe)

Make compilation of tor_memdup_nulterm() with dmalloc

Fixes bug 11605; bugfix on 0.2.4.10-alpha.

two changelog tweaks suggested by Andrea

Write a release blurb

Re-order and combine changelog sections

Integrate another entry to the changelog; twiddle changelog more

Work on style, add some sentences to blurb, explain that 10468 is more
general than had been described, etc etc

format_changelog.py now formats the first section, in-place.

Bump version to 0.2.5.4-alpha.

Probably releasing within ~22 hours, pending testing

fix memory leak in dump_exit_policy_to_string tests

Include the scan-build.sh script I used for 8793

Otherwise we'll never remember what to re-run before each release, or
whether we tried a given checker.

Merge branch 'scanbuild_fixes'

Changes file for scan-build fixes (#8793)

Revise changelog verbiage; try to tighten it up.

ChangeLog: spell-check, prefer "relay" to "node" or "server"

Try to sort the changelog a little more

Fwd-port: Add a missing changelog entry back from 0.2.4.11-alpha

When I merged the fix for #7351, and implemented proposal 214 (4-byte
circuit IDs), I forgot to add a changes file.  Later, we never noticed
that it didn't have one.

Resolves ticket #11555.  Thanks to cypherpunks for noticing this was
missing.

This is a cherry-pick of 75e10f58a97f051f7d8576f96c2e32fcb2f07ade into
the master branch.

Reformat the changelog for 0.2.5.4-alpha.  No textual changes.

Also, add a script to do this, since doing it manually with fmt sucks.

More changes files get added to the changelog

whitespace fix

Merge remote-tracking branch 'public/bug11553_025'

Merge branch 'bug11396_v2_squashed'

Conflicts:
src/or/main.c

Expose the real maxmeminqueues via a GETINFO

That is, GETINFO limits/max-mem-in-queues

Change the logic for the default for MaxMemInQueues

If we can't detect the physical memory, the new default is 8 GB on
64-bit architectures, and 1 GB on 32-bit architectures.

If we *can* detect the physical memory, the new default is
  CLAMP(256 MB, phys_mem * 0.75, MAX_DFLT)
where MAX_DFLT is 8 GB on 64-bit architectures and 2 GB on 32-bit
architectures.

You can still override the default by hand.  The logic here is simply
trying to choose a lower default value on systems with less than 12 GB
of physical RAM.

get_total_system_memory(): see how much RAM we have

copy all the changes files into the changelog again. still unedited

Merge remote-tracking branch 'public/bug11553_024' into bug11553_025

Conflicts:
src/or/circuitbuild.c

Improvements to #11553 fix based on review

Use a per-channel ratelim_t to control the rate at which we report
failures for each channel.

Explain why I picked N=32.

Never return a zero circID.

Thanks to Andrea and to cypherpunks.

Merge remote-tracking branch 'public/bug10268'

Merge remote-tracking branch 'public/bug11200'

Merge branch 'bug11156_issue2_squashed'

Slightly improve the documentation of src/or/transports.c

Make it clear that a SIGHUP is not the only action that can cause a
config re-read.