Improve comments and defensive programming for 3045

The comment fixes are trivial.  The defensive programming trick is to
tolerate receiving NULL inputs on the describe functions. That should
never actually happen, but it seems like the likeliest mistake for us
to make in the future.

changes file for bug3045

Log descriptions of nodes, not just nicknames.

This patch introduces a few new functions in router.c to produce a
more helpful description of a node than its nickame, and then tweaks
nearly all log messages taking a nickname as an argument to call these
functions instead.

There are a few cases where I left the old log messages alone: in
these cases, the nickname was that of an authority (whose nicknames
are useful and unique), or the message already included an identity
and/or an address.  I might have missed a couple more too.

This is a fix for bug 3045.

Merge branch 'bug2972' into maint-0.2.2

Make check_private_dir check for group ownership as appropriate

Fix up some comment issues spotted by rransom

Check permissions on the directory holding a control socket

Add a new flag to check_private_dir to make it _not_ change permissions

We'll need this for checking permissions on the directories that hold
control sockets: if somebody says "ControlSocket ~/foo", it would be
pretty rude to do a chmod 700 on their homedir.

Add a function to pull off the final component of a path

Make check_private_dir accept g+rx dirs if told to do so.

Clean up the 2972 implementation a little

Add UnixSocketsGroupWritable config flag

When running a system-wide instance of Tor on Unix-like systems, having
a ControlSocket is a quite handy mechanism to access Tor control
channel.  But it would be easier if access to the Unix domain socket can
be granted by making control users members of the group running the Tor
process.

This change introduces a UnixSocketsGroupWritable option, which will
create Unix domain sockets (and thus ControlSocket) 'g+rw'. This allows
ControlSocket to offer same access control measures than
ControlPort+CookieAuthFileGroupReadable.

See <http://bugs.debian.org/552556> for more details.

Preserve bridge download status across SETCONF, HUP

This code changes it so that we don't remove bridges immediately when
we start re-parsing our configuration.  Instead, we mark them all, and
remove all the marked ones after re-parsing our bridge lines.  As we
add a bridge, we see if it's already in the list.  If so, we just
unmark it.

This new behavior will lose the property we used to have that bridges
were in bridge_list in the same order in which they appeared in the
torrc.  I took a quick look through the code, and I'm pretty sure we
didn't actually depend on that anywhere.

This is for bug 3019; it's a fix on 0.2.0.3-alpha.

Fixup whitespace issues from 3122 commit

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Conflicts:
src/or/networkstatus.c

Fixup whitespace issues from 3122 commit

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Another doc tweak on tor_memcmp: <b>b</b>, not <b>.

minor tweaks to 4b19730c8234d

Merge branch 'bug3026' into maint-0.2.2

Replace a nasty add-malloc-snprintf with a nice clean asprintf

Merge branch 'bug1345' into maint-0.2.2

Better doc for consider_recording_trackexithost

Merge branch 'bug2732-simpler' into maint-0.2.2

Rip out more of hid_serv_acting_as_directory

rransom notes correctly that now that we aren't checking our HSDir
flag, we have no actual reason to check whether we are listed in the
consensus at all when determining if we should act like a hidden
service directory.

Handle transitions in Automap*, VirtualAddrNetwork correctly

Previously, if they changed in torrc during a SIGHUP, all was well,
since we would just clear all transient entries from the addrmap
thanks to bug 1345.  But if you changed them from the controller, Tor
would leave old mappings in place.

The VirtualAddrNetwork bug has been here since 0.1.1.19-rc; the
AutomapHosts* bug has been here since 0.2.0.1-alpha.

When TrackExitHosts changes, remove all no-longer-valid mappings

This bug couldn't happen when TrackExitHosts changed in torrc, since
the SIGHUP to reload the torrc would clear out all the transient
addressmap entries before.  But if you used SETCONF to change
TrackExitHosts, old entries would be left alone: that's a bug, and so
this is a bugfix on Tor 0.1.0.1-rc.

Raise the TrackHostExits membership code into its own function

Don't clear out transient addressmap entries on HUP

If you really want to purge the client DNS cache, the TrackHostExits
mappings, and the virtual address mappings, you should be using NEWNYM
instead.

Fixes bug 1345; bugfix on Tor 0.1.0.1-rc.

Note that this needs more work: now that we aren't nuking the
transient addressmap entries on HUP, we need to make sure that
configuration changes to VirtualAddressMap and TrackHostExits actually
have a reasonable effect.

New smartlist function to see if two lists of strings are equal.

We'll use this to detect changes in CSV options.

Merge branch 'feature3076_squashed' into maint-0.2.2

Add a ControlPortFileGroupWritable option

Write automatically-chosen control ports to a file.

new GETINFO command to return list of listeners of a given type

Add a new "tor_sockaddr_to_str()" function

It does what it says on the tin.  It turns out I'll want this in a couple
of places.

Advertise correct DirPort/ORPort when configured with "auto"

We'll eventually want to do more work here to make sure that the ports
are stable over multiple invocations.  Otherwise, turning your node on
and off will get you a new DirPort/ORPort needlessly.

Correct the signature for is_listening_on_low_port for "auto" ports

Teach retry_listener about "auto" ports.

Otherwise, it will just immediately close any port declared with "auto"
on the grounds that it wasn't configured.  Now, it will allow "auto" to
match any port.

This means FWIW if you configure a socks port with SocksPort 9999
and then transition to SocksPort auto, the original socksport will
not get closed and reopened.  I'm considering this a feature.

"(Socks|Control|etc)Port auto" now tells Tor to open an arbitrary port

This is the major part of the implementation for trac issue 3076.

Downgrade the "we launched 10 circuits for this stream" message. (See bug 3080)

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Merge remote-tracking branch 'public/bug3122_memcmp_022' into maint-0.2.2

Merge remote-tracking branch 'public/bug3122_memcmp_squashed' into maint-0.2.1

Add changes file for bug2503

Fixes ticket #2503

HTTPS error code 403 is now reported as:
"The https proxy refused to allow connection".
Used a switch statement for additional error codes to be explained
in the future.

Clean up a formatting issue on the manpge; bug3154.

Unmap microdesc cache before replacing it.

If we do a replace-then-munmap, windows will never actually rewrite
the microdesc cache.

Found by wanoskarnet; bugfix on 0.2.2.6-alpha.

Accept hs descriptors even if we don't see an HSDir for us

The old behavior contributed to unreliability when hidden services and
hsdirs had different consensus versions, and so had different opinions
about who should be cacheing hsdir info.

Bugfix on 0.2.0.10-alpha; based on discussions surrounding bug 2732.

bug 3026: do not upload our vote to ourself

Merge branch 'bug1352' into maint-0.2.2

Merge remote-tracking branch 'origin/maint-0.2.1' into maint-0.2.2

Merge branch 'bug3135' into maint-0.2.1

Fix crash when read_file_to_string() fails in SAVECONF

The new behavior is to try to rename the old file if there is one there
that we can't read.  In all likelihood, that will fail too, but at least
we tried, and at least it won't crash.

Hand-tune the new tor_memcmp instances in 0.2.2

Re-apply the automated conversion to 0.2.2 to make handle any memcmps that snuck in

fwd-port test_util_di_ops into tinytest format

Merge remote-tracking branch 'public/3122_memcmp_squashed' into bug3122_memcmp_022

Conflicts throughout.  All resolved in favor of taking HEAD and
adding tor_mem* or fast_mem* ops as appropriate.

src/common/Makefile.am
src/or/circuitbuild.c
src/or/directory.c
src/or/dirserv.c
src/or/dirvote.c
src/or/networkstatus.c
src/or/rendclient.c
src/or/rendservice.c
src/or/router.c
src/or/routerlist.c
src/or/routerparse.c
src/or/test.c

Hand-conversion and audit phase of memcmp transition

Here I looked at the results of the automated conversion and cleaned
them up as follows:

   If there was a tor_memcmp or tor_memeq that was in fact "safe"[*] I
   changed it to a fast_memcmp or fast_memeq.

   Otherwise if there was a tor_memcmp that could turn into a
   tor_memneq or tor_memeq, I converted it.

This wants close attention.

[*] I'm erring on the side of caution here, and leaving some things
as tor_memcmp that could in my opinion use the data-dependent
fast_memcmp variant.

Automated conversion of memcmp to tor_memcmp/tor_mem[n]eq

This commit is _exactly_ the result of

perl -i -pe 's/\bmemcmp\(/tor_memcmp\(/g' src/*/*.[ch]
perl -i -pe 's/\!\s*tor_memcmp\(/tor_memeq\(/g' src/*/*.[ch]
perl -i -pe 's/0\s*==\s*tor_memcmp\(/tor_memeq\(/g' src/*/*.[ch]
perl -i -pe 's/0\s*!=\s*tor_memcmp\(/tor_memneq\(/g' src/*/*.[ch]
git checkout src/common/di_ops.[ch]
git checkout src/or/test.c
git checkout src/common/test.h

Add a "di_ops.h" include to util.h

Add a data-independent variant of memcmp and a d-i memeq function.

The tor_memcmp code is by Robert Ransom, and the tor_memeq code is
by me.  Both incorporate some ideas from DJB's stuff.

Merge branch 'maint-0.2.1' into maint-0.2.2

Update to the May 1 2011 Maxmind GeoLite Country database

another changelog heuristic based on 0.2.3.1-alpha

Merge remote-tracking branch 'public/bug3022_v2' into maint-0.2.2

Merge branch 'clang_fixes' into maint-0.2.2

Remove some dead code, found by clang

Remove a duplicated line, found by clang

Fix potential null pointer deref during dirvote

Found by using clang's analyzer.

Fix a potential null deref when rebuilding md cache

Issue discovered using clang's static analyzer

CONN_LOG_PROTECT()'s first argument may not be 0

Make that explicit by adding an assert and removing a null-check. All of
its callers currently depend on the argument being non-null anyway.
Silences a few clang complaints.

Appease clang - and my tortured mind

This possible div by 0 warning from clang's analyzer was quite fun to
track down. Turns out the current behaviour is safe.

Add an assert to un-confuse clang's analyzer

The analyzer assumed that bootstrap_percent could be less than 0 when we
call control_event_bootstrap_problem(), which would mean we're calling
log_fn() with undefined values. The assert makes it clear this can't
happen.

Fix a docstring

Fix up some check-spaces issues

fix the website directions.

Merge remote-tracking branch 'rransom/bug3106' into maint-0.2.2

Handle crypto_pk_get_digest failures semi-sensibly

Fixes bug 3106.

Merge remote-tracking branch 'sebastian/win_warning' into maint-0.2.2

Fix compile warning on windows

Merge branch 'bug2379' into maint-0.2.2

More notes on how to upload tarballs from erinn

Add some missing torrc entries to tor.1.txt

Fixes bug 2379

Fix circuit_list_path_impl(): internal circuits do not have an "exit". Trivial fix for 3079.

Change who calls microdesc_cache_rebuild().

Previously we ensured that it would get called periodically by doing
it from inside the code that added microdescriptors.  That won't work
though: it would interfere with our code that tried to read microdescs
from disk initially.  Instead, we should consider rebuilding the cache
periodically, and on startup.

Rebuild the microdesc cache when a sufficient number of bytes are dropped

Previously on 0.2.2, we'd never clean the cache.  Now that we can
clean it, we want to add a condition to rebuild it: that should happen
whenever we have dropped enough microdescriptors that we could save a
lot of space.

No changes file, since 0.2.3 doesn't need one and 0.2.2 already has some
changes files for the backport of the microdesc_clean_cahce() function.

Backport microdesc_cache_clean to 0.2.2

Otherwise we have no way to keep authorities' microdesc caches in 0.2.2
from growing without bound.

Fix a check for when to rebuild the microdesc cache. (Backport from 0.2.3.

Add missing code to set cache->journal_len when reading microdesc journal

This could be one reason that authorities' journals would grow without
bound; related to bug 2230. Bugfix on 0.2.2.6-alpha.  Fix by
"cypherpunks".

Add a couple of notes to doc/HACKING based on 0.2.2.25-alpha process

Clean up a warning a bit

add another heuristic for changes stanzas

Update hacking file with terse notes on formatting changelog

Rate-limit v2 networkstatus download fail warnings

This fixes part of 1352.  We don't care deeply about these warnings,
since v2 networkstatuses aren't a big deal.

Rename connection_dir_download_networkstatus_failed: be clear that it means v2

Merge remote-tracking branch 'arma/bug3012' into maint-0.2.2

relays checkpoint their state file twice a day

Only authorities should automatically download v2 networkstatus documents

Clients and relays haven't used them since early 0.2.0.x.  The only
remaining use by authorities learning about new relays ahead of scedule;
see proposal 147 for what we intend to do about that.

We're leaving in an option (FetchV2Networkstatus) to manually fetch v2
networkstatuses, because apparently dnsel and maybe bwauth want them.

This fixes bug 3022.

Merge remote-tracking branch 'arma/bug3039' into maint-0.2.2

stop putting wacky values into state->lastwritten