Check if fallbacks support extrainfo descriptors before requesting them

When requesting extrainfo descriptors from a trusted directory
server, check whether it is an authority or a fallback directory
which supports extrainfo descriptors.

Fixes bug 18489; bugfix on 90f6071d8d in tor-0.2.4.7-alpha.

Reported by "atagar", patch by "teor".

Code indentation whitespace-only fix

test_options.c: NULL a pointer after free #18447

tdata will be double-freed if none of linux, __FreeBSD__, DARWIN or
__OpenBSD__ are defined.  (For example, FreeBSD derivatives).

Fix whitespace.

Merge remote-tracking branch 'weasel/bug18458'

Fix log message: say RelaxDirModeCheck instead of StrictDirModes

Merge branch 'bug15221_027'

Permit setrlimit, prlimit, prlimit64 calls.

We call setrlimit under some circumstances, and it can call prlimit
and prlimit64 under the hood.

Fixes bug 15221.

When using open() to make sure we created a dir, close the fd afterwards

Found by coverity. Not in any released Tor. Fixes CID 1355640.

Also, don't check for fd correctness with assert(fd).  You need to
assert (fd >= 0).

Merge remote-tracking branch 'public/bug16248_027'

Add comments to connection_check_event().

hs: Do not close desc fetch conn. if we can't pick an HSDir

Launching 7 descriptor fetches makes a connection to each HSDir that is 6
and the seventh one fails to pick an HSDir because they are all being used
already so it was killing all pending connections at once.

Fixes #15937

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Merge remote-tracking branch 'teor/bug17153'

Merge remote-tracking branch 'teor/bug8976_01_028'

Change behavior on missing/present event to warn instead of asserting.

Add a changes file.

If we start/stop reading on a dnsserv connection, don't assert.

Fixes bug 16248. Patch from cypherpunks.  Bugfix on 0.2.0.1-alpha.

Merge remote-tracking branch 'teor/bug18454'

Merge remote-tracking branch 'public/bug18204_028'

Move Automake options to configure.ac

This will centralize the version configuration in one file to simplify
future changes.

Also fixes some typos in the Automake options comments.

Add changes file for 18448; refactor

(I've made it so FreeBSD || FreeBSD_kernel is enough to ensure that
we think you might have ipfw, and so that the logic is all in one
place.)

enable and test transproxy on FreeBSD derivatives #18448

The transproxy feature is only enabled when __FreeBSD__ is defined, and
only regular FreeBSD does that.  Change this to __FreeBSD_kernel__ which
is defined on derivatives as well.

This enables the relevant options/validate__transproxy test on FreeBSD
derivatives.

Do not link tests against both libor.a and libor-testing.a

Also, put libor-testing.a at a better position in the list of
libraries, to avoid linker errors.

This is a fix, or part of a fix, for 18490.

moving hid_serv_get_responsible_directories and hid_serv_acting_as_directory from routerlist.c to rendcommon.c

Fedora Core->Fedora; yum->dnf.

Closes 18426 and 18459.

Merge branch 'maint-0.2.7'

Merge branch 'maint-0.2.6' into maint-0.2.7

Merge branch 'maint-0.2.5' into maint-0.2.6

Merge branch 'maint-0.2.4' into maint-0.2.5

0.2.5.12 got left out of the changelog somehow

Correctly duplicate addresses in get_interface_address6_list

Avoid freeing an uninitialised pointer in get_interface_addresses_ioctl

Add a changes file for bug 8976

Reject multicast rendezvous point addresses

Unless ExtendAllowPrivateAddresses is 1.

Update geoip and geoip6 to the March 3 2016 database.

Remove an extraneous space in a log message

Add a changes file for #18458

First RelaxDirModeCheck implementation

Allow internal IPv6 addresses in descriptors in private networks

clean/extend some module docs, including fix from #18403

Merge remote-tracking branch 'teor/fallbacks-201602-v2'

Merge remote-tracking branch 'teor/bug18123'

Use the kdf_rfc5869() function instead of kdf().

This patch fixes an issue in "ntor_ref.py gen_kdf_vectors" where the
script tries to call the undefined function kdf().

Merge remote-tracking branch 'teor/bug17193'

Update the copyright year.

It appears I added an empty file by mistake.

Add a brief file-level description for everything in src/common

Make sure that every module in src/or has a brief description.

Fix an unused-variable warning

Merge branch 'bug18392'

Update default fallback directories for 0.2.8.2-alpha (Feb 2016)

Allow fallback directories which have been stable for 7 days
to work around #18050, which causes relays to submit descriptors
with 0 DirPorts when restarted. (Particularly during Tor version
upgrades.)

Ignore low fallback directory count in alpha builds.
Set the target count to 50.

Fix minor fallback directory script issues with time zones

Check if fallback directories can serve the consensus fast enough

Add missing man page option from #4483 (35bbf2e4)

TestingClientBootstrapConsensusAuthorityOnlyMaxDownloadTries

Set EXCLUSIVEADDRUSE on Win32 to avoid a local port-stealing attack

Merge remote-tracking branch 'teor/bug18384'

Fix check_private_dir() to work on Windows again.

On windows, you cannot open() a directory.  So for Windows we should
just take our previous stat-based approach.

Closes bug 18392; bug not in any released Tor.

Changes file for bug 18384: bugfix on 0f3eeca9 in 0.2.7.2-alpha.

Make the sandbox work again with chutney.

Previously, we had a problem due to the check_private_dir() rewrite.

Bug not in any released Tor.

Repare dependency in "make test-stem".

Fix a huge number of leaks in test_config.c

I no longer see asan reporting memory leaks in the unit tests.

Fix memory leaks in routerlist/pick_directory_server_impl test

Fix a leak in test_have_enough_mem_for_dircache

Remove the freelist from memarea.c

This is in accordance with our usual policy against freelists,
now that working allocators are everywhere.

It should also make memarea.c's coverage higher.

I also doubt that this code ever helped performance.

Silence clang-scan warnings in ed25519_donna

Another clang+_FORTIFY_SOURCE issue

There was a parenthesis issue in test_util that clang found
confusing.  This part was only in master.

Closes issue 14821.

Merge branch 'maint-0.2.7'

Make clang asan work with FORTIFIED_SOURCE again.

Short version: clang asan hates the glibc strcmp macro in
bits/string2.h if you are passing it a constant string argument of
length two or less.  (I could be off by one here, but that's the
basic idea.)

Closes issue 14821.

Replace two instances of N_DIGEST_ALGORITHMS.

These should have been N_COMMON_DIGEST_ALGORITHMS.

Fixes bug 18380; bug not in any released Tor.

Document required autotools versions

CentOS 6 is roughly the oldest thing we care about developers still
using, and it has autoconf 2.63 / automake 1.11.  These are both
older than openssl 1.0.0, so anybody who can't upgrade past those
probably can't upgrade to a modern openssl either.  And since only
people building from git or editing configure.ac/Makefile.am need to
use autotools, I'm not totally enthused about keeping support for
old ones anyway.

Closes ticket 17732.

Merge remote-tracking branch 'arma/bug16825'

Merge remote-tracking branch 'teor/bug18348-v2'

Merge branch 'bug18296_squashed'

Simple fix for integer overflow in smartlist_heapify.

Merge branch 'bug17795'

Fix an erroneous renaming

Did you know that crypto_digest_all is a substring of
crypto_digest_alloc_bytes()?  Hence the mysterious emergence of
"crypto_common_digestsoc_bytes".

Next time I should use the \b assertion in my regexen.

Spotted by Mike.

Add missing check to test_address_get_if_addrs_ifaddrs. Bug 18378

Appease make check-spaces

Another memory leak in the tests

Small fixup on last fix to test leaks

Fix a bunch of memory leaks in the unit tests

Add a missing free in parsing an :auto port

Fixes bug 18374; bugfix on 0.2.3.3-alpha.

asan does not like TO_CONN(NULL)

Define O_NOFOLLOW on platforms that do not have it

Fixes #18339

Update to trunnel 1.4.4 to fix 18373

Merge branch 'bug16023_028_01_squashed'

avoid redundant bootstrap events if the number of descs we just fetched is 0

avoid extra LOG_NOTICE for every new microdesc batch

We already write out bootstrapping progress (see bug 9927) per new
microdesc batch. There's no need to do a full "I learned some more
directory information, but not enough to..." line each time too.

refactor directory_info_has_arrived so we can quiet the logs

no actual behavior changes

new microdescs mean progress towards bootstrapping

Now, when a user who has set EntryNodes finishes bootstrapping, Tor
automatically repopulates the guard set based on this new directory
information. Fixes bug 16825; bugfix on 0.2.3.1-alpha.

fix two typos in comments

Changes file for bug 18348.

Update unit tests for fascist_firewall_choose_address*

Check that clients, bridge clients, and relays choose addresses
as expected.

Downgrade directory preference warning to info level

If both IPv4 and IPv6 addresses could be used, choose one correctly

If there is a node, use node_ipv6_or/dir_preferred().
If there is no node, use fascist_firewall_prefer_ipv6_or/dirport().

Refactor IPV6_OR_LOOKUP into fascist_firewall_choose_address_rs

It's only used once now, so having it as a macro is unhelpful.

Make some fascist_firewall_choose_address* functions static

Refactor fascist_firewall_allows_address without changing behaviour

Ensure relays must use IPv4, and can use IPv6

A mistake in previous refactoring had relays using IPv4 and IPv6.

Add onion address to the HS_DESC UPLOADED event

Fixes #16023

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Set or_ap/dir_ap.port on the invalid addr case. Bug in no released Tor. CID 1353178 and 1353179.