Restore semantics of advertise vs serve on directory cacheing

When we are low on accounted bandwidth, we stop advertising that
we're a directory, but we will continue to answer directory
requests, just as before.

Change dataflow on generating 'dir-cache' flag.

Convention is that router_dump_router_to_string() should look at its
input "router", which should be generated by
router_build_fresh_descirptor().

Assert rs are added in con and con_md tests

Automatically generate md-con method vers in test

Let make_consensus_method_list be used in tests

A router must be a dir cache before it may be HSDir

Fixes #15801

{dis,en}abling DirCache is a semantic change

Rebuild descriptor when DirCache is {dis,en}abled

Add new DirCache configuration option

This will give relay operators the ability of disabling the caching of
directory data. In general, this should not be necessary, but on some
lower-resource systems it may beneficial.

Add unit test for router_pick_directory_server_impl

Client should check if dir server has open dir port or handles tunnelled requests

Final piece of prop 237. Closes 12538.

A relay now advertises "tunnelled-dir-server" in its descriptor

When a relay does not have an open directory port but it has an
orport configured and is accepting client connections then it can
now service tunnelled directory requests, too. This was already true
of relays with an dirport configured.

We also conditionally stop advertising this functionality if the
relay is nearing its bandwidth usage limit - same as how dirport
advertisement is determined.

Partial implementation of prop 237, ticket 12538

Authorities must set a router's V2Dir flag if it supports tunnelled reqs

Partial implementation of prop 237, ticket 12538

Merge branch 'maint-0.2.7'

Don't call pthread_condattr_setclock() unless it exists

Fixes bug 17819; bugfix on 0.2.6.3-alpha (specifically, d684dbb0).

Merge branch 'maint-0.2.7'

... and fix another backtrace_symbols_fd call in sandbox.c

... and fix the linux backtrace_symbols{,_fd} calls

tweak router_parse_addr_policy_item_from_string docs

Merge remote-tracking branch 'teor/feature17863'

Merge remote-tracking branch 'teor/feature17864'

More debugging code to try to track down #17659

Add some assertions to try to catch #17752

... and fix the linux backtrace_symbols{,_fd} calls

Wait for busy authorities/fallbacks rather than ignoring excluded nodes

Applies the 6c443e987d fix to router_pick_directory_server_impl.

6c443e987d applied to directory servers chosen from the consensus,
and was:
"Tweak the 9969 fix a little

If we have busy nodes and excluded nodes, then don't retry with the
excluded ones enabled. Instead, wait for the busy ones to be nonbusy."

Warn when comparing against an AF_UNSPEC address in a policy

It produces unexpected results, and it's most likely a bug.

Add policy assume_action support for IPv6 addresses

These IPv6 addresses must be quoted, because : is the port separator,
and "acce" is a valid hex block.

Add unit tests for assumed actions in IPv6 policies.

Initialise malformed_list to 0 each time we parse a policy

Limit IPv6 mask bits to 128

Merge remote-tracking branch 'teor/feature15775-fallback-v9-squashed'

Fix some memory leaks in the unit tests

Add Fallback Directory Candidate Selection Script

"Tor has included a feature to fetch the initial consensus from nodes
 other than the authorities for a while now. We just haven't shipped a
 list of alternate locations for clients to go to yet.

 Reasons why we might want to ship tor with a list of additional places
 where clients can find the consensus is that it makes authority
 reachability and BW less important.

 We want them to have been around and using their current key, address,
 and port for a while now (120 days), and have been running, a guard,
 and a v2 directory mirror for most of that time."

Features:
* whitelist and blacklist for an opt-in/opt-out trial.
* excludes BadExits, tor versions that aren't recommended, and low
  consensus weight directory mirrors.
* reduces the weighting of Exits to avoid overloading them.
* places limits on the weight of any one fallback.
* includes an IPv6 address and orport for each FallbackDir, as
  implemented in #17327. (Tor won't bootstrap using IPv6 fallbacks
  until #17840 is merged.)
* generated output includes timestamps & Onionoo URL for traceability.
* unit test ensures that we successfully load all included default
  fallback directories.

Closes ticket #15775. Patch by "teor".
OnionOO script by "weasel", "teor", "gsathya", and "karsten".

clean whitespace

Merge remote-tracking branch 'teor/feature17327-v4'

remove redundant section in tor.1.txt

Merge branch 'feature8195_small_squashed'

Update KeepCapabilities based on comments from asn

* The option is now KeepBindCapabilities
* We now warn if the user specifically asked for KeepBindCapabilities
  and we can't deliver.
* The unit tests are willing to start.
* Fewer unused-variable warnings.
* More documentation, fewer misspellings.

Add unit tests for switch_id(), including tests for capabilities

Add ability to keep the CAP_NET_BIND_SERVICE capability on Linux

This feature allows us to bind low ports when starting as root and
switching UIDs.

Based on code by David Goulet.

Implement feature 8195

Fix a few compilation warnings and errors

Merge remote-tracking branch 'teor/feature4483-v10-squashed'

Prop210: Add router_digest_is_fallback_dir

router_digest_is_fallback_dir returns 1 if the digest is in the
currently loaded list of fallback directories, and 0 otherwise.

This function is for future use.

Prop210: Close excess connections once a consensus is downloading

Once tor is downloading a usable consensus, any other connection
attempts are not needed.

Choose a connection to keep, favouring:
* fallback directories over authorities,
* connections initiated earlier over later connections

Close all other connections downloading a consensus.

Prop210: Add schedules for simultaneous client consensus downloads

Prop210: Add attempt-based connection schedules

Existing tor schedules increment the schedule position on failure,
then retry the connection after the scheduled time.

To make multiple simultaneous connections, we need to increment the
schedule position when making each attempt, then retry a (potentially
simultaneous) connection after the scheduled time.

(Also change find_dl_schedule_and_len to find_dl_schedule, as it no
longer takes or returns len.)

Prop210: Add multiple simultaneous consensus downloads for clients

Make connections on TestingClientBootstrapConsensus*DownloadSchedule,
incrementing the schedule each time the client attempts to connect.

Check if the number of downloads is less than
TestingClientBootstrapConsensusMaxInProgressTries before trying any
more connections.

Merge branch 'feature17576-UseDefaultFallbackDirs-v2-squashed'

Add UseDefaultFallbackDirs for hard-coded directory mirrors

UseDefaultFallbackDirs enables any hard-coded fallback
directory mirrors. Default is 1, set it to 0 to disable fallbacks.

Implements ticket 17576.
Patch by "teor".

Prop210: Add want_authority to directory_get_from_dirserver

Prop210: Refactor connection_get_* to produce lists and counts

Merge branch 'maint-0.2.7'

Fix backtrace compilation on FreeBSD

On FreeBSD backtrace(3) uses size_t instead of int (as glibc does). This
causes integer precision loss errors when we used int to store its
results.

The issue is fixed by using size_t to store the results of backtrace(3).

The manual page of glibc does not mention that backtrace(3) returns
negative values. Therefore, no unsigned integer wrapping occurs when its
result is stored in an unsigned data type.

Add changes file for 17804

Remove the INLINE coding standard

Remove eventdns specific inline definition

The header includes compat.h which already defines inline.

Remove obsolete INLINE preprocessor definition

The INLINE keyword is not used anymore in favor of inline.

Windows only supports __inline so an inline preprocessor definition is
still needed.

Replace usage of INLINE with inline

This patch was generated using;

  sed -i -e "s/\bINLINE\b/inline/" src/*/*.[ch] src/*/*/*.[ch]

Merge branch 'maint-0.2.7'

Use TESTS_ENVIRONMENT for older Automake versions

The AM_TESTS_ENVIRONMENT variable is available since Automake v1.12 but
some distributions have older Automake versions so we use
TESTS_ENVIRONMENT.

Merge branch 'maint-0.2.7'

Add changes file for 17818

Use variables instead of substitutions

Using variables removes the ambiguity about when to use variables and
when to use substitutions. Variables always work. Substitutions only
work when Autoconf knows about them which is not always the case.

The variables are also placed between quotes to ensures spaces in the
variables are handled properly.

Only setup environment variables for tests

Using the AM_TESTS_ENVIRONMENT variable ensures the environment
variables are only set during test execution and not during the
compilation phase.

Add IPv6 addresses & orports to the default directory authorities

Source: Globe entries for each authority.

Authorities on IPv6: minor fixes and unit tests

Update the code for IPv6 authorities and fallbacks for function
argument changes.

Update unit tests affected by the function argument changes in
the patch.

Add unit tests for authority and fallback:
 * adding via a function
 * line parsing
 * adding default authorities
(Adding default fallbacks is unit tested in #15775.)

Add a new ipv6=address:orport flag to DirAuthority and FallbackDir

Resolves # 6027

Fix a pair of dead assignments

Whitespace fix

Fix wide line; log why chmod failed.

Simplify cpd_opts usage.

Defer creation of Unix socket until after setuid

Introduce DataDirectoryGroupReadable boolean

Permit filesystem group to be root

Refactor clock skew warning code to avoid duplication

Merge branch 'maint-0.2.7'

bump to 0.2.7.6-dev

forward-port changelog and releasenotes

make stack-protector happy

Merge branch 'maint-0.2.7'

bump maint version to 0.2.7.6

Remove already-merged changes files.

add a static

improve a comment in memwipe

Merge remote-tracking branch 'public/feature17694_strongest_027'

Assert when the TLS contexts fail to initialize

Merge remote-tracking branch 'teor/fix-exitpolicy-leak'

Mark a couple more arguments as unused.

Try to fix windows build more.

patch from rubiate on #16651

Assert that memory held by rephist is freed

The internal memory allocation and history object counters of the
reputation code can be used to verify the correctness of (part of) the
code. Using these counters revealed an issue where the memory allocation
counter is not decreased when the bandwidth arrays are freed.

A new function ensures the memory allocation counter is decreased when a
bandwidth array is freed.

This commit also removes an unnecessary cast which was found while
working on the code.

Merge branch 'refactor-effective-entry'

Tweak policies_log_first_redundant_entry even more

  * Use smartlist_foreach_begin/end instead of a plain for loop.
  * constify the pointers.

Tweak policies_log_first_redundant_entry more.

   * Since the variable is no longer modified, it should be called
     'policy' instead of 'dest'.  ("Dest" is short for
     "destination".)
   * Fixed the space issue that dgoulet found on the ticket.
   * Fixed the comment a little. (We use the imperative for function
     documentation.)

Merge remote-tracking branch 'teor/first-hop-no-private'

changes file for bug17791

Fix formatting typo in manpage.

Merge branch 'bug17776'

Assert that the directory server digest is given

This prevents a possible crash when memory is copied from a pointer to
NULL.

Mention the expected length of the digests

Some functions that use digest maps did not mention that the digests are
expected to have DIGEST_LEN bytes. This lead to buffer over-reads in the
past.

Add changes file for 17776

Remove unnecessary casting

Fix buffer over-reads in the rendcache tests

The hidden service descriptor cache (rendcache) tests use digest maps
which expect keys to have a length of DIGEST_LEN.

Because the tests use key strings with a length lower than DIGEST_LEN,
the internal copy operation reads outside the key strings which leads to
buffer over-reads.

The issue is resolved by using character arrays with a size of
DIGEST_LEN.

Patch on ade5005853c17b3ae5923c194680442e0f86db4d.

Fix buffer over-reads in the directory tests

The tests pass empty digest strings to the dir_server_new function which
copies it into a directory server structure. The copy operation expects
the digest strings to be DIGEST_LEN characters long.

Because the length of the empty digest strings are lower than
DIGEST_LEN, the copy operation reads outside the digest strings which
leads to buffer over-reads.

The issue is resolved by using character arrays with a size of
DIGEST_LEN.

Patch on 4ff08bb5811ddfe554e597d129ec48a774364480.