Use process_t for managed proxies.

This patch makes the managed proxy subsystem use the process_t data
structure such that we can get events from the PT process while Tor is
running and not just when the PT process is being configured.

See: https://bugs.torproject.org/28179

Add "PT" log domain.

See: https://bugs.torproject.org/28179

Add process_reset_environment() to the Process subsystem.

This patch adds a new function that allows us to reset the environment
of a given process_t with a list of key/value pairs.

See: https://bugs.torproject.org/28179

Add process_terminate().

This patch adds support for process termination to the Process
subsystem.

See: https://bugs.torproject.org/28179

Make sure we call process_notify_event_exit() as the last thing in different callbacks.

This patch makes sure that we call process_notify_event_exit() after we
have done any modifications we need to do to the state of a process_t.
This allows application developers to call process_free() in the
exit_callback of the process.

See: https://bugs.torproject.org/28179

Add documentation for the is_socket and error argument of read_to_chunk().

See: https://bugs.torproject.org/28179

Add process_get_pid() to the Process subsystem.

This patch adds support for getting the unique process identifier from a
given process_t. This patch implements both support for both the Unix
and Microsoft Windows backend.

See: https://bugs.torproject.org/28179

Add Windows backend for the Process subsystem.

This patch adds support for Microsoft Windows in the Process subsystem.

Libevent does not support mixing different types of handles (sockets,
named pipes, etc.) on Windows in its core event loop code. This have
historically meant that Tor have avoided attaching any non-networking
handles to the event loop. This patch uses a slightly different approach
to roughly support the same features for the Process subsystem as we do
with the Unix backend.

In this patch we use Windows Extended I/O functions (ReadFileEx() and
WriteFileEx()) which executes asynchronously in the background and
executes a completion routine when the scheduled read or write operation
have completed. This is much different from the Unix backend where the
operating system signals to us whenever a file descriptor is "ready" to
either being read from or written to.

To make the Windows operating system execute the completion routines of
ReadFileEx() and WriteFileEx() we must get the Tor process into what
Microsoft calls an "alertable" state. To do this we execute SleepEx()
with a zero millisecond sleep time from a main loop timer that ticks
once a second.  This moves the process into the "alertable" state and
when we return from the zero millisecond timeout all the outstanding I/O
completion routines will be called and we can schedule the next reads
and writes.

The timer loop is also responsible for detecting whether our child
processes have terminated since the last timer tick.

See: https://bugs.torproject.org/28179

Add Unix backend for the Process subsystem.

This patch adds the Unix backend for the Process subsystem. The Unix
backend attaches file descriptors from the child process's standard in,
out and error to Tor's libevent based main loop using traditional Unix
pipes. We use the already available `waitpid` module to get events
whenever the child process terminates.

See: https://bugs.torproject.org/28179

Add new Process subsystem.

This patch adds a new Process subsystem for running external programs in
the background of Tor. The design is focused around a new type named
`process_t` which have an API that allows the developer to easily write
code that interacts with the given child process. These interactions
includes:

- Easy API for writing output to the child process's standard input
  handle.
- Receive callbacks whenever the child has output on either its standard
  output or standard error handles.
- Receive callback when the child process terminates.

We also support two different "protocols" for handling output from the
child process. The default protocol is the "line" protocol where the
process output callbacks will be invoked only when there is complete
lines (either "\r\n" or "\n" terminated). We also support the "raw"
protocol where the read callbacks will get whatever the operating system
delivered to us in a single read operation.

This patch does not include any operating system backends, but the Unix
and Windows backends will be included in separate commits.

See: https://bugs.torproject.org/28179

Add LD_PROCESS as log domain.

See: https://bugs.torproject.org/28179

Add buf_flush_to_pipe() and buf_read_from_pipe().

This patch adds two new functions: buf_flush_to_pipe() and
buf_read_from_pipe(), which makes use of our new buf_flush_to_fd() and
buf_read_from_fd() functions.

See: https://bugs.torproject.org/28179

Refactor buf_read_from_socket() into buf_read_from_fd().

This patch refactors buf_read_from_socket() into buf_read_from_fd(), and
creates a specialized function for buf_read_from_socket(), which uses
buf_read_from_fd().

See: https://bugs.torproject.org/28179

Refactor buf_flush_to_socket() into buf_flush_to_fd().

This patch refactors buf_flush_to_socket() into buf_flush_to_fd() and
creates a specialization function for buf_flush_to_socket() that makes
use of buf_flush_to_fd().

See: https://bugs.torproject.org/28179

Refactor flush_chunk() to work on pipes as well as sockets.

See: https://bugs.torproject.org/28179

Refactor read_to_chunk() such that it supports both pipes and sockets.

See: https://bugs.torproject.org/28179

Remove unused `int pid` member of `managed_proxy_t`.

See: https://bugs.torproject.org/28179

Merge branch 'maint-0.3.5'

Merge branch 'maint-0.3.4' into maint-0.3.5

Explicitly specify path to OpenSSL for Appveyor.

This patch explicitly specifies the path to our OpenSSL dependency and
disables the installation of an external OpenSSL version and instead
uses the OpenSSL version available from the MinGW environments.

See: https://bugs.torproject.org/28574

Merge branch 'maint-0.3.5'

Merge remote-tracking branch 'teor/bug28096-035-squashed' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/539'

Merge remote-tracking branch 'tor-github/pr/495'

Changes file for "Dormant Mode" (28335, 2149).

Merge branch 'dormant_v2_squashed'

Test for check_network_participation_callback()

Test netstatus.c tracking of user participation status

Add options to control dormant-client feature.

The DormantClientTimeout option controls how long Tor will wait before
going dormant.  It also provides a way to disable the feature by setting
DormantClientTimeout to e.g. "50 years".

The DormantTimeoutDisabledByIdleStreams option controls whether open but
inactive streams count as "client activity".  To implement it, I had to
make it so that reading or writing on a client stream *always* counts as
activity.

Closes ticket 28429.

Merge branch 'maint-0.3.5'

Merge remote-tracking branch 'dgoulet/ticket28128_035_01' into maint-0.3.5

Create a temporary directory for tor's DataDirectory in test_rebind.

Fixes #28562.

While here, put the argument count test and usage message _before_ we
attempt to read from sys.argv.

Fix a comment typo in test_hs_common.c

Fix a fun heisenbug in memoize_protover_flags()

After we clear the protover map for getting full, we need to
re-create it, since we are about to use it.

This is a bugfix for bug 28558. It is a bugfix for the code from
ticket 27225, which is not in any released Tor.  Found by Google
OSS-Fuzz, as issue 11475.

Merge branch 'ticket25341_merged_v2'

Merge branch 'maint-0.3.4' into maint-0.3.5

Merge branch 'maint-0.3.5'

Merge remote-tracking branch 'teor/ticket28459-034' into maint-0.3.4

Merge branch 'maint-0.3.5'

Update control_free_all() for #27169

Reset the added bootstrap tracking state introduced by ticket 27169.
Fixes bug 28524; bugfix on 0.3.5.1-alpha.

Merge branch 'maint-0.3.5'

Add missing library to build tor-print-ed-signing-cert.

To succesful compile tor-print-ed-signing-cert.exe on Windows we
sometimes need to include the @TOR_LIB_GDI@ library.

See: https://bugs.torproject.org/28485

Merge remote-tracking branch 'isis/bug25341' into ticket25341_merged_v2

Merge remote-tracking branch 'tor-github/pr/519'

Merge remote-tracking branch 'tor-github/pr/518'

Merge branch 'ticket27359_v2_squashed'

Test new functions in nodelist.c

Expose more nodelist.c functions to tests

Aim for 100% test coverage on nodefamily.c

Use nodefamily_t in microdescriptors.

Closes ticket 27359.

Backend for compact node-family representation.

This representation is meant to save memory in microdescriptors --
we can't use it in routerinfo_t yet, since those families need to be
encoded losslessly for directory voting to work.

This representation saves memory in three ways:
   1. It uses only one allocation per family.  (The old way used a
      smartlist (2 allocs) plus one strdup per entry.)
   2. It stores identity digests in binary, not hex.
   3. It keeps families in a canonical format, memoizes, and
      reference-counts them.

Part of #27359.

fixup! Make ROUTERLIST_PRUNING_INTERVAL 1 hr.

Make ROUTERLIST_PRUNING_INTERVAL 1 hr.

Copy 0.3.5.5-alpha changelog into master

Merge branch 'maint-0.3.5'

"ours" to avoid version bump.

Bump to 0.3.5.5-alpha-dev

Merge branch 'maint-0.3.5'

Merge remote-tracking branch 'dgoulet/ticket27471_035_02' into maint-0.3.5

Merge branch 'maint-0.3.5'

"ours" to avoid version bump.

Bump to 0.3.5.5-alpha

Merge branch 'maint-0.3.5'

Merge branch 'maint-0.3.4' into maint-0.3.5

"ours" merge to avoid taking 25573 and 27686 again.

Merge remote-tracking branch 'public/ticket27686_034' into maint-0.3.4

Merge branch 'bug25573-034-typefix' into maint-0.3.4

Merge branch 'maint-0.3.5'

Merge branch 'maint-0.3.4' into maint-0.3.5

"ours" merge to avoid duplicating conflict resolution in merge of 24104

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'maint-0.2.9' into maint-0.3.3

Merge branch 'maint-0.3.5'

Merge branch 'maint-0.3.4' into maint-0.3.5

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge branch 'bug26913_033' into maint-0.3.3

Merge remote-tracking branch 'public/bug24104_029_squashed' into maint-0.2.9

Resolved conflicts with the 26269 fix in 015fcd0e1191aa6f.

Merge branch 'maint-0.3.5'

Merge branch 'maint-0.3.4' into maint-0.3.5

"ours" merge to avoid the 0.3.3 version of #27550.

Merge branch 'maint-0.3.3' into maint-0.3.4

Merge remote-tracking branch 'dgoulet/bug27550_033_01' into maint-0.3.3

Merge branch 'maint-0.3.5'

Merge branch 'bug27740_035_fix' into maint-0.3.5

man: ClientOnionAuthDir can't be reloaded with Sandbox 1

By adding a file to the ClientOnionAuthDir and sending a HUP signal, tor would
load the new file and use it. However, that doesn't work with the Sandbox
since post initilization, nothing can be changed.

Document in the manpage that limitation within the Sandbox description.

Closes #28128

Signed-off-by: David Goulet <dgoulet@torproject.org>

Fix shellcheck issues in cov-diff - SC2231, SC2006 and SC2086

Add changes file

Fix one last SC2086

Fix most instances of SC2086 warning

Fix shellcheck SC2006 warnings in 'coverage' script

Make sure that we are always a net participant when being a server

Otherwise, if we're dormant, and we set ORPort, nothing makes us become
non-dormant.

Rename and fix docs on FLUSH_ON_DISABLE

Also rename "...flush_and_disable()" to "...schedule_and_disable()"

Reset dormancy status when the clock jumps.

Add a periodic event to become dormant.

This event makes us become dormant if we have seen no activity in a
long time.

Note that being any kind of a server, or running an onion service,
always counts as being active.

Note that right now, just having an open stream that Tor
did not open on its own (for a directory request) counts as "being
active", so if you have an idle ssh connection, that will keep Tor
from becoming dormant.

Many of the features here should become configurable; I'd like
feedback on which.

Make the NET_PARTICIPANT role dependent on user activity

This patch implements all of 28337, except for the part where we
turn off the role if we've been idle for a long time.

write_stats_file() is indeed NET_PARTICIPANT; remove comment.

reset_padding_counts is only once per 24h; it can be all.

Turn second_elapsed_callback into a normal periodic event.

Move the responsibility for delayed shutdown into the mainloop

This is part of 28422, so we don't have to call
consider_hibernation() once per second when we're dormant.

This commit does not remove delayed shutdown from hibernate.c: it
uses it as a backup shutdown mechanism, in case the regular shutdown
timer mechanism fails for some reason.

Remove run_scheduled_events() as a separate function.

(There was nothing else in second_elapsed_callbck() that couldn't go
here.)

Move control_per_second_events() into a callback with its own role

Part of making extra-dormant mode work; closes ticket 28421.

Annotate 1/s callback elements with NET_PARTICIPANT status.

Add new "ALL" and "NET_PARTICIPANT" roles for periodic events

The previous "ALL" role was the OR of a bunch of other roles,
which is a mistake: it's better if "ALL" means "all".

The "NET_PARTICIPANT" role refers to the anything that is actively
building circuits, downloading directory information, and
participating in the Tor network.  For now, it is set to
!net_is_disabled(), but we're going to use it to implement a new
"extra dormant mode".

Closes ticket 28336.

Add a function to schedule a periodic event once, then disable it

Use macros to make the periodic event table less verbose.