changes file for 31999

Extract log-granularity code into its own function.

This pleases practracker.

Add tests for options_init_logs()

Make a pair of add_*_log() functions mockable.

Make options_init_logs STATIC for testing.

Update tests to handle new interpretation of quiet_level.

Two things needed to be changed.  First, we used to set quiet_level
to the default (QUIET_NONE) when running tests, since we would not
call anything that acted based upon it.  But since we sometimes call
options_init_logs(), we need to pre-set quiet_level to QUIET_SILENT
in the logs so that we don't add the default logs.  This did not
cause test failure: just unwanted logs.

Second, we had a test that checked whether options_validate was
messing with options->Logs correctly.  Since options_validate no
longer messes with the logs, we no longer want a test for this.

Rationalize handling of quiet_level in config.c

Formerly, we would use quiet_level as an excuse to rewrite the log
configuration, adding a default log line if none existed, and if
RunAsDaemon was not set, and if we were not being invoked via
setconf (!).

This is against our best practices for several reasons:
  * We should not be changing configured options except when the
    user tells us to do so.
  * We should especially not be changing options in the options_validate
    function.
  * Distinguishing whether we are being called from setconf adds a
    risky special-case.

Instead, this patch take a simpler approach: it changes the
interpretation of having no logging lines set to mean: If there is a
stdout, add a default log based on quiet_level.

Solves ticket 31999.

Move code to add default log into quiet_level.c

I'm about to unify the code for handling this between main.c and
config.c.

Replace add_temp_log() with add_default_log().

We used to have this function so that we could mark our initial
log-to-stdout as specifically temporary so that we would delete it
once regular logs were configured.  But it's no longer necessary to
mark these logs as temporary, since we now use a mark-and-sweep
process to ensure that _all_ not-configured logs are closed when we
change our configuration.

Instead, this function will be the basis of a refactoring in how we
handle default logs.

Merge branch 'cmdline_refactor'

Use an enum for quiet_level.

Rename CMD_OTHER to CMD_IMMEDIATE

fixup! Print the error message for --dump-config even if no arguments are given.

Fix a spelling error.

Add a test for a command-line option without a value.

add a changes file for 32003 (command-line option parsing).

Move responsibility for setting the "quiet level" into a table.

Previously this was done with a big list of options in main.c which
implied "hush" or "quiet".  One of these options ("--digests") no
longer existed, but we still checked for it.

Now we use the table of command-line-only arguments to set this
value.

Make the command-line parser understand "commands".

Previously these were implemented with a search in
options_init_from_torrc(), but that led to each option being
declared more than needed: once to say that it was a valid option,
and once to say what it meant.

Add a return type for the parsed commandline.

Previously it was stored in two outvars, but this is more
elegant. I'm going to be expanding this struct in later commits.

Merge branch 'ticket31373_042_01_squashed'

Print summary at the end of the configure script

Signed-off-by: David Goulet <dgoulet@torproject.org>

hs_cache.c: fix HTML tags in doxygen comments.

Merge remote-tracking branch 'tor-github/pr/1416'

Merge branch 'maint-0.4.2'

Merge branch 'maint-0.4.1' into maint-0.4.2

Merge branch 'maint-0.4.0' into maint-0.4.1

Merge branch 'maint-0.3.5' into maint-0.4.0

Merge branch 'maint-0.2.9' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1373' into maint-0.4.2

Merge remote-tracking branch 'tor-github/pr/1372' into maint-0.4.1

Merge remote-tracking branch 'tor-github/pr/1370' into maint-0.3.5

Merge remote-tracking branch 'tor-github/pr/1369' into maint-0.2.9

Merge remote-tracking branch 'tor-github/pr/1419'

Obviously correct fixes to code that's already been reviewed.

Merge remote-tracking branch 'tor-github/pr/1329'

hs_cell.[ch]: repair doxygen.

or_options_st.h: repair some doxygen comments.

shared_random.[ch]: repair doxygen comments

hs_cache.[ch]: repair doxygen comments.

hs_client.[ch]: fix doxygen comments by using /**.

shared_random_state.[ch]: Repair a bunch of doxygen comments

These need to start with /**, not /*.

hs_common.[ch]: repair doxygen comments by replacing /* with /**

hs_descriptor.[ch]: repair doxygen comments.

These are yet more that were not made with "/**"

hs_service.c: repair doxygen comments

hs_service.h: repair doxygen comments.

address_set.c: doxygen comment repair.

channel.h: fix various doxygen warnings

There were a bunch of items where the doxygen comments were
formatted incorrectly (with /* instead of /**)

voting_schedule: fix doxygen comments to use /**

Previously some of the comments here used /*.

Tell doxygen not to pay attention to __attribute__.

Teach Doxygen to handle MOCK_{DECL,IMPL}

Rename authcert_members.i to .h, and have it define a macro.

Including a file in the middle of a declaration seems to confuse
Doxygen, and Coccinelle doesn't much like it either.l

Make doc/doxygen before running doxygen.

This makes out-of-tree doxygen builds work.

Closes ticket 32113.

Merge branch 'ticket32099'

Merge branch 'ticket32110'

Doxygen: stop producing LaTeX.

Running doxygen with latex gave us all manner of unicode issues,
slowed down the "make doxygen" target by a lot, and added several
latex dependencies... all to produce a 4000-page reference manual
which is probably not what anybody wanted.

Closes ticket 32099.

Regenerate practracker exceptions file for 0.4.3 progress.

practracker: add a missing #.

Doxygen: update doxyfile to a more recent version.

I have left the settings at their old values, except when they
referred to nonexistent files.

Closes ticket 32110

Doxygen: Fix things that looked like links.

Doxygen thinks that saying #foo is linking to a "foo" anchor
someplace.

Doxygen: fix unrecognized commands.

Doxygen seems to interpret anything starting with \ as a command,
even when we don't mean it that way.

Doxygen: fix warnings about mismatched HTML tags.

Doxygen: Fix mismatched filenames.

In 8 places, our \file declarations didn't match the actual files
they were in.

never say XB, always XBytes

fix three more instances in the man page that we forgot to fix
in earlier attempts

scripts: Fix a git script comment

scripts: Merge forward test branch _042 into test branch _master

Fixes an issue where test branch _041 was merged into _042 and _master.
This issue only affects test branch mode (-t).

Merge branch 'design_revision'

Merge branch 'maint-0.4.2'

Merge remote-tracking branch 'tor-github/pr/1393' into maint-0.4.2

doc/HACKING/design: address comments from ahf

Edit 01b-collections.md a bit for md and missing content

Edit 01a-memory.md

Replace a unicode character which doxygen cannot handle.

Merging without review, as this is an editorial fix in a comment.

Rewrite "common" overview into a "lib" overview.

Rename common-utils to lib-overview.

00-overview.md: Revise to describe intended document structure

git scripts: add maint/release-0.4.2.

Merge branch 'maint-0.4.2'

"Ours" merge to avoid takign ".enable_practracker_in_hooks"

maint-0.4.2: remove ".enable_practracker_in_hooks".

Bump master to 0.4.3.0-alpha-dev.

Merge branch 'ticket31682_042_01_squashed'

Correct comment on build_establish_intro_dos_extension

hs-v3: Fix implicit ssize_t to size_t conversion

Found by Coverity.

Fixes #31682

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-github/pr/1394'

Merge remote-tracking branch 'tor-github/pr/1399'

Merge remote-tracking branch 'tor-github/pr/1401'

Merge branch 'bug30344_squashed_035'

Stop libevent from reading data from closed connections.

Code adapted from Rob's proposed patch in #30344.

Also add a comment in connection_mark_for_close_internal_() on why we should
not be adding extra code there without a very good reason.

test: New behavior on IP retry for HSv3

Unit test for #31652 where if we are over the retry limit for the IP but we
have an established circuit, we don't remove the IP.

Part of #31652

hs-v3: Do not remove intro point if circuit exists

When considering introduction point of a service's descriptor, do not remove
an intro point that has an established or pending circuit.

Fixes #31652

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge branch 'tor-github/pr/1381'

config.c: make a couple of arguments const.

These functions do not modify their inputs, so they can take const
arguments.

Use C99 struct-initializer syntax in COMMANDLINE_ONLY_OPTIONS

I'm about to add more fields to this table, and this syntax change
will make it easier to do so.

Document takes_argument_t and its members.

Rename TAKES_NO_ARGUMENT to ARGUMENT_NONE.

I'm doing this for consistency, so that all the values for this enum
have the same prefix.

This is an automated commit, generated by the following shell commands:

for fn in $(git ls-tree --name-only -r HEAD src |grep '\.[ch]$'); do \
    perl -i -pe 's!\bTAKES_NO_ARGUMENT\b!ARGUMENT_NONE!g;' "$fn"; \
done

Extract the enumeration that tells Tor what command it is running.

Fix flapping of test_service_intro_point() unittest.

Merge remote-tracking branch 'tor-github/pr/1317'

Merge branch 'ticket31548_035_01_squashed'

hs-v3: Make service pick the exact amount of intro points

When encoding introduction points, we were not checking if that intro points
had an established circuit.

When botting up, the service will pick, by default, 3 + 2 intro points and the
first 3 that establish, we use them and upload the descriptor.

However, the intro point is removed from the service descriptor list only when
the circuit has opened and we see that we have already enough intro points, it
is then removed.

But it is possible that the service establishes 3 intro points successfully
before the other(s) have even opened yet.

This lead to the service encoding extra intro points in the descriptor even
though the circuit is not opened or might never establish (#31561).

Fixes #31548

Signed-off-by: David Goulet <dgoulet@torproject.org>

Merge remote-tracking branch 'tor-github/pr/1379'

Merge remote-tracking branch 'tor-github/pr/1390'

bump to 0.4.2.2-alpha-dev