Change statement->argument terminology for control channel

control { inet ... allow keys read-only }; are not actual statements
but in fact arguments of a statement. Remove .. namedconf:statement::
syntax to avoid collisions with other statements of the same name.

Deduplicate dnssec-policy definition in the ARM

Deduplicate null definition in the ARM logging section

Deduplicate {use,avoid}-v{4,6}-udp-ports definitions in the ARM

Statements affected:
use-v4-udp-ports
use-v6-udp-ports
avoid-v4-udp-ports
avoid-v6-udp-ports

Deduplicate request-expire definition in the ARM

Deduplicate provide-ixfr definition in the ARM

Deduplicate request-ixfr definition in the ARM

Let's be consistent and put all definitions in the options block.

Deduplicate notify-source, notify-source-v6 definitions in the ARM

Deduplicate request-nsid definition in the ARM

Deduplicate query-source, query-source-v6 definitions in the ARM

Deduplicate transfer-source, transfer-source-v6 definitions in the ARM

Deduplicate transfer-format definition in the ARM

Deduplicate send-cookie definition in the ARM

Deduplicate max-udp-size definition in the ARM

Deduplicate edns-udp-size definition in the ARM

Deduplicate max-zone-ttl definition in the ARM

This is confusing as hell, but we cannot fix that in the manual itself.
At least now the user is made aware of two distinct defaults.

Deduplicate allow-update definition in the ARM

Reference new named.conf description instead of man page

Remove line numbering from config file examples

Changed all references from clause to block

Restructure introduction to named.conf in the ARM

Add link anchors to statements and blocks in the ARM

All statements now use .. namedconf:statement:: or
.. rndcconf:statement:: syntax provided by our Sphinx extension.

This has several consequences:
- It changes how statement headings are rendered
- Statements are indexed and show up as separate items in doc
  search results (in the HTML version)
- Statements can be linked to using either :any:`statement` or
  :namedconf:ref:`statement` syntax (not used in this commit)
- Statements can be categorized and printed using ..
  namedconf:statatementlist:: syntax (not used in this commit)

Merge branch '3420-rrsetorder-update-status' into 'main'

rrsetorder: add missing update of status

Closes #3420

See merge request isc-projects/bind9!6466

Replace expr's with $((expression)) shell constucts

Also make indenting consistent.

Add missing update of status variable in rrsetorder system test

Merge branch '3143-add-a-note-to-the-arm-on-dnstap-and-resolver-traffic' into 'main'

Add a note to the ARM on dnstap & resolver traffic

Closes #3143

See merge request isc-projects/bind9!6472

Check IPs in a dnstap capture of resolver traffic

Add a system test that checks whether IP addresses are present in a
dnstap capture of resolver traffic if "query-source" is explicitly set.

Add a note to the ARM on dnstap & resolver traffic

Warn users that server-side IP addresses are not stored in dnstap
captures of resolver traffic unless "query-source(-v6)" is explicitly
set, explaining why it is so.

Merge branch 'mnowak/add-system_gcc_bullseye_unstable_amd64-ci-job' into 'main'

Add system:gcc:bullseye:unstable:amd64 CI job

See merge request isc-projects/bind9!6461

Put default-triggering-rules anchor in alphabetical order

Rename schedules_tags_web_triggering_rules anchor

The schedules_tags_web_triggering_rules anchor name should match it's
content, hence api_schedules_tags_triggers_web_triggering_rules anchor
name.

Extract API, schedules, triggers, and web triggering rules

Add system:gcc:bullseye:unstable:amd64 CI job

Without this CI job long pytest jobs are not being run in the CI.

Merge branch '3309-fix-destination-port-extraction-for-client-queries' into 'main'

Fix destination port extraction for client queries

Closes #3309

See merge request isc-projects/bind9!6191

Add CHANGES entry for GL #3309

Check that the UDP destination port is logged via dnstap

Fix destination port extraction for client queries

The current logic for determining the address of the socket to which a
client sent its query is:

 1. Get the address:port tuple from the netmgr handle using
    isc_nmhandle_localaddr().

 2. Convert the address:port tuple from step 1 into an isc_netaddr_t
    using isc_netaddr_fromsockaddr().

 3. Convert the address from step 2 back into a socket address with the
    port set to 0 using isc_sockaddr_fromnetaddr().

Note that the port number (readily available in the netmgr handle) is
needlessly lost in the process, preventing it from being recorded in
dnstap captures of client traffic produced by named.

Fix by first storing the address:port tuple returned by
isc_nmhandle_localaddr() in client->destsockaddr and then creating an
isc_netaddr_t from that structure.  This allows the port number to be
retained in client->destsockaddr, which is what subsequently gets passed
to dns_dt_send().

Merge branch '3320-rewrite-arm-dnssec-chapter' into 'main'

Rewrite DNSSEC ARM Chapter

Closes #3320

See merge request isc-projects/bind9!6296

Mention zone storage in the DNSSEC chapter

Let's not duplicate texts, link to description elsewhere instead.

Minor grammar improvements in the Signing chapter of the DNSSEC Guide

Add a section about key rollover

Describe how to do key rollovers with dnssec-policy. Update the
revert to unsigned recipe in the DNSSEC guide.

Deduplicate Manual Signing between DNSSEC chapter and DNSSEC Guide

The two procedures were essentially the same, but each instance was
missing some details from the other. They are now combined into one text
in the DNSSEC Guide and linked from DNSSEC chapter.

Deduplicate key filename description in the DNSSEC Guide

Third time ...

Use ECDSAP256SHA256 in DNSSEC signing examples

Use code-block directive for complete command lines

Minor rendering nit, not really important.

Deduplicate key filename description in the DNSSEC chapter

Move Private Type Records in DNSSEC chapter to higher level

Private Type Records are not specific to manually signing, so it is
better to move it to the end of the "Zone Signing" section shared by all
three methods.

Rewrite DNSSEC Validation subchapter in the ARM

Mostly deduplicating and linking information across the ARM.
Generally people should not touch it unless they what they are doing, so
let's try to discourage them a bit.

Add hints about secure delegation to DNSSEC chapter of the ARM

Let's not duplicate texts from elsewhere, just point to different parts
of documentation.

Reorder chapters about Zone Signing in the DNSSEC chapter of ARM

Let's make more automated methods more prominent:
- KASP first
- dynamic updates second
- command-line tools only as last resort

Rewrite KASP section of DNSSEC chapter in the ARM

The goal is simplicity. Copy&paste to do the right thing, or read
referenced material and make up your mind if you need specialities.

NSEC discussion is already present in the DNSSEC guide so I merged
KASP examples with example for NSEC3 and removed NSEC text from the
DNSSEC chapter.

Rewrite introduction for DNSSEC chapter of the ARM

I've attempted to drop most of DNSSEC-specific jargon from the intro
paragraph, and to convince readers to read on.

Use NSEC3 guidance values in nsec3 config examples

Use best practice values in examples that follow new guidance from
draft-ietf-dnsop-nsec3-guidance:

   ; SHA-1, no extra iterations, empty salt:
   ;
   bcp.example. IN NSEC3PARAM 1 0 0 -

Move "DNSSEC" chapter before "Advanced" and "Security"

DNSSEC is mainstream nowadays, so let's give it more attention.

Move Dynamic Zones section up

Move this section up so that DNSSEC signing topics are grouped together
(and not split by the DNSSEC Validation chapter).

Rewrite Dynamic Zones section

Restructure the section about dynamic zones and automatic signing:
- Focus on dynamic zones with 'auto-dnssec allow;'.
- Add a section about multi-signer models.
- Move NSEC3 related topics into one section.
- Remove any text that does not concern dynamic zones (mostly duplicate
  text anyway).

Add a section about Denial of Existence

Move bits from the "DNSSEC, Dynamic Zones, and Automatic Signing"
about denial of existence to a separate section below the "Key and
Signing Policy" section.

Add a brief introduction about denial of existence to this section.

Rewrap a paragraph in DNSSEC Validation section

No textual changes, just rewrapping to 80 characters.

Rewrite DNSSEC chapter - signing

Restructure the first part of the DNSSEC chapter that deals with zone
signing. Put dnssec-policy first. Mention Key and Signing Policy.
Only then talk about the DNSSEC tools.

Nit changes in introduction of DNSSEC chapter

DNSSEC-bis is an uncommon term. Other servers are typically resolvers
and they usually are configured with the root key.

Merge branch 'ondrej-fix-out-of-tree-artifacts' into 'main'

Move the out of tree directory into the project directory

See merge request isc-projects/bind9!6377

Clean up convert-trs-to-junit.py invocations

  - Use absolute paths when invoking the convert-trs-to-junit.py script
    so that it also works correctly for out-of-tree and tarball-based
    test jobs.

  - Quote the variables used in convert-trs-to-junit.py invocations to
    future-proof the code.

  - Use "&&" instead of ";" in shell pipelines invoking the
    convert-trs-to-junit.py script in order to prevent "source" errors
    from being silently ignored.

  - Ensure convert-trs-to-junit.py is invoked from the correct directory
    for out-of-tree and tarball-based unit test jobs by adding
    appropriate "cd" invocations.

  - Ensure the convert-trs-to-junit.py invocations are always the last
    step in each 'after_script', in order to run that script from the
    correct directory for out-of-tree and tarball-based system test jobs
    and to ensure that any potential errors in that script do not
    prevent more important steps in the 'after_script' from being
    executed.

Move out-of-tree workspace back to $CI_PROJECT_DIR

Out-of-tree build & test jobs currently defined in GitLab CI use
/tmp/out_of_tree_workspace as the working directory.  This requires
juggling that directory around as it gets passed from the build job to
the test jobs and then again after the test jobs are finished, so that
artifacts can be collected for the purpose of investigating test
failures.  The original intention of doing this was to ensure that
bin/tests/system/run.sh does not rely on being executed from within a
Git working copy (which happens e.g. if the out-of-tree workspace is a
subdirectory of $CI_PROJECT_DIR, i.e. the path into which GitLab
Runner clones the project in each job).

However, even with these complications in place, not all possible
scenarios that should be handled properly by the system test framework
(e.g. invoking a given test one time after another from the same
out-of-tree build directory) are tested in GitLab CI anyway.  Meanwhile,
the requirement for moving the out-of-tree workspace into
$CI_PROJECT_DIR in the 'after_script' for each out-of-tree job makes
these jobs less robust than they could be; for example, if any step in
the 'after_script' returns a non-zero exit code, the job's artifacts
will not include the out-of-tree workspace, hindering troubleshooting.

Simplify job definitions in .gitlab-ci.yml by moving the workspace used
by out-of-tree build & test jobs back to a subdirectory of
$CI_PROJECT_DIR.  Whether the out-of-tree workspace exists within a Git
working copy or not does not matter for Autotools, so this is considered
to be a reasonable trade-off in terms of test coverage.

Merge branch 'mnowak/ubuntu-22.04-jammy-jellyfish' into 'main'

Add Ubuntu 22.04 LTS (Jammy Jellyfish)

See merge request isc-projects/bind9!6446

Do not run Ubuntu 18.04 jobs in MR-triggered pipelines

With the addition of Ubuntu 22.04 three more CI jobs were added. To
compensate for that, move Ubuntu 18.04 jobs out of MR-triggered
pipelines to schedule-triggered ones.

Also, move --disable-geoip ./configure options from Ubuntu 18.04 to
Ubuntu 20.04 jobs to keep these options in the more frequent
MR-triggered pipelines.

Add Ubuntu 22.04 LTS (Jammy Jellyfish)

Merge branch '3412-system-test-passthru-virtualenv-perl5lib' into 'main'

System tests pass through virtualenv and perlmods

Closes #3412

See merge request isc-projects/bind9!6458

System tests pass through virtualenv and perlmods

Have system tests use required Python (dnspython) and PERL modules
(Digest::HMAC and Net::DNS) from user directories, avoid using
privileges.

Note: The pythonenv must be setup to use the same version of python as
the test uses, for example /usr/bin/python.

Thanks to Stacey Marshall.

Merge branch '3416-document-key-lifetime-min-length' into 'main'

Document what is a too short key lifetime

Closes #3416

See merge request isc-projects/bind9!6460

Document what is a too short key lifetime

To give a hint to users that get an error that the key lifetime is
shorter than the time it takes to do a rollover.

Merge branch '3397-document-interaction-dnssec-update-config-options' into 'main'

Document where updates and DNSSEC records are stored

Closes #3397

See merge request isc-projects/bind9!6457

Add comment on DNSSEC signing zone configuration

I was slightly confused here, so IMO it can use a comment.

Document where updates and DNSSEC records are stored

Make clear that inline-signing stores DNSSEC records in a signed
version of the zone, using the zone's filename plus ".signed" extension.

Tell that dynamic zones store updates in the zone's filename.

DNSSEC records for dynamic zones also go in the zone's filename, unless
inline-signing is enabled.

Then, dnssec-policy assumes inline-signing, but only if the zone is
not dynamic.

Merge branch 'mnowak/bump-clang-to-version-14' into 'main'

Update clang to version 14

See merge request isc-projects/bind9!6368

Extract Clang version to $CLANG_VERSION

Extracting Clang version helps with updating Clang version in one place
and not missing one of its instances.

Fix external_symbolizer_path on Fedora

The external_symbolizer_path was wrong on Fedora since moving gcc:tsan
jobs from Debian to Fedora.

Update clang to version 14

Merge branch 'mnowak/checkds-pylint-implicit-str-concat-fixes' into 'main'

Fix implicit string concatenation in tests-checkds.py

See merge request isc-projects/bind9!6452

Fix implicit string concatenation in tests-checkds.py

pylint 2.14.2 reports the following warnings:

    bin/tests/system/checkds/tests-checkds.py:265:0: W1404: Implicit string concatenation found in call (implicit-str-concat)
    bin/tests/system/checkds/tests-checkds.py:273:0: W1404: Implicit string concatenation found in call (implicit-str-concat)

Merge branch 'tkrizek/pytest-skipped-reason' into 'main'

Report reasons for skipped/xfailed system pytests

See merge request isc-projects/bind9!6441

Report reasons for skipped/xfailed system pytests

If skip/xfail is used in pytest, it can have a reason string associated
with it. When evaluating these tests, it can be useful to be able to
differentiate the reason why the test was skipped/xfailed/xpassed,
because there might be multiple possible reasons for that.

The extra options passed to pytest ensure that the string with the
reason appears in the test summary and thus we're able to find the
string with the reason in the log output.

See https://docs.pytest.org/en/7.1.x/how-to/skipping.html for more info

Merge branch 'pspacek/nsec3-doc-update' into 'main'

Update NSEC3 guidance to match draft-ietf-dnsop-nsec3-guidance-10

See merge request isc-projects/bind9!6413

Update NSEC3 guidance to match draft-ietf-dnsop-nsec3-guidance-10

https://datatracker.ietf.org/doc/html/draft-ietf-dnsop-nsec3-guidance-10
is on it's way to become RFC, so let's update our recommendations in the
docs to be in line with it.

Merge tag 'v9_19_2'

BIND 9.19.2

Merge branch 'artem-tlsdns-do-not-call-acceptcb-twice' into 'main'

TLS DNS: do not call accept callback twice

See merge request isc-projects/bind9!6439

TLS DNS: do not call accept callback twice

Before the changes from this commit were introduced, the accept
callback function will get called twice when accepting connection
during two of these stages:

* when accepting the TCP connection;
* when handshake has completed.

That is clearly an error, as it should have been called only once. As
far as I understand it the mistake is a result of TLS DNS transport
being essentially a fork of TCP transport, where calling the accept
callback immediately after accepting TCP connection makes sense.

This commit fixes this mistake. It did not have any very serious
consequences because in BIND the accept callback only checks an ACL
and updates stats.

Merge branch 'pspacek/doc-cleanup-dnssec-prereq' into 'main'

Update intro texts in the DNSSEC Guide

See merge request isc-projects/bind9!6418

Update FAQ in the DNSSEC Guide

Mention DoT/DoH, update stats, remove mentions of early stages of
deployment.

Update Authoritative Server Hardware requirements in DNSSEC Guide

Based on measurements done on BIND v9_19_2 using bank. TLD and a
synthetitc fullly signed zone, using RSASHA256 and ECDSAP256SHA256
algorithms with NSEC and NSEC3 without opt-out.

Update DNSSEC validation deployment stats in DNSSEC Guide

Rewrite Recursive Server Hardware requirements in DNSSEC Guide

This section was completely out of date. Current measurements on dataset
Telco EU 2022-02 and BIND 9.19.1 indicate absolutely different results
than described in the old version of the text.

Remove outdated software requirements from DNSSEC Guide

Guide in this repo is tied to latest version anyway, so let's not even
mention ancient versions of BIND.

This also solves the OpenSSL question because it is now mandatory for
build, which subsequently removes the entropy problem - so let's not
mention it either.

Merge branch '3401-race-condition-in-route_connected' into 'main'

Resolve "race condition in route_connected() leads to crash on startup/shutdown"

Closes #3401

See merge request isc-projects/bind9!6429

Add CHANGES note for [GL #3401]

Fix a race condition between shutdown and route_connected()

When shutting down, the interface manager can be destroyed
before the `route_connected()` callback is called, which is
unexpected for the latter and can cause a crash.

Move the interface manager attachment code from the callback
to the place before the callback is registered using
`isc_nm_routeconnect()` function, which will make sure that
the interface manager will live at least until the callback
is called.

Make sure to detach the interface manager if the
`isc_nm_routeconnect()` function is not implemented, or when
the callback is called with a result value which differs from
`ISC_R_SUCCESS`.

Do not use the interface manager until it is ready

The `ns_interfacemgr_create()` function, when calling
`isc_nm_routeconnect()`, uses the newly created `ns_interfacemgr_t`
instance before initializing its reference count and the magic value.

Defer the `isc_nm_routeconnect()` call until the initializations
are complete.

Merge branch '3207-dig-nssearch-crash-fix' into 'main'

Resolve "dig +nssearch org crashes when network is unreachable"

Closes #3207

See merge request isc-projects/bind9!6343

Add CHANGES note for [GL #3207]

Fix a crash in dig NS search mode

In special NS search mode, after the initial lookup, dig starts the
followup lookup with discovered NS servers in the queries list. If one
of those queries then fail, dig, as usual, tries to start the next query
in the list, which results in a crash, because the NS search mode is
special in a way that the queries are running in parallel, so the next
query is usually already started.

Apply some special logic in `recv_done()` function to deal with the
described situation when handling the query result for the NS search
mode. Particularly, print a warning message for the failed query,
and do not try to start the next query in the list. Also, set a non-zero
exit code if all the queries in the followup lookup fail.

Merge branch '3138-capture-scripts-to-coverity-scan' into 'main'

Capture scripts for Coverity Scan analysis

Closes #3138

See merge request isc-projects/bind9!5984