Change inline system test

The inline system test tests 'auto-dnssec' in conjunction with
'inline-signing'. Change the tests to make use of 'dnssec-policy'.

Remove some tests that no longer make sense:
- The 'retransfer3.' zone tests changing the parameters with
  'rndc signing -nsec3param'. This command is going away and NSEC3
  parameters now need to be configured with nsec3param within
  'dnssec-policy'.
- The 'inactivezsk.' and 'inactiveksk.' zones test whether the ZSK take
  over signing if the KSK is inactive, or vice versa. This fallback
  mode longer makes sense when using a DNSSEC policy.

Some tests need to be adapted more than just changing 'auto-dnssec'
to 'dnssec-policy':
- The 'delayedkeys.' zone first needs to be configured as insecure,
  then we can change it to start signing. Previously, no existing
  keys means that you cannot sign the zone, with 'dnssec-policy'
  new keys will be created.
- The 'updated.' zone needs to have key states in a specific state
  so that the minimal journal check still works (otherwise CDS/
  CDNSKEY and related records will be in the journal too).
- External keys are now added to the unsigned zone and no longer
  are maintained with key files. Adjust the 'externalkey.' zone
  accordingly.
- The 'nsec3-loop.' zone requires three signing keys. Since
  'dnssec-policy' will ignore duplicates in the 'keys' section,
  create RSASHA256 keys with different role and/or key length.

Finally, the 'externalkey.' zone checks for an expected number of
DNSKEY and RRSIG records in the response. This used to be 3 DNSKEY
and 2 RRSIG records. Due to logic behavior changes (key timing
metadata is no longer authoritative, these expected values are
changed to 4 DNSKEY records (two signing keys and two external keys
per algorithm) and 1 RRSIG record (one active KSK per signing
algorithm).

Update dnssec system test

The dnssec system test has some tests that use auto-dnssec. Update
these tests to make use of dnssec-policy.

Remove any 'rndc signing -nsec3param' commands because with
dnssec-policy you set the NSEC3 parameters in the configuration.

Remove now duplicate tests that checked if CDS and CDNSKEY RRsets
are signed with KSK only (the dnssec-dnskey-kskonly option worked
in combination with auto-dnssec).

Also remove the publish-inactive.example test case because such
use cases are no longer supported (only with manual signing).

The auto-nsec and auto-nsec3 zones need to use an alternative
algorithm because duplicate lines in dnssec-policy/keys are ignored.

Alter autosign system test

The autosign system test mainly tests the auto-dnssec configuration
option. Since this option is going to be removed, update the system
test so that it uses dnssec-policy.

We could remove the complete system test, but keeping an altered
version of the system test may still be useful to detect unexpected
behavior after code changes.

Change the ns1 (test root server) to use manual signing. This zone
has some weird corner cases that do not fit the dnssec-policy model
very well.

The ns2 bar zone also needs to use manual signing, because it revokes
its key, and RFC 5011 key revocation is not supported with
dnssec-policy.

There are also a couple of weird corner test cases that can be removed:
- Inactive KSK or ZSK. With dnssec-policy there is no such thing as
  ZSK taking over the role of a KSK when the KSK is deleted, or vice
  versa.
- The CDS and CDNSKEY DELETE records are now automated with
  dnssec-policy and so the tests for persistence are no longer required.

In tests.sh, bump the expected number of root DNSKEY records to 11,
because with manual signing the activation before publication is
actually honored.

Also remove any 'rndc signing -nsec3param' commands because with
dnssec-policy you set the NSEC3 parameters in the configuration.

Remove any check interval tests, these "next key event" times are
now calculated and tested in the kasp system test.

Remove auto-dnssec checkconf tests

Any checkconf tests related to auto-dnssec can be removed, as this
option will be removed too.

Merge branch '4096-uv-now' into 'main'

add isc_loop_now() to get consistent time

Closes #4096

See merge request isc-projects/bind9!7989

use isc_loop_now() for dispentry timeouts

store a pointer to the running loop when creating a dispatch entry
with dns_dispatch_add(), and use isc_loop_now() to get the timestamp for
the current event loop tick when we initialize the dispentry start time
and check for timeouts.

add isc_loop_now() to get consistent time

isc_loop_now() is a front-end to uv_now(), returning the start
time of the current event loop tick.

Merge branch 'aram/tests-statschannel-fetch.pl-typo' into 'main'

Fix a bug in an utility script for the statschannel system test

See merge request isc-projects/bind9!8108

Fix a bug in an utility script for the statschannel system test

Because of a typo, the fetch.pl script tries to extract the server
address from the input parameter 'a' instead of 's'. Fix the typo.

Merge tag 'v9.19.15'

Merge branch 'ondrej/add-missing-headers-to-dns_rdataslab-header' into 'main'

Add missing headers to <dns/rdataslab.h>

See merge request isc-projects/bind9!8115

Add missing headers to <dns/rdataslab.h>

The new header was not self-contained and required extra headers to be
included before including <dns/rdataslah.h>; rectify that.

Merge branch 'mnowak/remove-windows-support-remnants' into 'main'

Remove remnants of Windows support in system test

See merge request isc-projects/bind9!8105

Remove remnants of Windows support in system test

The "uname -o" command is harmful on OpenBSD because this platform does
not know about the "-o" option. It is a permanent failure since system
tests are started with "set -e".

Merge branch 'matthijs-dont-add-signing-records-on-dnskey-update' into 'main'

Don't add signing records for DNSKEY added with dynamic update

See merge request isc-projects/bind9!8070

Add CHANGES entry

Don't add signing records for dyn update DNSKEY

We removed DNSSEC management via dynamic update (see issue #3686),
this means we also should no longer add signing records (of private
type) for DNSKEY records added via dynamic update.

Merge branch 'tkrizek/readthedocs-config' into 'main'

Add configuration for readthedocs.org

See merge request isc-projects/bind9!8101

Add configuration for readthedocs.org

readthedocs.org is switching to in-repo configuration file in favor of
the deprecated web interface as it allows more flexibility.

This also fixes our recent doc build issues, as we're switching to a
newer Python which is required by Sphinx.

See https://blog.readthedocs.com/migrate-configuration-v2/

Merge branch '4185-reduce-the-recursion-in-query_lookup' into 'main'

Make the recursive query_lookup() call from query_gotanswer() async

Closes #4185

See merge request isc-projects/bind9!8073

Add CHANGES and release note for [GL #4185]

Make query chain processing asynchronous

Under some circumstances when processing a query response - for example,
when it contains a CNAME or DNAME - a query will have to be restarted
from the beginning to look up a new target.

This was previously handled by recursively calling the ns__query_start()
function directly from ns_query_done(). However, performance test data
indicated that chains of CNAMEs could consume quite a bit of time inside
the worker thread, increasing latency for other waiting queries.  This
has now been changed so that restarted queries are run asynchronously.

Merge branch '4203-run-gdb-not-found' into 'main'

Resolve "run.gdb not found"

Closes #4203

See merge request isc-projects/bind9!8091

Use absolute path to locate run.gdb

Merge branch 'tkrizek/doth-test-curl-set-e' into 'main'

Handle curl without HTTP/2 support in doth test

See merge request isc-projects/bind9!8104

Handle curl without HTTP/2 support in doth test

Merge branch 'each-split-rbtdb' into 'main'

Split up rbtdb.c

See merge request isc-projects/bind9!7873

split out cache-specific functions

move cache-specific functions from rbtdb.c to rbt-cachedb.c.

split out zone-specific functions

move zone-specific functions from rbtdb.c to rbt-zonedb.c.

move slab rdataset implementation to rdataslab.c

ultimately we want the slab implementation of dns_rdataset to
be usable by more database implementaions than just rbtdb. this
commit moves rdataset_methods to rdataslab.c, renamed
dns_rdataslab_rdatasetmethods.

new database methods have been added: locknode, unlocknode,
addglue, expiredata, and deletedata, allowing external functions to
perform functions that previously required internal access to the
database implementation.

database and heap pointers are now stored in the dns_slabheader object
so that header is the only thing that needs to be passed to some
functions; this will simplify moving functions that process slabheaders
out of rbtdb.c so they can be used by other database implementations.

move prototypes for common functions to rbtdb_p.h

rename the existing rbtdb.h to rbtdb_p.h, and start putting
macros and declarations of dns__rbtdb functions into it.

clean up unused dns_db methods

to reduce the amount of common code that will need to be shared
between the separated cache and zone database implementations,
clean up unused portions of dns_db.

the methods dns_db_dump(), dns_db_isdnssec(), dns_db_printnode(),
dns_db_resigned(), dns_db_expirenode() and dns_db_overmem() were
either never called or were only implemented as nonoperational stub
functions: they have now been removed.

dns_db_nodefullname() was only used in one place, which turned out
to be unnecessary, so it has also been removed.

dns_db_ispersistent() and dns_db_transfernode() are used, but only
the default implementation in db.c was ever actually called. since
they were never overridden by database methods, there's no need to
retain methods for them.

in rbtdb.c, beginload() and endload() methods are no longer defined for
the cache database, because that was never used (except in a few unit
tests which can easily be modified to use the zone implementation
instead).  issecure() is also no longer defined for the cache database,
as the cache is always insecure and the default implementation of
dns_db_issecure() returns false.

for similar reasons, hashsize() is no longer defined for zone databases.

implementation functions that are shared between zone and cache are now
prepended with 'dns__rbtdb_' so they can become nonstatic.

serve_stale_ttl is now a common member of dns_db.

clean up rbtdb.c

in preparation for splitting up rbtdb.c, rename some types so they
can be defined in dns/types.h instead of only locally. these include:

- struct noqname, which is used to hold no-qname and closest-encloser
  proofs, and is now named dns_proof_t;
- rbtdb_rdatatype_t, which is used to hold a pair of rdatatypes and
  is now called dns_typepair_t and defined in rdatatype.h;
- rbtdb_serial_t, which is now just a uint32_t;
- rdatasetheader_t and rdatasetheaderlist_t, now called
  dns_slabheader_t and dns_slabheaderlist_t;
- rbtdb_version_t, now called dns_rbtdb_version_t.

the helper functions header_from_raw() and raw_from_header() are
renamed dns_slabheader_fromrdataset() and dns_slabheader_raw().

also made further style changes:
- fixing uninitialized pointer variables throughout rbtdb.c;
- switching some initializations to struct literals;
- renaming some functions and struct members more descriptively;
- replacing dns_db_secure_t with a simple bool since it no longer needs
  to be tri-valued.

remove unused DNS_DBFIND options

the DNS_DBFIND_VALIDATEGLUE and DNS_DBFIND_FORCENSEC options
were never set, so the code implementing them (which in the case
of _VALIDATEGLUE appears to have been quite outdated anyway) was
never reached. they have now been removed.

Give the rdataset->privateN fields more helpful names

BIND's rdataset structure is a view of some DNS records. It is
polymorphic, so the details of how the records are stored can vary.
For instance, the records can be held in an rdatalist, or in an
rdataslab in the rbtdb.

The dns_rdataset structure previously had a number of fields called
`private1` up to `private7`, which were used by the various rdataset
implementations. It was not at all clear what these fields were for,
without reading the code and working it out from context.

This change makes the rdataset inheritance hierarchy more clear. The
polymorphic part of a `struct dns_rdataset` is now a union of structs,
each of which is named for the class of implementation using it. The
fields of these structs replace the old `privateN` fields. (Note: the
term "inheritance hierarchy" refers to the fact that the builtin and
SDLZ implementations are based on and inherit from the rdatalist
implementation, which in turn inherits from the generic rdataset.

Most of this change is mechanical, but there are a few extras.

In keynode.c there were a number of REQUIRE()ments that were not
necessary: they had already been checked by the rdataset method
dispatch code. On the other hand, In ncache.c there was a public
function which needed to REQUIRE() that an rdataset was valid.

I have removed lots of "reset iterator state" comments, because it
should now be clear from `target->iter = NULL` where before
`target->private5 = NULL` could have been doing anything.

Initialization is a bit neater in a few places, using C structure
literals where appropriate.

The pointer arithmetic for translating between an rdataslab header and
its raw contents is now fractionally safer.

refactor the slab rdataset implementation

- use externally accessible functions for attachnode/detachnode
  so these functions can be moved outside rbtdb.c
- simplify and tidy up some other functions
- use struct initializers when appropriate
- remove the flag RDATASET_ATTR_RETAIN; it was never being set
- renamed the rdataset attributes to
- remove the 'slab_methods' rdataset implementation. this was
  a reduced set of slab rdataset methods, omitting 'setownercase()'
  and 'getownercase()'. we can get the identical result by using
  an DNS_RDATASETATTR_KEEPCASE attribute in rdatasets that
  shouldn't have their case modified, and then we only need one
  set of rdataset methods.

Merge branch 'tkrizek/tkey-cleanup' into 'main'

Remove tkey test remnants

See merge request isc-projects/bind9!8102

Remove tkey test remnants

The tkey test was removed in bd4576b3cef88bcb78ae0dd7619019be4fdfb2ea
and the prereq.sh bit was accidentally added in
175d0c6d85f501c959d1371ab1017b95e27c528c

Merge branch 'tkrizek/run-tests-with-set-e' into 'main'

Run system tests with set -e

See merge request isc-projects/bind9!8052

Check return codes from commands in inline test

To improve the compatibility of the inline test with the `set -e`
option, ensure all commands which are expected to pass are explicitly
checked for return code and non-zero return codes are handled.

Ignore test cleanup commits in git blame

Use $(...) notation for subshells in system tests

The changes were mostly done with sed:

find . -name '*.sh' | xargs sed -i 's/`\([^`]*\)`/$(\1)/g'

There have been a few manual changes where the regex wasn't sufficient
(e.g. backslashes inside the `...`) or wrong (`...` referring to docs or
in comments).

Handle non-zero return codes in rootkeysentinel tests

Handle non-zero return codes in resolver test

Handle non-zero return codes in statschannel test

Handle non-zero return codes in checkconf test

Handle non-zero return codes in dnstap test

Handle non-zero return codes in kasp test

Handle non-zero return codes in serve-stale test

Handle non-zero return codes in doth test

Handle non-zero return codes in acl test

Handle non-zero return codes in statistics test

Handle non-zero return codes in rrsetorder test

Handle non-zero return codes in redirect test

Handle non-zero return codes in rndc test

Handle non-zero return codes in inline test

Handle non-zero return codes unknown test

Handle non-zero return codes in nsupdate test

Handle non-zero return codes in zonechecks test

Handle non-zero return codes in wildcard test

Handle non-zero return codes in zero test

Handle non-zero return codes in legacy test

Handle non-zero return codes in forward test

Handle non-zero return codes in upforwd test

Handle non-zero return codes in addzone test

Handle non-zero return codes in rpzrecurse test

Handle non-zero return codes in rpz test

Make $? compatible with set -e in system tests

Ensure handling of return code from previous command doesn't cause the
script to halt if that code is non-zero when running with `set -e`.

Use arithmetic expansion in system tests (followup)

These are manual edits in addition of the automated changes from the
previous commit.

Use arithmetic expansion in system tests

Change the way arithmetic operations are performed in system test shell
scripts from using `expr` to `$(())`. This ensures that updating the
variable won't end up with a non-zero exit code, which would case the
script to exit prematurely when `set -e` is in effect.

The following replacements were performed using sed in all text files
(git grep -Il '' | xargs sed -i):

s/status=`expr $status + $ret`/status=$((status + ret))/g
s/n=`expr $n + 1`/n=$((n + 1))/g
s/t=`expr $t + 1`/t=$((t + 1))/g
s/status=`expr $status + 1`/status=$((status + 1))/g
s/try=`expr $try + 1`/try=$((try + 1))/g

Run system tests with set -e

Ensure all shell system tests are executed with the errexit option set.
This prevents unchecked return codes from commands in the test from
interfering with the tests, since any failures need to be handled
explicitly.

Merge branch 'mnowak/detect-core-dumps-after-server-failed-to-stop' into 'main'

Detect core dumps after BIND failed to stop cleanly

See merge request isc-projects/bind9!8096

Detect core dumps after BIND failed to stop cleanly

With the pytest runner, when BIND crashed during test runtime, the
get_core_dumps.sh script hasn't been run, and core dumps were not
detected.

Merge branch '4194-extend-dns-cookie-support' into 'main'

Resolve "Extend DNS COOKIE support"

Closes #4194

See merge request isc-projects/bind9!8086

Add release note for [GL #4194]

Add CHANGES note for [GL #4194]

Check that BADCOOKIE is returned for a bad server COOKIE

Send a well formed, all zeros, DNS COOKIE option to a named instance
running with default cookie settings and check that BADCOOKIE is
returned.

Return BADCOOKIE on validly formed bad SERVER COOKIES

The server was previously tolerant of out-of-date or otherwise bad
DNS SERVER COOKIES that where well formed unless require-cookie was
set.  BADCOOKIE is now return for these conditions.

Merge branch 'tkrizek/set-up-version-and-release-notes-for-bind-9.19.16' into 'main'

Set up version and release notes for BIND 9.19.16

See merge request isc-projects/bind9!8092

Set up release notes for BIND 9.19.16

Update BIND version to 9.19.16-dev

Update BIND version for release

Add a CHANGES marker

Merge branch 'michal/prepare-documentation-for-bind-9.19.15' into 'v9.19.15-release'

Prepare documentation for BIND 9.19.15

See merge request isc-private/bind9!550

Add release note for GL #4132, GL #4136, GL #4171

Tweak and reword release notes

Prepare release notes for BIND 9.19.15

Update sample query log excerpt in the ARM

Fix typo in tests_shutdown.py

Merge branch 'michal/add-changes-entry-for-tsig-tkey-refactoring' into 'main'

Add CHANGES entry for !7828

See merge request isc-projects/bind9!8090

Add CHANGES entry for !7828

Merge branch '4171-add-shutdown-check-in-dns_catz_dbupdate_callback' into 'main'

Add shutdown checks in dns_catz_dbupdate_callback()

Closes #4171

See merge request isc-projects/bind9!8081

Add a CHANGES note for [GL #4171]

Add shutdown checks in dns_catz_dbupdate_callback()

When a zone database update callback is called, the 'catzs' object,
extracted from the callback argument, might be already shutting down,
in which case the 'catzs->zones' can be NULL and cause an assertion
failure when calling isc_ht_find().

Add an early return from the callback if 'catzs->shuttingdown' is true.

Also check the validity of 'catzs->zones' after locking 'catzs' in
case there is a race with dns_catz_shutdown_catzs() running in another
thread.

Merge branch '2471-test-three-is-a-crowd' into 'main'

Add "three is a crowd" test case

Closes #2471

See merge request isc-projects/bind9!8065

Add test for "three is a crowd" bug (GL #2375)

Add this test scenario for a bug fixed a while ago. When a third key is
introduced while the previous rollover hasn't finished yet, the keymgr
could decide to remove the first two keys, because it was not checking
for an indirect dependency on the keys.

In other words, the previous bug behavior was that the first two keys
were removed from the zone too soon.

This test case checks that all three keys stay in the zone, and no keys
are removed premature after another new key has been introduced.

Check all keys despite early failure

In the kasp script, if one expected key is not found, continue checking
the other key ids, even if there is no match for the first one.  This
provides a bit more information which keys mismatch and makes for
easier debugging test failures.

Merge branch 'each-refactor-fetchopt' into 'main'

clean up numbering of FETCHOPT and ADDRINFO flags

See merge request isc-projects/bind9!8079

clean up numbering of FETCHOPT and ADDRINFO flags

in the past there was overlap between the fields used
as resolver fetch options and ADB addrinfo flags. this has
mostly been eliminated; now we can clean up the rest of
it and remove some confusing comments.

Merge branch 'tkrizek-shutdown-rndc-hang' into 'main'

Split shutdown test into separate test cases

See merge request isc-projects/bind9!8058