Refactor findmatchingkeys and keylistfromrdataset

Refactor dns_dnssec_findmatchingkeys and dns_dnssec_keylistfromrdataset
to take into account the key store directories in case the zone is using
dnssec-policy (kasp). Add 'kasp' and 'keystores' parameters.

This requires the keystorelist to be stored inside the zone structure.

The calls to these functions in the DNSSEC tools can use NULL as the
kasp value, as dnssec-signzone does not (yet) support dnssec-policy,
and key collision is checked inside the directory where it is created.

Add tests for key-store with engine_pkcs11

Add cases for each algorithm to test the interaction between
dnssec-policy and engine_pkcs11. Ensure that named creates keys on
startup.

Also test dnssec-keygen when using a dnssec-policy with a PKCS#11
based key-store.

Create private keys with PKCS#11 object

If there is a keystore configured with a PKCS#11 URI, zones that
are using a dnssec-policy that uses such a keystore should create keys
via the PKCS#11 interface. Those keys are generally stored inside an
HSM.

Some changes to the code are required, to store the engine reference
into the keystore.

Add object parameter to dst_key_generate()

Add a parameter to store a possible PKCS#11 object that can later be used to
identify a key with a PKCS#11 URI string (RFC 7512).

Store key store reference instead of name

When creating the kasp structure, instead of storing the name of the
key store on keys, store a reference to the key store object instead.

This requires to build the keystore list prior to creating the kasp
structures, in the dnssec tools, the check code and the server code.

We will create a builtin keystore called "key-directory" which means
use the zone's key-directory as the key store.

The check code changes, because now the keystore is looked up before
creating the kasp structure (and if the keystore is not found, this
is an error). Instead of looking up the keystore after all
'dnssec-policy' clauses have been read.

Fix a checkconf bug

The check for printing zone list failed because of these additional
lines in the output:

good.conf:22: dnssec-policy: key algorithm 13 has predefined length; \
  ignoring length value 256

I am not sure why this failure hasn't happened before already.

Check if key-store directory is not reused

Similar to key-directory, check for zones in different views and
different key and signing policies. Zones must be using different key
directories to store key files on disk.

Now that a key directory can be linked with a dnssec-policy key, the
'keydirexist' checking needs to be reshuffled.

Add tests for bad configuration examples, named-checkconf should catch
those. Also add test cases for a mix of key-directory and key-store
directory.

Check if key-store directory exists

Similar to key-directory, check if the key-store directory exists and
if it is an actual directory.

This commit fixes an accidental test bug in checkconf where if
the "warn key-dir" test failed, the result was ignored.

Check if key-store exists

Add checkconf check to ensure that the used key-store in the keys
section exists. Error if that is not the case. We also don't allow
the special keyword 'key-directory' as that is internally used to
signal that the zone's key-directory should be used.

Parse key-store config

Add the code that actually stores the key-store configuration into
structures, also store the reference into the kasp key.

Add code for creating keystore from config

Add code for configuring keystore objects. Add this to the "kaspconf"
code, as it is related to 'dnssec-policy' and it is too small to create
a separate file for it.

Add code to store key-stores

New files to define a structure and functions for dealing with
key-stores.

Add configuration for key-store

Add new configuration for setting key stores. The new 'key-store'
statement allows users to configure key store backends. These can be
of type 'file' (that works the same as 'key-directory') or of type
'pkcs11'. In the latter case, keys should be stored in a HSM that is
accessible through a PKCS#11 interface.

Keys configured within 'dnssec-policy' can now also use the 'key-store'
option to set a specific key store.

Update the checkconf test to accomodate for the new configuration.

Merge branch '4510-doc-key-lifetime-too-short' into 'main'

Fix ZSK lifetime minimum constraints documentation

Closes #4510

See merge request isc-projects/bind9!8621

Add CHANGES for #4510

Fix ZSK lifetime minimum constraints documentation

The ARM failed to mention that the ZSK lifetime minimum also depends
on the signing delay.

Merge branch 'mnowak/pytest_rewrite_dialup' into 'main'

Rewrite dialup system test to pytest

See merge request isc-projects/bind9!8668

Rewrite dialup system test to pytest

Speed up test by lowering "heartbeat-interval" to 1

Merge branch '4419-add-the-ability-to-add-the-ul-edns-option-to-update-messages' into 'main'

Resolve "Add the ability to add the UL EDNS option to UPDATE messages"

Closes #4419

See merge request isc-projects/bind9!8469

Add CHANGES note for [GL #4419]

Add support to set the UL EDNS option in nsupdate

This adds a 'lease' command to nsupdate which sets the UL EDNS
option to the desired values.  The values are visible via show.

Extend dns_message_setopt to clear the opt record

Use NULL to signal that the opt record, if any, set on the
message be removed.

check ednsopt UL prints as expected

Add minimal EDNS UL option support

This is defined in draft-ietf-dnssd-update-lease.  This adds the
ability to display the option and teaches dig about the name 'UL'.

Merge branch 'mnowak/rpz-drop-queryperf-support' into 'main'

Drop queryperf support from rpz system test

See merge request isc-projects/bind9!8649

Drop queryperf support from rpz system test

The queryperf support in the rpz system test is not utilized in the CI,
is likely not unused at all, and should be dropped.

Merge branch '4541-values-of-ruletype-field-for-update-policy-statement' into 'main'

Resolve "values of ruletype field for update-policy statement"

Closes #4541

See merge request isc-projects/bind9!8663

Fix rule count, should be 18

Merge branch '4445-stop-leaking-queries-to-root-in-tests' into 'main'

Ensure no test queries leak to root server

Closes #4445

See merge request isc-projects/bind9!8521

Delete unused config file in dnssec system test

Ensure tests use mock root server if configured

These tests have ns1 configured as a mock root server. Make sure it is
used in all config files of those tests, otherwise some queries could
leak to root nameservers.

Blackhole queries to root servers in tests

Some tests don't have a mock root server configured, because they don't
need one. However, these tests might still leak queries to actual name
servers. Add a shared root hints file which can serve as a blackhole for
these queries.

Don't use root server in addzone test

Merge branch 'tkrizek/split-up-dnsrps-test-cases' into 'main'

Split up the dnsrps and native variants of rpz system tests

See merge request isc-projects/bind9!8420

Remove obsolete ckdnsrps.sh script

As dnsrps and native test cases have been properly split up, the
ckdnsrps.sh script is no longer used anywhere, as the logic for
selecting these test cases is handled by pytest.

Split up the dnsrps and native variants of rpz system tests

Previously, dnsrps test was executed as an optional part of the rpz and
rpzrecurse system tests. This was conceptually problematic, as the test
took the responsibility of running parts of the test framework -
cleaning files and setting up servers again.

Instead, allow these tests to execute either the native variant, or the
dnsrps one. To ensure the same test coverage, trigger both of these
variants as separate test cases from pytest.

Merge branch '4404-add-workaround-to-force-jemalloc-linking-order' into 'main'

Add workaround for jemalloc linking order

Closes #4404

See merge request isc-projects/bind9!8609

Add CHANGES note for [GL #4404]

Link jemalloc again for testing unit build order

Forward declare mallocx in isc/mem.h

cmocka.h and jemalloc.h/malloc_np.h has conflicting macro definitions.
While fixing them with push_macro for only malloc is done below, we only
need the non-standard mallocx interface which is easy to just define by
ourselves.

Add workaround for jemalloc linking order

Because we don't use jemalloc functions directly, but only via the
libisc library, the dynamic linker might pull the jemalloc library
too late when memory has been already allocated via standard libc
allocator.

Add a workaround round isc_mem_create() that makes the dynamic linker
to pull jemalloc earlier than libc.

Merge branch '4527-improve-tls-framing-for-dot' into 'main'

TLS: improve framing by assembling DNS message in one buffer

Closes #4527

See merge request isc-projects/bind9!8646

TLS: improve framing by assembling DNS message in one buffer

This commit improves TLS messages framing by avoiding an extra call to
SSL_write_ex(). Before that we would use an extra SSL_write_ex() call
to pass DNS message length to OpenSSL. That could create an extra TLS
frame, increasing number of bytes sent due to frame header and
padding.

This commit fixes that by making the code pass both DNS message length
and data at once, just like old TLS code did.

It should improve compatibility with some buggy clients that expect
both DNS message length and data to be in one TLS frame.

Older TLS DNS code worked like this, too.

Merge branch '4425-current-level-of-tcp-clients-missing-from-statistics-channel' into 'main'

Expose the TCP client count in statistics channel

Closes #4425

See merge request isc-projects/bind9!8616

Add CHANGES and release note for [GL #4425]

Expose the TCP client count in statistics channel

The statistics channel does not expose the current number of TCP clients
connected, only the highwater. Therefore, users did not have an easy
means to collect statistics about TCP clients served over time. This
information could only be measured as a seperate mechanism via rndc by
looking at the TCP quota filled.

In order to expose the exact current count of connected TCP clients
(tracked by the "tcp-clients" quota) as a statistics counter, an
extra, dedicated Network Manager callback would need to be
implemented for that purpose (a counterpart of ns__client_tcpconn()
that would be run when a TCP connection is torn down), which is
inefficient. Instead, track the number of currently-connected TCP
clients separately for IPv4 and IPv6, as Network Manager statistics.

Merge branch '4536-remove-wrong-INSIST-fix-cipher-suites-test' into 'main'

TCP: remove wrong INSIST(csock->recv_cb != NULL), disable the "cipher-suites" test in FIPS mode

Closes #4536

See merge request isc-projects/bind9!8655

Skipping portions of cipher-suites test in FIPS mode

We need to skip some portions the system test in FIPS mode as some of
the algorithms used in the test are not available when using the FIPS
mode (e.g. TLS_CHACHA20_POLY1305_SHA256)

TCP: remove wrong INSIST(csock->recv_cb != NULL)

This commit removes wrong INSIST() condition as the assumption that if
'csock->recv_cb != NULL' iff 'csock->statichandle != NULL' is wrong.

There is no direct relation between 'csock->statichandle' and
'csock->recv_cb', as 'csock->statichandle' gets set when allocating a
handle regardless of 'csock->recv_cb' not being NULL, as it is
possible to attach to the handle without starting a read operation (at
the very least, it is correct to start writing before reading).

That condition made `cipher-suites` system test fail with crash on
some platforms in FIPS mode (namely, Oracle Linux 9) despite not being
related to FIPS at all.

Merge branch 'michal/set-up-version-and-release-notes-for-bind-9.19.22' into 'main'

Set up version and release notes for BIND 9.19.22

See merge request isc-projects/bind9!8651

Reduce duplication between checklists

Account for February 2024 releases in CHANGES

Set up release notes for BIND 9.19.22

Update BIND version to 9.19.22-dev

Merge branch '4528-honor-listen-on-changes-logic-fixup' into 'main'

Fix flawed logic when detecting same listener type

See merge request isc-projects/bind9!8648

Fix flawed logic when detecting same listener type

The older version of the code was reporting that listeners are going
to be of the same type after reconfiguration when switching from DoT
to HTTPS listener, making BIND abort its executions.

That was happening due to the flaw in logic due to which the code
could consider a current listener and a configuration for the new one
to be of the same type (DoT) even when the new listener entry is
explicitly marked as HTTP.

The checks for PROXY in between the configuration were masking that
behaviour, but when porting it to 9.18 (when there is no PROXY
support), the behaviour was exposed.

Now the code mirrors the logic in 'interface_setup()' closely (as it
was meant to).

Merge branch '4520-log-message-in-lib-ns-update-c-needs-updating' into 'main'

Resolve "Log message in lib/ns/update.c needs updating"

Closes #4520

See merge request isc-projects/bind9!8622

Report the type being filtered from an UPDATE

When processing UPDATE request DNSKEY, CDNSKEY and CDS record that
are managed by named are filtered out.  The log message has been
updated to report the actual type rather that just DNSKEY.

Merge branch '4528-honor-listen-on-changes' into 'main'

Recreate listeners on DNS transport change when editing listen-on statements before reconfiguration

Closes #4528 and #4518

See merge request isc-projects/bind9!8644

Update release notes [GL #4518] [GL #4528]

Mentioned that all changes to listen-on statements are now applied on
reconfiguration.

Update CHANGES [GL #4518] [GL #4528]

Mentioned that all changes to listen-on statements are now applied on
reconfiguration.

Add a system test to verify listener transport change functionality

This commit adds a system test that helps to verify that changing a
listener transport by editing "listen-on" statements before
reconfiguration works as expected.

Recreate listeners on DNS transport change

This commit ensures that listeners are recreated on reconfiguration in
the case when their type changes (or when PROXY protocol type changes,
too).

Previously, if a "listen-on" statement was modified to represent a
different transport, BIND would not pick-up the change on
reconfiguration if listener type changes (e.g. DoH -> DoT) for a given
interface address and port combination. This commit fixes that by
recreating the listener.

Initially, that worked for most of the new transports as we would
recreate listeners on each reconfiguration for DoH and DoT. But at
some point we changed that in such a way that listeners were not
recreated to avoid rebinding a port as on some platforms only root can
do that for port numbers <1000, making some ports binding possible
only on start-up. We chose to asynchronously update listener socket
settings (like TLS contexts, HTTP settings) instead.

Now, we both avoid recreating the sockets if unnecessary and recreate
listeners when listener type changes.

Merge branch '3504-tls-cipher-suites' into 'main'

Add "cipher-suites" option to the "tls" block

Closes #3504

See merge request isc-projects/bind9!8576

Update the release notes [GL #3504]

Mention that the 'tls' block was extended with a new 'cipher-suites'
option.

Update CHANGES [GL #3504]

Mention that the 'tls' block was extended with a new 'cipher-suites'
option.

Update the options reference to document 'cipher-suites'

This commit documents the new 'cipher-suites' options of the 'tls'
statement.

Update the documentation for the 'ciphers' option

We need to mention that the 'ciphers' option works only for TLSv1.2
because that is known to cause confusion for some of our users.

Add TLS 'cipher-suites' checkconf test

This commit adds a set of valid and invalid configuration files
samples that use the new 'cipher-suites' option of the 'tls'
statement.

Add a 'cipher-suites' option system test

This commit adds a new system test which verifies that using the
'cipher-suites' option actually works as expected (as well as adds
first TLSv1.3 specific tests).

Integrate TLS cipher suites support into BIND

This commit makes BIND use the new 'cipher-suites' option from the
'tls' statement.

Add TLS cipher suites configuration option to BIND

This commit extends the 'tls' statement with 'cipher-suites' option.

Add TLS cipher-suites related low-level functionality

This commits adds low-level wrappers on top of
'SSL_CTX_set_ciphersuites()'. These are going to be a foundation
behind the 'cipher-suites' option of the 'tls' statement.

Merge branch '4508-crash-in-host' into 'main'

Fix a possible dig/host crash in "NS search" mode

Closes #4508

See merge request isc-projects/bind9!8635

Add a CHANGES note for [GL #4508]

Print a dig comment about the failed query consistently

Dig failed to print a comment about the reason of the unacceptable
query reply got from a server when there was no other query to
start in the lookup's chain.

Add an "else" block to print out the comment even when not starting
up the next query.

Fix a possible dig/host crash in "NS search" mode

When getting a SERVFAIL reply from a query, 'host' tries to start
the next query in the lookup's list (also true for 'dig  +nofail').
However, when running with the '-C' switch (or +nssearch for 'dig'),
all the queries in the lookup start from the beginning, so that logic
brings to a crash because of the attempted start of the query which
was already started.

Don't start the next query in the affected code path when in +nssearch
mode.

Merge branch '4501-defer-control-channel-message-invalidation' into 'main'

Defer control channel message invalidation

Closes #4501

See merge request isc-projects/bind9!8641

Defer control channel message invalidation

The conn_shutdown() function is called whenever a control channel
connection is supposed to be closed, e.g. after a response to the client
is sent or when named is being shut down.  That function calls
isccc_ccmsg_invalidate(), which resets the magic number in the structure
holding the messages exchanged over a given control channel connection
(isccc_ccmsg_t).  The expectation here is that all operations related to
the given control channel connection will have been completed by the
time the connection needs to be shut down.

However, if named shutdown is initiated while a control channel message
is still in flight, some netmgr callbacks might still be pending when
conn_shutdown() is called and isccc_ccmsg_t invalidated.  This causes
the REQUIRE assertion checking the magic number in ccmsg_senddone() to
fail when the latter function is eventually called, resulting in a
crash.

Fix by splitting up isccc_ccmsg_invalidate() into two separate
functions:

  - isccc_ccmsg_disconnect(), which initiates TCP connection shutdown,
  - isccc_ccmsg_invalidate(), which cleans up magic number and buffer,

and then:

  - replacing all existing uses of isccc_ccmsg_invalidate() with calls
    to isccc_ccmsg_disconnect(),

  - only calling isccc_ccmsg_invalidate() when all netmgr callbacks are
    guaranteed to have been run.

Adjust function comments accordingly.

Merge branch '3535-fetchlimit-test-flaky' into 'main'

Allow the fetchlimit test to be re-run

Closes #3535

See merge request isc-projects/bind9!8612

Allow the fetchlimit test to be re-run

The test is known to be unstable due to timing issues. Prevent frequent
false positives by allowing the test to be re-run by the flaky pytest
plugin.

Don't type-check the flaky plugin with mypy

Since we execute mypy for bin/tests/system/isctest package, this is now
needed because the flaky package doesn't have type hints.

Move custom pytest markers into isctest module

Keep our pytest code more organized by moving the shared code for custom
pytest markers into a dedicated isctest/mark.py module.

Merge branch 'tkrizek/nsupdate-test-flaky-on-freebsd' into 'main'

Allow nsupdate test rerun on FreeBSD

See merge request isc-projects/bind9!8638

Allow nsupdate test rerun on FreeBSD

The "exceeded time limit waiting for literal 'too many DNS UPDATEs
queued' in ns1/named.run" is prone to fail due to a timing issue.
Despite out efforts to stabilize it, the check still often fails on
FreeBSD in our CI. Allow the test to be re-run on this platform.

Merge branch '4522-dig-in-9-19-19-accept-weird-source-and-destination-ports-within-the-proxy-statement' into 'main'

Resolve "Dig in 9.19.19 accept weird source- and destination-ports within the "proxy"-statement"

Closes #4522

See merge request isc-projects/bind9!8626

Error if proxy ports are too big

Merge branch 'aram/tests-dighost-fix-intermittent-failure' into 'main'

Make digdelv test work in different network envs (continued)

See merge request isc-projects/bind9!8636

Make digdelv test work in different network envs (continued)

This commit complements the 1e7d832342aa2aaaeb8ef1710ec095dfcade4c6d
commit.

Merge branch 'tkrizek/xfer-test-dnssec-validation-no' into 'main'

Add missing dnssec-validation to ns4 in xfer test

See merge request isc-projects/bind9!8630

Add missing dnssec-validation to ns4 in xfer test

This file was missing explicit dnssec-validation. Seems like it was
missed in our previous efforts, probably because of the different
filename / extension. Rename it to end with *.in to reflect that it is a
template file used by copy_setports.

Merge branch '4521-timeout-in-dig-not-handled-in-rndc-system-test' into 'main'

Resolve "Timeout in dig not handled in system tests"

Closes #4521

See merge request isc-projects/bind9!8623

Handle dig timing out gracefully in upforwd

Handle dig timing out gracefully in staticstub

Handle dig timing out gracefully in sortlist

Handle dig timing out gracefully in rpz

Handle dig timing out gracefully in rootkeysentinel

Handle dig timing out gracefully in qmin

Handle dig timing out gracefully in padding