Update release notes [GL #4518] [GL #4528]

Mentioned that all changes to listen-on statements are now applied on
reconfiguration.

Update CHANGES [GL #4518] [GL #4528]

Mentioned that all changes to listen-on statements are now applied on
reconfiguration.

Add a system test to verify listener transport change functionality

This commit adds a system test that helps to verify that changing a
listener transport by editing "listen-on" statements before
reconfiguration works as expected.

Recreate listeners on DNS transport change

This commit ensures that listeners are recreated on reconfiguration in
the case when their type changes (or when PROXY protocol type changes,
too).

Previously, if a "listen-on" statement was modified to represent a
different transport, BIND would not pick-up the change on
reconfiguration if listener type changes (e.g. DoH -> DoT) for a given
interface address and port combination. This commit fixes that by
recreating the listener.

Initially, that worked for most of the new transports as we would
recreate listeners on each reconfiguration for DoH and DoT. But at
some point we changed that in such a way that listeners were not
recreated to avoid rebinding a port as on some platforms only root can
do that for port numbers <1000, making some ports binding possible
only on start-up. We chose to asynchronously update listener socket
settings (like TLS contexts, HTTP settings) instead.

Now, we both avoid recreating the sockets if unnecessary and recreate
listeners when listener type changes.

Merge branch '3504-tls-cipher-suites' into 'main'

Add "cipher-suites" option to the "tls" block

Closes #3504

See merge request isc-projects/bind9!8576

Update the release notes [GL #3504]

Mention that the 'tls' block was extended with a new 'cipher-suites'
option.

Update CHANGES [GL #3504]

Mention that the 'tls' block was extended with a new 'cipher-suites'
option.

Update the options reference to document 'cipher-suites'

This commit documents the new 'cipher-suites' options of the 'tls'
statement.

Update the documentation for the 'ciphers' option

We need to mention that the 'ciphers' option works only for TLSv1.2
because that is known to cause confusion for some of our users.

Add TLS 'cipher-suites' checkconf test

This commit adds a set of valid and invalid configuration files
samples that use the new 'cipher-suites' option of the 'tls'
statement.

Add a 'cipher-suites' option system test

This commit adds a new system test which verifies that using the
'cipher-suites' option actually works as expected (as well as adds
first TLSv1.3 specific tests).

Integrate TLS cipher suites support into BIND

This commit makes BIND use the new 'cipher-suites' option from the
'tls' statement.

Add TLS cipher suites configuration option to BIND

This commit extends the 'tls' statement with 'cipher-suites' option.

Add TLS cipher-suites related low-level functionality

This commits adds low-level wrappers on top of
'SSL_CTX_set_ciphersuites()'. These are going to be a foundation
behind the 'cipher-suites' option of the 'tls' statement.

Merge branch '4508-crash-in-host' into 'main'

Fix a possible dig/host crash in "NS search" mode

Closes #4508

See merge request isc-projects/bind9!8635

Add a CHANGES note for [GL #4508]

Print a dig comment about the failed query consistently

Dig failed to print a comment about the reason of the unacceptable
query reply got from a server when there was no other query to
start in the lookup's chain.

Add an "else" block to print out the comment even when not starting
up the next query.

Fix a possible dig/host crash in "NS search" mode

When getting a SERVFAIL reply from a query, 'host' tries to start
the next query in the lookup's list (also true for 'dig  +nofail').
However, when running with the '-C' switch (or +nssearch for 'dig'),
all the queries in the lookup start from the beginning, so that logic
brings to a crash because of the attempted start of the query which
was already started.

Don't start the next query in the affected code path when in +nssearch
mode.

Merge branch '4501-defer-control-channel-message-invalidation' into 'main'

Defer control channel message invalidation

Closes #4501

See merge request isc-projects/bind9!8641

Defer control channel message invalidation

The conn_shutdown() function is called whenever a control channel
connection is supposed to be closed, e.g. after a response to the client
is sent or when named is being shut down.  That function calls
isccc_ccmsg_invalidate(), which resets the magic number in the structure
holding the messages exchanged over a given control channel connection
(isccc_ccmsg_t).  The expectation here is that all operations related to
the given control channel connection will have been completed by the
time the connection needs to be shut down.

However, if named shutdown is initiated while a control channel message
is still in flight, some netmgr callbacks might still be pending when
conn_shutdown() is called and isccc_ccmsg_t invalidated.  This causes
the REQUIRE assertion checking the magic number in ccmsg_senddone() to
fail when the latter function is eventually called, resulting in a
crash.

Fix by splitting up isccc_ccmsg_invalidate() into two separate
functions:

  - isccc_ccmsg_disconnect(), which initiates TCP connection shutdown,
  - isccc_ccmsg_invalidate(), which cleans up magic number and buffer,

and then:

  - replacing all existing uses of isccc_ccmsg_invalidate() with calls
    to isccc_ccmsg_disconnect(),

  - only calling isccc_ccmsg_invalidate() when all netmgr callbacks are
    guaranteed to have been run.

Adjust function comments accordingly.

Merge branch '3535-fetchlimit-test-flaky' into 'main'

Allow the fetchlimit test to be re-run

Closes #3535

See merge request isc-projects/bind9!8612

Allow the fetchlimit test to be re-run

The test is known to be unstable due to timing issues. Prevent frequent
false positives by allowing the test to be re-run by the flaky pytest
plugin.

Don't type-check the flaky plugin with mypy

Since we execute mypy for bin/tests/system/isctest package, this is now
needed because the flaky package doesn't have type hints.

Move custom pytest markers into isctest module

Keep our pytest code more organized by moving the shared code for custom
pytest markers into a dedicated isctest/mark.py module.

Merge branch 'tkrizek/nsupdate-test-flaky-on-freebsd' into 'main'

Allow nsupdate test rerun on FreeBSD

See merge request isc-projects/bind9!8638

Allow nsupdate test rerun on FreeBSD

The "exceeded time limit waiting for literal 'too many DNS UPDATEs
queued' in ns1/named.run" is prone to fail due to a timing issue.
Despite out efforts to stabilize it, the check still often fails on
FreeBSD in our CI. Allow the test to be re-run on this platform.

Merge branch '4522-dig-in-9-19-19-accept-weird-source-and-destination-ports-within-the-proxy-statement' into 'main'

Resolve "Dig in 9.19.19 accept weird source- and destination-ports within the "proxy"-statement"

Closes #4522

See merge request isc-projects/bind9!8626

Error if proxy ports are too big

Merge branch 'aram/tests-dighost-fix-intermittent-failure' into 'main'

Make digdelv test work in different network envs (continued)

See merge request isc-projects/bind9!8636

Make digdelv test work in different network envs (continued)

This commit complements the 1e7d832342aa2aaaeb8ef1710ec095dfcade4c6d
commit.

Merge branch 'tkrizek/xfer-test-dnssec-validation-no' into 'main'

Add missing dnssec-validation to ns4 in xfer test

See merge request isc-projects/bind9!8630

Add missing dnssec-validation to ns4 in xfer test

This file was missing explicit dnssec-validation. Seems like it was
missed in our previous efforts, probably because of the different
filename / extension. Rename it to end with *.in to reflect that it is a
template file used by copy_setports.

Merge branch '4521-timeout-in-dig-not-handled-in-rndc-system-test' into 'main'

Resolve "Timeout in dig not handled in system tests"

Closes #4521

See merge request isc-projects/bind9!8623

Handle dig timing out gracefully in upforwd

Handle dig timing out gracefully in staticstub

Handle dig timing out gracefully in sortlist

Handle dig timing out gracefully in rpz

Handle dig timing out gracefully in rootkeysentinel

Handle dig timing out gracefully in qmin

Handle dig timing out gracefully in padding

Handle dig timing out gracefully in nsupdate

Handle dig timing out gracefully in names

Handle dig timing out gracefully in masterfile

Handle dig timing out gracefully in logfileconfig

Handle dig timing out gracefully in legacy

Handle dig timing out gracefully in keepalive

Handle dig timing out gracefully in dnstap

Handle dig timing out gracefully in cookie

Handle dig timing out gracefully in autosign

Handle dig timing out gracefully in auth

Handle dig timing out gracefully in allow-query

Handle dig timing out gracefully in serve-stale

Handle dig timing out gracefully in rndc

Merge branch 'mnowak/set-up-version-and-release-notes-for-bind-9.19.21' into 'main'

Set up version and release notes for BIND 9.19.21

See merge request isc-projects/bind9!8627

Set up release notes for BIND 9.19.21

Update BIND version to 9.19.21-dev

Update BIND version for release

Add a CHANGES marker

Merge branch 'michal/prepare-documentation-for-bind-9.19.20' into 'v9.19.20-release'

Prepare documentation for BIND 9.19.20

See merge request isc-private/bind9!624

Fix Danger rules for flagging release note issues

The logic contained in dangerfile.py incorrectly warns about missing
release note changes for merge requests preparing release documentation
as such merge requests rename files in the doc/notes/ directory.  This
(correctly) causes these files to be passed to dangerfile.py via
danger.git.created_files and danger.git.deleted_files rather than via
danger.git.modified_files, which in turn causes the logic checking the
use of the "Release Notes" label to assume that no release notes are
added, removed, or modified by a given merge request.

Fix by considering all types of file changes (modifications, additions,
and removals - which also covers file renaming) when checking whether a
given merge request modifies release notes.  Update the warning messages
accordingly.

However, when trying to find release notes added by a given merge
request, deleted files must not be considered.  Tweak the logic looking
for GitLab identifiers in the release notes added by a given merge
request so that it only scans modified and added (or renamed) files.

Tweak and reword release notes

Prepare release notes for BIND 9.19.20

Merge branch '4383-limit-tree-pruning-overhead' into 'v9.19.20-release'

Limit isc_async_run() overhead for tree pruning

See merge request isc-private/bind9!619

Add CHANGES entry for GL #4383

Limit isc_async_run() overhead for tree pruning

Instead of issuing a separate isc_async_run() call for every RBTDB node
that triggers tree pruning, maintain a list of nodes from which tree
pruning can be started from and only issue an isc_async_run() call if
pruning has not yet been triggered by another RBTDB node.

In some older BIND 9 branches, the extra queuing overhead eliminated by
this change could be remotely exploited to cause excessive memory use.
Due to architectural shift, this branch is not vulnerable to that issue,
but applying the fix to the latter is nevertheless deemed prudent for
consistency and to make the code future-proof.

Merge branch '4334-confidential-dns64-and-serve-stale' into 'v9.19.20-release'

[CVE-2023-5679] Fix a bad interaction between DNS64 and serve-stale

See merge request isc-private/bind9!588

Add release note for [GL #4334]

Add CHANGES note for [GL #4334]

Restore dns64 state during serve-stale processing

If we are in the process of looking for the A records as part of
dns64 processing and the server-stale timeout triggers, redo the
dns64 changes that had been made to the orignal qctx.

Merge branch '4281-confidential-redirect-rfc1918-check-failure' into 'v9.19.20-release'

[CVE-2023-5517] Fix handling of RFC 1918 reverse queries with "nxdomain-redirect" enabled

See merge request isc-private/bind9!584

Add release note for [GL #4281]

Add CHANGES note for [GL #4281]

Save the correct result value to resume with nxdomain-redirect

The wrong result value was being saved for resumption with
nxdomain-redirect when performing the fetch.  This lead to an assert
when checking that RFC 1918 reverse queries where not leaking to
the global internet.

Merge branch '4234-confidential-use-hashmap-when-parsing' into 'v9.19.20-release'

[CVE-2023-4408] Use hashmap when parsing DNS messages

See merge request isc-private/bind9!560

Add CHANGES and release note for [GL #4234]

Use hashmap when parsing a message

When parsing messages use a hashmap instead of a linear search to reduce
the amount of work done in findname when there's more than one name in
the section.

There are two hashmaps:

1) hashmap for owner names - that's constructed for each section when we
hit the second name in the section and destroyed right after parsing
that section;

2) per-name hashmap - for each name in the section, we construct a new
hashmap for that name if there are more than one rdataset for that
particular name.

Merge branch '4182-confidential-fix-races-in-dns-tsigkey-find' into 'v9.19.20-release'

Address races in dns_tsigkey_find()

See merge request isc-private/bind9!548

Add CHANGES note for [GL #4182]

Address races in dns_tsigkey_find()

1) Restart the process with a write lock if we discover an expired key
while holding the read lock.

2) Move incrementing the key reference inside the lock block of code.

Merge branch 'michal/add-placeholder-entries-to-CHANGES' into 'main'

Add placeholder entries to CHANGES

See merge request isc-projects/bind9!8625

Add placeholder entries to CHANGES

Add placeholders for the following issues:

  - [GL #4182]
  - [GL #4234]
  - [GL #4281]
  - [GL #4334]
  - [GL #4356]
  - [GL #4383]

Merge branch 'aydin/isc_header_atomic_fix' into 'main'

Use and check for <isc/atomic.h> instead of <stdatomic.h> directly

See merge request isc-projects/bind9!8582

Check for atomic operations consistency in checklibs.sh

isc/atomic.h and its defined macros should be preferred over
stdatomic.h and explicit atomic operations.

Fix the redundant stdatomic.h header in histo.c found by the introduced
check.

Use <isc/atomic.h> instead of <stdatomic.h> directly in <isc/types.h>

Merge branch '4466-cds-is-stuck-on-an-old-key' into 'main'

Resolve "CDS is stuck on an old key."

Closes #4466

See merge request isc-projects/bind9!8565

Add CHANGES note for [GL #4466]

Set the DNSKEY TTLs to match the dnssec policy

This prevents the DNSKEY records being updated and the statistics
not matching as a consequence

Create keys with TTLs that match the policies TTL

Make $TTL match dnskey-ttl

Write new DNSKEY TTL to key file

When the current DNSKEY TTL does not match the one from the policy,
write the new TTL to disk.

Only create private records for DNSKEYs that have changed

We don't need to create private records for DNSKEY records that
have only had their TTL's changed.

sync_secure_db failed to handle some TTL changes

If the DNSKEY, CDNSKEY or CDS RRset had different TTLs then the
filtering of these RRset resulted in dns_diff_apply failing with
"not exact". Identify tuple pairs that are just TTL changes and
allow them through the filter.

Use the current CDS and CDNSKEY TTLs

When adding new CDS and CDNSKEY records use the existing RRset
TTL if they already exist.

Update the DNSKEY, CDNSKEY and CDS TTLs to match dnskey-ttl

If the TTLs of the DNSKEY, CDNSKEY and CDS do not match the
dnskey-ttl update them by removing all records and re-adding
them with the correct TTL.

Test dnssec-policy dnskey-ttl behaviour

If the dnskey-ttl in the dnssec-policy doesn't match the DNSKEY's
ttl then the DNSKEY, CDNSKEY and CDS rrset should be updated by
named to reflect the expressed policy.  Check that named does this
by creating a zone with a TTL that does not match the policy's TTL
and check that it is correctly updated.

Merge branch '4513-system-tests-fail-with-net-dns-1-42' into 'main'

Resolve "System tests fail with Net::DNS 1.42"

Closes #4513

See merge request isc-projects/bind9!8615

Support Net::DNS::Nameserver 1.42

In Net::DNS 1.42 $ns->main_loop no longer loops.  Use current methods
for starting the server, wait for SIGTERM then cleanup child processes
using $ns->stop_server(), then remove the pid file.

Merge branch 'michal/silence-a-scan-build-warning-in-dns_rbt_addname' into 'main'

Silence a scan-build warning in dns_rbt_addname()

See merge request isc-projects/bind9!8614

Silence a scan-build warning in dns_rbt_addname()

Clang Static Analyzer is unable to grasp that when dns_rbt_addnode()
returns ISC_R_EXISTS, it always sets the pointer passed to it via its
'nodep' parameter to a non-NULL value.  Add an extra safety check in the
conditional expression used in dns_rbt_addname() to silence that
warning.

Merge branch 'mnowak/pytest_rewrite_spf' into 'main'

Rewrite spf system test to pytest

See merge request isc-projects/bind9!8572