Add isc_dnsbuffer_t implementation

This commit adds "isc_dnsbuffer_t" object implementation, a thin
wrapper on top of "isc_buffer_t" which has the following
characteristics:

* provides interface specifically atuned for handling/generating DNS
messages, especially in the format used for DNS messages over TCP;
* avoids allocating dynamic memory when handling small DNS messages,
while transparently switching to using dynamic memory when handling
larger messages. This approach significantly reduces pressure on the
memory allocator, as most of the DNS messages are small.

TLS: add an internal function isc__nmhandle_get_selected_alpn()

The added function provides the interface for getting an ALPN tag
negotiated during TLS connection establishment.

The new function can be used by higher level transports.

TLS: add manual read timer control mode

This commit adds manual read timer control mode, similarly to TCP.
This way the read timer can be controlled manually using:

* isc__nmsocket_timer_start();
* isc__nmsocket_timer_stop();
* isc__nmsocket_timer_restart().

The change is required to make it possible to implement more
sophisticated read timer control policies in DNS transports, built on
top of TLS.

TCP: add manual read timer control mode

This commit adds a manual read timer control mode to the TCP
code (adding isc__nmhandle_set_manual_timer() as the interface to it).

Manual read timer control mode suppresses read timer restarting the
read timer when receiving any amount of data. This way the read timer
can be controlled manually using:

* isc__nmsocket_timer_start();
* isc__nmsocket_timer_stop();
* isc__nmsocket_timer_restart().

The change is required to make it possible to implement more
sophisticated read timer control policies in DNS transports, built on
top of TCP.

TLS: expose the ability to (re)start and stop underlying read timer

This commit adds implementation of isc__nmsocket_timer_restart() and
isc__nmsocket_timer_stop() for generic TLS code in order to make its
interface more compatible with that of TCP.

TLS: add isc__nmsocket_timer_running() support

This commit adds isc__nmsocket_timer_running() support to the generic
TLS code in order to make it more compatible with TCP.

TLS: isc_nm_bad_request() and isc__nmsocket_reset() support

This commit adds implementations of isc_nm_bad_request() and
isc__nmsocket_reset() to the generic TLS stream code in order to make
it more compatible with TCP code.

Merge branch 'ondrej-refactor-isc_buffer-for-dnsstream' into 'main'

Change the isc_buffer_reserve() to take just buffer pointer

See merge request isc-projects/bind9!7235

Use 'restrict' and 'const' for 'isc_buffer_t'

The purpose of this commit is to aid compiler in generating better
code when working with `isc_buffer_t` objects by using restricted
pointers (and, to a lesser extent, 'const' modifier for read-only
arguments).

This way we, basically, instruct the compiler that the members of
structured passed by pointers into the functions can be treated as
local variables in the scope of a function. That should reduce the
number of load/store operations emitted by compilers when accessing
objects (e.g. 'isc_buffer_t') via pointers.

Add isc_buffer_trycompact() function needed for StreamDNS

Add isc_buffer_trycompact() that's an optimization; it will compact the
buffer only when the remaining length is smaller than used length.

Add isc_buffer_setmctx() and isc_buffer_clearmctx() function

Add two extra functions needed by StreamDNS:

1. isc_buffer_setmctx() sets the buffer internal memory context, so we
   can use isc_buffer_reserve() on the buffer.  For this, we also need
   to track whether the .base was dynamically allocated or not.  This
   needs to be called after isc_buffer_init() and before first
   isc_buffer_reserve() call.

2. isc_buffer_clearmctx() clears the buffer internal memory context, and
   frees any dynamically allocated buffer.  This needs to be called
   after the last isc_buffer_reserve() call and before calling the
   isc_buffer_invalidate()

Make the isc_buffer unit header-only

The isc_buffer is often used in the hot-path, so make it header-only
implementation.

Cleanup the isc_buffer_reserve() usage in put*() helpers

There are couple places where we use putstr(), putmem(), ... helpers
that tries to reserve space and only if successful puts the data onto
the buffer.  Cleanup the double reference as it's not needed there.

Add a static pre-allocated buffer to isc_buffer_t

When the buffer is allocated via isc_buffer_allocate() and the size is
smaller or equal ISC_BUFFER_STATIC_SIZE (currently 512 bytes), the
buffer will be allocated as a flexible array member in the buffer
structure itself instead of allocating it on the heap.  This should help
when the buffer is used on the hot-path with small allocations.

Enable auto-reallocation for all isc_buffer_allocate() buffers

When isc_buffer_t buffer is created with isc_buffer_allocate() assume
that we want it to always auto-reallocate instead of having an extra
call to enable auto-reallocation.

Remove single use isc_buffer_putdecint() function

The isc_buffer_putdecint() could be easily replaced with
isc_buffer_printf() with just a small overhead of calling vsnprintf()
twice instead once.  This is not on a hot-path (dns_catz unit), so we
can ignore the overhead and instead have less single-use code in favor
of using reusable more generic function.

Refactor the isc_buffer_{get,put}uintN, add isc_buffer_peekuintN

The Stream DNS implementation needs a peek methods that read the value
from the buffer, but it doesn't advance the current position.  Add
isc_buffer_peekuintX methods, refactor the isc_buffer_{get,put}uintN
methods to modern integer types, and move the isc_buffer_getuintN to the
header as static inline functions.

Move and extend the uint8_t low-endian to uint{32,64}t to endian.h

Move the U8TO{32,64}_LE and U{32,64}TO8_LE macros to endian.h and extend
the macros for 16-bit and Big-Endian variants.

Use the macros both in isc_siphash (LE) and isc_buffer (BE) units.

Change the isc_buffer_reserve() to take just buffer pointer

The isc_buffer_reserve() would be passed a reference to the buffer
pointer, which was unnecessary as the pointer would never be changed
in the current implementation.  Remove the extra dereference.

Merge branch '3178-dispatch-race' into 'main'

Fix the thread safety in the dns_dispatch unit

Closes #3178

See merge request isc-projects/bind9!7025

Add CHANGES and release note for [GL #3178] and [GL #3636]

Fix the thread safety in the dns_dispatch unit

The dispatches are not thread-bound, and used freely between various
threads (see the dns_resolver and dns_request units for details).

This refactoring make sure that all non-const dns_dispatch_t and
dns_dispentry_t members are accessed under a lock, and both object now
track their internal state (NONE, CONNECTING, CONNECTED, CANCELED)
instead of guessing the state from the state of various struct members.

During the refactoring, the artificial limit DNS_DISPATCH_SOCKSQUOTA on
UDP sockets per dispatch was removed as the limiting needs to happen and
happens on in dns_resolver and limiting the number of UDP sockets
artificially in dispatch could lead to unpredictable behaviour in case
one dispatch has the limit exhausted by others are idle.

The TCP artificial limit of DNS_DISPATCH_MAXREQUESTS makes even less
sense as the TCP connections are only reused in the dns_request API
that's not a heavy user of the outgoing connections.

As a side note, the fact that UDP and TCP dispatch pretends to be same
thing, but in fact the connected UDP is handled from dns_dispentry_t and
dns_dispatch_t acts as a broker, but connected TCP is handled from
dns_dispatch_t and dns_dispatchmgr_t acts as a broker doesn't really
help the clarity of this unit.

This refactoring kept to API almost same - only dns_dispatch_cancel()
and dns_dispatch_done() were merged into dns_dispatch_done() as we need
to cancel active netmgr handles in any case to not leave dangling
connections around.  The functions handling UDP and TCP have been mostly
split to their matching counterparts and the dns_dispatch_<function>
functions are now thing wrappers that call <udp|tcp>_dispatch_<function>
based on the socket type.

More debugging-level logging was added to the unit to accomodate for
this fact.

Merge branch '3712-fix-reference-counting-in-dns_adb-get_attached_entry-v2' into 'main'

Fix reference counting in get_attached_entry (again)

Closes #3712

See merge request isc-projects/bind9!7250

Fix reference counting in get_attached_entry (again)

When get_attached_entry() encounters entry that would be expired, it
needs to get reference to the entry before calling maybe_expire_entry(),
so the ADB entry doesn't get destroyed inside the its own lock.

This creeped into the code base again during review, so I am adding
an extra comment to prevent this.

Merge branch 'tkrizek/danger-backports' into 'main'

Check backport workflow in danger CI

See merge request isc-projects/bind9!7243

danger: remove obsolete check for cherry pick msg

With proper backport commit detection, this check has been made
redundant.

danger: check backport commits for original commit IDs

A full backport must have all the commit from the original MR and the
original commit IDs must be referenced in the backport commit messages.

If the criteria above is not met, the MR should be marked as a partial
backport. In that case, any discrepencies are only logged as informative
messages rather than failures.

danger: check that original MR has been merged

When checking a backport MR, ensure that the original MR has been merged
already. This is vital for followup checks that verify commit IDs from
original commits are present in backport commit messages.

danger: check backport links to the original MR

When doing archeology, it is much easier to find stuff if it's properly
linked. This check ensures that backport MR are linked to their original
MR via a "Backport of !XXXX" message.

The regular expression is fairly broad and has been tested to accept the
following variants of the message:
Backport of MR !XXXX
Backport of: !XXXX
backport of mr !XXXX
Backport of   !XXXX
Backport of https://gitlab.isc.org/isc-projects/bind9/-/merge_requests/XXXX

danger: ensure target branch is in the MR title

Having the MR title clearly marked in its title can be very useful when
looking through older issues/MRs.

This check also ensures that the version from the version label matches
the proper version branch (i.e. v9.16 must be marked with [v9_16]).

danger: support partial backport label

Treat the Backport::Partial label as a backport as well.

Merge branch '3740-rpz-reconfig' into 'main'

A couple of RPZ options were not reconfigured as expected

Closes #3740

See merge request isc-projects/bind9!7230

A couple of RPZ options were not reconfigured as expected

[bug] Changes to the RPZ response-policy min-update-interval
and add-soa options now take effect as expected when
named is reconfigured. [GL #3740]

Merge branch '3739-adb-cleans-overzealously-under-memory-pressure' into 'main'

Exclude the ADB hashmaps from ADB overmem accounting

Closes #3739

See merge request isc-projects/bind9!7228

Add CHANGES and release note for [GL #3739]

Don't expire fresh ADB names and entries

The overmem cleaning in ADB could become overzealous and clean fresh ADB
names and entries.  Add a safety check to not clean any ADB names and
entries that are below ADB_CACHE_MINIMUM threshold.

Exclude the ADB hashmaps from ADB overmem accounting

The ADB overmem accounting would include the memory used by hashtables
thus vastly reducing the space that can be used for ADB names and
entries when the hashtables would grow.  Create own memory context for
the ADB names and entries hash tables.

Merge branch 'ondrej-fix-data-race-in-dns_adb' into 'main'

Lock the adbname and adbentry prior to unlocking hash locks

See merge request isc-projects/bind9!7216

Lock the adbname and adbentry prior to unlocking hash locks

There was a datarace that could expire a freshly created ADB names and
entries between the return from get_attached_{name,entry} and locking it
again.  Lock the ADB name and ADB entry inside the hash table lock, so
they won't get expired until the full initialization has been complete.

Merge branch '3742-catz-update-log-incorrect-soa-serial-representation' into 'main'

Fix an incorrect SOA serial representation in catz

Closes #3742

See merge request isc-projects/bind9!7229

Add a CHANGES note for [GL #3742]

Fix logging a uint32_t SOA serial value in dns_catz_update_from_db()

The dns_catz_update_from_db() function prints serial number as a signed
number (with "%d" in the format string), but the `vers` variable's type
is 'uint32_t'. This breaks serials bigger than 2^31.

Use PRIu32 instead of "d" in the format string.

Add big SOA serial logging check into the catz system test

Check that the SOA serial numbers printed when updating a catalog zone
is represented correctly for numbers bigger than 2^31.

Merge branch 'aram/dns_adb_getcookie-cleanup' into 'main'

Clean up and refactor dns_adb_getcookie()

See merge request isc-projects/bind9!7211

Clean up and refactor dns_adb_getcookie()

The dns_adb_getcookie() doesn't use the 'adb' parameter, remove it.

Refactor the dns_adb_getcookie() function to just return the size of
the cookie when the caller passes 'NULL' as the 'cookie' argument.

Merge branch 'ondrej-use-isc_hashmap-for-zonemgr_keymgmt' into 'main'

Replace zonemgr_keymgmt own hash table with isc_hashmap

See merge request isc-projects/bind9!7191

Replace zonemgr_keymgmt own hash table with isc_hashmap

Instead of maintaining own hashtable implementation for zonemgr_keymgmt,
use isc_hashmap that already can resize (grow and shrink).

Merge branch 'ondrej-add-more-logging-to-netmgr' into 'main'

Add internal logging functions to the netmgr

See merge request isc-projects/bind9!7233

Add internal logging functions to the netmgr

Add internal logging functions isc__netmgr_log, isc__nmsocket_log(), and
isc__nmhandle_log() that can be used to add logging messages to the
netmgr, and change all direct use of isc_log_write() to use those
logging functions to properly prefix them with netmgr, nmsocket and
nmsocket+nmhandle.

Merge branch '3637-try-next-server-on-resolver-timeout' into 'main'

Try next server on resolver timeout

Closes #3637

See merge request isc-projects/bind9!7212

Add CHANGES and release notes for [GL #3637]

Expire names in shutdown_names() under the lock

Since there could be fetches running, we need to run expire_name() under
the lock when shutting down the names.

Add comment why statistics/ns3 has misconfigure root.hints

To count pending queries in the statistics, we need the ns3 to be
misconfigured.  Document the fact in the statistics/ns3/root.hints.

Revert the statistics system test change after we fixed the resolver

When the resolver was refactored, the statistics system test had to be
adjusted in c6b4d8255775a24a12b832a90a78cbf86e9faa8d.  Unfortunately,
this change had to be done because of an error in the resolver
refactoring where timeout would not retry next server, but keep trying
the same server.  As we have now fixed this bug, revert the change to
the test back to the previous state.

Try next server on resolver timeout

Instead of resending to the same server on the (dispatch) timeout in the
resolver, try the next server.

Merge branch 'ondrej-allow-zero-length-keys-in-isc_hashmap' into 'main'

Allow zero length keys in isc_hashmap

See merge request isc-projects/bind9!7198

Allow zero length keys in isc_hashmap

In case, we are trying to hash the empty key into the hashmap, the key
is going to have zero length.  This might happen in the unit test.
Allow this and add a unit test to ensure the empty zero-length key
doesn't hash to slot 0 as SipHash 2-4 (our hash function of choice) has
no problem with zero-length inputs.

Merge branch '3725-mutual-tls-session-resumption-fix' into 'main'

Fix TLS session resumption via IDs when Mutual TLS is used

Closes #3725

See merge request isc-projects/bind9!7215

Update Release notes [GL #3725]

Mention that TLS session resumption for Mutual TLS has been fixed.

Update CHANGES [GL #3725]

Mention that TLS session resumption for Mutual TLS has been fixed.

Extend the 'doth' system test with a Mutual TLS resumption check

This commit adds a simple check to the 'doth' system test which
ensures that session resumption when Mutual TLS is used works as
expected.

Fix TLS session resumption via IDs when Mutual TLS is used

This commit fixes TLS session resumption via session IDs when
client certificates are used. To do so it makes sure that session ID
contexts are set within server TLS contexts. See OpenSSL documentation
for 'SSL_CTX_set_session_id_context()', the "Warnings" section.

Merge branch 'fanf-dnssec-algorithm-loglevel' into 'main'

List supported DNSSEC algorithms at log level NOTICE

See merge request isc-projects/bind9!7217

List supported DNSSEC algorithms at log level NOTICE

NOTICE matches the other startup messages. WARNING weirdly
suggests the list is a problem.

Merge branch '3736-fix-intermittent-memory-leak-in-forward-system-test' into 'main'

Fix intermittent memory leak in dns_resolver unit

Closes #3736

See merge request isc-projects/bind9!7214

Fix intermittent memory leak in dns_resolver unit

A rdataset could have been left unassociated on the error path in the
resume_dslookup() in the dns_resolver unit.  Clone the rdataset after
the error check, so it's not cloned before we check whether we can make
further progress chasing DS records.

Merge branch '3737-fix-initialisation-of-local-in-isdotlocal-in-dig' into 'main'

Resolve "fix initialisation of local. in isdotlocal in dig"

Closes #3737

See merge request isc-projects/bind9!7213

Properly initialise local_ndata in isdotlocal in dig

Remove the trailing '\0' so that the length field of the dns_name_t
structure is correct.  The old data just happens to work with
dns_name_issubdomain but would fail with dns_name_equal.

Merge branch 'fanf-rsasha236' into 'main'

Fix a typo RSASHA236 -> RSASHA256

See merge request isc-projects/bind9!7206

Fix a typo RSASHA236 -> RSASHA256

Use dns_secalg_format() to avoid error-prone repetition.

Merge branch 'tkrizek/set-up-version-and-release-notes-for-bind-9.19.9' into 'main'

Set up version and release notes for bind  9.19.9

See merge request isc-projects/bind9!7218

Set up release notes for BIND 9.19.9

Update BIND version to 9.19.9-dev

Update BIND version for release

Add a CHANGES marker

Merge branch 'michal/prepare-documentation-for-bind-9.19.8' into 'v9_19_8-release'

Prepare documentation for BIND 9.19.8

See merge request isc-private/bind9!487

Add release note for GL #3721

Reorder release notes

Tweak and reword release notes

Prepare release notes for BIND 9.19.8

Restore release note for GL #3570

Merge branch '3731-attach-keyfileio-to-zone' into 'main'

Implement proper reference counting for dns_keyfileio_t

Closes #3731

See merge request isc-projects/bind9!7203

Implement proper reference counting for dns_keyfileio_t

Instead of relying on hash table search when using the keys, implement a
proper reference counting in dns_keyfileio_t objects, and attach/detach
the objects to the zone.

Merge branch 'pspacek/configure-doh-help-fix' into 'main'

Fix configure --disable-doh help text

See merge request isc-projects/bind9!7118

Fix configure --disable-doh help text

This is technically fixup for 2bb454182bb499990e191e098a8a33082c672a94.

Related: !4926

Merge branch 'tkrizek/revert-3678-serve-stale-servfail' into 'main'

Revert "Merge branch '3678-serve-stale-servfailing-unexpectedly' into 'main'"

See merge request isc-projects/bind9!7183

Revert "Merge branch '3678-serve-stale-servfailing-unexpectedly' into 'main'"

This reverts commit 629f66ea8e7a3455f22f57394eef54cfabcb8860, reversing
changes made to 84a7be327e801cfda207629285bf3302a71e8119.

It also removes release note 6038, since the fix is reverted.

Merge branch '3727-fix-off-by-one-reference-counting-in-zonemgr_keymgmt_delete' into 'main'

Release unused key file IO lock objects

Closes #3727

See merge request isc-projects/bind9!7178

Add CHANGES and release note for [GL #3727]

Release unused key file IO lock objects

Due to off-by-one error in zonemgr_keymgmt_delete, unused key file IO
lock objects were never freed and they were kept until the server
shutdown.  Adjust the returned value by -1 to accomodate the fact that
the atomic_fetch_*() functions return the value before the operation and
not current value after the operation.

Merge branch '3613-redo-dumping-expired-rdatasets' into 'main'

Resolve "TTL issue with resolver's cached and expired results for qtype ANY queries"

Closes #3613

See merge request isc-projects/bind9!7085

Add CHANGES note for [GL #3613]

Remove different zero TTL handling for rdataset iterator

Zero TTL handling does not need to be different for 'rdatasetiter_first'
and 'rdatasetiter_next' and it interacts badly with 'bind_rdatadataset'
which makes different determinations.

Add dns_db_allrdatasets options

'DNS_DB_STALEOK' returns stale rdatasets as well as current rdatasets.

'DNS_DB_EXPIREDOK' returns expired rdatasets as well as current
rdatasets. This option is currently only set when DNS_DB_STALEOK is
also set.

Extend dns_db_allrdatasets to control interation results

Add an options parameter to control what rdatasets are returned when
iteratating over the node.  Specific modes will be added later.

Properly select active rdatasets when iterating across node

Active rdatasets where not being properly selected in rdatasetiter_first
and rdatasetiter_next.

Check TTLs of mixed TTL ANY response with expired records

Revert "Fix rndc dumpdb -expired for stuck cache contents"

This reverts commit f8d866c6efa4c9c2726f8ebcf2e66122198576c4.

Merge branch '3724-update-dig-tcp-documentation' into 'main'

Resolve "Update dig +tcp documentation"

Closes #3724

See merge request isc-projects/bind9!7172

Add reference to +tcp for +ignore