Merge branch 'each-qp-lookup-iterator' into 'main'

add an iterator argument to dns_qp_lookup()

See merge request isc-projects/bind9!8468

fix another dns_qp_lookup() iterator bug

there was another edge case in which an iterator could be positioned at
the wrong node after dns_qp_lookup().  when searching for a key, it's
possible to reach a dead-end branch that doesn't match, because the
branch offset point is *after* the point where the search key differs
from the branch's contents.

for example, if searching for the key "mop", we could reach a branch
containing "moon" and "moor". the branch offset point - i.e., the
point after which the branch's leaves differ from each other - is the
fourth character ("n" or "r"). however, both leaves differ from the
search key at position *three* ("o" or "p"). the old code failed to
detect this condition, and would have incorrectly left the iterator
pointing at some lower value and not at "moor".

this has been fixed and the unit test now includes this scenario.

fix dns_qp_lookup() iterator bug

in some cases it was possible for the iterator to be positioned in the
wrong place by dns_qp_lookup(). previously, when a leaf node was found
which matched the search key at its parent branch's offset point, but
did not match after that point, the code incorrectly assumed the leaf
it had found was a successor to the searched-for name, and stepped the
iterator back to find a predecessor.  however, it was possible for the
non-matching leaf to be the predecessor, in which case stepping the
iterator back was wrong.

(for example: a branch contains "aba" and "abcd", and we are searching
for "abcde". we step down to the twig matching the letter "c" in
position 3. "abcd" is the predecessor of "abcde", so the iterator is
already correctly positioned, but because the twig was an exact match,
we would have moved it back one step to "aba".)

this previously went unnoticed due to a mistake in the qp_test unit
test, which had the wrong expected result for the test case that should
have detected the error. both the code and the test have been fixed.

add an iterator argument to dns_qp_lookup()

the 'predecessor' argument to dns_qp_lookup() turns out not to
be sufficient for our needs: the predecessor node in a QP database
could have become "empty" (for the current version) because of an
update or because cache data expired, and in that case the caller
would have to iterate more than one step back to find the predecessor
node that it needs.

it may also be necessary for a caller to iterate forward, in
order to determine whether a node has any children.

for both of these reasons, we now replace the 'predecessor'
argument with an 'iter' argument. if set, this points to memory
with enough space for a dns_qpiter object.

when an exact match is found by the lookup, the iterator will be
pointing to the matching node. if not, it will be pointing to the
lexical predecessor of the nae that was searched for.

a dns_qpiter_current() method has been added for examining
the current value of the iterator without moving it in either
direction.

Merge branch 'tkrizek/add-changes-entry-for-4462' into 'main'

Add CHANGES entry for #4462

See merge request isc-projects/bind9!8551

Add CHANGES entry for #4462

Merge branch '4464-multithread-tls-initialisation-crash-fix' into 'main'

Fix TLS certs store deletion on concurrent access

Closes #4464

See merge request isc-projects/bind9!8531

Update CHANGES [GL #4464]

Mention that BIND crashing due to a `tls` multithreaded entry
initialisation attempts has been fixed.

doth test: add a secondary NS instance that reuses a 'tls' entry

This commit extends the 'doth' system tests with additional secondary
NS instance that reuses the same 'tls' entry for connecting the the
primary to download zones. This configurations were known to crash
secondaries in some cases.

Fix TLS certs store deletion on concurrent access

During initialisation or reconfiguration, it is possible that multiple
threads are trying to create a TLS context and associated data (like
TLS certs store) concurrently. In some cases, a thread might be too
late to add newly created data to the TLS contexts cache, in which
case it needs to be discarded. In the code that handles that case, it
was not taken into account that, in some cases, the TLS certs store
could not have been created or should not be deleted, as it is being
managed by the TLS contexts cache already. Deleting the store in such
cases might lead to crashes.

This commit fixes the issue.

Merge branch '4388-initial-proxyv2-support-in-bind-and-dig' into 'main'

Make it possible to accept PROXYv2 in BIND (and send it in dig)

Closes #4388

See merge request isc-projects/bind9!8417

Update CHANGES [GL #4388]

Mention the initial support for PROXYv2.

Update release notes [GL #4388]

Mention the initial support for PROXYv2.

DoH unit test: do not increase 'active_cconnects' too much

Theoretically, the value could get too big, not letting the test to
finish. This commit fixes that omission.

System test for PROXYv2

This commit adds a system test suite for PROXYv2. The idea on which it
is based is simple:

1. Firstly we check that 'allow-proxy' and 'allow-proxy-on' (whatever
is using the new 'isc_nmhandle_real_localaddr/peeraddr()') do what
they intended to do.

2. Anything else that needs an interface or peer address (ACL
functionality, for example) is using the old
'isc_nmhandle_localaddr/peeraddr()' - which are now returning
addresses received via PROXY (if any) instead of the real connection
addresses. The beauty of it that we DO NOT need to verify every bit of
the code relying on these functions: whatever works in one place will
work everywhere else, as these were the only functions that allowed
any higher level code to get peer and interface addresses.

This way it is relatively easy to see if PROXYv2 works as intended.

Add checkonf tests for the PROXYv2 related options

This commit adds necessary PROXYv2 configuration options checks.

Add pre-rendered PROXY header test for PROXY over UDP

This commit extends the PROXY over UDP transport test with
a pre-rendered PROXY header handling test.

PROXY Stream pre-rendered PROXY handling test

This commit extends the PROXY Stream transport unit test suite with a
pre-rendered PROXY header handling test.

BIND: Add 'allow-proxy' and 'allow-proxy-on' options

The main intention of PROXY protocol is to pass endpoints information
to a back-end server (in our case - BIND). That means that it is a
valid way to spoof endpoints information, as the addresses and ports
extracted from PROXYv2 headers, from the point of view of BIND, are
used instead of the real connection addresses.

Of course, an ability to easily spoof endpoints information can be
considered a security issue when used uncontrollably. To resolve that,
we introduce 'allow-proxy' and 'allow-proxy-on' ACL options. These are
the only ACL options in BIND that work with real PROXY connections
addresses, allowing a DNS server operator to specify from what clients
and on which interfaces he or she is willing to accept PROXY
headers. By default, for security reasons we do not allow to accept
them.

Avoid using sock->iface and sock->peer from the lower transport

This commit modifies TLS Stream and DNS-over-HTTPS transports so that
they do not use the "sock->iface" and "sock->peer" of the lower level
transport directly.

That did not cause any problems before, as things worked as expected,
but with the introduction of PROXYv2 support we use handles to store
the information in both PROXY Stream and UDP Proxy
transports. Therefore, in order to propagate the information (like
addresses), extracted from PROXYv2 headers, from the lower level
transports to the higher-level ones, we need to get that information
from the lower-level handles rather than sockets. That means that we
should get the peer and interface addresses using the intended
APIs ("isc_nmhandle_peeraddr()" and "isc_nmhandle_localaddr()").

Add 'proxy' option to 'listen-on' statement

This commit extends "listen-on" statement with "proxy" options that
allows one to enable PROXYv2 support on a dedicated listener. It can
have the following values:

- "plain" to send PROXYv2 headers without encryption, even in the case
of encrypted transports.
- "encrypted" to send PROXYv2 headers encrypted right after the TLS
handshake.

Increase conn. timeout in the timeout recovery tests

Due to increased number of the NM unit tests and, thus, increased load
on the system timeout recovery tests can sometimes fail, in particular
on FreeBSD. This commit fixes that. Besides, it seems that use of
T_SOFT here was unintentional to begin with.

Document the new PROXY-related options for dig

This commit adds new documentation for +[no]proxy and +[no]proxy-plain
dig options.

Integrate PROXYv2 support into dig

This commit adds PROXYv2 support into dig by the means of adding
+[no]proxy and +[no]proxy-plain options. Since this commit dig
supports sending PROXYv2 headers on all supported DNS-transports.

The support for PROXYv2 is modelled after that one in kdig.

PROXY over UDP unit tests

This commit adds a unit test suite for the new PROXY over UDP
transport. Most of the code is reused from the UDP unit test suite, as
the new transport aims to be fully compatible with UDP on the API
level.

Refactor UDP tests

This commit mostly moves the code around to make the parts of the UDP
unit test suite reusable. That changes the unit test suite structure
to resemble that of stream based unit tests.

The motivation behind this is to reuse most of the code for the new
PROXY over UDP uni tests suite.

Add a utility function to dump all active sockets on a NM instance

Add the new isc__nm_dump_active_manager() function that can be used
for debugging purposes: it dumps all active sockets withing the
network manager instance.

PROXYv2 over UDP transport

This commit adds a new transport that supports PROXYv2 over UDP. It is
built on top of PROXYv2 handling code (just like PROXY Stream). It
works by processing and stripping the PROXYv2 headers at the beginning
of a datagram (when accepting a datagram) or by placing a PROXYv2
header to the beginning of an outgoing datagram.

The transport is built in such a way that incoming datagrams are being
handled with minimal memory allocations and copying.

Extend DNS over HTTP(S) unit tests with PROXY over TLS checks

This commit adds PROXY over TLS related checks to DNS over HTTP(S)
transport in order to ensure its compatibility with this mode.

Adapt DNS over HTTP(S) unit tests for PROXY over TLS mode

This commit fixes the common, infrastructural code within the DNS over
HTTP unit test suite to fix and prepare it for PROXY over TLS mode.

StreamDNS over TLS: Add PROXY over TLS tests

This commit extends the TLS DNS unit tests suite with checks related
to PROXY over TLS support in StreamDNS.

Extend PROXY Stream tests to include checks for PROXY over TLS

This commit extends the PROXY stream unit test suite with checks
related to PROXY over TLS support within the transport.

TLS: detect ISC_R_SHUTTINGDOWN and ISC_R_CANCELED cases properly

In the previous versions of the NM, detecting the case when worker is
shutting down was not that important and actual status code did not
matter much. However, that might be not the case all the time.

This commit makes necessary modifications to the code.

PROXY over TLS: Fix stream-based DNS transports tests support

This commit fixes the infrastructural code of the stream-based DNS
transports to take PROXY over TLS support into account.

DoH: add PROXY over TLS support

This commit extends DNS over HTTP(S) transport with PROXY over TLS
support.

Stream DNS: add PROXY over TLS support

This commit extends Stream DNS with PROXY over TLS support.

Fix TLS Stream in accordance with PROXY Stream over TLS support

This commit makes TLS Stream code to take PROXY Stream over TLS
support into account.

Fix common netmgr unit testing code for PROXY Stream over TLS

This commit fixes common netmgr unit testing code to take PROXY Stream
over TLS support into account.

Add PROXY over TLS support to PROXY Stream

This commit makes it possible to use PROXY Stream not only over TCP,
but also over TLS. That is, now PROXY Stream can work in two modes as
far as TLS is involved:

1. PROXY over (plain) TCP - PROXYv2 headers are sent unencrypted before
TLS handshake messages. That is the main mode as described in the
PROXY protocol specification (as it is clearly stated there), and most
of the software expects PROXYv2 support to be implemented that
way (e.g. HAProxy);

2. PROXY over (encrypted) TLS - PROXYv2 headers are sent after the TLS
handshake has happened. For example, this mode is being used (only ?)
by "dnsdist". As far as I can see, that is, in fact, a deviation from
the spec, but I can certainly see how PROXYv2 could end up being
implemented this way elsewhere.

Add PROXYv2 related checks to DNS over HTTP(S) unit test suite

This commit extends DNS over HTTP(S) unit test suite with PROXYv2
related checks to ensure that the transport is compatible with that
mode.

Add PROXYv2 support to DNS over HTTP(S) transport

This commit extends DNS over HTTP(S) transport with PROXYv2 support.

Add PROXYv2 related tests for TLS DNS transport

This commit adds a set of PROXYv2 related tests to ensure that Stream
DNS over TLS supports this mode.

Add PROXYv2 related tests for TCP DNS transport

This commit adds a set of PROXYv2 related tests to ensure that Stream
DNS over TCP supports this mode.

Add PROXY support to Stream DNS

This commit makes it possible to use Stream DNS on top of PROXY Stream
either directly or indirectly (in the case when TLS is involved).

Extend TLS Stream unit suite with PROXYv2 related tests

This commit adds a set of tests which help to verify that TLS Stream
works as expected on top of PROXY Stream.

Make it possible to use TLS Stream on top of PROXY Stream

This commit modifies TLS Stream to make it possible to use over PROXY
Stream. That is required to add PROVYv2 support into TLS-based
transports (DNS over HTTP, DNS over TLS).

PROXY Stream: add unit test suite

This commit adds a specialised test suite for the PROXY Stream
transport by reusing most of the testing code from other unit tests
for other stream-based transports.

PROXY Stream transport

This commit adds a new stream-based transport with an interface
compatible with TCP. The transport is built on top of TCP transport
and the new PROXYv2 handling code. Despite being built on top of TCP,
it can be easily extended to work on top of any TCP-like stream-based
transport. The intention of having this transport is to add PROXYv2
support into all existing stream-based DNS transport (DNS over TCP,
DNS over TLS, DNS over HTTP) by making the work on top of this new
transport.

The idea behind the transport is simple after accepting the connection
or connecting to a remote server it enters PROXYv2 handling mode: that
is, it either attempts to read (when accepting the connection) or send
(when establishing a connection) a PROXYv2 header. After that it works
like a mere wrapper on top of the underlying stream-based
transport (TCP).

Add PROXY header handling unit test suite

The commit adds a fairly comprehensive unit test suite for our new
PROXYv2 handling code. The unit tests suite ensures both the
correctness of the code and ensures that the part responsible for
handling incoming headers is very strict regarding what to accept as
valid.

Add PROXYv2 header utilities

This commit adds a set of utilities for dealing with PROXYv2 headers,
both parsing and generating them. The code has no dependencies from
the networking code and is (for the most part) a "separate library".

The part responsible for handling incoming PROXYv2 headers is
structured as a state machine which accepts data as input and calls a
callback to notify the upper-level code about the data processing
status.

Such a design, among other things, makes it easy to write a thorough
unit test suite for that, as there are fewer dependencies as well as
will not stand in the way of any changes in the networking code.

Merge branch '4476-fix-cid-469729' into 'main'

CID 469729: Remove leftover return call

Closes #4476

See merge request isc-projects/bind9!8547

CID 469729: Remove leftover return call

This 'return (ret);' call can never be reached and should have been
removed as part of commit 75e0d394dd2147a0b07524521c084a71801e4eee.

Merge branch 'mnowak/drop-openbsd-system-test-job' into 'main'

Drop OpenBSD system test CI job

See merge request isc-projects/bind9!8535

Run "make check" in system:gcc:sid:amd64

Following the discontinuation of the OpenBSD system test in CI, transfer
the execution of the system test using the "make check" method to the
Debian "sid" system test CI job.

Drop OpenBSD system test CI job

The system tests on OpenBSD consistently exhibit lower stability
compared to our other CI platforms. Some of these challenges are
intrinsic to the system test itself and require attention. However,
there are OpenBSD issues, which seem to be more widespread on this
platform than others. In our daily CI pipelines, OpenBSD system tests
often bear the brunt of all failed CI jobs.

It's possible that our OpenBSD CI image could be optimized, but we
currently lack the domain-specific knowledge needed to make
improvements.

Merge branch '4363-lower-max-nsec3-iterations' into 'main'

Lower NSEC3 iteration limit to 50

Closes #4363

See merge request isc-projects/bind9!8515

Change max NSEC3 iterations in unit tests to 50

The nsec3 unit test needs to be adjusted to accept a lower maximum value
for NSEC3 iterations.

Add release note and CHANGES for #4363

This protocol change is definitely worth mentioning.

Change max NSEC3 iterations in system tests to 50

The dnssec and nsupdate system tests need to be adjusted to accept
a lower maximum value for NSEC3 iterations.

Lower the maximum allowed NSEC3 iterations to 50

BIND 9 will now treat the response as insecure when processing NSEC3
records with iterations larger than 50.

Earlier, we limited the number of iterations to 150 (in #2445).

RFC 9276 says: Because there has been a large growth of open (public)
DNSSEC validating resolvers that are subject to compute resource
constraints when handling requests from anonymous clients, this
document recommends that validating resolvers reduce their iteration
count limits over time. Specifically, validating resolver operators and
validating resolver software implementers are encouraged to continue
evaluating NSEC3 iteration count deployment trends and lower their
acceptable iteration limits over time.

After evaluation, we decided that the next major BIND release should
lower the maximum allowed NSEC3 iterations to 50, which should be
fine for 99,87% of the domain names.

Change NSEC3 iterations to 0 in system tests

The system tests need to be updated because non-zero iterations are no
longer accepted.

The autosign system test changes its iterations from 1 to 0 in one
test case. This requires the hash to be updated.

The checkconf system test needs to change the iterations in the good
configuration files to 0, and in the bad ones to 1 (any non-zero value
would suffice, but we test the corner case here). Also, the expected
failure message is change, so needs to be adjusted.

The nsec3 system test also needs iteration configuration adjustments.
In addition, the test script no longer needs the ITERATIONS environment
variable.

In the process of updating the system tests, I noticed an error
in the dnssec-policy "nsec3-other", where the salt length in one
configuration file is different than in the other (they need to be
the same). Furthermore, the 'rndc signing -nsec3param' test case
is operated on the zone 'nsec-change.kasp', so is moved so that the
tests on the same zone are grouped together.

dnssec-policy: refuse to load non-zero iterations

According to RFC 9276, if NSEC3 must be used, then an iterations count
of 0 MUST be used to alleviate computational burdens.

Merge branch '4452-pytest-improve-assert-messages' into 'main'

Improve assert messages in pytests

Closes #4452

See merge request isc-projects/bind9!8518

Refactor statschannel test to use isctest

Use common utility functions in favor of duplicating the code in a
test-specific file.

Add system test utility package isctest

Create a utility package for code shared by the python tests. The
utility functions should use reasonable defaults and be split up into
modules according to their functionality.

Ensure assert rewriting is enabled for the modules to get the most
useful output from pytest.

Simplify statsport fixture in statschannel test

The ports fixture provides the required port numbers already and there's
no need to get the port number from environment.

Allow assertion message rewrite in statschannel test

By default, the useful assertion message rewrite is used by pytest for
test modules only. Since another module is imported with shared
functionality, ensure it has pytest's assertion message rewriting
enabled to obtain more debug information in case it fails.

Move helper functions in statchannel into single file

Since dnspython is now a required dependency, there's no need to keep
these two helper files separate.

Add assert message to test doth/stress_http_quota.py

This file is executed outside of pytest with pure python, which doesn't
do any AssertionError message rewriting like pytest. Ensure the assert
messages in this file provide a useful debug message.

Merge branch '4462-crash-on-shutdown-when-dnssec-validation-is-running-ensure-isc_mempool_getallocated-namepoolp' into 'main'

Resolve "Crash on shutdown when DNSSEC validation is running: ENSURE(isc_mempool_getallocated(*namepoolp) == 0) failed"

Closes #4462 and #4384

See merge request isc-projects/bind9!8526

Destroy the message before detaching the view

With shared name memory pools (f5af981831ea8a707090c1b09a47c25b75d86b5a)
the message needs to be destroyed before the view is detached which
in turn detaches the resolver which checks that all resources have
been returned.

Merge branch '4457-dig-crashes-after-sigint-if-there-are-multiple-queries' into 'main'

Resolve "dig crashes after SIGINT if there are multiple queries"

Closes #4457

See merge request isc-projects/bind9!8527

Add CHANGES note for [GL #4457]

Handle ISC_R_SHUTTINGDOWN in dighost.c:recv_done

When dighost.c:recv_done is called with ISC_R_SHUTTINGDOWN cancel
all outstanding lookups as this indicates SIGTERM was recieved.

Merge branch '3198-add-rr-record' into 'main'

Add support for recording named with rr

Closes #3198

See merge request isc-projects/bind9!8479

Do not daemonize named instances with custom args

This enables the "logfileconfig" and "rpzextra" system tests to pass
when named is started under the supervision of rr (USE_RR=1).

Fix process listing string of rpzextra ns3 server

Add support for recording named runtime with rr

The traces of the named process are stored in the directory
$system_test/nsX/named-Y/.

Remove support for running system tests under Valgrind

Valgrind support has been scarcely used.

Merge branch 'mnowak/freebsd-14.0' into 'main'

Add FreeBSD 14.0

See merge request isc-projects/bind9!8520

Add FreeBSD 14.0

Merge branch '1229-dig-no-yaml-output-when-host-is-unreachable' into 'main'

Resolve "No YAML output in dig when host is unreachable"

Closes #1229

See merge request isc-projects/bind9!8501

Add a CHANGES note for [GL #1229]

Emit "no servers could be reached" also for UDP setup failure

When all the servers are exhausted for UDP setup emit "no servers
could be reached" in udp_ready(). This message can also be emitted
for a recv_done() error and for TCP connection failure similarly.

Merge branch '4417-stale-hyperlinks-in-the-arm' into 'main'

Fix stale hyperlinks in the ARM

Closes #4417

See merge request isc-projects/bind9!8525

Fix broken link to TLD DNSSEC stats

Fix broken link to OMB memo

Merge branch '4251-remove-legacy-test-runner' into 'main'

Remove legacy system test runner

Closes #4251

See merge request isc-projects/bind9!8514

Remove -U 4 from system tests

This option doesn't appear to be needed for any of the tests, so remove
it to keep things simple.

Add CHANGES note for [GL #4251]

Update system test documentation

Rewrite and reorganize the test documentation to focus on the pytest
runner, omit any mentions of the legacy runner which are no longer
relevant, and mention a few pytest tricks.

Remove obsolete system test lists

These were used by deleted legacy runner utility scripts.

Remove legacy runner control scripts

These scripts have been used exclusively by the legacy test runner and
they're no longer needed.

Merge branch '4451-use-only-single-method-for-overmem-condition' into 'main'

Refactor the handling of isc_mem overmem condition

Closes #4451

See merge request isc-projects/bind9!8523

Add CHANGES note for [GL #4451]

Add isc_mem_overmem unit test

The new unit isc_mem_overmem unit test sets hi and lo water marks and
then does allocations to go over:

0. x < lo_water
1. lo_water < x < hi_water
2. x > hi_water
3. lo_water < x < hi_water
4. < lo_water

Cleanup unused stats_bucket() macro

Refactor the handling of isc_mem overmem condition

Previously, there were two methods of working with the overmem
condition:

1. hi/lo water callback - when the overmem condition was reached
   for the first time, the water callback was called with HIWATER
   mark and .is_overmem boolean was set internally.  Similarly,
   when the used memory went below the lo water mark, the water
   callback would be called with LOWATER mark and .is_overmem
   was reset.  This check would be called **every** time memory
   was allocated or freed.

2. isc_mem_isovermem() - a simple getter for the internal
   .is_overmem flag

This commit refactors removes the first method and move the hi/lo water
checks to the isc_mem_isovermem() function, thus we now have only a
single method of checking overmem condition and the check for hi/lo
water is removed from the hot path for memory contexts that doesn't use
overmem checks.

Merge branch 'mnowak/drop-named-alt3.conf.in-leftover' into 'main'

Drop the last remnant of ns2/named-alt3.conf.in

See merge request isc-projects/bind9!8506

Renumber the ns2/named-alt*.conf.in files

Now that some configuration input files have been removed, rename
the filenames.