new: doc: Prepare documentation for BIND 9.21.18

Merge branch 'pspacek/prepare-documentation-for-bind-9.21.18' into 'v9.21.18-release'

See merge request isc-private/bind9!906

Tweak and reword release notes

Prepare release notes for BIND 9.21.18

Generate changelog for BIND 9.21.18

chg: doc: Set up version for BIND 9.21.19

Merge branch 'andoni/set-up-version-for-bind-9.21.19' into 'main'

See merge request isc-projects/bind9!11514

Update BIND version to 9.21.19-dev

chg: dev: initial openssl version splitting

Dealing with OpenSSL has been rapidly turning into an unwieldy situation
as post-3.0 changes turn the library into a different beast.

Start treating pre and post-3.0 versions differently for easier
maintenance.

To help with this Sisyphean task, this MR had to shift things around.

`OPENSSL_NO_DEPRECATED` is now declared in BIND alongside an appropriate
`OPENSSL_API_COMPAT` value. The former value will set to declare either
OpenSSL 1.1.0 or 3.0 as the bare minimum version.

Instead of splitting `md.c` and `hmac.c` into separate version-specific
files, they now live inside `crypto/ossl1_1.c` and `crypto/ossl3.c`.
This way, these functions will be able to utilize the same static
`OSSL_PARAM` tables, removing redundant reconstruction for HMAC.

For pre-3.0, `isc_hmac` has been reverted back to using the `HMAC_`
interface. Using `EVP_MD_CTX`-based functions for HMAC will end up
libcrypto calling the same `HMAC_` functions in the end, giving no
advantage while confusingly using the digest functions.

A new API, `isc_ossl_wrap` has been added. This family of functions
aim to provide a common interface for libcrypto version specific code
while not abstracting away OpenSSL's structures such as `EVP_PKEY`.

Currently the main user of this API is the `dst` family of functions
where some ECDSA and RSA opeations need to use the new `OSSL_PARAM`
functionality by requirement or to avoid speed penalties.

Furthermore OpenSSL based logging has been moved from `isc_tls` to
`isc_ossl_wrap` as its a more appropriate place for such functionality.

Merge branch 'aydin/openssl-version-split' into 'main'

See merge request isc-projects/bind9!11094

don't transform errors in hmac_sign

The change from DST_R_OPENSSLFAILURE to ISC_R_CRYPTOFAILURE seems to be
benign. Furthermore it should a bug to rely on the exacts crypto failure
code.

use isc_ossl_wrap to generate epheremal tls keys

explicitly set ec points properties in pre-3.0 openssl

Generating a P-256 key in pre-3.0 wasn't explicitly using uncompressed
named curves in DNSSEC but was when generating an epheremal TLS key.

make generate_pkcs11_ec_key consistent with others

expose isc__crypto_md in isc/ossl_wrap.h

This is a bit of a namespace convention violation but it fits the spirit of
this header since it is exposing OpenSSL-isms to others.

Further work is needed to make sure the exposed EVP_MD isn't needed
anymore.

make isc_ossl_wrap_ecdsa_set_deterministic consistent with style

switch away from ossl_param builders from ecdsa functions

set parameters in batch for rsa keygen

On top on improving readability, doing so allows us to use a uint32_t
for setting the e value, getting rid of allocating an unneccessary
BIGNUM.

remove libcrypto version specific code in opensslecdsa_link

Using `EVP_SIGNATURE` explicit algoritms for signatures have been added
in OpenSSL 3.4 and so is skipped for the initial OpenSSL version
specific code splitting.

remove libcrypto version specific code in opensslrsa_link

Using `EVP_SIGNATURE` explicit algoritms for signatures have been added
in OpenSSL 3.4 and so is skipped for the initial OpenSSL version
specific code splitting.

move openssl error reporting to isc/ossl_wrap

While being the best place at the time, the tlserr2result doesn't belong
inside TLS code since it is generic to OpenSSL and mostly used in the
dst interface. The newly created ossl_wrap interface is the idea place
for flushing the OpenSSL thread error queue.

add openssl_wrap

The isc_ossl_wrap API is intended to separate OpenSSL version specific
code that needs to expose the libcrypto internals and keep isc_crypto
clean.

cleanup unused header in isc/md.h

Use `isc/crypto.h` whenever needed instead.

Separate isc_hmac between pre and post OpenSSL 3.0

Instead of the `EVP_MD_CTX` based functions, use either the new
`EVP_MAC` or the old `HMAC_CTX` based functions.

`EVP_MAC` is the recommended way using using MAC functions in post-3.0
while `HMAC_CTX` is used internally by `EVP_MD_CTX`, making the latter
redundant.

switch isc_md_type_t to a proper enum

Get rid of the OpenSSL-isms that plague the codebase where the hash type
is `EVP_MD *`

By using a proper enum, alongside the cleanup, we also get the ability
to use constants for known hash sizes instead of having a function call
every time.

`EVP_MD_CTX_get0_md` has been removed instead of being adapted since it
wasn't used anymore.

initial openssl version splitting

Dealing with OpenSSL has been rapidly turning into an unwieldy situation
as post-3.0 changes turn the library into a different beast.

Start treating pre and post-3.0 versions differently for easier
maintenance.

chg: dev: dns_rdataset_clone() and dns_rdataset_isassociated() const parameters

`dns_rdataset_clone()` takes now a const source rdataset. Also,
`dns_rdataset_isassociated()` also takes a const rdataset.

Merge branch 'colin/rdataset-const' into 'main'

See merge request isc-projects/bind9!11462

dns_rdataset_* const parameters

dns_rdataset_clone() now have a const source rdataset. Also,
dns_rdataset_isassociated() also takes a const rdataset.

chg: usr: Enable minimal ANY answers by default

ANY queries are widely abused by attackers doing reflection attacks as
they return the largest answers.  Enable minimal ANY answers by default
to reduce the attack surface of the DNS servers.

Closes #5723

Merge branch '5723-change-minimal_any-default-to-yes' into 'main'

See merge request isc-projects/bind9!11505

Enable minimal ANY answers by default

ANY queries are widely abused by attackers doing reflection attacks as
they return the largest answers.  Enable minimal ANY answers by default
to reduce the attack surface of the DNS servers.

fix: test: ISC_RUN_TEST_IMPL should use a static declaration

These functions don't need to be called from multiple places and
by making them static we will detect when they are not added to the
list functions to be tested.

Closes #5715

Merge branch '5715-isc_run_test_impl-should-use-a-static-declaration' into 'main'

See merge request isc-projects/bind9!11480

ISC_RUN_TEST_IMPL should use a static declaration

These functions don't need to be called from multiple places and
by making them static we will detect when they are not added to the
list functions to be tested.

chg: dev: Use enum rather than numbers for isc_base64_tobuffer and isc_hex_tobuffer

Use isc_one_or_more and isc_zero_or_more rather than (-2) and
(-1) when calling isc_base64_tobuffer. Similarly for
isc_hex_tobuffer. This should help reduce the probability
that the wrong number is used and it makes the intent clearer.

Closes #5713

Merge branch '5713-use-macros-with-isc_base64_tobuffer-and-isc_hex_tobuffer' into 'main'

See merge request isc-projects/bind9!11479

Add spatch for isc_one_or_more and isc_zero_or_more

Use isc__zero_or_more when calling isc_base64_tobuffer

Use isc_one_or_more when calling isc_base64_tobuffer

Use isc_one_or_more when calling isc_hex_tobuffer

Add enum for use with isc_base64_tobuffer and isc_hex_tobuffer

This adds the following enum isc_one_or_more and isc_zero_or_more
which specify if one or more or zeror or more bytes are required
when reading the unbounded base64 / hex encoded data.

fix: usr: Fix a possible issue with reponse policy zones and catalog zones

If a response policy zone (RPZ) or a catalog zone contained an
`$INCLUDE` directive, then manually reloading that zone could
fail to process the changes in the response policy or in the
catalog, respectively. This has been fixed.

Closes #5714

Merge branch '5714-zone_loaddone-rpz-and-catz-bugfix' into 'main'

See merge request isc-projects/bind9!11489

Add a new check in the RPZ system test

Check that reloading a response policy zone which has an '$INCLUDE'
directive defined is working as expected.

Fix a bug in zone_loaddone()

The zone_loaddone() function disables database notifications for
a catalog zones and response policy zones (RPZ) when loading had
failed. Howerer, the 'result != ISC_R_SUCCESS' check is insufficient,
because the DNS_R_SEENINCLUDE result also indicates success.

Add a second condition for the "if" block.

fix: test: Resolve the system_test_dir in pytest

If the system_test_dir contains a symlink, then it might cause issues
further down when using relative_to(), unless it is resolved first. This
has been observed on FreeBSD13 in CI where /home is a symlink to
/usr/home.

Merge branch 'nicki/pytest-freebsd13-artifacts-path' into 'main'

See merge request isc-projects/bind9!11490

Resolve the system_test_dir in pytest

If the system_test_dir contains a symlink, then it might cause issues
further down when using relative_to(), unless it is resolved first. This
has been observed on FreeBSD13 in CI where /home is a symlink to
/usr/home.

fix: usr: Fix brid and hhit implementation

Fix bugs in BRID and HHIT implementation and enable
the unit tests.

Closes #5710

Merge branch '5710-fix-hhit-and-brid-issues' into 'main'

See merge request isc-projects/bind9!11491

Fix brid and hhit unit tests

These tests were not being run.

Remove extraneous space at start of brid and hhit records

Fix isc_base64_tobuffer call for brid and hhit

Zero length records were not being rejected.

fix: test: Fix a race condition in dnssec test

When dumpdb command is executed, it might take a while until the file is
written. Rather than checking the file once, use the WatchLog mechanism
to allow the desired line to appear before a timeout happens.

This affected test_validation_recovery and test_cache tests which have
been intermittently failing on EL8 in our CI.

Merge branch 'nicki/fix-dnssec-test-dumpdb-race' into 'main'

See merge request isc-projects/bind9!11487

Fix a race condition in dnssec test

When dumpdb command is executed, it might take a while until the file is
written. Rather than checking the file once, use the WatchLog mechanism
to allow the desired line to appear before a timeout happens.

This affected test_validation_recovery and test_cache tests which have
been intermittently failing on EL8 in our CI.

chg: test: Use isctest.asyncserver in the "resolver" system test

Depends on !11403, !11419

Merge branch 'stepan/resolver-asyncserver' into 'main'

See merge request isc-projects/bind9!11411

Fix bugs in 'resolver/ans2' and 'resolver/ans3'

There were multiple typos and omissions regarding query minimization.

Reimplement 'resolver/ans10' server using AsyncDnsServer

Ensure packet-for-packet compatibility with the old server.

Reimplement 'resolver/ans8' server using AsyncDnsServer

Ensure packet-for-packet compatibility with the old server.

Reimplement 'resolver/ans3' server using AsyncDnsServer

Ensure packet-for-packet compatibility with the old server including
bugs.

Reimplement 'resolver/ans2' server using AsyncDnsServer

Ensure packet-for-packet compatibility with the old server including
bugs.

Add common parts of resolver test custom servers

These will be shared by all the ans*/ans.py files.

Add StaticResponseHandler to isctest.asyncserver

It is used to prepare and yield one DNS response and avoid the
`get_responses` boiler-plate.

Add QnameQtypeHandler for matching QNAME, QTYPE pairs

This is a pattern in the resolver system test and also elsewhere.

Delete unused ResponseHandlers from statistics ans server

Turns out the original ans.pl implementation before (!10928) was a copy
of an old version of the ans2 server from the resolver system test.

I reimplemented it fully, even though only two ResponseHandlers are
actually used in the statistics test.

Store the most specific matched domain in DomainHandler

Store the most specific matching domain in DomainHandler and
expose it through the `matched_domain` property for subclasses
to use in their implementations of `get_responses`.

fix: test: unit test tsig_badsig was not being called

Additionally, the test was badly implemented. This has been fixed.

Closes #5712

Merge branch '5712-unit-test-tsig_badsig-was-not-being-called' into 'main'

See merge request isc-projects/bind9!11478

Fix and call tsig_badsig unit test

fix: usr: DSYNC record incorrectly used two octets for the Scheme Field

When creating the `DSYNC` record from a structure, `uint16_tobuffer` was used instead of `uint8_tobuffer` when adding the scheme, causing a `DSYNC` record that was one octet too long. This has been fixed.

Closes #5711

Merge branch '5711-dsync_fromstruct-produces-an-invalid-record' into 'main'

See merge request isc-projects/bind9!11477

Fix dsync unit test

The dsync unit test was not being run and the domain names in
the test data should have been fully qualified.

dsync_from struct produced an invalid record

uint16_tobuffer was used instead of uint8_tobuffer when adding the
scheme to the buffer.  This produced a record that was one octet
too long.  This has been fixed.

chg: usr: Lowercase the NSEC next owner name when signing

When building the NSEC rdata, lowercase the next owner name before
storing it in the Next Domain Name Field.

Note that this is not required according to RFC 6840, but since there
is inconsistency in the documents over time, having uppercase next
owner names in the NSEC records may cause validation failures if
validators are not following RFC 6840.

Closes #5702

Merge branch '5702-lowercase-nsec-next-owner-name' into 'main'

See merge request isc-projects/bind9!11442

Add kasp test zone with uppercase characters

The test ensures that such zone is signed correctly.  In addition, test
that the next owner name field of the NSEC record is lowercased.

Lower case the NSEC next owner name when signing

When building the NSEC rdata, lower case the next owner name before
storing it in the Next Domain Name Field.

Note that this is not required according to RFC 6840, Section 5.1:

  When canonicalizing DNS names (for both ordering and signing), DNS
  names in the RDATA section of NSEC resource records are not converted
  to lowercase.  DNS names in the RDATA section of RRSIG resource
  records are converted to lowercase.

  The guidance in the above paragraph differs from what has been
  published before but is consistent with current common practice.
  Item 3 of Section 6.2 of [RFC4034] says that names in both of these
  RR types should be converted to lowercase.  The earlier [RFC3755]
  says that they should not.

Since there is inconsistency in the documents over time, having
uppercase next owner names in the NSEC records may cause validation
failures if validators are not implementing RFC 6840.

Also, RFC 4034 section 6.2 is not about how NSEC record content is
created, but how RRset content is normalized in order to produce and
validate RRSIG records for a given RRset. Since the next owner name
of the NSEC record is about ordening, and the canonical DNS name order
requires that uppercase US-ASCII letters must be treated as if they
were lowercase US-ASCII letters, case is not meaningful for NSEC
next owner names, as it cannot be compressed on the wire, so we may
lowercase the next owner name in the NSEC rdata before signing, being
more kind to validators.

chg: ci: Use a small always-on runner for lightweight CI jobs

Some CI jobs spend more time pulling the docker image and setting up their environment than running the script. This MR adds a tag `smalljob` to jobs considered lightweight in order to run them on a dedicated small VM.

Merge branch 'andoni/try-small-vm-for-lightweight-ci-jobs' into 'main'

See merge request isc-projects/bind9!11266

Add smalljob tag to small jobs not in the quick-checks stage

Jobs using the "post_merge" and "manual_release_job_qa" anchors also
complete in less than a minute, so they now include the "smalljob" tag.

Since the "release" job is also a fast one, but without an anchor, the
"smalljob" tag is added to its definition.

De-duplicate yaml for "other-checks" jobs

In .gitlab-ci.yml, since "&other_checks_job" has "needs: []", remove
that line from the jobs that use that anchor.

Move "needs: []" to the "quick_checks_job" anchor

Most jobs in this stage have it by default, so it makes sense to
add it to their common anchor. Jobs with different "needs:" will
override it.

Group CI jobs in "quick-checks" stage together

Move the jobs in the "quick-checks" stage to the same place in
.gitlab-ci.yml.

Add faster CI jobs to the "quick-checks" stage

Given the short runtime (<1min) of the "linkcheck" and
"generate-tsan-stress-test-configs" CI jobs, move them to the
"quick-checks" stage.

Move CI stage "other-checks" right after "quick-checks"

Move CI stage "other-checks" right after "quick-checks" and get the jobs
in it as close to each other as possible in .gitlab-ci.yml.

Since no job is allowed to depend (via "needs") on any job that is
assigned to a stage later than its own, move the "tsan:stress" and
"gcov" jobs to the "system" stage.

Move slower CI jobs out of "quick-checks" stage

Jobs with more than one minute of runtime are not considered for the
small VM.

The "tarball-create" job goes to the more appropriate "build" stage.

"coccinelle" and "checkbashisms" are moved to the generic
"other-checks".

Create "other_checks_job" anchor in CI yaml

Use an anchor for the common parts of "other-checks" jobs in CI yaml.

Rename the "postcheck" stage to "other-checks" in CI

Rename the "postcheck" CI stage to the more generic "other-checks".
Slower jobs that still run in autoscaled runners belong here, as opposed
to the lightweight ones in "quick-checks".

Rename the "precheck" stage in CI to "quick-checks"

Most jobs in the "precheck" stage spend more time setting up their
environment than running the script (seconds), this allows us to add a
small always on dedicated runner instead of the autoscaled ones.

Hence, the stage is renamed to "quick-checks", and a tag "smalljob" is
added to the anchor so that these jobs are picked by the dedicated
runner.

chg: nil: Refactor kasp attach and detach code

Use the now more common `ISC_REFCOUNT_IMPL`.

Merge branch 'matthijs-refactor-kasp-attach' into 'main'

See merge request isc-projects/bind9!11466

Refactor dns_kasp_attach/detach

Replace implementation with ISC_REFCOUNT_IMPL.

fix: ci: Read the Docs picking old version when stable tag is updated

Read the Docs fails to pick the latest version when updating the `stable` tag, i.e. a build is triggered but it takes the previous version of it. This is a known bug in RtD: https://github.com/readthedocs/readthedocs.org/issues/10838.

The only approach that seems to solve this on our end, is to wait some time and trigger the build again so that it picks the latest version of the tag.

Merge branch 'andoni/fix-rtd-picking-old-version-when-stable-branch-update' into 'main'

See merge request isc-projects/bind9!11475

Fix Read the Docs stable branch update bug

Read the Docs fails to pick the latest version of the stable tag when
updated, i.e. a build is triggered but it takes the previous version.
This commit triggers a second build after 5 minutes to ensure that the
correct tag version is used for the documentation.

This is a known bug in RtD:
https://github.com/readthedocs/readthedocs.org/issues/10838.

fix: nil: Add missing sources to named-checkconf

The included defaultconfig.h in named-checkconf uses bind.keys.h.

Closes #5709

Merge branch '5709-meson-freebsd-compilation' into 'main'

See merge request isc-projects/bind9!11474

Add missing sources to named-checkconf

The included defaultconfig.h in named-checkconf uses bind.keys.h.

fix: ci: Apply black formatting changes

Generated by black 26.1.0 which got updated in CI.

Merge branch 'nicki/python-black' into 'main'

See merge request isc-projects/bind9!11471

Apply black formatting changes

Generated by black 26.1.0 which got updated in CI.

chg: nil: fix resolver doc in the response context

Fixes a couple of comment/documentation issues in the resolver.

Merge branch 'colin/resolver-doc' into 'main'

See merge request isc-projects/bind9!11465

resolver: add comment when recursing

When a fetch result gets a delegation, `rctx_referral()` sets the
`rctx->get_nameserver = true`, which tells the resolver to retry another
server, not because of an error with the current server, but simply to
follow the delegation.

Update the comment of `rctx_nextserver()` which is quite confusing here
(as it's not immediately obvious from the code how we recurse when
getting a delegation back from a query).

Also add a log line, which helps figuring out this is happening.

fix resolver query response doc

In case on positive response, the `rctx_authority_positive()` function
is called to scan the AUTHORITY section to find NS servers and related
RR (glues) to be cached.

The doc says the function was called `rctx_authority_scan()`, but it is
called `rctx_authority_positive()`.

chg: pkg: Update requirements for system test suite

Python 3.10 or newer is now required for running the system test suite. The required python packages and their version requirements are now tracked in `bin/tests/system/requirements.txt`.

Support for pytest 9.0.0 has been added its minimum supported version has been raised to 7.0.0. The minimum supported dnspython version has been raised to 2.3.0.

Closes #5690

Closes #5614

Merge branch 'nicki/pytest-9-compat' into 'main'

See merge request isc-projects/bind9!11415

Silence incorrect pylint warnings for hypothesis.assume()

With hypothesis>6.148.3, pylint generates

W0101: Unreachable code (unreachable)

when any code is present after hypothesis.assume(). Silence these until
it is fixed upstream.

See https://github.com/pylint-dev/pylint/issues/10785#issuecomment-3677224217

Remove hypothesis version checks

The minimum required hypothesis version has been set in requirements.txt
and no longer needs to be checked at runtime.

Since the hypothesis package is now a mandatory prerequisite, include it
in isctest as the other subpackages.

Remove compatibility hacks for dnspython<2.7.0

The minimum required dnspython version is now 2.7.0 and those
compatibility hacks can be dropped.

Prefer Python 3.12 if available

This ensures that python3.12 is used testing on older distributions
like EL8 and EL9, where the platform default python3 is older.

python3.11 was explicitly added due to FreeBSD, which doesn't have that
binary symlinked to any other name (like python3). Previously, it worked
only incidentally - when python3 was listed first, it triggered special
meson code for python detection, which is no longer the case when
python3.12 is listed first.

Bump the minimum required python version to 3.10

Drop support of EoL python versions for running system tests. The
maintenance cost of supporting end of life ecosystem, especially Python
3.6 on EL8 and the related outdated packages (pytest, dnspython, ...),
has become unreasonable.

Remove pytest<7 compatibility hacks

Minimum pytest version has been bumped to 7.0.0, thus these are no
longer needed.

Add support for pytest>=9.0.0

Use collection_path rather than the deprecated path argument for
pytest_ignore_collect() hook.

The collection_path argument was added in pytest 7.0.0, which is the
minimum supported pytest version from now on.

Add requirements.txt for system tests

This file lists the required Python packages and versions for running
system tests. The easiest way to obtain them is:

    pip install -r requirements.txt

The minimum dnspython version is 2.7.0 because it supports TSIG parsing
without validation (for tsig/tests_tsig_hypothesis.py) and wire() (for
names/tests_names.py).

The minimum pytest version was bumped to 7.0.0 because it supports the
collection hook API required by pytest 9.

The minimum hypothesis version was set to 4.41.2 as prior versions might
have issues on FIPS systems.

Merge tag 'v9.21.17'

fix: dev: Fix a bug in qpzone.c:first_existing_header_indirect()

There is a bug in qpzone.c:first_existing_header_indirect() where
it does not advance the pointer in the FOREACH type loop.

Remove the static function altogether, as it was used only once and
had some other problems too, and use simpler custom code instead in
the place where it was used.

Closes #5691

Merge branch '5691-qpzone.c-first_existing_header_indirect-fix' into 'main'

See merge request isc-projects/bind9!11460

Add a new dbversion unit test

Test that closing a writer with a rollback, then opening another
writer and adding a rdataset (while still holding the node reference)
works correctly.

This test checks that the bugfix in the previous commit is correct.

Remove qpzone.c:first_existing_header_indirect() which had bugs

The first_existing_header_indirect() static function is used only
in one place and it has bugs:

1. It doesn't advance the pointer and can cause an infinite loop
   if it doesn't break out from the loop on the first iteration.
2. It doesn't check if the header EXISTS, though its name indicates
   that it should.
3. Even if the infinite loop bug is fixed, it would eventually
   return the last checked header's pointer even if all the
   candidates do not match the criteria of the selection.

Instead of fixing it, remove the function and use simpler code in
the place where it was being called.