new: ci: Automatically trigger rebase of -sub branches

After a merge into the public project, trigger automatic rebase in the respective private branch of the private project.

Merge branch 'pspacek/auto-rebase-sub-branches' into 'main'

See merge request isc-projects/bind9!11012

Apply special git tag rules only in the private project

We do not want to re-release tags we create in the private project
anyway. Moreover pushing tags back into the public project after release
caused to Gitlab to create tag pipelines which never finished, which was
only confusing thing.

Trigger rebase in private project after merge into the public one

Actual rebase and push is handled by pipeline inside the private project.

Do not fail post-merge jobs if merge request reference is missing

Push without merge request reference on top happens when merging tags
back into the public project so these failures would produce log noise.

Do not fail post-merge jobs after force-push

Rebase happens in -sub branches regularly so these failures would
produce log noice.

Deduplicate Git NAME and EMAIL variables

As an additional perk, I hope JOB_ID will make it easier to debug it
something goes wrong with automated commits.

chg: dev: Refactoring in lib/isccfg

`cfg_obj_t` objects no longer depend on the `cfg_parser_t` life-cycle; they can now persist until the last reference is detached. The `file` field, which was previously a pointer to memory allocated in the parser, is now a pointer to a subsidiary `cfg_obj_t` of type string. The API calls for creating and detaching these objects have been simplified accordingly.

Since `cfg_obj_t` is now long-lived, a zone can hold a reference to its own configuration data, making it possible to use `rndc showzone` even if `allow-new-zones` is disabled.

Several API calls related to the parser have been removed or hidden. The `cfg_parse_file()` and `cfg_parse_buffer()` functions now internally create and destroy their own parsers, eliminating the need for the caller to do so.

Most of these changes are intended to simplify dumping of running configuration data in a future commit.

Merge branch 'colin/hide-cfg-parser' into 'main'

See merge request isc-projects/bind9!11132

restore the former change_directory logging

change_directory() now lives in libisccfg. when it was moved,
the logging behavior changed: previously it had been logged
by named only, in the general logging category, and without the
named.conf filename and line number. it was not logged by
named-checkconf. this behavior has now been restored.

test rndc showzone works for named.conf zones

Since the zone now has a reference to their respective configuration
tree, `rndc showzone` can be used for any zones (including those
defined in namedconf), without `allow-new-zones` being enabled.
Add a test for this.

The test is part of the addzone suite because showzone used to be
related to addzone, but this could be moved elsewhere in the future
if more specific tests are needed for showzone.

ensure parser/cfg_obj log includes the line number

Since the `file` property of cfg_obj_t can now be null (instead of
"none"), cfg_obj_t would take a fallback flow where the line was not
logged. This fixes it.

Also, add the log line when parser_complain is called and `file` is null
(which might happend when parsing buffer only) to also include the line
number.

simplify and regularize cfg_* functions

- several functions that can no longer fail have been changed to
  type void, and unnecessary 'cleanup' sections were removed
- renamed cfg_create_obj() to cfg_obj_create(), and cfg_create_tuple()
  to cfg_tuple_create(), to match typical nomenclature.
- fixed a memory leak bug, in which an element could be removed
  from a list in delete_zoneconf() without being freed. this has
  been addressed by adding a cfg_list_unlink() function.
  list elements are now allocated based on the list they will
  be stored in, using the same mctx.

simplify cfg_parser API

- the cfg_parser_create() and cfg_parser_destroy() calls are no
  longer used outside parser.c, so they are now static functions
- cfg_parser_attach(), cfg_parser_reset(), and cfg_parser_setflags()
  are no longer used at all, and have been removed.
- cfg_parser_mapadd() has been renamed for clarity to cfg_map_add().

cfg_parse_ functions internally handle the parser

Instead of (1) allocating a parser, (2) parsing a file/buffer then (3)
freeing the parser, the parser is now internally created/destroyed from
within the `cfg_parse_*` functions. This simplifies a lot the use cases,
especially around the error cases where the parser needs to be freed in
a cleanup goto.

The only trick was the parser callback mechanism, which would previously
have been set up between steps 1 and 2.  Since it's never been used for
any purpose other than the "directory" option, the chdir call has now
been moved inside the parser and the generic callback mechanism has been
removed, replacing CFG_CLAUSEFLAG_CALLBACK with CFG_CLAUSEFLAG_CHDIR.

store the zone configuration object in the zone

when configuring a zone, we can now save the zone's configuration
object in the zone itself by calling dns_zone_setcfg().  this can
then be used by "rndc showzone" to print the zone's configuration,
which is simpler than searching for it using the new-zones
configuration, and allows it to work even if "allow-new-zones"
is disabled.

update cfg_obj_attach/destroy

now that cfg_obj_destroy() has been simplified, we can use the
ISC_REFCOUNT macros to declare cfg_obj_attach() and _detach().

remove all shared and global parsers

Remove all global cfg_parser objects as well as shared parsers between
views to dynamically add zones. Instead, parser are transirently created
whenever needed.

remove global named defaults parser

Remove the global named defaults parser. Instead, a parser is created
during the execution time of named_config_parsedefaults(). This
simplifies the API (no parser to pass around) and the life-cycle of the
default configuration tree (it doesn't depends on a parser instance).

remove parser context field from cfg_obj_t

cfg_obj_t doesn't store a pointer to its a parser context anymore,
and does not depend on the parser's lifecycle. Instead, it stores a
reference to its own memory context (and in principle, each node
could have different memory context). This also slightly simplifies
the _destroy API as there is no need to pass a context through it
anymore.

cfg_obj_t file is now a refcounted string

In order to reduce the lifecycle dependency of a `cfg_obj_t` on its
parser, the `file` field needs its own reference count, so it isn't
deleted when the parser is.  It is now stored as a subsidiary
`cfg_obj_t` object of type string.

chg: test: Use isctest.asyncserver in the "nsupdate" test

Reimplement the custom server written in Perl in Python using the AsyncDnsServer class.

Merge branch 'stepan/nsupdate-asyncserver' into 'main'

See merge request isc-projects/bind9!10915

Use isctest.asyncserver in the "nsupdate" test

Reimplement the custom server written in Perl in Python using the
AsyncDnsServer class.

Enable ignoring TCP connections

Add a TCP connection handler, IgnoreAllConnections that allows
establishing TCP connection but not reading anything from it.

This re-uses the horrible hack from ConnectionReset handler and might
break at any point in the future.

See the comments and e4078885073a6c5b59729f4313108e3e7637efdb for more
details.

Merge tag 'v9.21.14'

chg: ci: Fail when spatch can't process source code

Sometimes spatch fails to process the source code:

    EXN: Failure("replacement: node 80: {7[1,2,30,31,32] in isc__nm_base64_to_base64url reachable by inconsistent control-flow paths") in ./lib/isc/netmgr/http.c

Closes #5567

Merge branch '5567-spatch-detect-more-error-conditions' into 'main'

See merge request isc-projects/bind9!11115

Use DNS_SIGTYPEPAIR instead of DNS_SIGTYPE

After 74fe3db37c65e997b82b81e5685b65cf19818646, there's no such thing as
DNS_SIGTYPE.

Use SET_IF_NOT_NULL in isc__nm_base64*

Spawn coccinelle CI job when util/check-cocci.sh was touched

Fail when spatch can't process source code

Sometimes spatch fails to process the source code:

    EXN: Failure("replacement: node 80: {7[1,2,30,31,32] in isc__nm_base64_to_base64url reachable by inconsistent control-flow paths") in ./lib/isc/netmgr/http.c

new: dev: run individual spatch form check-cocci.sh

Add util/check-cocci.sh support for a command-line argument which is a
path to a spatch file. Running `util/check-cocci.sh` runs all the spatch
in `cocci` folder. Running `util/check-cocci.sh cocci/foo.spatch` only
run the spatch `cocci/foo.spatch`.

Any command line parameters after `--` are forwarded to `spatch`
command, for instance:

`util/check-cocci.sh -- --debug`
`util/check-cocci.sh cocci/foo.spatch -- --debug`

Will (1) run all spatch files in cocci/ with --debug spatch option and
(2) run only `cocci/foo.spatch` with --debug options.

Merge branch 'colin/check-cocci-individual-check' into 'main'

See merge request isc-projects/bind9!11096

run individual spatch form check-cocci.sh

Add util/check-cocci.sh support for a command-line argument which is a
path to a spatch file. Running `util/check-cocci.sh` runs all the spatch
in `cocci` folder. Running `util/check-cocci.sh cocci/foo.spatch` only
run the spatch `cocci/foo.spatch`.

Any command line parameters after `--` are forwarded to `spatch`
command, for instance:

`util/check-cocci.sh -- --debug`
`util/check-cocci.sh cocci/foo.spatch -- --debug`

Will (1) run all spatch files in cocci/ with --debug spatch option and
(2) run only `cocci/foo.spatch` with --debug options.

fix: test: Fix typo in tools test's shell path

Merge branch 'pspacek/fix-test-typo' into 'main'

See merge request isc-projects/bind9!10939

Fix typo in tools test's shell path

fix: usr: dnssec-verify now uses exit code 1 when failing due to illegal options

Previously, dnssec-verify exited with code 0 if the options could not be parsed. This has been fixed.

Closes #5574

Merge branch '5574-dnssec-verify-uses-exit-code-0-when-failing-due-to-illegal-option' into 'main'

See merge request isc-projects/bind9!11106

dnssec-verify now returns failure on bad arguments

fix: usr: Fix dnssec-keygen key collision checking for KEY rrtype keys

The :iscman:`dnssec-keygen` utility program failed to detect
possible Key ID collisions with the existing keys generated
using the non-default ``-T KEY`` option (e.g. for ``SIG(0)``).
This has been fixed.

Closes #5506

Merge branch '5506-dnssec-keygen-sig0-keys-collision-fix' into 'main'

See merge request isc-projects/bind9!11047

Don't log spurious error "bad key type" in findmatchingkeys

Fix dnssec-keygen key collision checking for KEY rrtype keys

When generating a new key, dnssec-keygen checks for possible
key ID collisions with existing keys. The dnssec.c:findmatchingkeys()
function, which is supposed to get the list of the existing keys,
fails to do that for the existing KEY rrtype keys (i.e. generated
using 'dnssec-keygen -T KEY') because it doesn't pass down to the
dst_key_fromnamedfile() -> dst_key_read_public() functions the type
of the keys it's interested in. Fix the issue by introducing a new
function parameter which tells in which type of keys the caller is
currently interested in.

new: test: Add module-specific python setup to system tests

During the system test execution, allow use of module-specific setup()
function in addition to the setup.sh script which this function should
ultimately replace.

The purpose of setup() is two-fold. First, it can execute any commands
needed to create the initial conditions for the test, such as creating
key materials, manipulating files etc. Second, it should return any
test-specific template values as a dictionary. Those will be used to
render the jinja2 templates.

Merge branch 'nicki/pytest-add-python-setup-func' into 'main'

See merge request isc-projects/bind9!10983

Use common name for post-startup server functions

Unify the names of autouse module-wide fixtures that perform
after_servers_start() setup. The consistent naming doesn't just help
readability, but also makes it simpler for the vulture exception (since
it doesn't properly deal with autouse fixtures).

Use bootstrap() in pytest where applicable

Replace the autouse fixtures which were only used to change the initial
server configuration into proper bootstrap() functions. This gets rid of
an extraneous reconfigure.

In the tests_validation_many_anchors.py, split the fixture into a proper
bootstrap() and a separate test for checking the expected log lines for
the ignored keys. Previously, the test was broken - it should check for
all the messages being present in the log, and some of the keys are
actually initial-key rather than static-key. This has been fixed in the
parametrized test.

Add module-specific python setup to system tests

During the system test execution, allow use of module-specific
bootstrap() function in addition to the setup.sh script which this
function should ultimately replace.

The purpose of bootstrap() is two-fold. First, it can execute any
commands needed to create the initial conditions for the test, such as
creating key materials, manipulating files etc. Second, it should return
any test-specific template values as a dictionary. Those will be used to
render the jinja2 templates.

rem: doc: Remove stub chapter about load balancing from ARM

Related: !6610

Merge branch 'pspacek/doc-remove-load-balancing' into 'main'

See merge request isc-projects/bind9!11117

Remove stub chapter about load balancing from ARM

Clearly Support wants this in Knowledge base, so let's comply.

Related: !6610

new: ci: Update Clang to version 21

Merge branch 'mnowak/llvm-21' into 'main'

See merge request isc-projects/bind9!10877

Use clang-format-21 to update formatting

Update Clang to version 21

fix: nil: simplify dns_dumpctx API

the functions dns_dumpctx_db() and dns_dumpctx_version() are used in
only one place, to get the serial number of the version being dumped.
it's simpler to expose the serial number through its own call,
dns_dumpctx_serial(), and remove the others.

Merge branch 'each-cleanup-dumpctx' into 'main'

See merge request isc-projects/bind9!10937

simplify dns_dumpctx API

the functions dns_dumpctx_db() and dns_dumpctx_version() are used in
only one place, to get the serial number of the version being dumped.
it's simpler to expose the serial number through its own call,
dns_dumpctx_serial(), and remove the others.

fix: nil: Fix parse_dnskey in bin/dnssec/dnssec-ksr.c was failing to reset comments

If dns_name_fromtext failed or the subsequent dns_name_compare
failed the lexer's comments state wasn't cleaned up.

Closes #5581

Merge branch '5581-parse_dnskey-in-lib-dns-skr-c-was-failing-to-reset-comments' into 'main'

See merge request isc-projects/bind9!11109

Fix parse_dnskey in bin/dnssec/dnssec-ksr.c was failing to reset comments

If dns_name_fromtext failed or the subsequent dns_name_compare
failed the lexer's comments state wasn't cleaned up.

fix: ci: Delete tarball after unpacking in CI jobs

This was overlooked in Meson migration.

Merge branch 'stepan/delete-tarball-after-unpacking' into 'main'

See merge request isc-projects/bind9!11111

Delete tarball after unpacking in CI jobs

This was overlooked in Meson migration.

chg: dev: mem: checkfree assertion after debug list dump

When a memory context is destroyed, if the `checkfree` property is set,
the program assert there is no remaining allocation. If there are and
assertions are enabled, the program immediately stops.

However, if memory trace/record debug is enabled, the dump of
outstanding allocation won't be printed as it is done after the
no remaining allocation assertion check.

This moves the no remaining allocation assertion check after the dump of
outstanding allocations, so it is still possible to figure out what's
still allocated by this memory context.

Merge branch 'colin/mem-checkfree-check-after-debuglist' into 'main'

See merge request isc-projects/bind9!11110

check memory context validity before mem_destory

Add a magic number check to ensure the memory context validity before
destorying it.

This check is needed now as it was done before implicitly when
isc_mem_inuse was called, but isc_mem_inuse is now called later (to be
able to dump the outstanding allocations).

mem: checkfree assertion after debug list dump

When a memory context is destroyed, if the `checkfree` property is set,
the program assert there is no remaining allocation. If there are and
assertions are enabled, the program immediately stops.

However, if memory trace/record debug is enabled, the dump of
outstanding allocation won't be printed as it is done after the
no remaining allocation assertion check.

This moves the no remaining allocation assertion check after the dump of
outstanding allocations, so it is still possible to figure out what's
still allocated by this memory context.

Update BIND version for release

new: doc: Prepare documentation for BIND 9.21.14

Merge branch 'michal/prepare-documentation-for-bind-9.21.14' into 'v9.21.14-release'

See merge request isc-private/bind9!867

Remove reuse annotations for unused m4 libtool files

The files in question are no longer included in the git tree and
distributed with the code. Remove the reuse annotations as they caused
issues with reuse 6.0.0, as multiline annotation for
SPDX-FileCopyrightText breaks the parsing.

(cherry picked from commit e77f349240d1f71953cfe26cf0a1417e5c085493)

Prepare release notes for BIND 9.21.14

Prepare changelog for BIND 9.21.14

fix: usr: Fix the assertion failure in the selfsigned DNSKEY handling

The selfsigned_dnskey() function can now return all the return codes
that dns_dnssec_keyfromrdata() can return and this would cause an
assertion failure as we were not expecting new isc_result_t codes.

Closes isc-projects/bind9#5343

Merge branch 'ondrej/security-fix-crash-in-selfsigned-key-handling' into 'v9.21.14-release'

See merge request isc-private/bind9!865

fix: usr: Report when a zone reload is already in progress

If a zone reload was already in progress when `rndc reload <zone>` was
run, the message returned was "zone reload queued", which was technically
correct, but it was identical to the message returned when a reload
was not in progress. Consequently, a user could issue two reload commands
without realizing that only one reload had actually taken place. This has
been addressed by changing the message returned to "zone reload was already queued".

Closes #5140

Merge branch '5140-report-reload-in-progress' into 'main'

See merge request isc-projects/bind9!10849

report when zone reload already in progress

if a zone reload is already in progress when 'rndc reload <zone>' is
run, currently the message returned in "zone reload queued", which
is correct, but it's identical to the message returned when a reload
was *not* in progress, so the user can't easily tell what happened.
a user could reload a zone twice and not realize that only one
reload actually took place.

this has been addressed by changing the message returned to
"zone reload was already queued".

a new result code ISC_R_LOADING has been added to signal this
condition, taking the place of ISC_R_RELOAD, which was obsolete
and has been removed.

fix: test: fix random failure on synthrecord system test

One of the synthrecord system tests uses a test function to generate an expected name based on some randomly generated IPv6 (using Hypothesis). Turns out the test function generating the name didn't handle the case where the label which encodes the IPv6 could have a leading or trailing '-' character. (The plugin needs to add a leading or trailing 0 so as not to break IDN compatibility.)

Merge branch 'colin/fix-synthrecord-v6test' into 'main'

See merge request isc-projects/bind9!11073

fix random failure on synthrecord system test

One of the synthrecord system tests uses a test function to generate an
expected name based on some randomly generated IPv6 (using Hypothesis).
Turns out the test function generating the name didn't handle the case
where the label which encodes the IPv6 could have a leading or trailing
'-' character. (The plugin needs to add a leading or trailing 0 so as
not to break IDN compatibility.)

Fix the assertion failure in the selfsigned DNSKEY handling

The selfsigned_dnskey() function can now return all the return codes
that dns_dnssec_keyfromrdata() can return and this would cause an
assertion failure as we were not expecting new isc_result_t codes.

chg: dev: Change the CONTRIBUTING to use Developer's Certificate of Origin 1.1

Merge branch 'ondrej/developer-certificate-of-origin' into 'main'

See merge request isc-projects/bind9!11108

Change the CONTRIBUTING to use Developer's Certificate of Origin 1.1

fix: nil: Fix the type in Feature Request template

Merge branch 'ondrej/no-ai-templates-fixup' into 'main'

See merge request isc-projects/bind9!11107

Fix the type in Feature Request template

fix: dev: Ensure correct result from check_signer()

It was possible for the result to be overwritten after a validation failure, causing `check_signer()` to return success when it should have returned an error.

Closes #5575

Merge branch '5575-ensure-correct-result-from-check_signer' into 'main'

See merge request isc-projects/bind9!11103

Ensure correct result from check_signer()

It was possible for the result to be overwritten after a
validation failure, causing check_signer() to return success
when it should have returned an error.

Co-Authored-By: Ondřej Surý <ondrej@isc.org>

doc: nil: Add a section about AI use in BIND 9 issue templates

Generally speaking, no AI generated slop is permitted.  If AI has been
used to find an actual problem, the findings need to be verified by a
person, and the report should be written by the person.  No copy and
paste is allowed.  Anyone reporting the problem needs to be able to
verify the problem independently of the AI.

Merge branch 'ondrej/no-ai-templates' into 'main'

See merge request isc-projects/bind9!11105

Add a section about AI use in BIND 9 issue templates

Generally speaking, no AI generated slop is permitted.  If AI has been
used to find an actual problem, the findings need to be verified by a
person, and the report should be written by the person.  No copy and
paste is allowed.  Anyone reporting the problem needs to be able to
verify the problem independently of the AI.

fix: test: multisigner test can leave created.* and unused.* files

Expect created.* and unused.* files at the end of running
the multisigner test.

Closes #5565

Merge branch '5565-multisigner-test-can-leave-created-and-unused-files' into 'main'

See merge request isc-projects/bind9!11089

Expect created.* and unused.* files

fix: test: Fix synthrecord system test fails on MacOS

Don't hardcode shared library extension.

Closes #5573

Merge branch '5573-synthrecord-system-test-fails-on-macos' into 'main'

See merge request isc-projects/bind9!11098

Don't hardcode shared library extension

fix: test: "nextpart" piped to "grep -q" doesn't work as expected

`nextpart file | grep -q` doesn't work as expected.  `grep -q` is not
required to read all of the input and that causes `nextpart` to fail.

Closes #5566

Merge branch '5566-nextpart-piped-to-grep-q-doesn-t-work-as-expected' into 'main'

See merge request isc-projects/bind9!11090

'nextpart' and 'grep -q' don't work together

'nextpart file | grep -q' doesn't work as expected.  'grep -q' is not
required to read all of the input and that causes 'nextpart' to fail.

fix: nil: Fix parse_rr in lib/dns/skr.c was failing to reset the comments

If dns_name_fromtext failed or the subsequent dns_name_compare
failed the lexer's comments state wasn't cleaned up.

Closes #5564

Merge branch '5564-fix-bug-in-skr-c-parse_rr-on-error-path' into 'main'

See merge request isc-projects/bind9!11088

Fix parse_rr in lib/dns/skr.c was failing to reset the comments

If dns_name_fromtext failed or the subsequent dns_name_compare
failed the lexer's comments state wasn't cleaned up.

fix: doc: Remove mentions of the bind-workers mailing list

It has been shutdown back in 2022.

Merge branch 'stepan/remove-bind-workers-from-readme' into 'main'

See merge request isc-projects/bind9!11061

Remove mentions of the bind-workers mailing list

It has been shutdown back in 2022.

chg: doc: Set up version for BIND 9.21.15

Merge branch 'michal/set-up-version-for-bind-9.21.15' into 'main'

See merge request isc-projects/bind9!11083

Update BIND version to 9.21.15-dev

rem: dev: Remove "bindkeys-file" option

The `bindkeys-file` option was only used for testing purposes, and has now been replaced with a `-T bindkeys=<filename>` option for `named`.

Merge branch 'each-remove-bindkeys-file' into 'main'

See merge request isc-projects/bind9!11081

remove "bindkeys-file" option

The bindkeys-file option was only used for testing purposes, and
has now been replaced with a "-T bindkeys=<filename>" option for
named.

clean up bind.keys

the comments in the bind.keys file were outdated; the file now only
exists to be converted into bind.keys.h and compiled into named and
delv.

some tests also referenced it, and have been cleaned up, since
the keys in it are already built into named.

chg: nil: Add dnssec-policy text for dnssec-importkey

:program:`dnssec-importkey` should not be used to import DNSKEY records from other providers (for example when setting up multi-signer). Clarify this in the manpage.

Merge branch 'matthijs-clarify-import-key-dnssec-policy' into 'main'

See merge request isc-projects/bind9!11064

Add dnssec-policy text for dnssec-importkey

You should not use dnssec-importkey to import DNSKEY records from
other providers (for example when setting up multi-signer).

Clarify this in the manpage.

fix: test: Disable keyfromlabel collision avoidance in tests

With the collision avoidance on, some of the tests would occasionally
fail. None of the tests using keyfromlabel are revoking the keys so it
should be safe to disable it.

Closes #5554

Merge branch '5554-disable-keyfromlabel-collision-avoidance-in-tests' into 'main'

See merge request isc-projects/bind9!11066

Disable keyfromlabel collision avoidance in tests

With the collision avoidance on, some of the tests would occasionally
fail. None of the tests using keyfromlabel are revoking the keys so it
should be safe to disable it.

fix: nil: Update the semantic patches to use new coccinelle syntax

Merge branch 'ondrej/update-semantic-patches' into 'main'

See merge request isc-projects/bind9!11067

Apply the changes from updated set_if_not_null semantic patch

Disable the unreachable semantic patch

The UNREACHABLE() semantic patch seems to be broken with coccinelle
1.3.0 - it spins undefinitely.  Disable it for now.

Update the semantic patches to use new development ideas

Co-Authored-By: Markus Elfring <Markus.Elfring@web.de>

chg: test: Remove KeyProperties property expect

We agreed to make "expect" a direct attribute of KeyProperties, but it turns out the property is unused, so we can just remove it.

Closes #5278

Merge branch '5278-kasp-system-test-follow-up-1' into 'main'

See merge request isc-projects/bind9!11042

Make properties direct attribute of KeyProperties

There is no real reason to keep those in a dictionary.

Remove KeyProperties property expect

This property is unused, so we can just remove it.