Merge branch 'mnowak/drop-some-system-test-scrips' into 'main'

Drop some system test scripts

See merge request isc-projects/bind9!5745

Clean up test.output.* references

test.output.* files are no longer created by the system test framework.
Remove all references to these files from the source tree.

Drop systests.output references from system test

Since "runall.sh" script removal systests.output file is not being
created and its references are useless.

Drop support for sequential system tests

System test used to have sequential system tests, which can't run in
parallel with the rest of system tests. As there are no such tests
anymore the underlying infrastructure can be dropped.

Drop bin/tests/system/parallel.sh

"parallel.sh" script was used on Windows to run system tests in
parallel. Since Windows support was removed from BIND 9, the script is
not needed anymore.

Drop testsummary.sh

testsummary.sh was not updated after build system rewrite to Autotools,
and needs to be fixed to produce test summary and core dump, assertion
failures, and ThreadSanitizer reports.

Given that all of this is provided by Autotools and run.sh already,
there's little use to testsummary.sh script and should be dropped.

Merge branch '3108-cacheline-detection-propagate' into 'main'

Actually use detected cache line size

Closes #3108

See merge request isc-projects/bind9!5758

Add CHANGES note for [GL #3108]

Use detected cache line size

IBM power architecture has L1 cache line size equal to 128.  Take
advantage of that on that architecture, do not force more common value
of 64.  When it is possible to detect higher value, use that value
instead.  Keep the default to be 64.

Merge branch '3115-qname-wait-recurse-typo' into 'main'

Fix typo in qname-wait-recurse

Closes #3115

See merge request isc-projects/bind9!5768

Fix typo in qname-wait-recurse

In the RPZ documentation, there's a mistake where it states that the
default behavior will be disabled by setting `qname-wait-recurse yes;`
while in fact it's opposite `qname-wait-recurse no;`.

This affects only the RST documentation.

Merge branch '1729-remove-unused-helper-scripts-from-bin-tests-system' into 'main'

Resolve "Remove unused helper scripts from bin/tests/system/"

Closes #1729

See merge request isc-projects/bind9!4489

Drop runall.sh

runall.sh was mainly used on Windows and as it's support was removed
from the "main" branch the script is not needed anymore.

Also, remove bin/tests/system/README text on running multiple system
test suites simultaneously with runall.sh as that support was not
present in the script anyway.

Drop unused @DNSTAP@ label in conf.sh.in

@DNSTAP@ label does not have adjacent AC_SUBST() call and is therefore
unused.

rrsetorder should use stop_server() in tests.sh

Drop bin/tests/system/setup.sh

bin/tests/system/setup.sh just executes setup.sh script of a particular
system test in the directory of the system test. This does not seems to
be useful enough to maintain it.

Drop stopall.sh

stopall.sh script takes almost 2 minutes to go thru all test
subdirectories (due to a sleep in stop.pl) and does not seems to be
efficient way to stop manually started tests.

Merge branch 'matthijs-keyfromlabel-system-test' into 'main'

Add keyfromlabel system test

Closes #3092

See merge request isc-projects/bind9!5312

Update pkcs11 documentation on openssl_conf

The user should make sure there are no other 'openssl_conf = ...' lines
in the file.

Create keys with pkcs11-tool --id

The keyfromlabel system ECDSA tests sometimes fail. When this happens
the ZSK and KSK key id values differ by 1, which is an indication that
the same key is used for both DNSKEY records.

When the private key is retrieved with 'ENGINE_load_private_key()', the
public key is already set. But sometimes that key differs from the key
which was retrieved with 'ENGINE_load_public_key()'.

The libp11 source code uses id to find the key and without IDs all the
keys are "equal", so it is returning the first key in the array of the
enumerated keys instead of the matching key. In our test we didn't use
'--id', just '--label'. With this change, the system test should no
longer fail intermittently.

Note this is only an issue for ECDSA keys, not RSA keys.

Suppressing memory leaks procuded by LeakSanitizer

These memory leaks are a known issue in libp11: From Timo Teras:

The relevant code is:

  https://github.com/OpenSC/libp11/blob/master/src/eng_front.c#L114-L123

The authors of libp11 did not get the locking right and decided
that having intentional memory leaks is better than risking a deadlock.

The leak logs indicate that it is the cached structures that should
have been freed.

These are not a run-time leaks, so suppressing these leaks is probably
okay.

Add system test for dnssec-keyfromlabel

Add missing system test for dnssec-keyfromlabel. Test for various
algorithms that we can generate key files from a key that is stored in a
HSM, and that those keys can be used for signing with dnssec-signzone.

Update .gitlab-ci.yml with openssl setup

GitLab CI needs to know about some environment variables that will
tell where OpenSSL and SoftHSM2 is installed. This is done in the
image, making the prepare-softhsm2.sh script obsolete.

The SoftHSM2 module location is system specific.

Remove prepare-softhsm2.sh from runtime test

This script is obsoleted because SoftHSM2 is now installed in the
image.

Add CHANGES for keyfromlabel test

Merge branch 'mnowak/remove-leftover-test-code-for-windows' into 'main'

Remove leftover test code for Windows

See merge request isc-projects/bind9!5739

Remove leftover test code for Windows

- Removed all code that only runs under CYGWIN, and made all
  code that doesn't run under CYGWIN non-optional.
- Removed the $TP variable which was used to add optional
  trailing dots to filenames; they're no longer optional.
- Removed references to pssuspend and dos2unix.
- No need to use environment variables for diff and kill.
- Removed uses of "tr -d '\r'"; this was a workaround for
  a cygwin regex bug that is no longer needed.

Merge branch 'michal/misc-test-framework-fixes' into 'main'

Miscellaneous test framework fixes

See merge request isc-projects/bind9!5759

Fix waiting for lock file removal upon exit

Commit c787a539d2a931ba9023677c1c269ed191455512 fixed a certain class of
intermittent system test failures caused by named instances unable to
restart.  The root cause was bin/tests/system/stop.pl returning without
waiting for a named instance to remove its lock file.

Later on, it turned out that the above change causes other issues on
Windows due to the way named handles signals on that platform.  Commit
761ba4514f7eceab8019d71dc9cabd269d274597 intended to address those
issues by making the server_lock_file() subroutine in
bin/tests/system/stop.pl return an empty value on Windows, in order to
prevent the script for waiting for lock file cleanup on that platform.
Note, however, that Windows detection in that subroutine is limited to
checking whether the CYGWIN environment variable is set.

While that environment variable was not set on Unix-like systems before
commit 761ba4514f7eceab8019d71dc9cabd269d274597, another commit
(a33237f070c95480f581d85b0169f41ce5a12017, merged a few weeks later)
changed that by setting the CYGWIN environment variable to an empty
value on Unix-like systems.  This made the defined($ENV{'CYGWIN'}) check
in server_lock_file() return true, inadvertently preventing
bin/tests/system/stop.pl from waiting for lock file removal before
exiting on Unix-like systems and therefore reintroducing the original
issue.

Fix by making server_lock_file() only return an empty value when the
CYGWIN environment variable is set to a non-empty value (which is what
bin/tests/system/conf.sh.win32 does).  Adjust a similar check in the
pid_file_exists() subroutine in the same way for consistency.

Do not strip leading whitespace from test output

The echo_*() and cat_*() functions in bin/tests/system/conf.sh.common
call the "read" builtin command without specifying the field separator
to use.  This results in leading whitespace getting stripped from each
line of the texts passed to those functions, which mangles e.g. pytest
output, hindering test failure troubleshooting.

Address by setting IFS to an empty value for the "read" calls used in
the aforementioned helper functions.

Retain all named.run files from each test run

The bin/tests/system/start.pl script truncates the named.run file for a
given named instance unless it is invoked with the --restart
command-line option.  Ever since Python-based tests were introduced,
bin/tests/system/run.sh may start named instances used by a given system
test multiple times within a single run, causing the
bin/tests/system/start.pl script to truncate some of the log files
written during the test.  This makes troubleshooting certain test
failures hard or even impossible.

Fix by calling bin/tests/system/start.pl with the --restart command-line
option for every start_servers() invocation except the first one.

Merge branch '3087-tls-ephemeral-certificate-set-not-before-in-past' into 'main'

Set the ephemeral certificate's "not before" a short time in the past

Closes #3087

See merge request isc-projects/bind9!5708

Set the ephemeral certificate's "not before" a short time in the past

TLS clients can have their clock a short time in the past which will
result in not being able to validate the certificate.

Setting the "not before" property 5 minutes in the past will
accommodate with some possible clock skew across systems.

Merge branch '3060-revert-view-on-failed-reconfig' into 'main'

Improve the view configuration error handling and reverting logic

Closes #3060

See merge request isc-projects/bind9!5674

Fix a memory leak in dns_dlzcreate()

dns_dlzcreate() fails to free the memory allocated for dlzname
when an error occurs.

Free dlzname's memory (acquired earlier with isc_mem_strdup())
by calling isc_mem_free() before returning an error code.

Fix invalid control port number in the catz system test

When failure is expected, the `rndc` command in the catz system test
is being called directly instead of using a function, i.e.:

    $RNDC -c ../common/rndc.conf -s 10.53.0.2 -p 9953 reconfig \
        > /dev/null 2>&1 && ret=1

... instead of:

    rndccmd 10.53.0.2 reconfig && ret=1

This is done to suppress messages like "lt-rndc: 'reconfig' failed:
failure" appearing in the message log of the test, because failure
is actually expected, and the appearance of that message can be
confusing.

The port value used in this case is not correct, making the
`rndc reload` command to fail.  This error was not detected earlier
only because the failure of the command is actually expected, but
the failure happens for a "wrong" reason, and the test still passes.

Fix the error by using the existing variable instead of the fixed
number.

Add a system test for view reverting after a failed reconfiguration

Test the view reverting code by introducing a faulty dlz configuration
in named.conf and using `rndc reconfig` to check if named handles the
situation correctly.

We use "dlz" because the dlz processing code is located in an ideal
place in the view configuration function for the test to cover the
view reverting code.

This test is specifically added to the catz system test to additionally
cover the catz reconfiguration during the mentioned failed
reconfiguration attempt.

Add CHANGES and release notes for [GL #3060]

Improve the zones' view reverting logic when a zone is a catalog zone

When a zone is being configured with a new view, the catalog zones
structure will also be linked to that view. Later on, in case of some
error, should the zone be reverted to the previous view, the link
between the catalog zones structure and the view won't be reverted.

Change the dns_zone_setviewrevert() function so it calls
dns_zone_catz_enable() during a zone revert, which will reset the
link between `catzs` and view.

Separate the locked parts of dns_zone_catz_enable/disable functions

Separate the locked parts of dns_zone_catz_enable() and
dns_zone_catz_disable() functions into static functions.  This will
let us perform those tasks from the other parts of the module while
the zone is locked, avoiding one pair of additional unlocking and
locking operations.

Improve the view configuration error handling and reverting logic

If a view configuration error occurs during a named reconfiguration
procedure, BIND can end up having twin views (old and new), with some
zones and internal structures attached to the old one, and others
attached to the new one, which essentially creates chaos.

Implement some additional view reverting mechanisms to avoid the
situation described above:

 1. Revert rpz configuration.

 2. Revert catz configuration.

 3. Revert zones to view attachments.

Merge branch 'pspacek/misc-doc-cleanups' into 'main'

Miscellaneous documentation cleanups

See merge request isc-projects/bind9!5752

Fix incorrect RFC footnote about A6 RR type in RFC4033

A6 type is not mentioned anywhere in RFC4033.

Remove RFCs not implemented in BIND from list in the ARM

This commit partially removes extra RFCs which are not listed in
file doc/misc/rfc-compliance.

Most of the removed RFCs are either outright obsolete, irrelevant,
or not implemented. Rationale:
- 974 - obsolete
- 1033 - ops info, hardly followed today
- 1464 - ops info
- 1591 - policy
- 1537 - obsolete
- 1713 - obsolete
- 1794 - notimp
- 2010 - ops info
- 2052 - obsolete
- 2065 - obsolete
- 2137 - obsolete
- 2168 - obsolete
- 2240 - obsolete
- 2345 - not dns
- 2352 - not dns
- 2540 - notimp
- 2825 - notimp, info, obsolete
- 2826 - notimp
- 2929 - obsolete
- 3071 - policy
- 3090 - obsolete
- 3258 - notimp
- 6594 - iana, SSHFP
- 7216 - not dns
- 8482 - notimp
- 8490 - notimp

Probably most notable RFCs removed are:
- 8482 for special ANY handling
- 8490 for Stateful Operations
As far as I can tell BIND does not implement those.

Reword RFC section in the ARM

Add couple links and caveant for uninitiated readers.

Add RFCs listed in doc/misc/rfc-compliance to doc/arm/general.rst

There were three RFCs listed in list of "RFCs we implement" but missing
in the ARM.

Command to compare lists in the two documents:

    diff <(grep -o '^  RFC[0-9]\+' doc/misc/rfc-compliance | sed -e 's/[^0-9]//g' | sort -n) <(grep  '^:rfc:`' doc/arm/general.rst | sed -e 's/^.*`\([0-9]*\)`.*$/\1/' | sort -n)

Rework doc/arm/build.rst

  - Revise the list of required libraries.
  - Apply miscellaneous tweaks to style, formatting, and ordering.

Deduplicate text between Building BIND 9 / Supported Platforms in the ARM

Supported Platforms section is now really only about platforms and not
libraries. Libraries were moved to the Building BIND section.

We now have section for required libraries, and second with optional
features.  Wordy explanations were taken verbatim from the original
README.md.

Replace Building BIND 9 section in README with reference to ARM

Convert "Building BIND" section from README.md to reStructuredText

Converted using pandoc 2.14.2-9 on Arch Linux:

    $ pandoc --shift-heading-level-by=-1 -f markdown -t rst README.md > doc/arm/build.rst

Plus hand-edit to remove sections other than Building BIND 9, remove
misindentation in section headers, and add a standard copyright header.

Link to ISC KB for most up-to-date platform support statuses

Replace all occurences of PLATFORMS file with reference to the ARM

The conf.py exclude_patterns now includes platforms.rst to avoid
problems with redefining labels:
https://github.com/sphinx-doc/sphinx/issues/1668#issuecomment-71376208

Replace duplicate Supported Operating Systems in the ARM by PLATFORMS.rst

Convert PLATFORMS file from Markdown to reStructuredText

Converted using pandoc 2.14.2-9 on Arch Linux:

    $ pandoc -f markdown -t rst PLATFORMS.md > PLATFORMS.rst

The pandoc-generated copyright header was subsequently replaced with
usual one for .rst files.

Update BIND version number in PLATFORMS.md to 9.19

Document that tls statement is subject to change

Clarify XoT usage and warn about the unauthenticated mode

Merge branch 'ondrej/use-utc-for-reproducible-builds' into 'main'

Use UTC datetime for reproducible builds

See merge request isc-projects/bind9!5750

Use UTC datetime for reproducible builds

For reproducible builds, we use last modification time of the CHANGES
file.  This works pretty well, unless the builds are made in different
timezones.

Use UTC option to date command to make the builds reproducible.

Merge branch '3108-bind9-fails-to-start-on-machines-where-glibc-does-not-provide-l1-cache-size' into 'main'

Ignore the invalid L1 cache line size returned by sysconf()

Closes #3108

See merge request isc-projects/bind9!5748

Add CHANGES note for [GL #3108]

Ignore the invalid L1 cache line size returned by sysconf()

On some systems, the glibc can return 0 instead of cache-line size to
indicate the cache line sizes cannot be determined.  This is comment
from glibc source code:

    /* In general we cannot determine these values.  Therefore we
       return zero which indicates that no information is
       available.  */

As the goal of the check is to determine whether the L1 cache line size
is still 64 and we would use this value in case the sysconf() call is
not available, we can also ignore the invalid values returned by the
sysconf() call.

Merge branch 'pspacek/remove-duplicate-named.conf.rst' into 'main'

Remove duplicate named.conf.rst file

See merge request isc-projects/bind9!5731

Remove duplicate named.conf.rst file

As far as I can tell, it is some leftover from the times when Sphinx
docs were introduced (commit 9fb6d11abbdb10ded128f0ee5c004f24b4030ede).
It seems like it is not referenced from anywhere.

Merge branch 'michal/miscellaneous-text-tweaks-related-to-doh-and-dot' into 'main'

Miscellaneous text tweaks related to DNS-over-HTTPS and DNS-over-TLS

See merge request isc-projects/bind9!5743

Suggest --disable-doh when libnghttp2 is not found

Extend the error message displayed when support for DNS over HTTPS is
requested but libnghttp2 is unavailable at build time, in order to help
the user find a way out of such a situation.

Avoid use of the DoH acronym in ./configure output

Replace all uses of the DoH acronym in ./configure output with
"DNS-over-HTTPS support" in order to improve error message readability.

Fix spelling of "DNS over HTTPS" & "DNS over TLS"

The terms "DNS over HTTPS" and "DNS over TLS" should be hyphenated when
they are used as adjectives and non-hyphenated otherwise.  Ensure all
occurrences of these terms in the source tree follow the above rule.
(CHANGES and release notes are intentionally left intact.)

Tweak a related ARM snippet, fixing a typo in the process.

Merge branch 'v9_17_22-release' into 'main'

Merge 9.17.22 release branch

See merge request isc-projects/bind9!5741

Prepare release notes for BIND 9.17.23

Update BIND version to 9.17.22

Add a CHANGES marker

Merge branch 'pspacek/prepare-documentation-for-bind-9.17.22' into 'v9_17_22-release'

Prepare documentation for BIND 9.17.22

See merge request isc-private/bind9!345

Prepare release notes for BIND 9.17.22

Reorder release notes

Add release note for GL #2398 and GL #3048

Related: !5620
Fix the isc_hp initialization and memory usage

Related: !5646
Reduce freemax values for dns_message mempools

Add release note for GL #2264

Related: !5627
Use ECDSA P-256 instead of 4096-bit RSA for 'tls ephemeral'

Tweak and reword release notes

Remove release note for GL #3079

Merge branch '3080-rndc-catch-canceled' into 'main'

rndc: catch ISC_R_CANCELED in rndc_recvdone()

Closes #3080

See merge request isc-projects/bind9!5716

CHANGES for [GL #3080]

rndc: prevent crashing after receiving a signal

If isc_app_run() gets interrupted by a signal, the global 'rndc_task'
variable may already be detached from (set to NULL) by the time the
outstanding netmgr callbacks are run.  This triggers an assertion
failure in isc_task_shutdown().  However, explicitly calling
isc_task_shutdown() from rndc code is redundant because it does not use
isc_task_onshutdown() and the task_shutdown() function gets
automatically called anyway when the task manager gets destroyed (after
isc_app_run() returns).  Remove the redundant isc_task_shutdown() calls
to prevent crashes after receiving a signal.

rndc: sync ISC_R_CANCELED handling in callbacks

rndc_recvdone() is not treating the ISC_R_CANCELED result code as a
request to stop data processing, which may cause a crash when trying to
dereference ccmsg->buffer.  Fix by ensuring ISC_R_CANCELED results in an
early exit from rndc_recvdone().

Make sure the logic for handling ISC_R_CANCELED in rndc_recvnonce()
matches the one present in rndc_recvdone() to ensure consistent behavior
between these two sibling functions.

Merge branch 'pspacek/doc-cleanup' into 'main'

Developer docs cleanup

See merge request isc-projects/bind9!4527

Replace obsolete references to ATF with Cmocka

Fixup for MR!886.

Document new system test output format after build system rewrite

Fixup to MR !985.

Fix command to run all unit tests in doc/dev/dev.md

Fixup for build system rewrite 978c7b2e89aa37a7ddfe2f6b6ba12ce73dd04528,
MR !985.

Merge branch 'artem-doth-test-fix-failure-after-reconfig' into 'main'

doth test: fix failure after reconfig

See merge request isc-projects/bind9!5720

doth test: fix failure after reconfig

Sometimes the serving a query or two might fail in the test due to the
listeners not being reinitialised on time. This commit makes the test
suite to wait for reconfiguration message in the log file to detect
the time when the reconfiguration request completed.

Merge branch '3099-reimplement-the-gnutls-cli-check-in-python' into 'main'

Reimplement the gnutls-cli check in Python

Closes #3099

See merge request isc-projects/bind9!5732

Reimplement the gnutls-cli check in Python

gnutls-cli is tricky to script around as it immediately closes the
server connection when its standard input is closed.  This prevents
simple shell-based I/O redirection from being used for capturing the DNS
response sent over a TLS connection and the workarounds for this issue
employ non-standard utilities like "timeout".

Instead of resorting to clever shell hacks, reimplement the relevant
check in Python.  Exit immediately upon receiving a valid DNS response
or when gnutls-cli exits in order to decrease the test's run time.
Employ dnspython to avoid the need for storing DNS queries in binary
files and to improve test readability.  Capture more diagnostic output
to facilitate troubleshooting.  Use a pytest fixture instead of an
Autoconf macro to keep test requirements localized.

Merge branch '3093-restore-setting-IPV6_V6ONLY-on-IPv6-sockets' into 'main'

Explicitly enable IPV6_V6ONLY on the netmgr sockets

Closes #3093

See merge request isc-projects/bind9!5714

Add CHANGES and release notes for [GL #3093]

Remove +mapped option from dig

The network manager doesn't have support for IPv4-mapped IPv6 addresses,
thus we are removing the +mapped option from dig command.

Explicitly enable IPV6_V6ONLY on the netmgr sockets

Some operating systems (OpenBSD and DragonFly BSD) don't restrict the
IPv6 sockets to sending and receiving IPv6 packets only.  Explicitly
enable the IPV6_V6ONLY socket option on the IPv6 sockets to prevent
failures from using the IPv4-mapped IPv6 address.

Merge branch '3101-use-ext-regex-to-check-for-http2-support-in-curl' into 'main'

doth test: use extended reg. expression to check for HTTP/2 support

Closes #3101

See merge request isc-projects/bind9!5733

doth test: use extended reg. expression to check for HTTP/2 support

Using extended regular expressions to check for HTTP/2 support in curl
appears to be a more portable option, which also works on
e.g. OpenBSD.

Merge branch 'djt-update-cookie-secret-doc' into 'main'

Update docs to reflect changes to acceptable cookie-secret values

See merge request isc-projects/bind9!5628

docs: Update ARM to reflect changes to acceptable cookie-secret values

Merge branch '3093-missing-libuv-code' into 'main'

add UV_ENOTSUP to isc___nm_uverr2result()

Closes #3093

See merge request isc-projects/bind9!5712