Merge branch 'marka-silence-flake8-warning-v9_16' into 'v9_16'

Silence: E741 ambiguous variable name 'l'

See merge request isc-projects/bind9!3524

Silence: E741 ambiguous variable name 'l'

(cherry picked from commit 189d21fb9602a56b1606d514bc6b313d03ef419e)

Merge branch 'ondrej/fix-statschannel-setup.sh-failure-v9_16' into 'v9_16'

Fix statschannel setup.sh failure (v9_16)

See merge request isc-projects/bind9!3523

Fix the rsabigexponent setup.sh script to not fail

(cherry picked from commit 2dbf68ab30e1cb762358600514814d7fbdd06403)

Add missing manykeys.db.in file that was causing statschannel setup.sh to fail

(cherry picked from commit e43893fb0c6dbccbddb34c71e91bd55221a40e96)

Fail immediatelly when clean.sh or setup.sh fails

The `statschannel/ns2/` was missing `manykeys.db.in`, but the test
succeeded even when `setup.sh` (or `clean.sh`) failed to execute.  This
commit makes run.sh to run in stricter mode and fail the test
immediately when `clean.sh` or `setup.sh` fails.

(cherry picked from commit 8b357a35d2478200f7cccd3f357aa8203bf81c0d)

Merge branch '25-fix-underlinking-and-overlinking-of-libraries' into 'v9_16'

Resolve "Revise what gets linked where and improve overlinking/underlinking"

See merge request isc-projects/bind9!3442

Resolve the overlinking of the system libraries

Originally, every library and binaries got linked to everything, which
creates unnecessary overlinking.  This wasn't as straightforward as it
should be as we still support configuration without libtool for 9.16.

Couple of smaller issues related to include headers and an issue where
sanitizer overload dlopen and dlclose symbols, so we were getting false
negatives in the autoconf test.

libns and libirs were underlinked (missing libisc, libdns, libisccfg)

Underlinking states for the situation when a binary uses a symbol not provided
by libraries it is directly linked to.  The libns was not linked to libisc and
libdns, and libirs was not linked to libisc, libdns and libisccfg) while using
symbols from these libraries directly.

Merge branch 'marka-call-check-categories' into 'v9_16'

have CI call util/check-categories.sh

See merge request isc-projects/bind9!3513

have CI call util/check-categories.sh

Merge branch '1817-named-checkzone-s-full-relative-missing-from-usage-v9_16' into 'v9_16'

add [-s (full|relative)] to usage

See merge request isc-projects/bind9!3510

add [-s (full|relative)] to usage

(cherry picked from commit 3f93f3ee1114a6bd0e148b8f7cb699e3e90be387)

Merge branch '1812-uninitialized-dscp-v9_16' into 'v9_16'

Unexpected output from named-checkconf

See merge request isc-projects/bind9!3506

initialize sockaddrdscp to prevent spurious output from 'named-checkconf -p'

(cherry picked from commit f8d753d452fdbe18a89d9cedab58a51c9b48f113)

Merge branch 'michal/prepare-release-notes-for-bind-9.16.3' into 'v9_16'

Prepare release notes for BIND 9.16.3

See merge request isc-projects/bind9!3495

Add release note for GL #1807

Add release note for GL #1695

Release notes: wording and formatting tweaks

Reorder release notes within each section

Move release notes to the sections they belong to

Move AXFR release note to the correct file

Tweak and reword recent CHANGES entries

Merge branch 'michal/fix-server-shutdown-in-run.sh' into 'v9_16'

Fix server shutdown in bin/tests/system/run.sh

See merge request isc-projects/bind9!3500

Fix server shutdown in bin/tests/system/run.sh

a4f0281962c8d8f80f6efc04cad550146eec8463 is a flawed backport of
cf5105939c1c1802e69cc63a39e9d71b6e5f67e1 - it retained the original
invocation of bin/tests/system/stop.pl in bin/tests/system/run.sh.  This
results in the former script being called twice for each system test,
which does not cause problems on Unix systems, but triggers false
positives about named instances dying prematurely on Windows.  Fix by
removing the offending invocation of bin/tests/system/stop.pl from
bin/tests/system/run.sh.

Merge branch 'wpk/changes-notes-3487' into 'v9_16'

CHANGES/relnotes for !3487

See merge request isc-projects/bind9!3494

CHANGES/relnotes for \!3487

Merge branch '1797-add-release-note-discussing-recvmmsg-support-v9_16' into 'v9_16'

[v9_16] Add release note discussing recvmmsg() support

See merge request isc-projects/bind9!3493

Add release note discussing recvmmsg() support

(cherry picked from commit 84dc6d86cbb8a3d97893b5b9c0431ae16f48fe5c)

Merge branch 'michal/1674-add-release-note' into 'v9_16'

Add release note for GL #1674

See merge request isc-projects/bind9!3490

Add release note for GL #1674

Merge branch '1807-checkconf-error-v9_16' into 'v9_16'

named-checkconf -z could exit with an incorrect status

See merge request isc-projects/bind9!3488

named-checkconf -z could exit with an incorrect staatus

the CHECK() macro resets result, so an error code from an earlier
view could be erased if the last view loaded had no errors.

(cherry picked from commit 7e736602062a4f96b5ff5e89cd998db861362b03)

Merge branch '1713-use-default-buffer-sizes-v9_16' into 'v9_16'

Don't set UDP recv/send buffer sizes - use system defaults (unless explicitly defined)

See merge request isc-projects/bind9!3487

Don't set UDP recv/send buffer sizes - use system defaults (unless explicitly defined)

(cherry picked from commit fa02f6438b5a07bbd5f979747b2890826461e870)

Merge branch 'ondrej/fix-SO_REUSEPORT-usage-on-FreeBSD-v9_16' into 'v9_16'

Fix SO_REUSEPORT usage on FreeBSD (v9.16)

See merge request isc-projects/bind9!3486

Add CHANGES note for GL !3365

(cherry picked from commit 23a653dd926fb5e55645ed679703a7bc5d03186e)

Use SO_REUSEPORT only on Linux, use SO_REUSEPORT_LB on FreeBSD

The SO_REUSEPORT socket option on Linux means something else on BSD
based systems.  On FreeBSD there's 1:1 option SO_REUSEPORT_LB, so we can
use that.

(cherry picked from commit 09ba47b0676f14af47b71364e1fe52c298b4079a)

Merge branch '1795-make-dnstap-work-reliably-with-netmgr-v9_16' into 'v9_16'

Resolve "Some dnstap data may not be logged in BIND 9.15.6+"

See merge request isc-projects/bind9!3485

Add CHANGES entry

(cherry picked from commit 47c769e47514427501170a1eb2d24677d25e0c67)

Add a release note

(cherry picked from commit 4a5c1c7bfe65c6e1c6b3f424af28ff7882976d30)

Make dnstap work reliably with netmgr

The introduction of netmgr doubled the number of threads from which
dnstap data may be logged: previously, it could only happen from within
taskmgr worker threads; with netmgr, it can happen both from taskmgr
worker threads and from network threads.  Since the argument passed to
fstrm_iothr_options_set_num_input_queues() was not updated to reflect
this change, some calls to fstrm_iothr_get_input_queue() can now return
NULL, effectively preventing some dnstap data from being logged.
Whether this bug is triggered or not depends on thread scheduling order
and packet distribution between network threads, but will almost
certainly be triggered on any recursive resolver sooner or later.  Fix
by requesting the correct number of dnstap input queues to be allocated.

(cherry picked from commit 77dc091855fa106ecb3197618f40561c09b9976c)

Merge branch '1763-ossl-eddsa-engine-v9_16' into 'v9_16'

Add engine support to OpenSSL EdDSA implementation (v9.16)

See merge request isc-projects/bind9!3483

Add release notes for #1763

(cherry picked from commit 3c5cdc3f245bdd9126c50efb60bd38c558faa791)

Add CHANGES note for #1763

(cherry picked from commit 3422c496aeb312f7d2c5cb8c2bc896e443c14789)

Add engine support to OpenSSL EdDSA implementation.

(cherry picked from commit 6a9f20d031bb0b0d8e275b132d5520e7b1d7f8f5)

Use OpenSSL raw key functions for EdDSA keys.

(cherry picked from commit f9685b29f9bff92793601f0aa5a0b14d1360f8e6)

Merge branch '1534-add-ecdsa-openssl-pkcs11-engine-support-v9_16' into 'v9_16'

Add engine support to OpenSSL ECDSA implementation (v9.16)

See merge request isc-projects/bind9!3484

Add release note for GL #1534

(cherry picked from commit 80d51223c382690c240c985a1b632ace81cf614f)

Add CHANGES note for GL #1534

(cherry picked from commit dde438dac716c40819fee427db3ea7eee44f2c95)

Simplify error handling

(cherry picked from commit 064d8b7a6db18a9c9c9db1cdf99d5914ebfbffab)

Add initial support for ECDSA keys via OpenSSL PKCS#11 engine

(cherry picked from commit aff61535c265617fc770b22a1cb9af9d9e0a29b5)

Merge branch 'ondrej/fix-system-tests-on-openbsd-v9.16' into 'v9_16'

Fix system tests on openbsd v9.16

See merge request isc-projects/bind9!3478

Rename start() and stop() to start_server() and stop_server()

On OpenBSD, there's non-POSIX alias from stop to kill that breaks
the conf.sh.common script.

Change the 'date -R' to sort-of iso-8601 emulated time

Merge branch '1797-libuv-1-37-requires-uv_init_ex-to-be-used-for-mmsg-v9_16' into 'v9_16'

Resolve "libuv >= 1.37 requires uv_udp_init_ex() to be used for mmsg"

See merge request isc-projects/bind9!3474

CHANGES note

Don't free udp recv buffer if UV_UDP_MMSG_CHUNK is set

(cherry picked from commit 83049ceabf14679583dbfa7d5ee84587db8a0463)

Use UV_UDP_RECVMMSG to enable mmsg support in libuv if available

(cherry picked from commit d5356a40ff17aca187312ac462da1b4e6a3c2feb)

Merge branch '1648-native-pkcs11-eddsa-v9_16' into 'v9_16'

Resolve "Fix PKCS#11-based EdDSA support"

See merge request isc-projects/bind9!3472

Make the cleanpkcs11.sh more universal across branches

Fix another the start_fail -> start_servers_failed typo

Fixup the start_fail -> start_servers_failed typo

(cherry picked from commit 0313d2950a95a56414543488cedb9daa83d9641e)

Add release notes

(cherry picked from commit e69d34a4546e0cb2b42c20120c25a584111ab578)

Add CHANGES

(cherry picked from commit 84fffbdb4c582f2aaf079f7d8bd5611f8f7d9e12)

Fix the check for non-operational algs 15 and 16 in PKCS#11

(cherry picked from commit 57c39ddbe3ead43f86eb14f23a7cc2662b93b91c)

Fail running run.sh when clean.sh or setup.sh fails

(cherry picked from commit 101672f6648d22762a32fa3d1f48fb081be7ba37)

Refactor the pkcs11 to test for individual algorithms

(cherry picked from commit a6bdb9639a31cb9237912e033d06cf3f9da4485c)

Update EdDSA implementation to PKCS#11 v3.0.

Per Current Mechanisms 2.3.5, the curve name is DER-encoded in the
EC_PARAMS attribute, and the public key value is DER-encoded in the
EC_POINT attribute.

(cherry picked from commit 2e6b7a56cc6261582811fc2b14d2160303b4d039)

Fix EdDSA key sizes (key_size is in bits).

(cherry picked from commit 9b87fe10518ea0b0b5d254d61ee95a8db4360f49)

Add EdDSA algorithms back to dnssec-keyfromlabel help text.

Regressed in 45afdb267253e7178267d696b8b4488ec1d67d47.

(cherry picked from commit 496957718919cf3090f8686305d2b956e20eb7ec)

Merge branch '1763-pkcs11-code-cleanups-v9_16' into 'v9_16'

Resolve "Implement and improve the PKCS#11 code"

See merge request isc-projects/bind9!3471

Add CHANGES

(cherry picked from commit 48473d464f24dd7d57e6ce02874aaf6f5c933ff8)

Use switch instead of if when evaluating curves

Previously, the code would do:

    REQUIRE(alg == CURVE1 || alg == CURVE2);

    [...]

    if (alg == CURVE1) { /* code for CURVE1 */ }
    else { /* code for CURVE2 */ }

This approach is less extensible and also more prone to errors in case
the initial REQUIRE() is forgotten.  The code has been refactored to
use:

    REQUIRE(alg == CURVE1 || alg == CURVE2);

    [...]

    switch (alg) {
    case CURVE1: /* code for CURVE1 */; break;
    case CURVE2: /* code for CURVE2 */; break;
    default: INSIST(0);
    }

(cherry picked from commit cf30e7d0d1a0ff16569e76f210efbcefeface83e)

Refactor the code using the pk11 ECC constants.

The pk11/constants.h header contained static CK_BYTE arrays and
we had to use #defines to pull only those we need.  This commit
changes the constants to only define byte arrays with the content
and either use them directly or define the CK_BYTE arrays locally
where used.

(cherry picked from commit da38bd0e1d9739990fcbd582369698e81968ca62)

Only print warning when PKCS#11 dnssec-keygen fails from Edwards curves

(cherry picked from commit 9d979d7cd60122486c48a8f750af830710807595)

Fix a segfault when a PKCS#11 token is not found.

(cherry picked from commit 541d7bafe652c03b14cd9844bfeea371de161e5b)

Fix bad syntax in pkcs11eddsa_link.c.

Introduced in 994e656977b88516d76519c437b623ddb32b0769.

(cherry picked from commit 46cae09023ca52a200d3d5cc304ebdd1dedde4b5)

Update to PKCS#11 v3.0 EdDSA macros.

(cherry picked from commit 3e685fe01a4cb92c9caef5fc766d28eaf43f07bc)

Fix compiler warnings about unused pk11 constants.

(cherry picked from commit 2ef379d9110f16f0aeb7fef85950ff304ff857a8)

Remove remaining PKCS#11 DH references.

Missed in 0a73c9f13799aec6bfe14beec908d81240e3326f and 8efd394c80449dc7a7e6cbe171d8f42ff957ebf3.

(cherry picked from commit d28c7dadbba071e79a85da7d85d6dd751c4a68b5)

Remove unnecessary forward declarations.

(cherry picked from commit 6a6485a531adb590570263ae5d2bac7164161088)

Finish refactoring pkcs11eddsa_link.c after isc_buffer_allocate change.

Left over after c73e5866c479c71b2fb61e882c249cc2c3de3af0.

(cherry picked from commit 7744aece03b8eeefcdf53fb84af2f70484a10b7e)

Remove unreachable label in pkcs11eddsa_link.c.

Missed in ae83801e2b8e87260dea59a445f3c41bb5eb9944.

(cherry picked from commit b4a7bfd55e6d7579194816be78800a19e4f58cd6)

Finish refactoring after the removal of --with-ecdsa and --with-eddsa.

Missed in c3b8130fe8267185e786e9c12527df7c53b37589.

(cherry picked from commit 7fc4f926fb26c3f3408bf435a3ae7a934acf26dd)

Remove old comment.

Missed in 6aae193ded53d7ea7b2686aca1d33b264103be5c.

(cherry picked from commit 48e0c0bc4a7761b1353ff0ef77f314432787dab7)

Finish replacing OP_EC with OP_ECDSA/OP_EDDSA.

Missed in c3b8130fe8267185e786e9c12527df7c53b37589.

(cherry picked from commit bb158e8a4c7ce2c0d84faf7dc17308973a55c11d)

Fix incorrect PKCS11 macro in dnssec-revoke.

Missed in c3b8130fe8267185e786e9c12527df7c53b37589.

(cherry picked from commit b217052081d6394bc3df62b8b9ce20fe6e35e592)

Merge branch '1695-addzone-system-tests-failing-in-mac-os-x-v9_16' into 'v9_16'

Resolve "addzone system tests failing in Mac OS X"

See merge request isc-projects/bind9!3469

Add CHANGES entry

(cherry picked from commit d63479a48d4e8e84aec9ea00f6d167e0c990a92f)

Mimic nzf_append from bin/named/server.c

nzf_append is conditionally compiled and this is intended to
catch error introduced by changes to the called functions on all
systems before the changes are run through the CI.

(cherry picked from commit a66c6fc8831aa93a6a20a3e1422486332d016f1c)

Add jobs for 'configure --with{out}-lmdb' to the GitLab CI

We missed a case where LMDB was not installed/used in the build
and that broke system tests on such systems.

(cherry picked from commit 060b56dc70f2001fef21ab0eb954663feb62d4d0)

Add more special zones to addzone restart test.

Test zones with various escape sequences and filesystem seperator
characters.
* escaped double quote (\")
* escaped escape (\\)
* escaped decimal byte value (\032)
* slash seperator (/)

(cherry picked from commit 5ab9b5b1e6544d74df3edb6e37b0f3b5797b74c9)

Escape double quote when printing quoted string.

When we were printing quoted string, the double quotes where unescaped
leading to prematurely ending the quoted string.

(cherry picked from commit b02081d423dd9f0f038112a6fed32c15dfce248f)

Merge branch '1806-system-and-unit-clang-asan-have-incorrect-needs-v9_16' into 'v9_16'

Incorrect job in needs, gcc:asan -> clang:asan

See merge request isc-projects/bind9!3462

Incorrect job in needs, gcc:asan -> clang:asan

(cherry picked from commit 0adf9562fb687817c99d734030ded8521c78eaef)

Merge branch '1804-util-parse_tsan-py-is-not-pylint-clean-v9_16' into 'v9_16'

pylint cleanups

See merge request isc-projects/bind9!3459

pylint cleanups

(cherry picked from commit d7618f69541d69a43ddf6409493b3b3bd937b434)

Merge branch '1783-ax_check_compile_flag-fno-delete-null-pointer-checks-does-not-fail-for-clang-v9_16' into 'v9_16'

Force test for -fno-delete-null-pointer-checks to fail

See merge request isc-projects/bind9!3453

Force test for -fno-delete-null-pointer-checks to fail

(cherry picked from commit 82ab846f133ea2b237472eb0dd78d000fea19d9d)