Merge branch 'michal/1674-add-release-note' into 'v9_16'

Add release note for GL #1674

See merge request isc-projects/bind9!3490

Add release note for GL #1674

Merge branch '1807-checkconf-error-v9_16' into 'v9_16'

named-checkconf -z could exit with an incorrect status

See merge request isc-projects/bind9!3488

named-checkconf -z could exit with an incorrect staatus

the CHECK() macro resets result, so an error code from an earlier
view could be erased if the last view loaded had no errors.

(cherry picked from commit 7e736602062a4f96b5ff5e89cd998db861362b03)

Merge branch '1713-use-default-buffer-sizes-v9_16' into 'v9_16'

Don't set UDP recv/send buffer sizes - use system defaults (unless explicitly defined)

See merge request isc-projects/bind9!3487

Don't set UDP recv/send buffer sizes - use system defaults (unless explicitly defined)

(cherry picked from commit fa02f6438b5a07bbd5f979747b2890826461e870)

Merge branch 'ondrej/fix-SO_REUSEPORT-usage-on-FreeBSD-v9_16' into 'v9_16'

Fix SO_REUSEPORT usage on FreeBSD (v9.16)

See merge request isc-projects/bind9!3486

Add CHANGES note for GL !3365

(cherry picked from commit 23a653dd926fb5e55645ed679703a7bc5d03186e)

Use SO_REUSEPORT only on Linux, use SO_REUSEPORT_LB on FreeBSD

The SO_REUSEPORT socket option on Linux means something else on BSD
based systems.  On FreeBSD there's 1:1 option SO_REUSEPORT_LB, so we can
use that.

(cherry picked from commit 09ba47b0676f14af47b71364e1fe52c298b4079a)

Merge branch '1795-make-dnstap-work-reliably-with-netmgr-v9_16' into 'v9_16'

Resolve "Some dnstap data may not be logged in BIND 9.15.6+"

See merge request isc-projects/bind9!3485

Add CHANGES entry

(cherry picked from commit 47c769e47514427501170a1eb2d24677d25e0c67)

Add a release note

(cherry picked from commit 4a5c1c7bfe65c6e1c6b3f424af28ff7882976d30)

Make dnstap work reliably with netmgr

The introduction of netmgr doubled the number of threads from which
dnstap data may be logged: previously, it could only happen from within
taskmgr worker threads; with netmgr, it can happen both from taskmgr
worker threads and from network threads.  Since the argument passed to
fstrm_iothr_options_set_num_input_queues() was not updated to reflect
this change, some calls to fstrm_iothr_get_input_queue() can now return
NULL, effectively preventing some dnstap data from being logged.
Whether this bug is triggered or not depends on thread scheduling order
and packet distribution between network threads, but will almost
certainly be triggered on any recursive resolver sooner or later.  Fix
by requesting the correct number of dnstap input queues to be allocated.

(cherry picked from commit 77dc091855fa106ecb3197618f40561c09b9976c)

Merge branch '1763-ossl-eddsa-engine-v9_16' into 'v9_16'

Add engine support to OpenSSL EdDSA implementation (v9.16)

See merge request isc-projects/bind9!3483

Add release notes for #1763

(cherry picked from commit 3c5cdc3f245bdd9126c50efb60bd38c558faa791)

Add CHANGES note for #1763

(cherry picked from commit 3422c496aeb312f7d2c5cb8c2bc896e443c14789)

Add engine support to OpenSSL EdDSA implementation.

(cherry picked from commit 6a9f20d031bb0b0d8e275b132d5520e7b1d7f8f5)

Use OpenSSL raw key functions for EdDSA keys.

(cherry picked from commit f9685b29f9bff92793601f0aa5a0b14d1360f8e6)

Merge branch '1534-add-ecdsa-openssl-pkcs11-engine-support-v9_16' into 'v9_16'

Add engine support to OpenSSL ECDSA implementation (v9.16)

See merge request isc-projects/bind9!3484

Add release note for GL #1534

(cherry picked from commit 80d51223c382690c240c985a1b632ace81cf614f)

Add CHANGES note for GL #1534

(cherry picked from commit dde438dac716c40819fee427db3ea7eee44f2c95)

Simplify error handling

(cherry picked from commit 064d8b7a6db18a9c9c9db1cdf99d5914ebfbffab)

Add initial support for ECDSA keys via OpenSSL PKCS#11 engine

(cherry picked from commit aff61535c265617fc770b22a1cb9af9d9e0a29b5)

Merge branch 'ondrej/fix-system-tests-on-openbsd-v9.16' into 'v9_16'

Fix system tests on openbsd v9.16

See merge request isc-projects/bind9!3478

Rename start() and stop() to start_server() and stop_server()

On OpenBSD, there's non-POSIX alias from stop to kill that breaks
the conf.sh.common script.

Change the 'date -R' to sort-of iso-8601 emulated time

Merge branch '1797-libuv-1-37-requires-uv_init_ex-to-be-used-for-mmsg-v9_16' into 'v9_16'

Resolve "libuv >= 1.37 requires uv_udp_init_ex() to be used for mmsg"

See merge request isc-projects/bind9!3474

CHANGES note

Don't free udp recv buffer if UV_UDP_MMSG_CHUNK is set

(cherry picked from commit 83049ceabf14679583dbfa7d5ee84587db8a0463)

Use UV_UDP_RECVMMSG to enable mmsg support in libuv if available

(cherry picked from commit d5356a40ff17aca187312ac462da1b4e6a3c2feb)

Merge branch '1648-native-pkcs11-eddsa-v9_16' into 'v9_16'

Resolve "Fix PKCS#11-based EdDSA support"

See merge request isc-projects/bind9!3472

Make the cleanpkcs11.sh more universal across branches

Fix another the start_fail -> start_servers_failed typo

Fixup the start_fail -> start_servers_failed typo

(cherry picked from commit 0313d2950a95a56414543488cedb9daa83d9641e)

Add release notes

(cherry picked from commit e69d34a4546e0cb2b42c20120c25a584111ab578)

Add CHANGES

(cherry picked from commit 84fffbdb4c582f2aaf079f7d8bd5611f8f7d9e12)

Fix the check for non-operational algs 15 and 16 in PKCS#11

(cherry picked from commit 57c39ddbe3ead43f86eb14f23a7cc2662b93b91c)

Fail running run.sh when clean.sh or setup.sh fails

(cherry picked from commit 101672f6648d22762a32fa3d1f48fb081be7ba37)

Refactor the pkcs11 to test for individual algorithms

(cherry picked from commit a6bdb9639a31cb9237912e033d06cf3f9da4485c)

Update EdDSA implementation to PKCS#11 v3.0.

Per Current Mechanisms 2.3.5, the curve name is DER-encoded in the
EC_PARAMS attribute, and the public key value is DER-encoded in the
EC_POINT attribute.

(cherry picked from commit 2e6b7a56cc6261582811fc2b14d2160303b4d039)

Fix EdDSA key sizes (key_size is in bits).

(cherry picked from commit 9b87fe10518ea0b0b5d254d61ee95a8db4360f49)

Add EdDSA algorithms back to dnssec-keyfromlabel help text.

Regressed in 45afdb267253e7178267d696b8b4488ec1d67d47.

(cherry picked from commit 496957718919cf3090f8686305d2b956e20eb7ec)

Merge branch '1763-pkcs11-code-cleanups-v9_16' into 'v9_16'

Resolve "Implement and improve the PKCS#11 code"

See merge request isc-projects/bind9!3471

Add CHANGES

(cherry picked from commit 48473d464f24dd7d57e6ce02874aaf6f5c933ff8)

Use switch instead of if when evaluating curves

Previously, the code would do:

    REQUIRE(alg == CURVE1 || alg == CURVE2);

    [...]

    if (alg == CURVE1) { /* code for CURVE1 */ }
    else { /* code for CURVE2 */ }

This approach is less extensible and also more prone to errors in case
the initial REQUIRE() is forgotten.  The code has been refactored to
use:

    REQUIRE(alg == CURVE1 || alg == CURVE2);

    [...]

    switch (alg) {
    case CURVE1: /* code for CURVE1 */; break;
    case CURVE2: /* code for CURVE2 */; break;
    default: INSIST(0);
    }

(cherry picked from commit cf30e7d0d1a0ff16569e76f210efbcefeface83e)

Refactor the code using the pk11 ECC constants.

The pk11/constants.h header contained static CK_BYTE arrays and
we had to use #defines to pull only those we need.  This commit
changes the constants to only define byte arrays with the content
and either use them directly or define the CK_BYTE arrays locally
where used.

(cherry picked from commit da38bd0e1d9739990fcbd582369698e81968ca62)

Only print warning when PKCS#11 dnssec-keygen fails from Edwards curves

(cherry picked from commit 9d979d7cd60122486c48a8f750af830710807595)

Fix a segfault when a PKCS#11 token is not found.

(cherry picked from commit 541d7bafe652c03b14cd9844bfeea371de161e5b)

Fix bad syntax in pkcs11eddsa_link.c.

Introduced in 994e656977b88516d76519c437b623ddb32b0769.

(cherry picked from commit 46cae09023ca52a200d3d5cc304ebdd1dedde4b5)

Update to PKCS#11 v3.0 EdDSA macros.

(cherry picked from commit 3e685fe01a4cb92c9caef5fc766d28eaf43f07bc)

Fix compiler warnings about unused pk11 constants.

(cherry picked from commit 2ef379d9110f16f0aeb7fef85950ff304ff857a8)

Remove remaining PKCS#11 DH references.

Missed in 0a73c9f13799aec6bfe14beec908d81240e3326f and 8efd394c80449dc7a7e6cbe171d8f42ff957ebf3.

(cherry picked from commit d28c7dadbba071e79a85da7d85d6dd751c4a68b5)

Remove unnecessary forward declarations.

(cherry picked from commit 6a6485a531adb590570263ae5d2bac7164161088)

Finish refactoring pkcs11eddsa_link.c after isc_buffer_allocate change.

Left over after c73e5866c479c71b2fb61e882c249cc2c3de3af0.

(cherry picked from commit 7744aece03b8eeefcdf53fb84af2f70484a10b7e)

Remove unreachable label in pkcs11eddsa_link.c.

Missed in ae83801e2b8e87260dea59a445f3c41bb5eb9944.

(cherry picked from commit b4a7bfd55e6d7579194816be78800a19e4f58cd6)

Finish refactoring after the removal of --with-ecdsa and --with-eddsa.

Missed in c3b8130fe8267185e786e9c12527df7c53b37589.

(cherry picked from commit 7fc4f926fb26c3f3408bf435a3ae7a934acf26dd)

Remove old comment.

Missed in 6aae193ded53d7ea7b2686aca1d33b264103be5c.

(cherry picked from commit 48e0c0bc4a7761b1353ff0ef77f314432787dab7)

Finish replacing OP_EC with OP_ECDSA/OP_EDDSA.

Missed in c3b8130fe8267185e786e9c12527df7c53b37589.

(cherry picked from commit bb158e8a4c7ce2c0d84faf7dc17308973a55c11d)

Fix incorrect PKCS11 macro in dnssec-revoke.

Missed in c3b8130fe8267185e786e9c12527df7c53b37589.

(cherry picked from commit b217052081d6394bc3df62b8b9ce20fe6e35e592)

Merge branch '1695-addzone-system-tests-failing-in-mac-os-x-v9_16' into 'v9_16'

Resolve "addzone system tests failing in Mac OS X"

See merge request isc-projects/bind9!3469

Add CHANGES entry

(cherry picked from commit d63479a48d4e8e84aec9ea00f6d167e0c990a92f)

Mimic nzf_append from bin/named/server.c

nzf_append is conditionally compiled and this is intended to
catch error introduced by changes to the called functions on all
systems before the changes are run through the CI.

(cherry picked from commit a66c6fc8831aa93a6a20a3e1422486332d016f1c)

Add jobs for 'configure --with{out}-lmdb' to the GitLab CI

We missed a case where LMDB was not installed/used in the build
and that broke system tests on such systems.

(cherry picked from commit 060b56dc70f2001fef21ab0eb954663feb62d4d0)

Add more special zones to addzone restart test.

Test zones with various escape sequences and filesystem seperator
characters.
* escaped double quote (\")
* escaped escape (\\)
* escaped decimal byte value (\032)
* slash seperator (/)

(cherry picked from commit 5ab9b5b1e6544d74df3edb6e37b0f3b5797b74c9)

Escape double quote when printing quoted string.

When we were printing quoted string, the double quotes where unescaped
leading to prematurely ending the quoted string.

(cherry picked from commit b02081d423dd9f0f038112a6fed32c15dfce248f)

Merge branch '1806-system-and-unit-clang-asan-have-incorrect-needs-v9_16' into 'v9_16'

Incorrect job in needs, gcc:asan -> clang:asan

See merge request isc-projects/bind9!3462

Incorrect job in needs, gcc:asan -> clang:asan

(cherry picked from commit 0adf9562fb687817c99d734030ded8521c78eaef)

Merge branch '1804-util-parse_tsan-py-is-not-pylint-clean-v9_16' into 'v9_16'

pylint cleanups

See merge request isc-projects/bind9!3459

pylint cleanups

(cherry picked from commit d7618f69541d69a43ddf6409493b3b3bd937b434)

Merge branch '1783-ax_check_compile_flag-fno-delete-null-pointer-checks-does-not-fail-for-clang-v9_16' into 'v9_16'

Force test for -fno-delete-null-pointer-checks to fail

See merge request isc-projects/bind9!3453

Force test for -fno-delete-null-pointer-checks to fail

(cherry picked from commit 82ab846f133ea2b237472eb0dd78d000fea19d9d)

Merge branch 'ondrej/fix-asan-symbolizer-v9_16' into 'v9_16'

Fix the ASAN symbolizer

See merge request isc-projects/bind9!3451

Fix the ASAN symbolizer

(cherry picked from commit 96805e8c9171ce42a538b4bc653480a6185f65ac)

Merge branch '1764-build-9-16-2-release-make-depend-fatal-error-lib-dns-dnstap-pb-c-h-no-such-file-or-directory' into 'v9_16'

'make depend' failed

See merge request isc-projects/bind9!3398

check that 'make depend' does not fail

address 'make depend' issues

Merge branch '725-prepare-system-tests-for-pytest-v9_16' into 'v9_16'

Add a pytest runner to run.sh

See merge request isc-projects/bind9!3447

Silence the invalid-name errors from pylint

Add a pytest runner to run.sh

The system tests currently uses patchwork of shell scripts which doesn't
offer proper error handling.

This commit introduced option to write new tests in pytest framework
that also allows easier manipulation of DNS traffic (using dnspython),
native XML and JSON manipulation and proper error reporting.

(cherry picked from commit cf5105939c1c1802e69cc63a39e9d71b6e5f67e1)

Merge branch '1090-fix-unable-to-set-effective-uid-to-0-v9_16' into 'v9_16'

Resolve "BIND 9.14: unable to set effective uid to 0"

See merge request isc-projects/bind9!3440

Add release notes for GL #1042, #1090

(cherry picked from commit 60b608b65b4b38d94965074b43a3ae9416a398da)

Add CHANGES for #1042, #1090

(cherry picked from commit a0a5eab31c206af31ad4ac4a400d9551ce97d330)

Propagate first_time to named_os_openfile in generate_session_key.

named_os_openfile was being called with switch_user set to true
unconditionally leading to log messages about being unable to
switch user identity from named when regenerating the key.

(cherry picked from commit 071bc29962ec5d7117b5a54b9e5e0c2d4081474b)

Don't change effective uid when we already dropped privileges

When running on Linux and system capabilities are available, named will
drop the extra capabilities before loading the configuration.  This led
to spurious warnings from `seteuid()` because named already dropped
CAP_SETUID and CAP_GETUID capabilities.

The fix removes setting the effective uid/gid when capabilities are
available, and adds a check that we are running under the user we were
requested to run.

(cherry picked from commit 6c82e2af92c741b52585e67054a67862211875b0)

Merge branch '1672-stop-leaking-external-headers-and-symbols-to-the-public-api-isc/hmac.h-v9_16' into 'v9_16'

Stop leaking OpenSSL types and defines in the isc/hmac.h

See merge request isc-projects/bind9!3439

Stop leaking OpenSSL types and defines in the isc/hmac.h

The <isc/md.h> header directly included <openssl/hmac.h> header which
enforced all users of the libisc library to explicitly list the include
path to OpenSSL and link with -lcrypto.  By hiding the specific
implementation into the private namespace, we no longer enforce this.
In the long run, this might also allow us to switch cryptographic
library implementation without affecting the downstream users.

(cherry picked from commit 70100c664a06bef484326c651b9fd29ec453a5fc)

Merge branch '1672-stop-leaking-external-headers-and-symbols-to-the-public-api-isc/safe.h-v9_16' into 'v9_16'

Stop leaking OpenSSL types and defines in the isc/safe.h

See merge request isc-projects/bind9!3438

Stop leaking OpenSSL types and defines in the isc/safe.h

The two "functions" that isc/safe.h declared before were actually simple
defines to matching OpenSSL functions.  The downside of the approach was
enforcing all users of the libisc library to explicitly list the include
path to OpenSSL and link with -lcrypto.  By hiding the specific
implementation into the private namespace changing the defines into
simple functions, we no longer enforce this.  In the long run, this
might also allow us to switch cryptographic library implementation
without affecting the downstream users.

(cherry picked from commit ab827ab5bf7bdd65f0c672c43c3fdbe16a5e7d70)

Merge branch '1672-stop-leaking-external-headers-and-symbols-to-the-public-api-isc/md.h-v9_16' into 'v9_16'

Stop leaking OpenSSL types and defines in the isc/md.h

See merge request isc-projects/bind9!3437

Stop leaking OpenSSL types and defines in the isc/md.h

The <isc/md.h> header directly included <openssl/evp.h> header which
enforced all users of the libisc library to explicitly list the include
path to OpenSSL and link with -lcrypto.  By hiding the specific
implementation into the private namespace, we no longer enforce this.
In the long run, this might also allow us to switch cryptographic
library implementation without affecting the downstream users.

While making the isc_md_type_t type opaque, the API using the data type
was changed to use the pointer to isc_md_type_t instead of using the
type directly.

(cherry picked from commit 4e114f8ed653700f411f29bf9e87392d8f4ff9db)

Merge branch 'mnowak/1751-abi-check-does-not-know-which-source-is-older-newer-v9_16' into 'v9_16'

[v9_16] Ensure proper comparison order in "abi-check" jobs

See merge request isc-projects/bind9!3420

Ensure proper comparison order in "abi-check" jobs

Right before the release API version (LIBINTERFACE, LIBREVISION, LIBAGE)
for older and newer libraries tends to be the same. Given that, commit
hash can't be the determining factor here, Unix time of the commit
should suit us better and is placed after the API version. The commit
hash is preserved as it's useful to see it in the actual report.

(cherry picked from commit 8e3e2836b0f5a52ff38fe4485a1fc8faa1857f03)

Merge branch 'ondrej/make-merge_copyrights-ignore-hidden-files-v9_16' into 'v9_16'

Make merge_copyrights ignore hidden files

See merge request isc-projects/bind9!3418

Make merge_copyrights ignore hidden files

(cherry picked from commit 6d46082d82408845dcbb185f702d57d04d3ccf3c)

Merge branch '1779-lock-rpzs-v9_16' into 'v9_16'

acquire maintenance lock when running incremental RPZ updates

See merge request isc-projects/bind9!3412

CHANGES

(cherry picked from commit 2cf3d4c7004fed109162625d57168636a9829464)

acquire maintenance lock when running incremental RPZ updates

this addresses a race that could occur during shutdown or when
reconfiguring to remove RPZ zones.

this change should ensure that the rpzs structure and the incremental
updates don't interfere with each other: rpzs->zones entries cannot
be set to NULL while an update quantum is running, and the
task should be destroyed and its queue purged so that no subsequent
quanta will run.

(cherry picked from commit 286e8cd7ea887e82e45b3a3cae43b2c97c8dce56)

Merge branch 'ondrej/enable-quota-test-in-Kyuatest-v9_16' into 'v9_16'

Fix and enable quota_test in Kyuafile

See merge request isc-projects/bind9!3409

Fix detaching the extra quotas in the quota_test

(cherry picked from commit 62f738ba48532c2720a335ab8434eeffddf0939c)

Enable quota_test in Kyuafile

(cherry picked from commit 54defc8b78f782438167b42feee014e7fc5d5331)