Properly name ADB hashmap and named log memory contexts

The ADB hashmaps are stored in extra memory contexts, so the hash
tables are excluded from the overmem accounting.  The new memory
context was unnamed, give it a proper name.

Same thing has happened with extra memory context used for named
global log context - give the extra memory context a proper name.

Merge branch '3822-rndc-dnssec-checkds-force-ds-state' into 'main'

Force set DS state after 'rndc dnssec -checkds'

Closes #3822

See merge request isc-projects/bind9!7423

Add CHANGES for #3822

Force set DS state after 'rndc dnssec -checkds'

Set the DS state after issuing 'rndc dnssec -checkds'. If the DS
was published, it should go in RUMOURED state, regardless whether it
is already safe to do so according to the state machine.

Leaving it in HIDDEN (or if it was magically already in OMNIPRESENT or
UNRETENTIVE) would allow for easy shoot in the foot situations.

Similar, if the DS was withdrawn, the state should be set to
UNRETENTIVE. Leaving it in OMNIPRESENT (or RUMOURED/HIDDEN)
would also allow for easy shoot in the foot situations.

Merge branch 'tkrizek/danger-improvements' into 'main'

danger: refine existing rules

See merge request isc-projects/bind9!7428

danger: relax rules for single-line commits

The following are not also accepted as single-line commits without
generating warnings:
- CHANGES/release note may appear in the beginning of the commit message
- Release note may be capitalized
- Allow commits with "GL #" (e.g. Update documentation for [GL #XXXX])

danger: update CHANGES rule to work with -S edition

When updating the -S edition, the CHANGES.SE file is modified. Make sure
danger accepts that.

Merge branch 'michal/rework-the-security-incident-handling-checklist' into 'main'

Rework the Security Incident Handling Checklist

See merge request isc-projects/bind9!6980

Update release checklist

Update the release checklist to incorporate some minor tweaks that we
have been applying manually for the past few months as a result of
release process evolution.

Rework the Security Incident Handling Checklist

Rework the Security Incident Handling Checklist so that it does not only
contain the SWENG-side steps for handling a security incident, but also
all the other steps required by ISC procedures.

Merge branch 'michal/extend-artifact-lifetime-for-release-related-jobs' into 'main'

Extend artifact lifetime for release-related jobs

See merge request isc-projects/bind9!7432

Extend artifact lifetime for release-related jobs

Artifacts of the "stress" jobs in GitLab CI are used for generating the
QA summary for a given set of releases.  It happened in the past that
these artifacts were purged before the QA summary was prepared,
unnecessarily prolonging the release process.  A complete set of
artifacts from all such jobs for a single pipeline should be less than 1
GB in size, so extend their lifetime from one day to one week as a more
reasonable compromise between availability and disk space usage.  (Note:
these jobs are also run in scheduled pipelines, but that is expected to
be acceptable in the context of artifact lifetime.)

Artifacts of the "release" jobs in GitLab CI are what we eventually
publish on the FTP server.  It happened in the past that these artifacts
were purged before we copied them to their destination, unnecessarily
prolonging the release process, even though we usually press the "Keep"
button for the "release" jobs manually to keep them around indefinitely
(as they are the source of what we publish in other places).  Since
there is only one "release" job per tag pipeline and its artifacts only
take up tens of megabytes of space, keep the artifacts of the "release"
jobs around indefinitely by default.

Merge branch '3824-teach-danger-about-amend' into 'main'

Resolve "Teach danger about amend!"

Closes #3824

See merge request isc-projects/bind9!7430

Teach danger about amend

commit --fixup=amend:<hash> produces a subject starting with amend!
by default.  Have danger look for this to ensure that it is squashed
before merging.

Merge branch 'mnowak/pkgdiff' into 'main'

Add release tarball comparison script

See merge request isc-projects/bind9!7419

Add release tarball comparison script

The util/release-tarball-comparison.sh script compares a release-ready
BIND 9 tarball to a temporary BIND 9 tarball created from the same
signed Git tag to ensure that their content does not differ
(significantly).

Merge tag 'v9_19_9'

BIND 9.19.9

Merge branch 'tt-improve-rsa-extraction' into 'main'

Improve OpenSSL RSA key extraction

See merge request isc-projects/bind9!7424

Improve OpenSSL RSA key extraction

Add check for extracting the public 'n' component on OpenSSL 3.0
path. This is mandatory component, and it's presence is checked
already on the other code path.

Also document the reason why private key component getting errors
are ignored.

Merge branch '3718-reduce-the-memory-statistics' into 'main'

Reduce the memory statistics to a bare minimum

Closes #3718

See merge request isc-projects/bind9!7412

Add CHANGES and release note for [GL #3718]

Remove BlockSize from bind9.xsl

The BlockSize counter doesn't exist anymore (for some time now).

Restore Malloced memory counter as InUse alias + little cleanups

This restores the Malloced memory counter and it's now always equal to
InUse counter.  This is only for backwards compatibility reason and
there is no separate counter.

The commit also cleanups little things like structure with a single
item (summary.inuse), and shuts up a wrong cppcheck warning (the
notorious NULL check after assignment).

Remove ContextSize memory counter

Again, this was an internal allocator counter, now it's useless.

Make the all inuse memory counter atomic operations relaxed

Instead of enforcing stronger synchronization between threads, make all
the atomic operations relaxed.  We are not really interested in exact
numbers at all times - the single place where we need the exact number
is when the memory context is being destroyed.  Even when there's a
overmem counter, we don't care about exact ordering or exact number.

Cleanup the ptr argument from mem_putstats()

The ptr argument was unneeded and unused.

Remove the Lost memory counter

The Lost memory counter would count the memory "lost" by external
libraries.  There's really no such thing as `named` require the memory
contexts to be clean on destroy.

Remove stats buckets memory counters

The stats buckets were again more useful for internal allocator, because
we would see the individual "block" caches where the allocations would
fall into.  Remove the stats buckets, and if needed, we can pull more
detailed statistics out of the jemalloc.

Remove the 'totalgets' memory counter

The totalgets falls into the same category as other "total" and "max"
numbers - it's just a big number with no meaning to end user.

Remove the total memory counter

The total memory counter had again little or no meaning when we removed
the internal memory allocator.  It was just a monotonic counter that
would count add the allocation sizes but never subtracted anything, so
it would be just a "big number".

Remove maxinuse memory counter

The maxinuse memory counter indicated the highest amount of
memory allocated in the past. Checking and updating this high-
water mark value every time memory was allocated had an impact
on server performance, so it has been removed. Memory size can
be monitored more efficiently via an external tool logging RSS.

Remove malloced and maxmalloced memory counter

The malloced and maxmalloced memory counters were mostly useless since
we removed the internal allocator blocks - it would only differ from
inuse by the memory context size itself.

Make {increment,decrement}_malloced() return void

The return value was only used in a single place and only for
decrement_malloced() and we can easily replace that with atomic_load().

Merge branch 'artem-cookie-use-reuseport-socket-option-in-python-mock-server' into 'main'

Use SO_REUSEADDR for "ans9" mock server in "cookie" test

See merge request isc-projects/bind9!7418

Use SO_REUSEADDR for "ans9" mock server in "cookie" system test

This commit ensures that it is possible to run the 'cookie' test
multiple times in a row.

Merge branch '3797-part1-zone-task-refactoring' into 'main'

refactor zone.c to use loop callbacks

See merge request isc-projects/bind9!7365

Enforce receive_secure_serial() and setnsec3param() serialization

Both receive_secure_serial() and setnsec3param() run on the same zone
loop, therefore they are serialized.  Remove the mechanism to enqueue
the nsec3param and secure serial updates in case one of them is
running (as they can not) and replace it with sanity check.

Replace the dns_io_t mechanism with offloaded threads

Previously, the zone loading and dumping was effectively serialized by
the dns_io_t mechanism.  In theory, more IO operations could be run in
parallel, but the zone manager .iolimit was set to 1 and never increased
as dns_zonemgr_setiolimit() was never ever called.

As the dns_master asynchronous load and dump was already offloaded to
non-worker threads with isc_work mechanism, drop the whole dns_io_t
and just rely on the isc_work to do the load and dump scheduling.

refactor inline signing processing to use loop callbacks

receive_secure_serial() and receive_secure_db() now use
loop callbacks instead of task events.

refactor setnsec3param() to use loop callbacks

dynamic nsec3param update processing now uses loop callbacks
instead of task events.

refactor asynchronous zone functions to use loop callbacks

Use loopmgr callbacks for:
- dns_zone_keydone() (also added missing documentation)
- dns_zone_setserial()
- zmgr_start_xfrin_ifquota()

refactor dns_io to use loop callbacks

The zonemgr_getio() system now uses loopmgr callbacks instead of
task events. As zone->loadtasks is now no longer used, it has been
removed.

Merge branch '3793-fix-serialized-signing-in-dnssec-signzone' into 'main'

Refactor dnssec-signzone to use loop callbacks

Closes #3793

See merge request isc-projects/bind9!7359

Allow interrupting dnssec-signzone during signing

The signal handler in the isc_loop would wait for all the work to finish
before interrupting the signing.  Add teardown handlers via
isc_loopmgr_teardown() to signal the assignwork() it should stop signing
and bail-out early.

NOTE: The dnssec-signzone binary still can't be interrupted during zone
loading, zone cleaning, nsec(3) chain generation or zone writing.  This
might get addressed in the future if it becomes a problem.

Dump the signed zone in the text format at the end of dnssec-signzone

Instead of dumping the signed zone contents node by node during the
signing, dump the entire zone at the end.  This was already done for the
raw zone format, but it shows that the IO is better utilized when the
zone dump is done in one single write rather than in small chunks.

A side effect of dumping node by node was that all names were printed
relative to the zone origin rather than being grouped under different
$ORIGINs as would normally be the case when dumping a zone. Also, state
was not maintained from one node to the next regarding whether the CLASS
has already been printed, so it was always included with the first
record of each node.

Since dnssec-signzone uses the dns_master_style_explicittl text format
style, and is the only application that does so, we can revise that
style and add a new DNS_STYLEFLAG_CLASS_PERNAME flag to get the output
back to what it was before this change.

Refactor dnssec-signzone to use loop callbacks

Use isc_job_run() instead of isc_task_send() for dnssec-signzone
worker threads.

Also fix the issue where the additional assignwork() would be run only
from the main thread effectively serializing all the signing.

Merge branch 'each-cleanup-netmgr-trace' into 'main'

complete change of NETMGR_TRACE to ISC_NETMGR_TRACE

See merge request isc-projects/bind9!7390

complete change of NETMGR_TRACE to ISC_NETMGR_TRACE

some references to the old ifdef were still in place.

Merge branch '3726-query-forward-dot' into 'main'

Resolve "Forward queries via DoT"

Closes #3726

See merge request isc-projects/bind9!7199

Add CHANGES and release notes for [GL #3726]

Fix nsupdate system test CA certificate signing validity days

The validity default days value of 1 was used for debugging and
left as such accidentally.

Use 10950 days, as used elsewhere (for example, in doth test CA).

This does not affect anything, the value will be effective when
generating new test certificates in the future.

Test query forwarding to DoT-enabled upstream servers

Change the 'forward' system test to enable DoT on ns2 server,
and test that forwarding from ns4 to the DoT-enabled ns2 works.

In order to test different scenarios, create a test CA (based on
similar CAs for 'doth' and 'nsupdate' system tests), and test
both insecure (no certificate validation) and secure (also with
mutual TLS) TLS configurations, as well as a configuration with an
expired certificate.

Resolver query forwarding to DoT-enabled upstream servers

Implement TLS transport usage in the resolver.

Use the configured TLS transport for the forwarders in the resolver.

Load and validate the configured TLS transport for forwarders

Add support for loading and validating the 'tls' parameter from
the forwarders' configuration.

This prepares ground for adding support to forward queries to
DoT-enabled upstream servers.

Add 'tls' configuration support for the 'forwarders' option

A 'tls' statement can be specified both for individual addresses
and for the whole list (as a default value when an individual
address doesn't have its own 'tls' set), just as it was done
before for the 'port' value.

Create a new function 'print_rawqstring()' to print a string residing
in a 'isc_textregion_t' type parameter.

Create a new function 'copy_string()' to copy a string from a
'cfg_obj_t' object into a 'isc_textregion_t'.

Merge branch 'marka-mock-openbsd' into 'main'

Enable mock tests for OpenBSD

See merge request isc-projects/bind9!7309

Remove conditional around mock tests for OpenBSD

We now use multiple barriers.

Merge branch '3800-macos-address-in-use-not-handled-gracefully' into 'main'

Resolve "MacOS address in use not handled gracefully"

Closes #3800

See merge request isc-projects/bind9!7381

Add CHANGES note for [GL #3800]

Use INSIST rather then REQUIRE to meet DBC usage rules

isc_nm_listentcp: treat socket failures gracefully

The old code didn't handle race conditions and errors on systems
with non load balancing sockets gracefully.  Look for an error on
any child socket and if found close all the child sockets and return
an error.

isc_nm_listenudp: treat socket failures gracefully

The old code didn't handle race conditions and errors on systems
with non load balancing sockets gracefully.  Look for an error on
any child socket and if found close all the child sockets and return
an error.

Merge branch 'artem-fix-building-on-dragonflybsd' into 'main'

Fix building BIND on DragonFly BSD

Closes #3796

See merge request isc-projects/bind9!7379

Fix building BIND on DragonFly BSD (on both older an newer versions)

This commit ensures that BIND and supplementary tools still can be
built on newer versions of DragonFly BSD. It used to be the case, but
somewhere between versions 6.2 and 6.4 the OS developers rearranged
headers and moved some function definitions around.

Before that the fact that it worked was more like a coincidence, this
time we, at least, looked at the related man pages included with the
OS.

No in depth testing has been done on this OS as we do not really
support this platform - so it is more like a goodwill act. We can,
however, use this platform for testing purposes, too. Also, we know
that the OS users do use BIND, as it is included in its ports
directory.

Building with './configure' and './configure --without-jemalloc' have
been fixed and are known to work at the time the commit is made.

Merge branch '3799-tsan-race-between-dns_rbtnode_t-bitfields' into 'main'

Add missing lock when setting node->wild

Closes #3799

See merge request isc-projects/bind9!7392

Add CHANGES for [GL #3799]

Add missing node lock when setting node->wild in rbtdb.c

The write node lock needs to be held when setting node->wild in
add_wildcard_magic except when being called from loading_addrdataset
which is used to load the zone without locking during its initial
load.

Merge branch '3808-refactor-isc_nm_xfr_allowed' into 'main'

Refactor isc_nm_xfr_allowed()

Closes #3808

See merge request isc-projects/bind9!7395

Add a CHANGES note for [GL #3808]

Refactor isc_nm_xfr_allowed()

Return 'isc_result_t' type value instead of 'bool' to indicate
the actual failure. Rename the function to something not suggesting
a boolean type result. Make changes in the places where the API
function is being used to check for the result code instead of
a boolean value.

Merge branch '3783-parental-ds-requests-need-rd-bit-set' into 'main'

Set RD=1 on DS requests to parental-agents

Closes #3783

See merge request isc-projects/bind9!7361

Add CHANGES and release note for GL #3783

News worthy.

Set RD bit on checkds requests

It is allowed to point parental-agents to a resolver. Therefore, the
RD bit should be set on requests.

Upon receiving a DS response, ensure that the message has either the
AA or the RA bit set.

Add checkds test case with resolver parental-agent

Add a test case for a server that uses a resolver as an parental-agent.

We need two root servers, ns1 and ns10, one that delegates to the
'checkds' tld with the DS published (ns2), and one that delegates to
the 'checkds' tld with the DS removed (ns5). Both root zones are
being setup in the 'ns1/setup.sh' script.

We also need two resolvers, ns3 and ns8, that use different root hints
(one uses ns1 address as a hint, the other uses ns10).

Then add the checks to test_checkds.py is similar to the existing tests.

Update 'types' because for zones that have the DS withdrawn (or to be
withdrawn), the CDS and CDNSKEY records should not be published and
thus should not be in the NSEC bitmap.

Merge branch '3801-reduce-memory-bloat-caused-by-delayed-view-detach-lock-order-inversion' into 'main'

Detach the zone views outside of the zone lock

Closes #3801

See merge request isc-projects/bind9!7402

Detach the zone views outside of the zone lock

Detaching the views in the zone_shutdown() could lead to
lock-order-inversion between adb->namelocks[bucket], adb->lock,
view->lock and zone->lock.  Detach the views outside of the section that
zone-locked.

Merge branch 'ondrej/replace-lgtm-with-codeql-add-python-ply' into 'main'

Add python3-ply for ./configure to succeed on BIND 9.16 branch

See merge request isc-projects/bind9!7405

Add python3-ply to GitHub CodeQL configuration

BIND 9.16 needs Python and PLY packages for configure to succeed.
Unless we want to tweak the build script to exclude python, we need to
add python3-ply package to the CodeQL configuration.

Merge branch 'ondrej/replace-lgtm-with-codeql' into 'main'

Add CodeQL GitHub Action

See merge request isc-projects/bind9!7393

Add CodeQL GitHub Action

Replace the decommissioned LGTM service with CodeQL GitHub action.

Merge branch '3795-speed-up-EVP_DigestInit_ex-fixup' into 'main'

Use thread_local EVP_MD in isc_iterated_hash()

Closes #3795

See merge request isc-projects/bind9!7401

Use thread_local EVP_MD in isc_iterated_hash()

Cherry-pick small fixup commit from 9.18/9.16 branches needed for
thread-safety.  This fixup commit is not needed for 9.19+ because of
reworked application setup, but it decouples isc_iterated_hash and
isc_md units and keeps all the branches in sync.

Merge branch '3795-speed-up-EVP_DigestInit_ex' into 'main'

Avoid implicit algorithm fetch for OpenSSL EVP_MD family

See merge request isc-projects/bind9!7375

Add CHANGES and release note for [GL #3795]

Use thread_local EVP_MD_CTX in isc_iterated_hash()

As this code is on hot path (NSEC3) this introduces an additional
optimization of the EVP_MD API - instead of calling EVP_MD_CTX_new() on
every call to isc_iterated_hash(), we create two thread_local objects
for each thread - a basectx and mdctx, initialize basectx once and then
use EVP_MD_CTX_copy_ex() to flip the initialized state into mdctx.  This
saves us couple more valuable microseconds from the isc_iterated_hash()
call.

Use OpenSSL 1.x SHA_CTX API in isc_iterated_hash()

If the OpenSSL SHA1_{Init,Update,Final} API is still available, use it.
The API has been deprecated in OpenSSL 3.0, but it is significantly
faster than EVP_MD API, so make an exception here and keep using it
until we can't.

Use OpenSSL EVP_MD API directly in isc_iterated_hash()

Instead of going through another layer, use OpenSSL EVP_MD API directly
in the isc_iterated_hash() implementation.  This shaves off couple of
microseconds in the microbenchmark.

Avoid implicit algorithm fetch for OpenSSL EVP_MD family

The implicit algorithm fetch causes a lock contention and significant
slowdown for small input buffers.  For more details, see:

https://github.com/openssl/openssl/issues/19612

Instead of using EVP_DigestInit_ex() initialize empty MD_CTX objects for
each algorithm and use EVP_MD_CTX_copy_ex() to initialize MD_CTX from a
static copy.  Additionally avoid implicit algorithm fetching by using
EVP_MD_fetch() for OpenSSL 3.0.

Add microbenchmark for isc_iterated_hash()

Add microbenchmark for isc_iterated_hash() to measure the speed of NSEC3
per second.

Merge branch 'ondrej/openssl3-no-deprecated' into 'main'

Enable OpenSSL 3.x build with -DOPENSSL_NO_DEPRECATED=1

See merge request isc-projects/bind9!7394

Enable OpenSSL 3.x build with -DOPENSSL_NO_DEPRECATED=1

Add a CI job where we explicitly disable any use of OpenSSL functions
that have been deprecated in OpenSSL 3.x.

Merge branch 'each-remove-reserved-dispatches' into 'main'

remove dead code for reserved dispatches

See merge request isc-projects/bind9!7391

remove dead code for reserved dispatches

named formerly reserved a set of dispatch objects for use when
sending requests from user-specified source ports. this objects
are no longer used and have been removed.

Merge branch '3781-deprecate-source-port' into 'main'

mark "port" as deprecated for source address options

Closes #3781

See merge request isc-projects/bind9!7307

CHANGES and release note for [GL #3781]

Test deprecate source port configuration

Add 'port' token to deprecated.conf. Also add options
'use-v4-udp-ports', 'use-v6-udp-ports', 'avoid-v4-udp-ports',
and 'avoid-v6-udp-ports'.

All of these should trigger warnings (except when deprecation warnings
are being ignored).

mark "port" as deprecated for source address options

Deprecate the use of "port" when configuring query-source(-v6),
transfer-source(-v6), notify-source(-v6), parental-source(-v6),
etc. Also deprecate use-{v4,v6}-udp-ports and avoid-{v4,v6}udp-ports.

Merge branch '3789-remove-dscp' into 'main'

fully remove DSCP

Closes #3789

See merge request isc-projects/bind9!7338

CHANGES and release note revision for [GL #3789]

fully remove DSCP

The "dscp" option is now marked as "ancient" and it is a configuration
error to use it or to configure DSCP values for any source-address
option.