auth: change sdig output to zonefile order

(cherry picked from commit b8a6d4f7225021962030a34990f5739954a00c42)

backport of #11858

auth: initialize zone cache after dropping privileges

(cherry picked from commit cfb35c2f78d342fc4fc10cb48f0d045e7e57c92a)

backport of #11908

libssl: Properly load ciphers and digests with OpenSSL 3.0

Since https://github.com/openssl/openssl/commit/661595ca0933fe631faeadd14a189acd5d4185e0
we can no longer rely on the ciphers and digests required for TLS to
be loaded by `OPENSSL_init_ssl()`, so let's give up and load everything.
I hope you have a lot of RAM.

(cherry picked from commit df46480c0ed11a7a76f62495fb9a2edeb3f90a64)

backport of #11862

auth/rec web: stop sending Server: header

dnsdist does not, either. Avoids leaking VERSION to not authorized users.

(cherry picked from commit 6f16c2e6e14b2f178a08b371207471c9003ea9ff)

backport of #11813

builder: add --no-install-recommends to apt-get install

This was triggered by Ubuntu Kinetic pulling in a version of
systemd-resolved that breaks inside Docker. systemd-resolved
is an indirect (via Recommends somewhere) dependency of devscripts,
which we need.

However, if we were relying on Recommends, that was a bug, so I'm
applying the flag to all distributions.

(cherry picked from commit ecb70be6a176a6630858a3cddaae02446fbb9196)

backport of #11891

Log "NULL" for nullptr-bound properties instead of dereferencing

Fixes the issue where pdnsutil would segfault when query logging is enabled, and would
leave the db unmodified. Surprisingly, the segfault only happened on FreeBSD.

Fixes #11731

(cherry picked from commit fd4fd2dae2f29f668b7ad0645c112b12854ab834)

backport of #11882

[tsan] Data race suppression for avg_latency and send_latency globals.

See <https://github.com/PowerDNS/pdns/issues/11814>

(cherry picked from commit af175d2148f5652f065d31a1fcb64e02f4f6dc38)

backport of #11819

Merge pull request #11870 from Habbie/backport-11842-to-auth-4.7.x

auth-4.7.x: use getInnerRemote() for the remotes ring

auth: use getInnerRemote() for the remotes ring

(cherry picked from commit 531fce7704eb74249656a8fb1f65578b58c9678c)

Merge pull request #11833 from Habbie/backport-11825-to-auth-4.7.x

auth-4.7.x: backport #11825

Merge pull request #11834 from Habbie/backport-11822-to-auth-4.7.x

auth-4.7.x: backport #11822

auth: fix backend page layout

(cherry picked from commit 2e0eda75aff0245e893b2b15f5c5beba619fba79)

auth: fix broken link in catalog doc

(cherry picked from commit 4f4e1300c355f9e273196913103b10039c126b37)

auth: fix catalogDiff() coverity report

(cherry picked from commit ba2642a7f2c85246764c263679470aeb04577175)

auth: add missing catalog types in getAllDomains()

(cherry picked from commit d5540ff1b848d8fea1e41c0adc536edd4b5b189a)

auth sqlite3: abort schema transactions on error

(cherry picked from commit da8ddb18d6f3996b900c47128a71e0800732e2e5)

sqlite3 catalog zones: fix query typos

(cherry picked from commit d4e25b7601736d7cda1a8d5b19cf38b731532ef3)

sqlite3 schema migration: fix typo

(cherry picked from commit 40f6d57828b446ee9973c4d3d2e7a4f42ee7135c)

remove 3 more master-only github workflows

Merge pull request #11817 from Habbie/auth-4.7.x-strip-ci

auth-4.7.x: CI: only check auth

CI: only check auth

Merge pull request #11082 from zeha/auth-merge-main

auth: merge "main" code into new auth-main.(cc|hh)

pdns/auth-main.*: format-code

auth: merge "main" code into new auth-main.(cc|hh)

Merge common_startup.cc and receiver.cc into auth-main.cc, and
rename common_startup.hh into receiver.hh.
This is a very minimal merge with no cleanup. Its intention is to
make understanding the startup code path easier, by avoiding having
to look at two compilation units to determine the exact order.

Merge pull request #11760 from Habbie/lua-shared-tcp

auth LUA: make shared mode work for TCP queries

Merge pull request #11808 from Habbie/dnsbulktest-init-var

dnsbulktest: initialise struct member; use correct type when setting it

Merge pull request #11815 from mind04/auth-notify

auth: make sure a notified zone is in the zonecache

Merge pull request #11759 from mind04/auth-tsig-cleanup

auth: getTSIGKey(s) cleanup

rename s_LUA to LUA where it is not a static

LUA records: describe shared state UDP/TCP difference

auth: make sure a notified zone is in the zonecache

Merge pull request #11780 from omoerbeek/rec-save-last-nsspeed

rec: Save the last nsspeed recorded plus output it in rec_control dump-nsspeeds

Some more `auto` instead of explicit types

Merge pull request #11714 from omoerbeek/rec-sl-queries

rec:  stuctured logging for incoming and outgoing subsystems

Merge pull request #11772 from mind04/auth-catalog-zone

Implement catalog zones in the authoritative server

auth: member zones adopt their primaries from the consumer zone

dnsbulktest: initialise struct member; use correct type when setting it

auth: getTSIGKey(s) cleanup

auth: review sugestions

Merge pull request #11694 from Groverkss/patch-1

Update `also-notify` docs for non-standard ports

auth: clear caches after the catalig transaction is comitted

auth: also warn for producers notifies

auth: do not use the metadata cache for AXFR

auth: fix Duplicate RO transaction

Merge pull request #11791 from Habbie/bookworm

add debian bookworm target and run it daily in CI

add debian bookworm target and run it daily in CI

Merge pull request #11793 from Habbie/el9-no-epel-testing

el9: remove epel-testing, new re2 is in epel9 stable now

Merge pull request #11792 from Habbie/kinetic

add ubuntu kinetic target and run it daily in CI

el9: remove epel-testing, new re2 is in epel9 stable now

Merge pull request #11788 from Habbie/el9

EL9 builds

add ubuntu kinetic target and run it daily in CI

add 9-stream target and test it daily

add el-9 target

auth: bump lmdb schema version to 4

auth: remove REMOVE from log message

auth: support catalog version "1" as consumer

auth: catalog zone documentation

auth: limit unique lable length to 1

auth: add producer and consumer type in pdnsutil

auth: add set-option in pdnsutil

auth: g++ 4.8 is no longer an issue

auth: api, add catalog in zone endpoint

Merge pull request #11779 from omoerbeek/rec-edns-followup

rec: edns table simplification followup

Merge pull request #11783 from aerique/feature/jammy-repo-script

Add auth-46 and rec-47 for Ubunty Jammy to repo test script.

Merge pull request #11782 from Habbie/auth-4.6.3-docs

auth-4.6.3: changelog and secpoll

Add auth-46 and rec-47 for Jammy to repo script.

auth: test catalog state reset

auth: use the catalog for the backend transaction

auth-4.6.3: changelog and secpoll

auth: stop wasting memory

auth: speedup secondary tests and make pdns_control catalog type aware

auth: improve logging and fix a copy-paste mistake

auth: implement consumer support

rec: Save the last nsspeed recorded plus output it in rec_control dump-nsspeeds

Fixes #11736 in the most basic way. There are some plans to unify
the various NS state tables into a single elaborate data structure,
that would be the moment to store a moving average or similar.

Also modify the output a bit: show times in ms instead of us and
without all the decimals.

rec: edns followup

Simplify handling of edns table. Prompted by Coverity 1490173

Merge pull request #11773 from omoerbeek/rec-udpQueryResponse-size

Rec: fix udp query response size in udpQueryResponse

Add regression test for #11771 (lenght of annswer in udpQueryResponse)

Rec: Resize answer length to actual received length in udpQueryResponse

Fixes #11771

Merge pull request #11769 from omoerbeek/rec-uninited-vars-jammy

rec: Uninited vars, seen by compiling on jammy

Merge pull request #11552 from d-frey/patch-1

auth: Simplify code in `Bind2Backend::lookup()`

auth/rec: use pytest for the api tests

auth: implement group in the producer

auth: implement producer regression tests

auth: implement producer axfr

auth: implement producer freshness check and a lot of cleanup/speedup

auth: extend type length to 8 characters (PRODUCER / CONSUMER)

auth: add catalog to DomainInfo

auth: add options to DomainInfo

Merge pull request #11762 from omoerbeek/rec-prep-4.7.1

rec: Prep for rec-4.7.1

Merge pull request #11764 from mind04/pdns-lmdb-deletedomain

auth: fix deleteDomain() in lmdb backend

Uninited vars, seen by compiling on jammy

Merge pull request #11763 from hlindqvist/dnsdist-negativeandsoaaction-authority-section

Add option to NegativeAndSOAAction to place SOA in the authority section

auth: fix deleteDomain() in lmdb backend

Add option to NegativeAndSOAAction to place SOA in the authority section

Ie, allow generating a full NODATA/NXDOMAIN cacheable negative response, rather than
an RPZ-style reponse with only an informational SOA record in the additional section

Prep for rec-4.7.1

Merge pull request #11761 from rgacogne/ddist-keep-caps-on-user-switch

dnsdist: Keep retained capabilities even when switching user/group

dnsdist: Keep retained capabilities even when switching user/group

On Linux, we support retaining some capabilities if we are running
as root (eeew) or as an unprivileged user with ambiant capabilities,
but we did not yet support keeping these if we were started as root
but then switched to a different user ID and/or group ID.
This commit uses `PR_SET_KEEPCAPS`, when available, to do just that,
to be able to retain the capabilities we need without running as a
fully privileged users even when we cannot easily use ambiant
capabilities.

auth py tests: also test TCP LUA shared/non-shared mode

auth py tests: add UDP LUA shared/non-shared counter tests

auth py tests: also test LUA shared mode