Add regression test for remote count when using proxy protocol

(cherry picked from commit 264ee89e28dc6537836e840688a6d3d521291122)

rec: count substituted remote in case of proxy protocol

Other remote counts are already doing that

(cherry picked from commit a6f989d8cb1b26329a50925d6d7f0ef06d9572cd)

Merge pull request #14223 from omoerbeek/backport-14197-to-rec-5.0.x

rec: Backport 14197 to rec 5.0.x: YaHTTP: Enforce max # of request fields and max request line size

Merge pull request #14222 from omoerbeek/backport-14185-to-rec-5.0.x

rec: Backport 14185 to rec 5.0.x: report error and adjust when linux map limit is too low

YaHTTP: Enforce max # of request fields and max request line size

The default values, 8192 bytes for the maximum request line size and
100 fields, are taken from the default settings of Apache HTTPd:
- https://httpd.apache.org/docs/2.2/mod/core.html#limitrequestline
- https://httpd.apache.org/docs/2.2/mod/core.html#limitrequestfields

Reported by OSS-Fuzz as a timeout in https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=67993

(cherry picked from commit 249c86a63865e4a980511839887890c3940fc6e6)

kern.max_map_count -> vm.max_map_count; from @phonedph1

(cherry picked from commit 83c50a424b44715efa4c40724dfb1cf2ba4b935b)

Two cases of wrong var (in code not compiled)

Co-authored-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit 766cb2804f51b17129fbb8abfc43c622bb4044ce)

Reformt

(cherry picked from commit 2759618132061d8cc543c1f25ff29b5db1936392)

Adjust max-mthreads if vm.max_map_count is too low

(cherry picked from commit 38917466a490628619a30d429ab30ef78f1a5357)

Use LockGuarded construct

(cherry picked from commit 40c7e858ea5a96bc60d6a0b64a038a876b44424c)

Use RIAA guard for d_inrun, making sure exceptions reset d_inrun

(cherry picked from commit e85f719bdcbe0f30e2629a3734181ff8e77b6a96)

Rate limit logging for a few cases (there could be more)

(cherry picked from commit f6fd9d7dcf657009c18b523228c0f8fddcdca157)

Log exceptions occuring in resolving action; do not let the worker threads die

(cherry picked from commit e169ad22df81efc19784f6339ae4380324ca16fe)

rec: report error when linux map limit is too low

(cherry picked from commit 49a683354132788191a55af9f7ab2ef44d72f271)

Merge pull request #14207 from romeroalx/backport-14171-to-rec-5.0.x

rec-5.0.x: Partial backport of #14171 for fixing the build of arm64 images

Adding liblua5.3-dev/libluajit-5.1-dev to dockerfiles

Merge pull request #14090 from omoerbeek/backport-14044-to-rec-5.0.x

rec: backport 14044 to rec-5.0.x: gh actions - replace yq snap in collect job build-and-test-all

gh actions - replace yq snap in collect job build-and-test-all

(cherry picked from commit 3a5fb2cb7e890e1ebb0e0e75f6349640fc76f878)

Merge pull request #14132 from romeroalx/ci-build-ubuntu-22

rec-5.0.x: gh actions - use ubuntu-22.04 runners in build-and-test-all

gh actions - build-and-test-all: use ubuntu-22.04 runners

Merge pull request #14091 from omoerbeek/backport-14049-to-rec-5.0.x

rec: Backport 14049 to rec-5.0.x: do not count RRSIGs using unsupported algorithms toward RRSIGs limit

Merge pull request #14089 from omoerbeek/backport-13983-to-rec-5.0.x

Backport 13983 to rec 5.0.x: Generate Software Bill Of Materials (SBOMs) for our RPM packages

Merge pull request #14088 from omoerbeek/backport-13972-to-rec-5.0.x

rec: Backport 13972 and 13981 to rec 5.0.x: Move the version (and hashes) of external dependencies to JSON files

Merge pull request #14108 from Habbie/rel/rec-5.0.4-branch

merge rec-5.0.4 back onto rel/rec-5.0.x

rec: do not count RRSIGs using unsupported algorithms toward RRSIGs limit

(cherry picked from commit 834660b5c62fe7a8bcf93b0182f26fbfa5464ecc)

SBOM: Dynamically generate the list of auth-related packages

(cherry picked from commit 94b262b9709077f7c3a4e8cd74108e2c6991a63e)

SBOM: Fix the builder target variable

(cherry picked from commit b17412c732f8ec98ae47926254828cb45ff825df)

Fix syntax errors

(cherry picked from commit fef1b1c63e150b34a391bc836596657ec068de81)

Disable SBOM generation on el-7 (almost EOL), fix it on el-8

(cherry picked from commit 4b54c7db6822c31d70a5661258b4ed70c58ee163)

Hopefully fix SBOM generation

(cherry picked from commit 5efa3cdfbcf590068006030da64cd5673e11bf8d)

Attempt to generate SBOMs after building packages

(cherry picked from commit 44503ded5e8e6f088d009177f5f951d408467b58)

Use original rust version

Fix recursor builds: fix invalid path for builder-support/helpers

Fix recursor builds: we now require `jq` during the `dist` phase

Add license, publisher information to the external deps data

(cherry picked from commit cb7e7db7990d4a6ea7a873e3ff4d0c63cd2f1291)

Move the version (and hashes) of external dependencies to JSON files

(cherry picked from commit 4ccb0f786bab6e752ce8f6bc8223d428754c0081)

Revert "Debian Trixie builder: install fakeroot pkg"

This reverts commit a902e392a38905bec709468a6ebd26902a6c255a.

pdns-builder: update to newest, removes fakeroot usage

rec: backport CVE-2024-25583 to rel/rec-5.0.4-branch

A name can be present already when building the cname chain.

Merge pull request #13992 from omoerbeek/backport-13984-to-rec-5.0.x

rec: Backport 13984 to rec-5.0.x: Correctly count NSEC3s considered when chasing the closest encloser

Merge pull request #13991 from omoerbeek/backport-13966-to-rec-5.0.x

rec: Backport 13966 to rec-5.0.x: let NetmaskGroup parse dont-throttle-netmasks

Merge pull request #13990 from omoerbeek/backport-13947-to-rec-5.0.x

rec: Backport 13947 to rec-5.0.x: fix types of two YAML settings that should be sequences of subnets

Merge pull request #13989 from omoerbeek/backport-13926-to-rec-5.0.x

rec: Backport 13926 to rec 5.0.x: fix trace=fail regression and add regression test for it

Merge pull request #13988 from omoerbeek/backport-13849-to-rec-5.0.x

rec: Backport 13849 to rec 5.0.x: Only print Docker config if debug flag is set

rec: Correctly count NSEC3s considered when chasing the closest encloser

We need to count the number of NSEC3s that are present in the response,
not the number of times we have to consider possible NSEC3s when
looking for the NSEC3 closest encloser, label by label.

(cherry picked from commit c4f4d09654bde9d389e83f0bc8eadc6b665e9de9)

rec-main: let NetmaskGroup parse dont-throttle-netmasks

This allows dont-throttle-netmasks to have negations.

(cherry picked from commit 109aebd08611cbb148cd520c7466968873e986f7)

rec: fix types of two YAML settings that should be sequences of subnets

In particular, incoming.proxy_protocol_from and incomig.edns_padding_from

(cherry picked from commit 1d24ae8124caef413ecfc4b4279334967933a927)

ZTC regression test does not need auths

(cherry picked from commit 250a8012a85c8cee7b6eaff97ff55fe4a335bf45)

rec: fix trace=fail regression and add regression test for it

(cherry picked from commit c2f2d82c3f52bb62df33f0b7e57d55a88cdbe222)

nits

(cherry picked from commit 688d5dbdba626e3a36af37a8629c6fab6e5d5a1a)

Only print config if debug flag is set

Signed-off-by: Carolin Dohmen <carodohmen@gmail.com>
(cherry picked from commit d773b7bb99418026c3907ebd4b4e994a61fccecd)

Merge pull request #13890 from romeroalx/backport-13720-fix-fakeroot

rec: Backport 13720 to rec-5.0.x: update submodule pdns-builder for removing fakeroot usage

Revert "Debian Trixie builder: install fakeroot pkg"

This reverts commit a902e392a38905bec709468a6ebd26902a6c255a.

pdns-builder: update to newest, removes fakeroot usage

Merge pull request #13845 from omoerbeek/backport-13824-to-rec-5.0.x

rec: Backport 13824 to rec-5.0.x: log if a dnssec related limit was hit (if log_bogus is set)

Merge pull request #13846 from omoerbeek/backport-13830-to-rec-5.0.x

rec: Backport 13830 to rec 5.0.x: reduce RPZ memory usage

Merge pull request #13789 from omoerbeek/backport-13580-to-rec-5.0.x

rec: Backport 13580 to rec 5.0.x: add ubuntu-noble build target and test it daily

Merge pull request #13852 from omoerbeek/backport-13847-to-rec-5.0.x

rec: Backport 13847 to rec-5.0.x: Fix gathering of denial of existence proof for wildcard-expanded names

rec: Apply Otto's suggestions

(cherry picked from commit f8a286bb2a45fb51ea90399b793ec40665824430)

rec: Fix clang-tidy warnings

(cherry picked from commit f74ca9e44868f44c4fe6460bed1b7629dcf027f4)

rec: Add a unit test for the gathering of denial of existence proof for wildcard-expanded names

(cherry picked from commit bedfbaa1912ee464a61dc7996341574040fab84a)

rec: Fix gathering of denial of existence proof for wildcard-expanded names

When the recursor is forwarding to a resolver, we accept the names composing
the CNAME chain starting at the queried name. This means we also need to gather
the denial of existence proof for CNAMEs that were expanded from a wildcard,
otherwise the response sent to the client cannot be DNSSEC-validated.

(cherry picked from commit 2eb9f095fe06f77cd816135c03c7ac558e0f324d)

rec: partial backport of 13830 to rec-5.0.x: reduce RPZ memory usage

rec: log if a dnssec related limit was hit (if log_bogus is set)

(cherry picked from commit 9d4a01ffa2b724907e07db423da048f68f15eca2)

Merge pull request #13791 from omoerbeek/backport-13788-to-rec-5.0.x

rec: Backport 13788 to rec 5.0.x: fix the zoneToCache regression introduced by SA 2024-01

Test ZTC with root zone

1. If code changes make the validation fail we want to know.
2. If root zone changes break something we want to know as well, this might even be more important than 1.

So I think we just have to accept the occasional network issues on GH.

(cherry picked from commit 5e7b96061de80b4cb52f52a65fed274a1e666e73)

rec: fix the zoneToCache regression introduced by SA 2024-01

Test will follow

(cherry picked from commit c7f594e2dcda23fdc2ae2c4246da3e7c519f897e)

Merge pull request #13833 from omoerbeek/backport-13813-to-rec-5.0.x

rec: Backport 13813 to rec.5.0.x: dnspython's API changed wrt NSID, apply (version dependent) fix in regression test

Typos

rec: dnspython's API changed wrt NSID, apply (version dependent) fix in regression test

See https://dnspython.readthedocs.io/en/stable/whatsnew.html 2.6.0 2nd bullet

(cherry picked from commit e1ea89984da1c10850dd0cb4e7d4d7ee501e078d)

Merge pull request #13790 from omoerbeek/backport-13787-to-rec-5.0.x

rec: Backport 13787 to rec-5.0.x: skip a few test that depend on sidnlab's public test setup that no longer works

rec: skip a few test that depend on sidnlab's public test setup that no longer works

(cherry picked from commit 1c47d58191e285aa2f85c24bbddba55f95cd58a2)

add ubuntu-noble build target and test it daily

(cherry picked from commit f23a1173b7b043d6afd70404fe86a4279c28cd39)

Merge pull request #13782 from omoerbeek/rec-backport-keytrap-to-5.0.x

rec: Backport Keytrap to rec-5.0.x

Backport of Keytrap to rec-5.0.x

Merge pull request #13703 from romeroalx/backport-13692-to-rec-5.0.x

Backport 13692 to rec 5.0.x: GH Actions - Fix builder workflow for Debian Trixie

Debian Trixie builder: install fakeroot pkg

Merge pull request #13685 from omoerbeek/backport-13675-to-rec-5.0.x

rec: Backport 13675 to rec 5.0.x: Fix documentation building error for dnsdist and recursor

dnsdist: Fix the version of alabaster when building the doc

Fixes
```
The alabaster extension used by this project needs at least Sphinx v3.4; it therefore cannot be built with this version.
```

(cherry picked from commit c2a7ef8bd4f2423e2dc0eaa4d4a46de99b44636b)

rec: Fix the version of alabaster when building the doc

Fixes
```
The alabaster extension used by this project needs at least Sphinx v3.4; it therefore cannot be built with this version.
```

(cherry picked from commit ac89467f17bb888fbd48c0f4c5267beab95aebee)

Merge pull request #13646 from omoerbeek/backport-13588-to-rec-5.0.x

tec: Backport 13588 to rec 5.0.x: fix handling of RUNTIME_DIRETCORY and NOD dirs

Merge pull request #13645 from omoerbeek/backport-13567-to-rec-5.0.x

rec: Backport 13567 to rec-5.0.x: Disabling structured logging is deprecated

rec: Always set the two new vars in the Makefile, follow up to 13588

Fixes #13611

Beter default value (saying "it depends") in generated docs for settings
that are determined by distribution packaging.

(cherry picked from commit c1714f3884ffc31428e06b880cb1f427a4ae3050)

Use correct compile time values for the NOD and UDR dirs

(cherry picked from commit cb9708c016d72251dc79b34b8972392a5a6542e6)

Respect RUNTIME_DIRECTORY as a default for socket-dir

This was lost with the conversion to the new settings.

(cherry picked from commit f2e6cf3ae0f4622bea9364d75dc205728a553e5b)

Disabling structured logging is deprecated

(cherry picked from commit 6362c4df2bac887ba5e3d4e630186f8709b6e3f3)

Merge pull request #13579 from romeroalx/rel/rec-5.0.x-wc

GH Actions - rel/rec-5.0.x: make `build-and-test-all` and `builder` workflows reusable from other branches

make builder workflow reusable

make build-and-test-all reusable

Merge pull request #13558 from omoerbeek/rec-remove-unneeded-tasks

rec: remove unneeded tasks from rec-5.0.x branch

Remove two more unneeded files

rec: remove unneeded tasks from rec-5.0.x branch

Merge pull request #13557 from omoerbeek/rec-docs-yaml-not-experimental

rec: Remove experimental warnings for YAML

rec: Remove experimental warnings for YAML

YAML settings are no longer experimental, but still only used if a `recursor.yml` file is found in the config dir.

Merge pull request #13507 from omoerbeek/rec-allow-rd0

rec: disallow (by answering Refused) RD=0 by default

Merge pull request #13522 from rgacogne/coverity-auto-copy-move-2

Fix unnecessary copies reported by Coverity (round 2)

Add test for RD=0 is disallowed by default and basic RD=1 processing

Merge pull request #13543 from omoerbeek/rec-aggr-nsec3-empty

rec: a single NSEC3 record covering everything is a special case

Merge pull request #13505 from rgacogne/ddist-getaddressinfo

dnsdist: Add `getAddressInfo()` for asynchronous DNS resolution