Sprinkle reserve() calls on vectors when possible and useful.

Disable read ahead in LMDB.

This contributes to not degrading performance too much when the system
memory is almost completely used, by preventing page thrashing due to
the read ahead behaviour of the system.

Merge pull request #15145 from miodvallat/gimme_more_salt

[tools] fix sdig link

Always link sdig against libsodium if used.

Fallout from #15140

Merge pull request #15102 from romeroalx/enable-meson-auth-deb11

GH Actions - build-and-test-all.yml: use virtual environment for python packages

Merge pull request #15142 from omoerbeek/docs-keyblock-link-text

docs: correct text of link for key block

correct text and link for key block

Merge pull request #15140 from omoerbeek/cookies-phase1

sdig: implement cookie support

Update docs/manpages/sdig.1.rst

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #15139 from omoerbeek/rec-bound-check-for-future

rec: check bounds of rcode stats counter index (safe right now)

Apply suggestion

Co-authored-by: Remi Gacogne <github@coredump.fr>

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

clang-tidy

Add cookies support for sdig

Tidy

Merge pull request #15123 from esensar/feature/dnstap-multi-stream

dnsdist: add pooling support for `RemoteLoggerInterface`

Merge pull request #15112 from rgacogne/ddist-build-xsk-noble-oracular

dnsdist: Enable XSK in our Noble and Oracular Ubuntu packages

rec: check bounds of rcode stats counter index (safe right now)

Safe right now as LWResult::d_rcode gets assigned from the 4 bit
rcode in the header.  But that might change one day. I'd rather
make LWResult::d_rcode an uint8_t, but that causes a conflict with
the OOB resolving code that does not make a difference between res
and d_rcode.

Merge pull request #15131 from miodvallat/seventh_zone_of_a_seventh_zone

[pdnsutil] Let add-zone-key use defaults from pdns.conf

Make add-zone-key default to KSK rather than ZSK.

Merge pull request #15137 from rgacogne/ddist-fix-xsk-boost-lockfree-1.87

dnsdist: Fix compatibility with `boost::lockfree` >= 1.87.0

dnsdist: Fix compatibility with boost::lockfree >= 1.87.0

In https://github.com/boostorg/lockfree/pull/90 `boost::lockfree::spsc_queue`
introduced moved semantics, which is great, but added restrictions
to the callback functor that did not exist before, breaking the API.
This PR fixes that by updating our callbacks to expect an object
instead of a reference.

Merge pull request #15134 from rgacogne/ddist-quiche-version-fallback

dnsdist: Gracefully fall back to older versions of Quiche

Add `RemotePoolLogger` tests for remote protobuf logger

Add `RemotePoolLogger` tests for unix socket based logger

Merge pull request #15132 from rgacogne/ddist-support-several-xdp-itf

dnsdist: Add support for multiple network interfaces in the XDP helper

dnsdist: Gracefully fall back to older versions of Quiche

Before this commit we only tried older versions of Quiche if the
`quiche` feature was not explicitely enabled, and failed otherwise.

Merge pull request #15128 from omoerbeek/rec-fw-recurse

rec: better explain how the recurse field works in various contexts

dnsdist: Only defaults to `eth0` when no interface has been set

Fix remaining naming in listener for TcpLogger test

Fix remaining listener naming in `RemotePoolLogger` TCP tests

dnsdist: Add support for multiple network interfaces in the XDP helper

Fix naming in listener for TcpLogger test

Fix listener naming in `RemotePoolLogger` TCP tests

Use integer placeholder in config template in `test_Dnstap.py`

Co-authored-by: Remi Gacogne <github@coredump.fr>

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

Add `RemotePoolLogger` tests for TCP based logger

Let pdns add-zone-key use defaults from pdns.conf whenever possible.

Fixes #3878

build-and-test-all.yml: do not test test-recursor-ubicloud-bulk for deb11 (libssl 1.1 vs 3)

Update docs for `connectionCount` parameter

Implement `RemoteLoggerPool::name`

Change `RemoteLoggerPool::toString` to describe just general stats

Replace locks in `remote_logger_pool` with an atomic counter

build-and-test-all.yml: skip dnsdist eBPF regression tests if skipXDP=True

build-and-test-all.yml: use venv for executing tasks

Add pyinvoke as pip requirement for builds

build-and-test-all.yml: use container runner for swagger-syntax-check

build-and-test-all.yml: enable build auth with meson on debian11

Merge pull request #15124 from miodvallat/rotd

auth-{4.7.5,4.8.5,4.9.4}: changelog entries + secpoll update

Do a consistency check of the recurse flag for the forward_zones case

Merge pull request #15126 from rgacogne/ddist-ignore-re2-broken-cflags

dnsdist: Ignore `re2`'s broken compilation flags

rec: better explain how the `recurse` field works in various contexts

Merge pull request #15125 from rgacogne/ddist-no-doh3-meson

dnsdist: Fix meson build failure when DoH3 support is disabled

dnsdist: Ignore `re2`'s broken compilation flags

Apparently some version(s) of `re2` pass `-std=c++11` in the result
of `pkg-config --cflags`, which helpfully downgrades us from C++17
to C++11. Let's just ignore what it says.

dnsdist: Fix meson build failure when DoH3 support is disabled

auth-{4.7.5,4.8.5,4.9.4}: changelog entries + secpoll update

Merge pull request #15083 from miodvallat/napster

Provide additional answers in NAPTR queries

Merge pull request #15121 from romeroalx/fix-version-pbr

GH Actions: documentation.yml clean-up hash validation for pip pkgs and update version of pbr

Shorten lock duration in `RemoteLoggerPool::queueData`

Add a basic lock in `RemoteLoggerInterface::queueData` for thread safety

Fix `DnstapLogAction` and `DnstapLogResponseAction` in YAML config

There was not option of having no alter function defined, even though it
is expected by config. If it wasn't defined, it passed an invalid alter
function into the action. This makes the alter function optional and
properly checks if it was found in configuration.

Add YAML support for multiple logger connections

This also fixes a bug with loggers in YAML, which had hardcoded
connection status. For `RemoteLogger` that worked by having it always
connect, but for `FrameStreamLogger` it never connected. Now the
behavior is the same as lua, by checking the client mode flag.

Prevent erasing invalid value from options map

Reserve room in loggers vector before adding loggers

Fix clang-tidy warnings

Add `remote_logger_pool` to meson

Remove `pick` from `dnsdist-lua-bindings-protobuf.cc`

Co-authored-by: Miod Vallat <miod.vallat@open-xchange.com>

Fix typo in `dnsdist` makefile

Co-authored-by: Miod Vallat <miod.vallat@open-xchange.com>

Fix formatting in `dnsdist-lua-bindings-protobuf.cc`

Fix typo in `checkAllParametersConsumed` for `newFrameStreamUnixLogger`

dnsdist: add pooling support for RemoteLoggerInterface

This adds a new kind of `RemoteLoggerInterface`: `RemoteLoggerPool`.
It can take multiple other `RemoteLoggerInterface`s and pass data to
them in round-robin order by default.

This also adds additional option to `newRemoteLogger`, `newFrameStreamTcpLogger`
and `newFrameStreamUnixLogger`: `connectionCount`, which can be used to
generate a pool with multiple connections.

Closes: #14861

Merge pull request #15119 from omoerbeek/rec-meson-unitfiles

rec: create service unit files when building using meson

documentation.yml: remove pip validation. already present in misc-dailies.yml as done in #14732

update pinned version of pbr package

Merge pull request #15120 from rgacogne/ddist-xdp-map-queues-parameters

dnsdist: Make hard-coded values configurable in xdp.py

Merge pull request #15118 from rgacogne/ddist-support-quiche-0.23-plus

dnsdist: Handle Quiche >= 0.23.0 since the API changed

Merge pull request #15115 from rgacogne/ddist-meson-follow-up

dnsdist: Better handling of out-of-tree builds

Rewrite auth related comment

dnsdist: Delint xdp.py

dnsdist: Make hard-coded values configurable in xdp.py

- Maximum size of eBPF maps
- Number of network queues in XSK mode

rec: create service unit files when building using meson

Stolen from auth mostly.
Fixes #15116

dnsdist: Handle Quiche >= 0.23.0 since the API changed

Quiche 0.23.0 has renamed `quiche_h3_event_headers_has_body` to
`quiche_h3_event_headers_has_more_frames`, so we need to handle that.

dnsdist: Add the XSK fuzzing target to .gitignore

dnsdist: Run our unit tests with `meson test`

dnsdist: Better handling of out-of-tree builds

Our Python script to generate actions, selectors and settings from
the YAML definitions of these items was making too many assumptions
about the current working directory, which is just wrong outside of
the autotools world.

Merge pull request #15076 from omoerbeek/rec-meson-dist

rec: allow use of meson to create dist file

Add a check to see if gen-version still is up-to-date

Merge pull request #14724 from rgacogne/meson

dnsdist: Add meson support

Merge pull request #15065 from rgacogne/ddist-enable-yaml-packages

dnsdist: Enable the new YAML configuration in our packages

Add 'a' and 's' flags NAPTR tests to exercize previous commit.

Provide NAPTR replacement information as additional answers whenever possible.

dnsdist: Enable XSK in our Noble and Oracular Ubuntu packages

It turns out that libbpf-dev and libxdp-dev are there in the end.

Merge pull request #15111 from rgacogne/dist-re2

dnsdist: Document that RE2 does full matching, add regression tests

dnsdist: Add spell-checking patterns

Merge pull request #15109 from Habbie/drop-circleci

remove circleci config

Merge pull request #15054 from neheb/bb

more clang-tidy fixups

dnsdist: Apply Miod's suggestions to the selectors doc

Co-authored-by: Miod Vallat <miod.vallat@open-xchange.com>

Merge pull request #15103 from miodvallat/minus_one_is_the_new_black

Grow tinybackend capabilities a bit

dnsdist: Document that RE2 does full matching, add regression tests

Merge pull request #15093 from mind04/auth-catalog-fix

auth, check return value of getCatalogMembers()