Merge pull request #15164 from rgacogne/update-rust

Update Rust to 1.84.1 for our packages

Merge pull request #15175 from miodvallat/lmdb_abort_with_style

Improve LMDBBackend reliability

lmdb: be sure to abort pending transactions in the correct order.

If the LMDBBackend destructor is invoked while there are still pending
transactions, these need to be aborted, but in the reverse order of
their creation (i.e. abort the innermost transaction first).

The default destructor would abort them in a class field
declaration-dependent order, which may not match the actual cinematic.

We now remember which transaction is the innermost one, so that we can
abort them in the expected order.

This gets rid of "double free or corruption (top)" aborts with glibc,
and Address Sanitizer errors.

Update .github/actions/spell-check/excludes.txt

Co-authored-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Ignore docs/depfile.py for spell checking

Fix dependencies for docs, using a Sphinx extension to generate a dep file, as suggested by @eli-schwart in https://github.com/PowerDNS/pdns/pull/15169#discussion_r1959138532

Actually, the depfile (sphinx.d) is removed by ninja after generating
it as shown by a trace.  I do not know why, but touching an .rst
file has the correct behaviour. So I suspect it is an optimization.

remove publish.js

don't wait for invalidation to finish before continuing

only add and update files, never delete

Merge pull request #15156 from rgacogne/ddist-handle-dnstap-msg-order

dnsdist: Handle response dnstap messages arriving before the query ones

Add all '*.rst' files in docs as a dependency.

The Meson docs are not a fan of this method, but maintaining that
list by hand is too much work and error prone. This does mean that
adding existing .rst file to the docs will not be picked up by the
dependency checking until you re-setup your build dir.

Only run python if found

And also do html-docs, tarball and pdf for auth

dnsdist docs (html-docs, tarball and pdf)

Generate tarball and pdf and introduce all-docs target

rec: generate html-docs using meson compile html-docs

dnsdist: Put the dnstap messages back to the queue in the correct order

As noticed by Miod, the previous solution was not removing all messages
from the queue, possibly putting back old messages behind newer ones.

Merge pull request #15168 from omoerbeek/rec-coverity-20250217

rec: coverity 20250217

Merge pull request #15163 from rgacogne/dnsdist-meson-dist

dnsdist: Generate tarballs via `meson dist`

Fix typos found by Miod in gen-version

This should eliminate a dozen or so Coverity warnigs

For example:

1591605 Data race condition

5. missing_lock: Accessing g_lowercaseOutgoing without holding lock LockGuarded<std::shared_ptr<std::unordered_map<DNSName, SyncRes::AuthDomain, std::hash<DNSName>, std::equal_to<DNSName>, std::allocator<std::pair<DNSName const, SyncRes::AuthDomain> > > > >.d_mutex. Elsewhere, g_lowercaseOutgoing is written to with LockGuarded.d_mutex held 1 out of 1 times.

Coverity 1591604 Use of auto that causes a copy

Merge pull request #15166 from rgacogne/ddist-unused-warnings

dnsdist: Fix several unused parameter warnings without DoH support

Rust moved to XZ compression

dnsdist: Fix several unused parameter warnings without DoH support

dnsdist: Update Quiche to 0.23.2 in our packages

Update Rust to 1.84.1 for our packages

Merge pull request #15160 from miodvallat/amnesia_got_me_in_trouble

[pdnsutil] Better error message when disk full

Merge pull request #14905 from klaus-nicat/improve_freshness-check_description

Try to improve freshness-check description

rec: reload proxy settings on rec_control reload-acls

Fixes #14096

Merge pull request #15161 from omoerbeek/rec-meson-install

rec: add meson install target and fix meson dist issues after new way of generating man pages was merged

dnsdist: Only generate man pages when needed w/ meson

Thanks, Otto!

dnsdist: Generate tarballs via `meson dist`

Apply suggestions from code review

Merge pull request #15162 from Habbie/revert-rclone

revert from rclone back to custom sync script

revert from rclone back to custom sync script

Merge pull request #15155 from milzi234/feature/rclone

Use rclone instead of custom sync script to publish documentation to AWS S3 bucket

Don't set --config-dir when generating dist config, no need to anymore

Merge pull request #15152 from miodvallat/strict_aliasing

Make the record representation of ALIAS match CNAME

Fix meson dist issues found after new way of generating man pages was merged.

Including a path fix to the cmp command, which wrongly assumes
MESON_SOURCE_ROOT was the toplevel dir.

Merge pull request #15157 from omoerbeek/rec-coverity-20250212

rec: coverity 20250212

Merge pull request #15159 from zeha/zeha-mesonstuff

recursor/meson: fix typo in comment

If deleteZone fails due to a backend exception, show it...

...rather than any further backend exception caused by
abortTransaction(), which will be much less helpful.

Using the sqlite backend on a full filesystem, pdnsutil delete-zone now
correctly reports "database or disk is full" instead of "cannot rollback
- no transaction is active" which no human can make sense of in this
situation.

recursor/meson: fix typo in comment

Add misssing declaration gcc likes while there

rec: add install target to meson

And always generate default config in YAML format

remove --progress

use ubuntu's rclone

Coverity 1591086 Uninitialized scalar field

Buch of Coverity "Variable copied when it could be moved" cases

Merge pull request #15154 from omoerbeek/rec-rust-cxx-include-dir

rec: fix cxx include dir

Use rclone instead of custom sync script to publish documentation to AWS S3 bucket

Merge pull request #15153 from omoerbeek/rec-fix-docs-gen

rec: fix docs generating, settings/ is now rec-rust-lib/

rec: fix cxx include dir

rec: fix docs generating, settings/ is now rec-rust-lib/

Merge pull request #15114 from omoerbeek/rec-rust-web

rec: move to embedded web service written in Rust

Merge pull request #14976 from omoerbeek/rec-quit-nicely-sync

rec: make quit-nicely wait on actual quit and start using it for stopping by systemd

Make the record representation of ALIAS match CNAME...

...but for the name compression. This will correctly remove non-root
trailing dots from ALIAS records.

Fixes #5500, #7827

Typo in comment

Co-authored-by: Miod Vallat <miod.vallat@open-xchange.com>

dnsdist: Handle response dnstap messages arriving before the query ones

Since we now use more than one TCP connection, it is entirely possible
for the response message to arrive before the query one, and our tests
should just deal with that.

dnsdist: Add a regression test for YAML/Lua mix

dnsdist: Disable Lua configuration directives in YAML mode

This commit restricts the Lua directives available to a Lua script
loaded alongside with a YAML configuration, disabling all Lua
configuration directives. This prevents a mess when settings are
set to different values in YAML and Lua, and make it clear that the
when a YAML configuration is used, any Lua file should only be used
to provide functions to the YAML configuration.
This behaviour can be reverted via the `enableLuaConfiguration`
directive if really needed.

dnsdist: docs, clarify addResponseAction behavior

dnsdist: protobuf, properly set the packetCacheHit field in logged messages

Merge pull request #15149 from rgacogne/ddist-meson-min-version

dnsdist: Bump the required version of `meson` to 1.3

Merge pull request #15148 from rgacogne/ddist-unbreak-console

dnsdist: Fix console ("client mode") on non-default address or port

dnsdist: Bump the required version of `meson` to 1.3

Since we now use the `follow_symlinks` option of `install_data()`.
We could probably make it work with older versions but a quick look
at what distributions provide suggests that 1.2.1 or 1.3.0 is
practically the same amount of pain.

dnsdist: Fix console ("client mode") on non-default address or port

The console address and port were not properly set in client mode,
so `dnsdist` tried to connect to the default console address and port.

dnsdist: add support for dnstap new http_protocol field

Merge pull request #15138 from rgacogne/ddist-meson-install

dnsdist: Install binary, man page and systemd unit files with meson

Merge pull request #15147 from miodvallat/rrset_me_on_fire

Low-hanging LMDB fruits

Merge pull request #15144 from PowerDNS/dependabot/pip/regression-tests.recursor-dnssec/cryptography-44.0.1

build(deps): bump cryptography from 43.0.1 to 44.0.1 in /regression-tests.recursor-dnssec

Merge pull request #15143 from Habbie/no-ubuntu-20.04

switch ubuntu-20.04 workflows to 24.04

dnsdist: Tell meson to follow symbolic links for `dnsdist.conf-dist`

Merge pull request #15084 from miodvallat/fire_of_unknown_origin

Boring minor cleanups

Merge pull request #15080 from miodvallat/import_with_care

pdnsutil: check for key presence after import

Merge pull request #15146 from omoerbeek/docs-requirements

docs: update requirements for auth and dnsdist

Sprinkle reserve() calls on vectors when possible and useful.

Disable read ahead in LMDB.

This contributes to not degrading performance too much when the system
memory is almost completely used, by preventing page thrashing due to
the read ahead behaviour of the system.

docs: update requirements for auth and dnsdist

rec was already done earlier in #15076

Do not allow dangerous operations on secondary zones unless --force.

This applies to: add-record, delete-rrset, edit-zone, increase-serial
and replace-rrset.

Fixes #11392, #15130

Merge pull request #15145 from miodvallat/gimme_more_salt

[tools] fix sdig link

Remove remains of unused PoC code

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

Always link sdig against libsodium if used.

Fallout from #15140

Clearly separate signal handling from rec_control quit(-nicely) path

Also: as the bulk and regression tests now use quit-nicely, we don't need to do special processing
for the SAN case anymore on signals.

rec_control quit still does some SAN work and exits 1 (legacy beheviour).

build(deps): bump cryptography in /regression-tests.recursor-dnssec

Bumps [cryptography](https://github.com/pyca/cryptography) from 43.0.1 to 44.0.1.
- [Changelog](https://github.com/pyca/cryptography/blob/main/CHANGELOG.rst)
- [Commits](https://github.com/pyca/cryptography/compare/43.0.1...44.0.1)

---
updated-dependencies:
- dependency-name: cryptography
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #15102 from romeroalx/enable-meson-auth-deb11

GH Actions - build-and-test-all.yml: use virtual environment for python packages

Reformat with clang-format-19

Remove redundant CircleCI condition

Switch to clang-format-19 by default and allow //comment with no leading space

Still some formatting differences, but they look legit. It seems
older versions of clang-format did not process preprocessor
conditionals correctly in all cases.

Merge pull request #15142 from omoerbeek/docs-keyblock-link-text

docs: correct text of link for key block

bump clang

use pdns from noble

switch ubuntu-20.04 workflows to 24.04

correct text and link for key block

Merge pull request #15140 from omoerbeek/cookies-phase1

sdig: implement cookie support

Typos is comments

Co-authored-by: Miod Vallat <miod.vallat@open-xchange.com>

Sprinkle some comments and copyright notices

Process very initial review comments (docs and comments and trivial changes)