lmdb-safe: Use unordered maps for the transaction maps

We don't need the maps to be ordered, and unordered maps are usually
slightly faster.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

lmdb-safe: Improve the scalability of transaction maps

This commit improves the scalability of the transaction maps by
moving from a `mutex` to a `shared_mutex` and making the stored value
atomic. This allows accessing the maps concurrently from different threads
as long as the entry for the thread exists, and we fall back to
taking a full lock otherwise.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15669 from miodvallat/serial_keyer

Increase zone serial number after zone key operations

Make sure tœ update the serial number within a transaction.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Increase zone serial after crypto key operations (if setup to do so).

Fixes: #11733

Merge pull request #15618 from Habbie/views-wsauth-exceptions

views: exception text nits

Merge pull request #15677 from miodvallat/enlarge_your_map

LMDB: honour map-size for all files

Merge pull request #15729 from rgacogne/ddist-additional-addresses-dot-doh-only

dnsdist: Enforce that additional addresses are DoT/DoH only

fix missing space in error message

we were always one dot short

dnsdist: Remove useless empty line

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Reduce the complexity of the YAML frontend code

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15728 from miodvallat/luar

Lua for all

dnsdist: Enforce that additional addresses are DoT/DoH only

I want to support additional addresses on frontends for all protocols,
but the amount of code to change is too important for the 2.0 branch.
So for now, let's document and enforce the current limitation to prevent
surprises.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15594 from Habbie/auth-docker-version-crash

auth docker: avoid crash on --version caused by doubly loaded modules

Merge pull request #15698 from Habbie/fishing-for-salt

auth LMDB: attempt to have predictable IDs

Merge pull request #15621 from Habbie/views-rest-one-no-list

auth views REST: don't wrap list around single network

Lua not being optional anymore, simplify autoconf handling.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15714 from nokia/serverstatechange

dnsdist: support server state change lua callback

Merge pull request #15724 from miodvallat/don't_download_this_song

rec: avoid curl during build if unnecessary

meson: do not download effective_tld_names.dat if already existing.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15721 from omoerbeek/rec-prep-5.3.0-alpha1

Rec: prep for rec-5.3.0-alpha1

Rec: prep for rec-5.3.0-alpha1

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #15671 from miodvallat/lucky_number

Better LMDB error information

Always put mdb error information in exceptions.

Fixes: #15458
Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15643 from kpfleming/gh-actions-spectral-cli

gh actions: Use Spectral CLI to validate auth Swagger API spec

adjust swagger

fix test

Merge pull request #15668 from omoerbeek/opentelemetry-trace

rec: generate trace data in OpenTelemetry format

Use get_view() instead of get_data()

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

duck typing

format burtle.hh

format lmdbbackend.cc

running this test on both ends of a -both is pointless

no predictable IDs in the lmdb2 secondary

add boost::container::string version of burtleCI

move NOLINT

predictable IDs for other objects

Merge pull request #15717 from rgacogne/ddist-generate-files-when-building-release-tarball

dnsdist: Generate files when building the release tarball

Use std::copy instead of memcpy

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Process review comments by rgacogne and Habbie

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #15686 from omoerbeek/rec-auth-stop

rec and auth: implement stop command as alias for quit(-nicely)

dnsdist: We no longer need to call `set-configure-ac-version.sh` during tarball generation

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Use the mdb_strerror() wrapper everywhere consistently.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15696 from miodvallat/rmdb_dash_rf

better rm in LMDB #2

add missing declaration for clearServerStateChangeCallbacks()

Close race window during which various flag values might be incorrect.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Try and speedup deletion if flag-deleted by not doing get requests.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

fix complain from clang-tidy for void function return

Merge pull request #15716 from miodvallat/commited_to_abortion

auth backend transaction fixes in error cases

Correct the version introduced in the docs

Address PR comments and add console completion in new file

dnsdist: support server state change lua callback

dnsdist: Generate files when building the release tarball

Some build systems are very unhappy with `dnsdist-rust-lib/rust/src/lib.rs`
not existing before actually starting the build process (mostly because
of `cargo-vendor`), so let's make their life easier.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15715 from omoerbeek/rec-coverity-validate-skew

rec: avoid implicit truncating cast of inception skew

Be sure to always abort transactions if we don't plan to commit them.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

rec: avoid implicit truncating cast of inception skew

Avoid coverity complaint:
store_truncates_time_t: A time_t value is stored in an integer with too few bits to accommodate it.
The expression sig.d_siginception - g_signatureInceptionSkew is cast to unsigned int.

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #15711 from rgacogne/ddist-document-python-yaml-needed

dnsdist: Python with YAML is no longer optional to build dnsdist

Add `rustc` to the spell-checker list

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: As suggested by Otto, we need `rustc` and `cargo`, not just Rust

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Python with YAML is no longer optional to build dnsdist

Merge pull request #15709 from omoerbeek/libssl-depends-on-libcrypto

libssl depends on libcrypto

libssl depends on libcrypto

Otherwise all kinds of meson setup logic goes wrong,
symptom: DoH connection from 127.0.0.1:44825 expected ALPN value 'h2', got ''

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #15706 from rgacogne/rec-fix-zonetocache-unit-tests

rec: Prevent a crash in the ZoneToCache unit tests

Merge pull request #15703 from rgacogne/ddist-fix-documentation-workflow

dnsdist: Fix the documentation workflow

Merge pull request #15705 from omoerbeek/lmdb-unsafe

auth: rename bswap64 to pdns_bswap64.

rec: Prevent a crash in the ZoneToCache unit tests

Since 753ad2390bfbc90f6bc1b68f980ef4bcdc2cfddc ZoneToCache checks
whether a given zone has a recursive forward rule, so we need the
Domain map to be properly initialized in all tests, as they can be
executed in random order.

Fixes:
```
ThreadSanitizer:DEADLYSIGNAL
==35969==ERROR: ThreadSanitizer: SEGV on unknown address 0x000000000018 (pc 0x5568e9f8bb04 bp 0x4c00000000000 sp 0x7ffcc13b77f0 T35969)
==35969==The signal is caused by a READ memory access.
==35969==Hint: address points to the zero page.
    #0 std::_Hashtable<DNSName, std::pair<DNSName const, SyncRes::AuthDomain>, std::allocator<std::pair<DNSName const, SyncRes::AuthDomain> >, std::__detail::_Select1st, std::equal_to<DNSName>, std::hash<DNSName>, std::__detail::_Mod_range_hashing, std::__detail::_Default_ranged_hash, std::__detail::_Prime_rehash_policy, std::__detail::_Hashtable_traits<true, false, true> >::empty() const /usr/bin/../lib/gcc/x86_64-linux-gnu/12/../../../../include/c++/12/bits/hashtable.h:653:23 (testrunner+0x47fb04)
    #1 std::unordered_map<DNSName, SyncRes::AuthDomain, std::hash<DNSName>, std::equal_to<DNSName>, std::allocator<std::pair<DNSName const, SyncRes::AuthDomain> > >::empty() const /usr/bin/../lib/gcc/x86_64-linux-gnu/12/../../../../include/c++/12/bits/unordered_map.h:306:21 (testrunner+0x47fb04)
    #2 SyncRes::getBestAuthZone(DNSName*) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/syncres.cc:2464:29 (testrunner+0x47fb04)
    #3 SyncRes::isRecursiveForward(DNSName const&) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/syncres.cc:1098:21 (testrunner+0x47fb04)
    #4 ZoneData::ZoneToCache(RecZoneToCache::Config const&) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/rec-zonetocache.cc:423:28 (testrunner+0x404931)
    #5 RecZoneToCache::ZoneToCache(RecZoneToCache::Config const&, RecZoneToCache::State&) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/rec-zonetocache.cc:473:10 (testrunner+0x4059fd)
    #6 rec_zonetocache::zonemdGenericTest(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, pdns::ZoneMD::Config, pdns::ZoneMD::Config, unsigned long) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/test-rec-zonetocache.cc:157:3 (testrunner+0x7a7113)
    #7 rec_zonetocache::test_zonetocachegeneric::test_method() /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/test-rec-zonetocache.cc:177:3 (testrunner+0x7a60a5)
    #8 rec_zonetocache::test_zonetocachegeneric_invoker() /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/test-rec-zonetocache.cc:173:1 (testrunner+0x7a60a5)
    #9 boost::detail::function::void_function_invoker0<void (*)(), void>::invoke(boost::detail::function::function_buffer&) /usr/include/boost/function/function_template.hpp:117:11 (testrunner+0x57dfab)
    #10 <null> <null> (libboost_unit_test_framework.so.1.74.0+0x323fd)
    #11 boost::execution_monitor::catch_signals(boost::function<int ()> const&) <null> (libboost_unit_test_framework.so.1.74.0+0x30b0c)
    #12 boost::execution_monitor::execute(boost::function<int ()> const&) <null> (libboost_unit_test_framework.so.1.74.0+0x30b90)
    #13 boost::execution_monitor::vexecute(boost::function<void ()> const&) <null> (libboost_unit_test_framework.so.1.74.0+0x30c60)
    #14 boost::unit_test::unit_test_monitor_t::execute_and_translate(boost::function<void ()> const&, unsigned long) <null> (libboost_unit_test_framework.so.1.74.0+0x5f1a0)
    #15 <null> <null> (libboost_unit_test_framework.so.1.74.0+0x37cdf)
    #16 <null> <null> (libboost_unit_test_framework.so.1.74.0+0x381d0)
    #17 <null> <null> (libboost_unit_test_framework.so.1.74.0+0x381d0)
    #18 boost::unit_test::framework::run(unsigned long, bool) <null> (libboost_unit_test_framework.so.1.74.0+0x3bf36)
    #19 boost::unit_test::unit_test_main(bool (*)(), int, char**) <null> (libboost_unit_test_framework.so.1.74.0+0x5e10d)
    #20 main /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/testrunner.cc:84:10 (testrunner+0xc85591)
    #21 <null> <null> (libc.so.6+0x27249)
    #22 __libc_start_main <null> (libc.so.6+0x27304)
    #23 _start <null> (testrunner+0x1b79e0)
```

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Typo in comment

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

auth: rename bswap64 to pdns_bswap64.

Using bswap64 causes infinite reursion if your system has a #define bswap64 __builtin_bswap64

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

documentation: DNSdist needs python-yaml

fix (apparently harmless) typo

burtleCI: add std::string wrapper

lmdb createDomain: provide initial ID seed

dnsdist: Fix the documentation workflow

We need to generate the parts of the documentation sources that are no
longer present in the repository before building it.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15701 from rgacogne/ddist-20-b1-changelog-secpoll

dnsdist: Update ChangeLog and security polling zone for 2.0.0-beta1

Merge pull request #15700 from omoerbeek/coverity-20250620

Two Coverity issues, the truncation is meant to be

Two Coverity issues, the truncation is meant to be

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

pdnsutil showZone: report zone ID in verbose mode

Merge pull request #15697 from Habbie/pickselfweighted-added-5

auth docs: note that pickselfweighted() is new in auth 5

auth docs: note that pickselfweighted() is new in auth 5

Merge pull request #15684 from PowerDNS/dependabot/pip/regression-tests.recursor-dnssec/protobuf-5.29.5

build(deps): bump protobuf from 5.28.2 to 5.29.5 in /regression-tests.recursor-dnssec

Drop unused argument.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Make lmdb del() operations throw upon error.

In the current state of the code, in flag-deleted mode, failures always
throw; but in regular mode, in the unlikely event of an error during
deletion from cursor, the returned value would be either ignored or...
used to throw an exception.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15693 from miodvallat/rmdb

better rm in LMDB

dnsdist: Update ChangeLog and security polling zone for 2.0.0-beta1

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Use faster logic in deleteDomainRecords().

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Distinguish argument value and return value

Having full attribute names is something for later (maybe).

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Tidy

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #15692 from omoerbeek/rec-yaml-aliases

rec: introduce aliases for camelCase field names

Merge pull request #15690 from rgacogne/ddist-meta-api

dnsdist: Add Lua APIs to set Meta tags in protobuf messages

Use std::copy and std::fill, as suggested by rgacogne

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Encode TraceID and SpanID into a single EDNS option record, as suggested by Habbie

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist: Apply Otto's suggestions (thanks!)

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15691 from rgacogne/ddist-completion-chains

dnsdist: Generate completion and help for rule chains

Merge pull request #15695 from omoerbeek/dnsdist-meson-libcrypto

dnsdist meson: followup to #15685 to avoid compiler warnings

Merge pull request #15646 from Habbie/rrsig-times-1982

rec validate: use rfc1982 math for RRSIG timestamps

Merge pull request #15652 from omoerbeek/rec-ztc-vs-recforward

rec: when using ZTC, do not store non-auth data if the name is subject to recursive forwarding

Add missed zoneSizeHint

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist meson: followup to #15685 to avoid compiler warnings

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Simple test for replaceRRSet ANY operation.

Also exercize the newest pdnsutil syntax while there.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>