Merge pull request #15739 from rgacogne/lmdb-safe-getmdbenv-race

lmdb-safe: Fix a small race in `getMDBEnv`

Merge pull request #15735 from rgacogne/lmdb-safe-scalability

lmdb-safe: Improve the scalability of transaction maps

Merge pull request #15738 from rgacogne/ddist-lmdb-use-getmdbenv

dnsdist: Prevent users from opening the same LMDB twice

lmdb-safe: Do not use strerror() which is not thread-safe

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

lmdb-safe: Fix a small race in `getMDBEnv`

I believe there is a small race in the `getMDBEnv`: if the database
file does not exist when we first try to get the file metadata, we
acquire the lock then create a new `MDBEnv` and store it in the map.
But what happens if a different thread created the database between
our first check and the call to `MDBEnv`? I believe we would create
a new environment and override the existing entry in the map, bypassing
the check.
This commit introduces a second check right after acquiring the lock
to prevent that.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Prevent users from opening the same LMDB twice

As noted by Peter: "LMBD requires that database is opened
exactly once per process. Opening multiple times breaks file
locks silently, which leads to corrupting the database."

While I don't expect users to actually do that, we already have
a nice helper function to prevent this mistake in the lmdb-safe
code base, so let's use it.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15727 from miodvallat/spaceships'r'us

Spaceships'r'us

Add a few comments.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15731 from lucasRolff/master

Add :getQueries() method to Server class

Merge pull request #15617 from Habbie/views-no-delete

remove mistaken doc section - you cannot delete views

lmdb-safe: Use unordered maps for the transaction maps

We don't need the maps to be ordered, and unordered maps are usually
slightly faster.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

lmdb-safe: Improve the scalability of transaction maps

This commit improves the scalability of the transaction maps by
moving from a `mutex` to a `shared_mutex` and making the stored value
atomic. This allows accessing the maps concurrently from different threads
as long as the entry for the thread exists, and we fall back to
taking a full lock otherwise.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15733 from miodvallat/ENOSPC

Reduce ZoneName::toString mess

add test

Remove ZoneName::toStringFull() now that it is identical to toString().

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Let ZoneName::toString*() output the variant, if any.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Let apiZoneNameToId() also encode the variant name, if any.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Change versionadded to 2.0.0

Co-authored-by: Remi Gacogne <github@coredump.fr>
Signed-off-by: Lucas Rolff <lucas@slcoding.com>

Add a few more explicit DNSName casts when computing record data.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Sprinkle explicit DNSName casts in cache purge operations.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Rework stripDomainSuffix() interface to take a ZoneName. NFC

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Move stripDomainSuffix() to its only user and make it static.

This also moves ciEqual() and endsOn() which are only used by
stripDomainSuffix().

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Correct getQueries() config reference

Replaced `droppped` with `total` in the rst.

Signed-off-by: Lucas Rolff <lucas@lucasrolff.com>

Add :getQueries() method to Server class

This exposes the total number of queries a downstream server has handled
similarly to how the :getDrops() method are available within Lua

When doing custom logic within Lua it's sometimes useful to be able to
know how many queries a given server has handled, so this simply exposes
that metric within the Server class directly.

Merge pull request #15669 from miodvallat/serial_keyer

Increase zone serial number after zone key operations

Make sure tœ update the serial number within a transaction.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Increase zone serial after crypto key operations (if setup to do so).

Fixes: #11733

Merge pull request #15618 from Habbie/views-wsauth-exceptions

views: exception text nits

Merge pull request #15677 from miodvallat/enlarge_your_map

LMDB: honour map-size for all files

Merge pull request #15729 from rgacogne/ddist-additional-addresses-dot-doh-only

dnsdist: Enforce that additional addresses are DoT/DoH only

remove mistaken doc section - you cannot delete views

fix missing space in error message

we were always one dot short

dnsdist: Remove useless empty line

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Reduce the complexity of the YAML frontend code

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15728 from miodvallat/luar

Lua for all

dnsdist: Enforce that additional addresses are DoT/DoH only

I want to support additional addresses on frontends for all protocols,
but the amount of code to change is too important for the 2.0 branch.
So for now, let's document and enforce the current limitation to prevent
surprises.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15594 from Habbie/auth-docker-version-crash

auth docker: avoid crash on --version caused by doubly loaded modules

Merge pull request #15698 from Habbie/fishing-for-salt

auth LMDB: attempt to have predictable IDs

Merge pull request #15621 from Habbie/views-rest-one-no-list

auth views REST: don't wrap list around single network

Lua not being optional anymore, simplify autoconf handling.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Try to make clang-tidy less unhappy. Yawn.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15714 from nokia/serverstatechange

dnsdist: support server state change lua callback

Mark dns_isspace as const rather than simply pure

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Use three-way-comparisons to improve isCoveredByNSEC* logic.

This allows us to perform at most three comparisons instead of eight.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Replace pairs of canonCompare calls with a single canonCompare_three_way.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Fix ZoneName::operator< by traversing DNSName in the right direction.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Introduce canonCompare_three_way for {DNS,Zone}Name.

This allows ZoneName::canonCompare* to only invoke
DNSName::canonCompare_three_way() once instead of
DNSName::canonCompare() twice.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15724 from miodvallat/don't_download_this_song

rec: avoid curl during build if unnecessary

Use pdns_ilexicographical_compare_three_way() in DNSName::canonCompare()...

...rather than two std::lexicographical_compare() calls.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

de-inline DNSName::canonCompare(). NFC

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Introduce pdns_ilexicographical_compare_three_way()...

...and rewrite pdns_ilexicographical_compare() and pdns_iequals() as
trivial wrappers around it.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Factor out triplicated comparison code.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Let toLowerCanonic() invoke toLowerInPlace() instead of duplicating it.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Use twice as fewer dns_tolower() calls in pdns_ilexicographical_compare().

[Although the compiler had probably been smart enough to optimize this
already]

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Mark dns_{isspace,tolower,toupper} pure.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

meson: do not download effective_tld_names.dat if already existing.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15721 from omoerbeek/rec-prep-5.3.0-alpha1

Rec: prep for rec-5.3.0-alpha1

Rec: prep for rec-5.3.0-alpha1

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #15671 from miodvallat/lucky_number

Better LMDB error information

Always put mdb error information in exceptions.

Fixes: #15458
Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15643 from kpfleming/gh-actions-spectral-cli

gh actions: Use Spectral CLI to validate auth Swagger API spec

adjust swagger

fix test

Merge pull request #15668 from omoerbeek/opentelemetry-trace

rec: generate trace data in OpenTelemetry format

Use get_view() instead of get_data()

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

duck typing

format burtle.hh

format lmdbbackend.cc

running this test on both ends of a -both is pointless

no predictable IDs in the lmdb2 secondary

add boost::container::string version of burtleCI

move NOLINT

predictable IDs for other objects

Merge pull request #15717 from rgacogne/ddist-generate-files-when-building-release-tarball

dnsdist: Generate files when building the release tarball

Use std::copy instead of memcpy

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Process review comments by rgacogne and Habbie

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #15686 from omoerbeek/rec-auth-stop

rec and auth: implement stop command as alias for quit(-nicely)

dnsdist: We no longer need to call `set-configure-ac-version.sh` during tarball generation

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Use the mdb_strerror() wrapper everywhere consistently.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #15696 from miodvallat/rmdb_dash_rf

better rm in LMDB #2

add missing declaration for clearServerStateChangeCallbacks()

Close race window during which various flag values might be incorrect.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Try and speedup deletion if flag-deleted by not doing get requests.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

fix complain from clang-tidy for void function return

Merge pull request #15716 from miodvallat/commited_to_abortion

auth backend transaction fixes in error cases

Correct the version introduced in the docs

Address PR comments and add console completion in new file

dnsdist: support server state change lua callback

dnsdist: Generate files when building the release tarball

Some build systems are very unhappy with `dnsdist-rust-lib/rust/src/lib.rs`
not existing before actually starting the build process (mostly because
of `cargo-vendor`), so let's make their life easier.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #15715 from omoerbeek/rec-coverity-validate-skew

rec: avoid implicit truncating cast of inception skew

Be sure to always abort transactions if we don't plan to commit them.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

rec: avoid implicit truncating cast of inception skew

Avoid coverity complaint:
store_truncates_time_t: A time_t value is stored in an integer with too few bits to accommodate it.
The expression sig.d_siginception - g_signatureInceptionSkew is cast to unsigned int.

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #15711 from rgacogne/ddist-document-python-yaml-needed

dnsdist: Python with YAML is no longer optional to build dnsdist

Add `rustc` to the spell-checker list

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: As suggested by Otto, we need `rustc` and `cargo`, not just Rust

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Python with YAML is no longer optional to build dnsdist

Merge pull request #15709 from omoerbeek/libssl-depends-on-libcrypto

libssl depends on libcrypto

libssl depends on libcrypto

Otherwise all kinds of meson setup logic goes wrong,
symptom: DoH connection from 127.0.0.1:44825 expected ALPN value 'h2', got ''

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #15706 from rgacogne/rec-fix-zonetocache-unit-tests

rec: Prevent a crash in the ZoneToCache unit tests