Merge pull request #8594 from Habbie/default-publish-cds

auth: add default-publish-{cds|cdnskey} options

auth: add default-publish-cds test

Merge pull request #8744 from zeha/lua-mandatory

Make Lua mandatory for Auth

Merge pull request #8680 from rgacogne/auth-bindbackend-records-cleanup

auth: Make it clearer that records are never altered, only replaced

Merge pull request #8681 from rgacogne/auth-stats-rings-size

auth: Add metrics about the size of our in-memory rings

auth circleci: build with lua2backend and LUA records

Update docs

Make Lua mandatory for Auth

Merge pull request #8659 from rgacogne/auth-dnsseckeeper-clear-static

auth: Make DNSSECKeeper::clear{All,}Caches() static

Merge pull request #8628 from mind04/pdns-place

auth: make sure get() is always returning the default value for d_place

Merge pull request #8627 from zeha/psql-no-prep

gpgsqlbackend: Avoid actually prepared statements

Merge pull request #8735 from Habbie/doc-dnssec-ttls

auth dnssec docs: some notes on TTL usage

Merge pull request #8474 from omoerbeek/auth-fix-logging-no-cache

auth: Fix auth logging if no packet cache; from Habbie

Merge pull request #8713 from rgacogne/auth-strict-caches-size

auth: Enforce a strict maximum size for the packet and records caches

Merge pull request #8733 from rgacogne/ddist-openssl-init

dnsdist: Load an openssl configuration file, if any, during startup

auth dnssec docs: some notes on TTL usage

dnsdist: LibreSSL introduced automatic thread-specific callbacks

Merge pull request #8729 from omoerbeek/rec-build-dnstap-debian

rec: Explicitly enable dnstap for debian-stretch and buster

dnsdist: Load an openssl configuration file, if any, during startup

This way dnsdist will load the default OpenSSL configuration, or a
custom one specified via the OPENSSL_CONF environment variable.
It allows loading an engine or configuration various options supported
by OpenSSL.
This requires OpenSSL >= 1.1.0.

Merge pull request #8331 from mind04/pdns-lmdb-cleanup

auth: lmdb-backend, remove duplicate code and some unused variables

Merge pull request #8723 from rgacogne/rec-optout-unit-tests

rec: Add unit tests for the NSEC3 Opt-Out case

Merge pull request #8718 from rgacogne/rec-fix-pb-source-port

Make ComboAddress::setPort() update the current object

rec: Bow to formatting gods

Fix braces formatting in pdns/recursordist/test-syncres_cc.cc

Co-Authored-By: Otto Moerbeek <otto.moerbeek@open-xchange.com>

- Explcitly enable dnstap for debian-stretch and buster
- Fix inconsistent ref to stretch vs buster in ubuntu-bionic

rec: Add unit tests for the NSEC3 Opt-Out case

An Opt-Out NSEC3 only proves that there is no delegation, so we
should not consider a DS NODATA or a NXDOMAIN proved by that RR
secure but insecure.
This was fixed in 18c8faae6c67f734583c5c881d0d083d3253b49e and this
commit adds a few unit tests to cover the fix.

Merge pull request #8720 from omoerbeek/dnsdist-fstrm-elpel8

dnsdist: EPEL 8 now has libfstrm-devel

Merge pull request #8556 from rgacogne/dnsdist-spoof-flags

dnsdist: Support setting the value of AA, AD and RA when self-generating answers

EPEL 8 now has libfstrm-devel

Merge pull request #8719 from omoerbeek/rec-fstrm-el8

rec: EPEL 8 now has libfstrm-devel

Explicit--enable-dnstap, as suggested by lieter.

Merge pull request #8688 from omoerbeek/rec-socketdir-message

rec: Give an explcit messsage if something is wrong with socket-dir

Better function name as suggested by rgacogne.

EPEL 8 now has libfstrm-devel

Merge pull request #8701 from pieterlexis/remote-support-also-notify

remote: Support ::alsoNotifies

Make ComboAddress::setPort() update the current object

Instead of creating a new one.

dnsdist: Update tests now that more actions default to RA=RD

dnsdist: Add response flags to ERCodeAction, HTTPStatusAction and RCodeAction

dnsdist: Add Lua bindings for the AA, AD and RA flags

dnsdist: Test setting the value of AA, AD and RA when spoofing

dnsdist: Support setting the value of AA, AD and RA when spoofing

Merge pull request #8705 from rgacogne/rec-rpz-order

rec: Fix precedence order for RPZ policies rules

Merge pull request #8657 from rgacogne/ddist-backend-uuid

dnsdist: Allow retrieving and deleting a backend via its UUID

Merge pull request #8491 from rgacogne/ddist-parallel-checks

dnsdist: Implement parallel health checks

Merge pull request #8456 from rgacogne/ddist-config-check-test

dnsdist: Separate the check-config and client modes

Merge pull request #8274 from rgacogne/dnsdist-rcode-ratio

dnsdist: Implement dynamic blocking on ratio of rcode/total responses

rec: Apply Otto's suggestion to distinguish which exact policy matched

rec: Remove now useless references to '-2' for RPZ hits

auth: Enforce a strict maximum size for the packet and records caches

Before this change, both the query and packet caches in the authoritative
server can exceed their maximum size by a lot, until the next cleaning
cycle.
This is particularly nasty since the current cleaning algorithm will
never remove entries from the cache until they expire, as opposed to
what we do in the recursor, for example, where we nuke the least-recently
used entries, even if they are still valid, when the cache is full.
This commit changes that by removing the least recently inserted or
updated entry from the cache after inserting a new one when the cache
is full, thus enforcing the maximum size more strictly.

Note that this is really the least recently inserted/updated and not
the least recently used one, as is done in the recursor. Having a
proper LRU in the auth would require acquering a write lock for a
simple lookup, instead of a potentially concurrent read-lock at the
moment. We might want to consider changing that at some point, as
a LRU might be fairer and the lock contention might be very small
since the caches are sharded.

remote: add ALSO-NOTIFY unit test

Merge pull request #8700 from omoerbeek/rec-prep-4.3.0-beta2

rec: Prepare for recursor 4.3.0-beta2 release

Merge pull request #8708 from pieterlexis/dnsdist-doc-syntax-fix

dnsdist: Fix a versionchanged in the docs

dnsdist: Fix a versionchanged in the docs

rec: Add regression tests for RPZ ordering precedence rules

rec: Export the filtering policy type to Lua

rec: Only the first filtering policy should match

Subsequent ones should not be applied.
Also make sure that NSDNAME and NSIP triggers really stop the
processing of the query, instead of just causing the current NS to
be skipped.

Merge pull request #8694 from omoerbeek/rec-fix-cxx14-warning

Fix ./syncres.hh:228:20: warning: initialized lambda captures are a C++14 extension

Add PR 8704

Merge pull request #8702 from rgacogne/ddist-protobuf-ports

Add the source and destination ports to the protobuf msg

secpoll

rec: Fix the evaluation order for filtering policies (RPZ)

Since 272e9a0034e8c5ea29d1ab7d24630424f178e926 we scanned all policies
for an exact match before looking for wildcard matches. It brokes
the promise that filtering policies are evaluated in the order they
are defined.

remote: Support ::alsoNotifies

Handle source and destination ports in the sample protobuf logger

rec: Add the source port to protobuf messages for incoming queries

Prepare for recursor 4.3.0-beta2 release

dnsdist: Add the source and destination ports to the protobuf msg

Fix ./syncres.hh:228:20: warning: initialized lambda captures are a C++14 extension

Merge pull request #8690 from horazont/feature/docs-typos

Fix various minor typos in the docs

Merge pull request #8665 from rgacogne/rec-nsec3-optout-ad

rec: An Opt-Out NSEC3 RR only proves that there is no secure delegation

Improve checkFunction example for downstreams guide

The check function was defined, but not used, making the example
slightly confusing as to how to use it correctly.

Add paragraph break in load balancer guide

I think this improves readability.

Add missing colons in front of :func: reference

Fixes rendering errors on the load balancer guide page.

Give an explcit messsage if something is wrong with socket-dir.

Merge pull request #8684 from costypetrisor/fix-dont-throttle-settings

parsing `dont-throttle-names` and `dont-throttle-netmasks` as comma separated lists

parsing `dont-throttle-names` and `dont-throttle-netmasks` as comma separated lists

auth: Update the regression tests with the newly introduced metrics

auth: Add metrics about the size of our in-memory rings

auth: Make it clearer that records are never altered, only replaced

Merge pull request #8647 from omoerbeek/rec-more-max-qperq

rec: Bump max-qperq default to 60

correct cast

Co-Authored-By: Remi Gacogne <rgacogne@users.noreply.github.com>

Merge pull request #8639 from captainark/rec-postinst

rec: debian postinst / do not fail on user creation if it already exists

Slightly different approach as suggested by rgacogne: if
qname-minimization is active, force maxqperq to be >= 100.

Merge pull request #8640 from tjikkun/gcc10

Fix build with gcc-10

Merge pull request #8672 from omoerbeek/sdig-stdin-is-define

sdig: Fix compilation on OpenBSD where stdin is a define

Merge pull request #8671 from omoerbeek/backport-8632-to-rec-4.3.x

rec: backport to 4.3.x: dnsdist: Require Python libnacl < 1.7

Fix compilation on OpenBSD where stdin is a define

dnsdist: Require Python libnacl < 1.7

Otherwise we need libsodium >= 1.0.12 (required by this change:
https://github.com/saltstack/libnacl/commit/8c8b2f8bc05a5b67f39acf9a6bc0bef6fa839166
) and we don't have it in Trusty, which we still use in Travis.

(cherry picked from commit 1f474f69cc45af37646513618badd7bfa06741fd)

Set default maxqperq to 60, and allow for extra if qname-minimization is on.

Merge pull request #8567 from rgacogne/ddist-bounded-chash

dnsdist: Add bounded loads to the consistent hashing policy

Merge pull request #8667 from omoerbeek/rec-unittest-for-pr-8648

rec: Introduce test for PR 8648.

Introduce test for PR 8648.

While there, explicitly init qname-minimization in test-syncres to
false.  The current code gave the impression it was turned on by
default for unit tests.  We have a lot of test that count queries,
and that is highly depedent on qname minimization being on or off.

Merge pull request #8654 from phonedph1/logresp

dnsdist: LogResponseAction

Merge pull request #8650 from spheron1/master

Fix trusted-notification-proxy port

Merge pull request #8658 from rgacogne/ddist-doc-typos

dnsdist: Fix a few typos in the documentation

rec: An Opt-Out NSEC3 RR only proves that there is no secure delegation

Merge pull request #8662 from rgacogne/ddist-default-tls-provider

dnsdist: Display the correct DoT provider

dnsdist: Display the correct DoT provider

Merge pull request #8649 from rgacogne/auth-tsig-keys-8645

auth: Clear the TSIG algo between iterations in the API

auth: Make DNSSECKeeper::clear{All,}Caches() static

dnsdist: Fix a few typos in the documentation