test zone-cache in gsqlite3 master and slave, with low TTL for more intensive testing

Rename domaincache to zonecache, also ttl to refreshinterval

ueberbackend: include disabled domains in cache

Add (domain-)cache-ttl to gsqlite3-master CI

Treat vanished domains like they were never in the cache

getAuth: abort if backend returned wrong SOA for cached domain

getAuth: avoid throwing when no SOA is returned for cached domain

auth-domaincache: use info-zone-query for inserted zone id

Also apply "RETURNING id" optimization for postgresql.

lmdbbackend/createDomain: reuse RW transaction

auth-domaincache: apply suggested comment improvement

Apply clang-format

auth-domaincache: add "new" headers

setReplacePending: avoid lock

test-auth-domaincache_cc: check zoneId value explicitly

Tidy up style nits

domaincache: preserve domains added while replace data collection was running

Reformat

Remove unused d_ops

Add separate auth domain cache test

AuthDomainCache: init d_ttl

AuthDomainCache: use std::move

Move extern AuthDomainCache into auth-domaincache.hh

Enable domain cache on gsql tests

Avoid abort if database server goes away

auth: add a cache of existing domains

Merge pull request #10397 from aj-gh/fixdoc-refreshonttlperc

Fix docs: refresh-on-ttl-perc was added in 4.5.0

Fix docs: refresh-on-ttl-perc was added in 4.5.0

Merge pull request #10392 from Habbie/gpgsql-select-returning

auth gpgsql: use SELECT .. RETURNING to get inserted row ID

Merge pull request #10394 from mnordhoff/rec-upgrade

Combine duplicate sections in Recursor upgrade guide

pdnsutil add-zone-key: better error formatting

auth gpgsql: use SELECT .. RETURNING to get inserted row ID, fixes #7175

Combine duplicate sections in Recursor upgrade guide.

Also use more consistent capitalization and wording.

Merge pull request #10389 from Habbie/dockerignore-git

.dockerignore: do not ignore .git

Merge pull request #10391 from omoerbeek/rec-fastopen-docs

rec: Better wording for fastopen docs.

Merge pull request #10350 from rgacogne/rec-duplicate-nsec-wc-proof

rec: Only add the NSEC and RRSIG records once in wildcard NODATA answers

Better wording for fastopen docs.

Merge pull request #10388 from rgacogne/ddist-document-default-cache-cleaning-delay

dnsdist: Document the default value of setCacheCleaningDelay()

.dockerignore: do not ignore .git

because we ignore **/*.1 to not drag built manpages into the docker
context - but this also prevents any tags ending in .1 (like rec-4.5.1)
from being built

dnsdist: Document the default value of setCacheCleaningDelay()

Merge pull request #10368 from omoerbeek/rec-prep-4.5.0

rec: Prep rec-4.5.1

Rebase after secpoll update

It's going to be 4.5.1

Update pdns/recursordist/docs/appendices/EOL.rst

Co-authored-by: Pieter Lexis <pieter@plexis.eu>

Prep rec-4.5.0

Merge pull request #10374 from rgacogne/ddist160-changelog

dnsdist: Changelog and secpoll update for 1.6.0

dnsdist: Changelog and secpoll update for 1.6.0

Merge pull request #10379 from rgacogne/ddist-fix-changelog

dnsdist: Fix a typo in the ChangeLog header for 1.5.2

dnsdist: Fix a typo in the ChangeLog header for 1.5.2

Merge pull request #10163 from rgacogne/ddist152-changelog

dnsdist: Update ChangeLog and secpoll zone for 1.5.2

Merge pull request #10375 from rgacogne/rec-aggressive-nsec-salt-race

rec: Prevent a race in the aggressive NSEC cache

Merge pull request #10364 from rgacogne/auth-fromiscmap-b64

auth: Don't choke on non-base64 values when importing zone keys

rec: Prevent a race in the aggressive NSEC cache

When a new NSEC3 record has a different salt than the one we know, we
update the zone entry with the new salt. Unfortunately, that salt was
read without holding the lock in `AggressiveNSECCache::getNSEC3Denial`,
leading to a possible data race.

Merge pull request #10370 from yantarou/ixfrdist_typo

docs: fix typo in ixfrdist docs

Merge pull request #10371 from mnordhoff/dnsdist-docs-tcaction

dnsdist docs: switch RA and RD

dnsdist docs: switch RA and RD

docs: fix typo in ixfrdist docs

dnsdist: May the 10th seems more realistic for the 1.5.2 release

Merge pull request #10353 from rgacogne/rec-dns64-on-rpz-hit-after-gettag-ffi-hit

rec: Apply dns64 on RPZ hits generated after a gettag_ffi hit

Merge pull request #10292 from omoerbeek/rec-more-tsan

rec: Fix TSAN complaints: max stacksize and response stats size counters

Merge pull request #10361 from dmachard/auth-timeout-luarecords

auth: change default timeout to 2s for lua records

Fix typo in DNSCryptoKeyEngine::makeFromISCString

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

auth: Don't choke on non-base64 values when importing zone keys

DNSCryptoKeyEngine::makeFromISCFile(), called by `pdnsutil import-zone-key`
or the API, for example, would try to parse almost all values as a
base64 string. Depending on the version of OpenSSL, it could have lead
to a weird `Error: BIO_read failed to read all data from memory buffer`
error when the file contains a non-base64 value, like for example:
```
Flags: 257
```
Recent versions of OpenSSL seems to simply return that the value could
not be parsed, but older ones (OpenSSL 1.0.2k from CentOS 7 for example)
would report an incomplete read (BIO_should_retry() returning 1),
triggering an exception that prevents the key from being loaded.
This commits keeps a longer list of known non-base64 values, but
more importantly catch the base64 decoding exception and then store the
initial value instead of aborting. Only failure to decode known base64
values prevents the key from being loaded.

Merge pull request #10362 from Habbie/dnsdist-docs-tcaction

dnsdist docs: correct bits for TCAction

dnsdist docs: correct bits for TCAction

change default timeout to 2s for lua records

rec: Test the most simple condition first

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist: Update ChangeLog and secpoll zone for 1.5.2

rec: Add a regression test for gettag_ffi, RPZ and DNS64 interaction

rec: Apply dns64 on RPZ hits generated after a gettag_ffi hit

We do special case the qname RPZ processing after a gettag_ffi hit,
leading to dns64 to not be applied in that case. This commit adds
dns64 handling to the special case.

Merge pull request #10347 from rgacogne/ddist-16rc2-changelog

dnsdist: Add ChangeLog and secpoll for 1.6.0-rc2

Merge pull request #10346 from rgacogne/ddist-dnscrypt-locks

dnsdist: Fix missing locks in DNSCrypt certificates management

rec: Only add the NSEC and RRSIG records once in wildcard NODATA answers

For wildcard-expanded answers we need to collect the proof that the
exact name does not exist and add them to the response. We also
collect that proof for negative answers.
When the answer is a wildcard-expanded NODATA, we only need to collect
them once, not twice.

dnsdist: Add ChangeLog and secpoll for 1.6.0-rc2

dnsdist: Fix missing locks in DNSCrypt certificates management

In theory these functions should already be protected by the Lua
lock but better safe than sorry.
Found while working on the migration to LockGuarded.

Merge pull request #10293 from Habbie/update-builder

update builder - i accidentally downgraded it in 4f57dec4a7f1b94c6da4c0d3fdfecf73781bbcb2

Merge pull request #10327 from rgacogne/ddist-dynblocks-ebpf

dnsdist: Only use eBPF for "drop" actions, clean up more often

Merge pull request #10344 from omoerbeek/boostm4-clang11.1

auto.m4: clang 11.1 is a thing

Merge pull request #10343 from omoerbeek/dnsdist-test-warnings

dnsdist: fix test warnings

Fix a few signed vs unsigned warnings as seen on OpenBSD

clang 11.1 is a thing

Merge pull request #10336 from rgacogne/cpp17-string-view

Get rid of our string_view selection process, C++17 has all we need

Merge pull request #10339 from phonedph1/patch-28

rec: Update hooks.rst

Remove the now empty views.hh header

Update hooks.rst

Merge pull request #10337 from omoerbeek/rec-prep-4.5.0-rc1

rec: Prep for rec-4.5.0-rc1

Merge pull request #10259 from Habbie/spgsql-drop-refcursor-support

auth gpgsql: add stored procedure test, drop refcursor support

Prep for rec-4.5.0-rc1

Merge pull request #10329 from Habbie/boost-container-exceptions

boost 1.76 containers: use standard exceptions

Get rid of our string_view selection process, C++17 has all we need

boost 1.76 containers: use standard exceptions

dnsdist: Only use eBPF for "drop" actions

dnsdist: Document that eBPF is only used for "drop" actions

dnsdist: Set setDynBlocksPurgeInterval()'s default to 60s

Merge pull request #10323 from rgacogne/ddist-tsan-snmp

dnsdist: Make the backend queryLoad and dropRate values atomic

Merge pull request #10310 from rgacogne/fix-simple-match

auth: Prevent dereferencing std::string::end() in SimpleMatch

dnsdist: Make the backend queryLoad and dropRate values atomic

So that there is no race when these vaues are read by the SNMP or
web threads and updated by the health check thread at the same time.
Reported by Thread Sanitizer:

WARNING: ThreadSanitizer: data race (pid=11167)
  Write of size 8 at 0x7b7400002558 by thread T18:
    #0 healthChecksThread() /opt/project/pdns/dnsdistdist/dnsdist.cc:1712:22 (dnsdist+0xf2a4a2)
    #1 void std::__invoke_impl<void, void (*)()>(std::__invoke_other, void (*&&)()) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/invoke.h:60:14 (dnsdist+0xf40ea2)
    #2 std::__invoke_result<void (*)()>::type std::__invoke<void (*)()>(void (*&&)()) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/invoke.h:95:14 (dnsdist+0xf40e0d)
    #3 decltype(std::__invoke(_S_declval<0ul>())) std::thread::_Invoker<std::tuple<void (*)()> >::_M_invoke<0ul>(std::_Index_tuple<0ul>) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:244:13 (dnsdist+0xf40dd5)
    #4 std::thread::_Invoker<std::tuple<void (*)()> >::operator()() /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:253:11 (dnsdist+0xf40d95)
    #5 std::thread::_State_impl<std::thread::_Invoker<std::tuple<void (*)()> > >::_M_run() /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:196:13 (dnsdist+0xf40c29)
    #6 <null> <null> (libstdc++.so.6+0xbbb2e)

  Previous read of size 8 at 0x7b7400002558 by thread T2:
    #0 backendStatTable_handler(netsnmp_mib_handler_s*, netsnmp_handler_registration_s*, netsnmp_agent_request_info_s*, netsnmp_request_info_s*) /opt/project/pdns/dnsdistdist/dnsdist-snmp.cc:356:62 (dnsdist+0xeccf98)
    #1 netsnmp_call_next_handler <null> (libnetsnmpagent.so.30+0x2a0cc)
    #2 SNMPAgent::handleSNMPQueryCB(int, boost::any&) /opt/project/pdns/dnsdistdist/snmp-agent.cc:96:13 (dnsdist+0xfb0847)
    #3 boost::detail::function::void_function_invoker2<void (*)(int, boost::any&), void, int, boost::any&>::invoke(boost::detail::function::function_buffer&, int, boost::any&) /usr/include/boost/function/function_template.hpp:118:11 (dnsdist+0x8937d8)
    #4 boost::function2<void, int, boost::any&>::operator()(int, boost::any&) const /usr/include/boost/function/function_template.hpp:768:14 (dnsdist+0xf9d56c)
    #5 EpollFDMultiplexer::run(timeval*, int) /opt/project/pdns/dnsdistdist/epollmplexer.cc:176:7 (dnsdist+0xfd041b)
    #6 SNMPAgent::worker() /opt/project/pdns/dnsdistdist/snmp-agent.cc:141:24 (dnsdist+0xfb0b6f)
    #7 void std::__invoke_impl<void, void (SNMPAgent::*)(), SNMPAgent*>(std::__invoke_memfun_deref, void (SNMPAgent::*&&)(), SNMPAgent*&&) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/invoke.h:73:14 (dnsdist+0xf344c9)
    #8 std::__invoke_result<void (SNMPAgent::*)(), SNMPAgent*>::type std::__invoke<void (SNMPAgent::*)(), SNMPAgent*>(void (SNMPAgent::*&&)(), SNMPAgent*&&) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/invoke.h:95:14 (dnsdist+0xf343c1)
    #9 decltype(std::__invoke(_S_declval<0ul>(), _S_declval<1ul>())) std::thread::_Invoker<std::tuple<void (SNMPAgent::*)(), SNMPAgent*> >::_M_invoke<0ul, 1ul>(std::_Index_tuple<0ul, 1ul>) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:244:13 (dnsdist+0xf3436e)
    #10 std::thread::_Invoker<std::tuple<void (SNMPAgent::*)(), SNMPAgent*> >::operator()() /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:253:11 (dnsdist+0xf34315)
    #11 std::thread::_State_impl<std::thread::_Invoker<std::tuple<void (SNMPAgent::*)(), SNMPAgent*> > >::_M_run() /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:196:13 (dnsdist+0xf34079)
    #12 <null> <null> (libstdc++.so.6+0xbbb2e)

Merge pull request #10312 from omoerbeek/rec-pc-sizing

rec: Improve packet cache sizing.

typo

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #10311 from rgacogne/ddist-newserver-sockets-doc

dnsdist: Better documentation of newServer's 'sockets' parameter

Merge pull request #10322 from rubenk/typos

Fix two typos in lua scripting docs