make ttl value's origin clear

Co-authored-by: Remi Gacogne <github@coredump.fr>

Add testcase for "almost expired".

Better approach: just never consider root records "almost expired".

They will be refreshed by the periodic task anyway.

Be less aggressive forcing refresh of almost-expired NS and their A/AAAA records in refresh mode.

When SyncREs is running in refresh-almost-expired mode, we should
not consider NS and their A/AAAA records to be almost expired, that
can cause refetch propagation all the way up to the root and marking
of nameservers as non-resolving.

Merge pull request #10349 from omoerbeek/rec-tcpiohandler

rec: move to tcpiohandler for outgoing TCP

Merge pull request #10420 from omoerbeek/rec-nod-no-qm

rec: For the NOD lookup case, we don't want QName Minimization.

Merge pull request #10381 from rgacogne/ddist-better-padding

dnsdist: Reorganize the IDState and Rings fields

Merge pull request #10282 from omoerbeek/qtype-tostring

Rename QType.getName() to QType.toString()

Rename QType.getName() to QType.toString()

Merge pull request #10401 from mind04/consistent

auth: change the consistent-backends default to 'yes'

For the NOD lookup case, we don't want QName Minimization.

auth: change the consistent-backends default to 'yes'

Merge pull request #10400 from mind04/headers

add missing includes (Fedora 34, gcc 11.1 / clang 12)

add missing includes (Fedora 34, gcc 11.1 / clang 12)

Merge pull request #10397 from aj-gh/fixdoc-refreshonttlperc

Fix docs: refresh-on-ttl-perc was added in 4.5.0

Fix docs: refresh-on-ttl-perc was added in 4.5.0

Merge pull request #10392 from Habbie/gpgsql-select-returning

auth gpgsql: use SELECT .. RETURNING to get inserted row ID

Merge pull request #10394 from mnordhoff/rec-upgrade

Combine duplicate sections in Recursor upgrade guide

pdnsutil add-zone-key: better error formatting

auth gpgsql: use SELECT .. RETURNING to get inserted row ID, fixes #7175

Combine duplicate sections in Recursor upgrade guide.

Also use more consistent capitalization and wording.

Merge pull request #10389 from Habbie/dockerignore-git

.dockerignore: do not ignore .git

Merge pull request #10391 from omoerbeek/rec-fastopen-docs

rec: Better wording for fastopen docs.

Merge pull request #10350 from rgacogne/rec-duplicate-nsec-wc-proof

rec: Only add the NSEC and RRSIG records once in wildcard NODATA answers

Better wording for fastopen docs.

Merge pull request #10388 from rgacogne/ddist-document-default-cache-cleaning-delay

dnsdist: Document the default value of setCacheCleaningDelay()

.dockerignore: do not ignore .git

because we ignore **/*.1 to not drag built manpages into the docker
context - but this also prevents any tags ending in .1 (like rec-4.5.1)
from being built

dnsdist: Document the default value of setCacheCleaningDelay()

Merge pull request #10368 from omoerbeek/rec-prep-4.5.0

rec: Prep rec-4.5.1

Rebase after secpoll update

It's going to be 4.5.1

Update pdns/recursordist/docs/appendices/EOL.rst

Co-authored-by: Pieter Lexis <pieter@plexis.eu>

Prep rec-4.5.0

Merge pull request #10374 from rgacogne/ddist160-changelog

dnsdist: Changelog and secpoll update for 1.6.0

dnsdist: Changelog and secpoll update for 1.6.0

dnsdist: Add a few words about memory consumption in the documentation

dnsdist: Reorganize the IDState and Rings fields

Reducing the space lost to padding and thus the memory usage. This
change saves 1 MB of memory per downstream server in the default
configuration, and around 8 bytes per entry in the ring buffer.

Merge pull request #10379 from rgacogne/ddist-fix-changelog

dnsdist: Fix a typo in the ChangeLog header for 1.5.2

dnsdist: Fix a typo in the ChangeLog header for 1.5.2

Merge pull request #10163 from rgacogne/ddist152-changelog

dnsdist: Update ChangeLog and secpoll zone for 1.5.2

Merge pull request #10375 from rgacogne/rec-aggressive-nsec-salt-race

rec: Prevent a race in the aggressive NSEC cache

Merge pull request #10364 from rgacogne/auth-fromiscmap-b64

auth: Don't choke on non-base64 values when importing zone keys

rec: Prevent a race in the aggressive NSEC cache

When a new NSEC3 record has a different salt than the one we know, we
update the zone entry with the new salt. Unfortunately, that salt was
read without holding the lock in `AggressiveNSECCache::getNSEC3Denial`,
leading to a possible data race.

Merge pull request #10370 from yantarou/ixfrdist_typo

docs: fix typo in ixfrdist docs

Merge pull request #10371 from mnordhoff/dnsdist-docs-tcaction

dnsdist docs: switch RA and RD

dnsdist docs: switch RA and RD

docs: fix typo in ixfrdist docs

dnsdist: May the 10th seems more realistic for the 1.5.2 release

Merge pull request #10353 from rgacogne/rec-dns64-on-rpz-hit-after-gettag-ffi-hit

rec: Apply dns64 on RPZ hits generated after a gettag_ffi hit

Merge pull request #10292 from omoerbeek/rec-more-tsan

rec: Fix TSAN complaints: max stacksize and response stats size counters

Merge pull request #10361 from dmachard/auth-timeout-luarecords

auth: change default timeout to 2s for lua records

Fix typo in DNSCryptoKeyEngine::makeFromISCString

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

auth: Don't choke on non-base64 values when importing zone keys

DNSCryptoKeyEngine::makeFromISCFile(), called by `pdnsutil import-zone-key`
or the API, for example, would try to parse almost all values as a
base64 string. Depending on the version of OpenSSL, it could have lead
to a weird `Error: BIO_read failed to read all data from memory buffer`
error when the file contains a non-base64 value, like for example:
```
Flags: 257
```
Recent versions of OpenSSL seems to simply return that the value could
not be parsed, but older ones (OpenSSL 1.0.2k from CentOS 7 for example)
would report an incomplete read (BIO_should_retry() returning 1),
triggering an exception that prevents the key from being loaded.
This commits keeps a longer list of known non-base64 values, but
more importantly catch the base64 decoding exception and then store the
initial value instead of aborting. Only failure to decode known base64
values prevents the key from being loaded.

Merge pull request #10362 from Habbie/dnsdist-docs-tcaction

dnsdist docs: correct bits for TCAction

dnsdist docs: correct bits for TCAction

change default timeout to 2s for lua records

rec: Test the most simple condition first

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist: Update ChangeLog and secpoll zone for 1.5.2

Start using tcpiohandler for real

rec: Add a regression test for gettag_ffi, RPZ and DNS64 interaction

rec: Apply dns64 on RPZ hits generated after a gettag_ffi hit

We do special case the qname RPZ processing after a gettag_ffi hit,
leading to dns64 to not be applied in that case. This commit adds
dns64 handling to the special case.

Merge pull request #10347 from rgacogne/ddist-16rc2-changelog

dnsdist: Add ChangeLog and secpoll for 1.6.0-rc2

Merge pull request #10346 from rgacogne/ddist-dnscrypt-locks

dnsdist: Fix missing locks in DNSCrypt certificates management

rec: Only add the NSEC and RRSIG records once in wildcard NODATA answers

For wildcard-expanded answers we need to collect the proof that the
exact name does not exist and add them to the response. We also
collect that proof for negative answers.
When the answer is a wildcard-expanded NODATA, we only need to collect
them once, not twice.

Replace Socket * by an fd in PacketID and fix GenUDPQueryResponse to
use fd instead of sock, which should only be used for tcp.

Also reorder PacketID fields so that large fields come before small ones and use modern init.

dnsdist: Add ChangeLog and secpoll for 1.6.0-rc2

dnsdist: Fix missing locks in DNSCrypt certificates management

In theory these functions should already be protected by the Lua
lock but better safe than sorry.
Found while working on the migration to LockGuarded.

Merge pull request #10293 from Habbie/update-builder

update builder - i accidentally downgraded it in 4f57dec4a7f1b94c6da4c0d3fdfecf73781bbcb2

Merge pull request #10327 from rgacogne/ddist-dynblocks-ebpf

dnsdist: Only use eBPF for "drop" actions, clean up more often

Merge pull request #10344 from omoerbeek/boostm4-clang11.1

auto.m4: clang 11.1 is a thing

Merge pull request #10343 from omoerbeek/dnsdist-test-warnings

dnsdist: fix test warnings

Fix a few signed vs unsigned warnings as seen on OpenBSD

clang 11.1 is a thing

Merge pull request #10336 from rgacogne/cpp17-string-view

Get rid of our string_view selection process, C++17 has all we need

Merge pull request #10339 from phonedph1/patch-28

rec: Update hooks.rst

Remove the now empty views.hh header

Update hooks.rst

Merge pull request #10337 from omoerbeek/rec-prep-4.5.0-rc1

rec: Prep for rec-4.5.0-rc1

Merge pull request #10259 from Habbie/spgsql-drop-refcursor-support

auth gpgsql: add stored procedure test, drop refcursor support

Prep for rec-4.5.0-rc1

Merge pull request #10329 from Habbie/boost-container-exceptions

boost 1.76 containers: use standard exceptions

Get rid of our string_view selection process, C++17 has all we need

boost 1.76 containers: use standard exceptions

dnsdist: Only use eBPF for "drop" actions

dnsdist: Document that eBPF is only used for "drop" actions

dnsdist: Set setDynBlocksPurgeInterval()'s default to 60s

Merge pull request #10323 from rgacogne/ddist-tsan-snmp

dnsdist: Make the backend queryLoad and dropRate values atomic

Merge pull request #10310 from rgacogne/fix-simple-match

auth: Prevent dereferencing std::string::end() in SimpleMatch

dnsdist: Make the backend queryLoad and dropRate values atomic

So that there is no race when these vaues are read by the SNMP or
web threads and updated by the health check thread at the same time.
Reported by Thread Sanitizer:

WARNING: ThreadSanitizer: data race (pid=11167)
  Write of size 8 at 0x7b7400002558 by thread T18:
    #0 healthChecksThread() /opt/project/pdns/dnsdistdist/dnsdist.cc:1712:22 (dnsdist+0xf2a4a2)
    #1 void std::__invoke_impl<void, void (*)()>(std::__invoke_other, void (*&&)()) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/invoke.h:60:14 (dnsdist+0xf40ea2)
    #2 std::__invoke_result<void (*)()>::type std::__invoke<void (*)()>(void (*&&)()) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/invoke.h:95:14 (dnsdist+0xf40e0d)
    #3 decltype(std::__invoke(_S_declval<0ul>())) std::thread::_Invoker<std::tuple<void (*)()> >::_M_invoke<0ul>(std::_Index_tuple<0ul>) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:244:13 (dnsdist+0xf40dd5)
    #4 std::thread::_Invoker<std::tuple<void (*)()> >::operator()() /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:253:11 (dnsdist+0xf40d95)
    #5 std::thread::_State_impl<std::thread::_Invoker<std::tuple<void (*)()> > >::_M_run() /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:196:13 (dnsdist+0xf40c29)
    #6 <null> <null> (libstdc++.so.6+0xbbb2e)

  Previous read of size 8 at 0x7b7400002558 by thread T2:
    #0 backendStatTable_handler(netsnmp_mib_handler_s*, netsnmp_handler_registration_s*, netsnmp_agent_request_info_s*, netsnmp_request_info_s*) /opt/project/pdns/dnsdistdist/dnsdist-snmp.cc:356:62 (dnsdist+0xeccf98)
    #1 netsnmp_call_next_handler <null> (libnetsnmpagent.so.30+0x2a0cc)
    #2 SNMPAgent::handleSNMPQueryCB(int, boost::any&) /opt/project/pdns/dnsdistdist/snmp-agent.cc:96:13 (dnsdist+0xfb0847)
    #3 boost::detail::function::void_function_invoker2<void (*)(int, boost::any&), void, int, boost::any&>::invoke(boost::detail::function::function_buffer&, int, boost::any&) /usr/include/boost/function/function_template.hpp:118:11 (dnsdist+0x8937d8)
    #4 boost::function2<void, int, boost::any&>::operator()(int, boost::any&) const /usr/include/boost/function/function_template.hpp:768:14 (dnsdist+0xf9d56c)
    #5 EpollFDMultiplexer::run(timeval*, int) /opt/project/pdns/dnsdistdist/epollmplexer.cc:176:7 (dnsdist+0xfd041b)
    #6 SNMPAgent::worker() /opt/project/pdns/dnsdistdist/snmp-agent.cc:141:24 (dnsdist+0xfb0b6f)
    #7 void std::__invoke_impl<void, void (SNMPAgent::*)(), SNMPAgent*>(std::__invoke_memfun_deref, void (SNMPAgent::*&&)(), SNMPAgent*&&) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/invoke.h:73:14 (dnsdist+0xf344c9)
    #8 std::__invoke_result<void (SNMPAgent::*)(), SNMPAgent*>::type std::__invoke<void (SNMPAgent::*)(), SNMPAgent*>(void (SNMPAgent::*&&)(), SNMPAgent*&&) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/invoke.h:95:14 (dnsdist+0xf343c1)
    #9 decltype(std::__invoke(_S_declval<0ul>(), _S_declval<1ul>())) std::thread::_Invoker<std::tuple<void (SNMPAgent::*)(), SNMPAgent*> >::_M_invoke<0ul, 1ul>(std::_Index_tuple<0ul, 1ul>) /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:244:13 (dnsdist+0xf3436e)
    #10 std::thread::_Invoker<std::tuple<void (SNMPAgent::*)(), SNMPAgent*> >::operator()() /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:253:11 (dnsdist+0xf34315)
    #11 std::thread::_State_impl<std::thread::_Invoker<std::tuple<void (SNMPAgent::*)(), SNMPAgent*> > >::_M_run() /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/thread:196:13 (dnsdist+0xf34079)
    #12 <null> <null> (libstdc++.so.6+0xbbb2e)

Merge pull request #10312 from omoerbeek/rec-pc-sizing

rec: Improve packet cache sizing.

typo

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #10311 from rgacogne/ddist-newserver-sockets-doc

dnsdist: Better documentation of newServer's 'sockets' parameter

Merge pull request #10322 from rubenk/typos

Fix two typos in lua scripting docs

Fix two typos in lua scripting docs

Merge pull request #10318 from mnordhoff/toclients

rec: Fix typo in edns-padding-tag help

rec: Fix typo in edns-padding-tag help

Merge pull request #10317 from omoerbeek/rec-export-hosts

rec: Do not put results of DS query for auth or forward domains in negcache.

Also check query type

Add test case

Do not put results of DS query for auth or forward domains in negcache.

Should fix #10189.