Introduce an auto cache refresh mechanism.

If cache records are consulted and seen as "almost-expired"
schedule a task to refetch that record. Default off, enable using
refresh-on-ttl-perc.

Merge pull request #9843 from rgacogne/dnsdist-protozero

Use protozero for Protocol Buffer operations in dnsdist, and dnstap/outgoing for the rec

Merge pull request #9782 from rgacogne/ddist-dynblocks-metrics-ebpf

dnsdist: Use an eBPF filter for Dynamic blocks when available

Merge pull request #9883 from rgacogne/rec-ds-cname-cache

rec: Lookup DS entries before CNAME entries

Merge pull request #9906 from Habbie/rec-doc-la

rec docs: correct local-address default

Merge pull request #9826 from Habbie/edit-zone-zpt-exc

pdnsutil edit-zone: do not exit on ZoneParser exception

Merge pull request #9910 from nzlosh/zone_xfr_rewording

Reword zone xfr log message to remove ordinal number naming errors.

Merge pull request #9909 from omoerbeek/macos-sanitizer

Enable address sanitizer on MacOS

Merge pull request #9908 from omoerbeek/auth-build-testrunner

auth: If unit tests are enabled, build testrunner from the main target

If unit tests are enabled, build testrunner from the main dir

Reword zone xfr log message to remove ordinal number naming errors.

rec docs: correct local-address default

Enable address sanitizer on MacOS

Merge pull request #9900 from rgacogne/ddist-rmserver-lock

dnsdist: Fix a hang when removing a server with more than one socket

protozero: Declares names instead of using numerical values for fields

dnstap: Declares names instead of using numerical values for fields

rec: Apply formatting again

rec: Apply formatting, as 'already formatted to perfection' is relative

We still need the protobuf compiler in a few places for our tests

rec: Apply formatting

RemoteLogger: Fix astring-plus-int issue

Remove left-over protobuf from build files, CI, documentation

dnsdist: Use the generic dnstap m4 again

rec: Use protozero for outgoing queries Protocol Buffer operations

RemoteLogger: Use the simpler lock_guard instead of unique_lock

dnspcap2protobuf: Use protozero for Protocol Buffer operations

dnsdist: Use protozero for Protocol Buffer operations

rec: Remove unneeded 'static'

dnsdist: Remove unused fields when eBPF is not available

Merge pull request #9857 from rgacogne/crypto-engine-unique-ptr

Return a unique_ptr instead of a shared one for DNSCryptoKeyEngine

Merge pull request #9905 from omoerbeek/copyright-2021

It's 2021

It's 2021

It's 2021

Merge pull request #9904 from yantarou/dnsdist_typo

dnsdist: Fix typo in tuning documentation

dnsdist: Fix typo in tuning documentation

Merge pull request #9894 from omoerbeek/zap-incbin

Remove incbin from ext and references to it

dnsdist: Fix a hang when removing a server with more than one socket

There was a lock starvation issue when removing a server with more
than one socket in use (`sockets` greater than 1 on the corresponding
`newServer` directive), because the mutex protecting the sockets array
would never be released long enough by the responder thread to allow
the thread stopping the server to acquire it.
This commit fixes that by marking the server as stopped right away,
before acquiring the lock, and also making sure that the responder
thread is woken up regularly (every second, even without any query
to process) and that it checks whether the server has been stopped
just after that.

The issue was introduced in be55a20ce9bb7140071279d70bcb460f1f2b7b7d,
and backported to 1.5.1 in f0d48318cce0dd80ae73c529362bdb2921d8c5c9.

Merge pull request #9841 from rgacogne/pb-logger-short-read

ProtobufLogger: Better handling of short-reads, errors

Merge pull request #9895 from mortenstevens/patch-4

Fix missing #include for gcc-11

Merge pull request #9896 from jacobbunk/max-signature-cache-entries-doc

Document the behavior of the max-signature-cache-entries setting.

Document the behavior of the max-signature-cache-entries setting.

Update documentation with a few things I learned during a debugging
session with great help on IRC.

If you use NSEC narrow mode and handle queries that generates a lot of
signatures, e.g. because of random subdomain queries this can cause
the cache to grow very large.

Also document the surprising cache eviction policy of dropping all
cache entries when the maximum cache size is hit.

Fix missing #include for gcc-11

Merge pull request #9715 from pieterlexis/4.1-docs

Remove all documentation irrelevant after 4.4.0

Merge pull request #9844 from pieterlexis/SVCB-correctly-parse-unknown

SVCB: Correctly parse and print unknown params

Merge pull request #9887 from Habbie/auth-4.4.0-docs

changelog+secpoll for auth-4.4.0

Remove incbin from ext and referencs to it

Kill dead link, replace by more descriptive text

Merge pull request #9848 from pieterlexis/stub-logging

stub: improve logging

Merge pull request #9880 from Habbie/auth-upgrade-docs-confusion

auth docs: unconfuse upgrade text about unknown types

Merge pull request #9881 from Habbie/el6-ipv6

el6 docker builds: prefer v4 resolution

Merge pull request #9879 from rgacogne/rec-ubsan-fixes

rec: A few UBSAN-related fixes

rec: Delete a trailing whitespace

rec: Store the zone and remote server IP in the records cache

changelog+secpoll+EOL update for auth-4.4.0

rec: Add a unit test for the 'DS entry expired but CNAME is here' issue

rec: Lookup DS entries before CNAME entries

When we are looking for a DS, we want to do the non-CNAME cache check first
because we can actually have a DS (from the parent zone) AND a CNAME (from
the child zone), and what we really want is the DS.

el6 docker builds: prefer v4 resolution

auth docs: unconfuse upgrade text about unknown types

rec: Preload libasan, when defined, before running regression tests

rec: Fix building our unit tests with Undefined Behavior Sanitizer

(cherry picked from commit 063a03a75e508d8937fbad67202f97e27a16f078)

rec: Avoid overflow when computing latency

Reported by UBSan:

[2020-02-28 12:21:21] pdns_recursor.cc:1841:31: runtime error: -276679 is outside the range of representable values of type 'unsigned long'
[2020-02-28 12:21:21]     #0 0x5610bb76af48 in startDoResolve(void*) /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.g5d6e6b9f95.dirty/pdns_recursor.cc:1841:31
[2020-02-28 12:21:21]     #1 0x5610bb7d60ac in MTasker<PacketID, std::string>::makeThread(void (*)(void*), void*)::{lambda()#1}::operator()() const /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.g5d6e6b9f95.dirty/./mtasker.cc:284:7
[2020-02-28 12:21:21]     #2 0x5610bb6bae9d in boost::function0<void>::operator()() const /usr/include/boost/function/function_template.hpp:766:14
[2020-02-28 12:21:21]     #3 0x5610bb6ba21b in threadWrapper(long) /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.g5d6e6b9f95.dirty/./mtasker_fcontext.cc:144:9
[2020-02-28 12:21:21]     #4 0x7f29cb06d70d in make_fcontext (/usr/lib/x86_64-linux-gnu/libboost_context.so.1.54.0+0x70d)

(cherry picked from commit b7d61cb18a9bc99d2c759f24e1340efc7a1c7725)

Prevent signed integer overflow in LOC record conversion

Reported by UBSan:

sillyrecords.cc:301:42: runtime error: signed integer overflow: 2031844648 - -2147483648 cannot be represented in type 'int'
    #0 0x55ab56ff5fbd in LOCRecordContent::getZoneRepresentation(bool) const /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/sillyrecords.cc:301:42
    #1 0x55ab571da021 in test_dnsrecords_cc::test_record_types::test_method() /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/test-dnsrecords_cc.cc:232:11
    #2 0x55ab571c9a4a in test_dnsrecords_cc::test_record_types_invoker() /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/test-dnsrecords_cc.cc:42:1
    #3 0x55ab57136125 in boost::unit_test::ut_detail::callback0_impl_t<boost::unit_test::ut_detail::unused, void (*)()>::invoke() /usr/include/boost/test/utils/callback.hpp:89:46
    #4 0x2b0b90cfa1f0  (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x681f0)
    #5 0x2b0b90cd5545 in boost::execution_monitor::catch_signals(boost::unit_test::callback0<int> const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x43545)
    #6 0x2b0b90cd5d82 in boost::execution_monitor::execute(boost::unit_test::callback0<int> const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x43d82)
    #7 0x2b0b90cfa2f1 in boost::unit_test::unit_test_monitor_t::execute_and_translate(boost::unit_test::test_case const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x682f1)
    #8 0x2b0b90ce3f93 in boost::unit_test::framework_impl::visit(boost::unit_test::test_case const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x51f93)
    #9 0x2b0b90d12d22 in boost::unit_test::traverse_test_tree(boost::unit_test::test_suite const&, boost::unit_test::test_tree_visitor&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x80d22)
    #10 0x2b0b90d12d22 in boost::unit_test::traverse_test_tree(boost::unit_test::test_suite const&, boost::unit_test::test_tree_visitor&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x80d22)
    #11 0x2b0b90cdf4b9 in boost::unit_test::framework::run(unsigned long, bool) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x4d4b9)
    #12 0x2b0b90cf7ed3 in boost::unit_test::unit_test_main(bool (*)(), int, char**) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x65ed3)
    #13 0x2b0b92d59f44 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x21f44)
    #14 0x55ab56b37961 in _start (/home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/testrunner+0x1bc3961)

(cherry picked from commit 98576e13197e200a9e1be4a3e00f4cf9488dafc2)

Merge pull request #9876 from omoerbeek/boost-more-toolsets

More toolsets in boost m4 code

Merge pull request #9788 from kpfleming/clarify-putZone-description

Clarify description of putZone API operation.

Merge pull request #9860 from rgacogne/rec-warnings-boost-174

rec: Get rid of warnings when compiling with Boost 1.74

More toolsets in boost m4 code

remove +1

Merge pull request #9738 from rgacogne/ddist-doh-conn-stats

dnsdist: Add per connection queries count and duration stats for DoH

Merge pull request #9856 from rgacogne/rec-nsec3-hashes-cache

rec: Use a short-lived NSEC3 hashes cache for denial validation

Merge pull request #9874 from rgacogne/ddist-fix-doc-typos

dnsdist: Fix typos in the documentation

dnsdist: Fix typos in the documentation

Merge pull request #9862 from rgacogne/ddist-lua-bindings-server-drops

dnsdist: Add a Lua binding for the number of queries dropped by a server

Fix a c/p error in the documentation

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

rec: Get rid of warnings when compiling with Boost 1.74

Merge pull request #9855 from omoerbeek/rec-prep-4.4.2

rec: Prep for rec 4.4.2 release

rec: Fix the NSEC3 hashes cache on older systems

By explicitely constructing the tuple.

Merge pull request #9847 from mind04/pdns-trusted-notify

auth: don't log trusted-notification-proxy notify at error level

Merge pull request #9840 from omoerbeek/auth-no-incbin

Stop using incbin and use od & sed to generate constant string data

Merge pull request #9858 from Habbie/bind-dl-static

auth bind: call DynListener static functions correctly

dnsdist: Add a Lua binding for the number of queries dropped by a server

Merge pull request #9832 from rgacogne/faster-unique-ids

UUID: Use the non-cryptographic variant of the boost::uuid

rec: Copy the salt into the cache instead of taking a reference

At the moment the salt does live longer than the cache, but that
might hold true forever.

Prep for rec 4.4.2 release

Merge pull request #9854 from omoerbeek/rec-more-stack-for-asan

More stack when asan is used

auth bind: call DynListener static functions correctly

Return a unique_ptr instead of a shared one for DNSCryptoKeyEngine

We do not always need a shared pointer, and that saves memory barriers
when we don't.

rec: Use a short-lived NSEC3 hashes cache for denial validation

It turns out that computing those SHA1 hashes is far from cheap,
and in almost all cases the salt and iterations are identical
so no need to compute them several times.

Avoid out of bounds access on empty path and do not send a body on 404

More stack when asan is used

Also use the new incbin for rec and dnsdist

force 1 byte reads for od

Make the processing binary safe and zap the incbin include from ws-auth.cc

Merge pull request #9850 from rgacogne/ddist-no-policy-copy

dnsdist: Don't copy the policy for every query

dnsdist: Don't copy the policy for every query

It used to be a cheap object to copy but it now hold two strings.

auth: don't log trusted-notification-proxy notify at error level

SVCB: Correctly parse and print unknown params

There were multiple issues. With this commit, we *always* store the
bytes that are represented by the option. To do this, we needed to
properly parse RFC 1035 character-strings. This is now done with a
conversion of the ABNF from draft-ietf-dnsop-svcb-https-02 to ragel.

The resulting function could be used as a starting point for a better
TXT storage format.

Fixes #9829

ProtobufLogger: Better handling of short-reads, errors

Stop using incbin and use od & sed to generate constant string data.

Merge pull request #9828 from rgacogne/rec-bogus-states-compat-and-docs

rec: Add a compatibility layer for 'Bogus', document changes and the new metrics

Merge pull request #9822 from qvr/feature/dnsdist-acl-from-file

dnsdist: add ability to set ACL from a file