auth: some cleanup in the AXFR-out code

auth: test direct-dnskey in AXFR-out

auth: fix direct-dnskey in AXFR-out

Merge pull request #9836 from Habbie/circleci-extend-2

circleci: extend coverage some more and disable travis

stop using travis

configure: set --enable-option-checking=fatal

geoipbackend: use const_iterator

==8618==ERROR: AddressSanitizer: stack-use-after-scope on address 0x7ffd8c5a1420 at pc 0x55bee0a5d899 bp 0x7ffd8c5a0710 sp 0x7ffd8c5a0708
READ of size 1 at 0x7ffd8c5a1420 thread T0
    #0 0x55bee0a5d898 in YAML::Node::begin() const /usr/include/yaml-cpp/node/impl.h:284:8
    #1 0x55bee0a3f2f0 in GeoIPBackend::initialize() /opt/project/modules/geoipbackend/geoipbackend.cc:163:27
    #2 0x55bee0a3d0d3 in GeoIPBackend::GeoIPBackend(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&) /opt/project/modules/geoipbackend/geoipbackend.cc:86:5
    #3 0x55bee0a784eb in GeoIPFactory::make(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&) /opt/project/modules/geoipbackend/geoipbackend.cc:1008:16
    #4 0x55bedff6cb18 in BackendMakerClass::all(bool) /opt/project/pdns/dnsbackend.cc:200:46
    #5 0x55bee07d3abe in UeberBackend::UeberBackend(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&) /opt/project/pdns/ueberbackend.cc:479:28
    #6 0x55bee060579c in PacketHandler::PacketHandler() /opt/project/pdns/packethandler.cc:65:32
    #7 0x55bedfee1748 in std::unique_ptr<PacketHandler, std::default_delete<PacketHandler> > make_unique<PacketHandler>() /opt/project/pdns/./misc.hh:571:35
    #8 0x55bee079376d in TCPNameserver::go() /opt/project/pdns/tcpreceiver.cc:85:9
    #9 0x55bedfecf7b7 in mainthread() /opt/project/pdns/common_startup.cc:656:7
    #10 0x55bee0655f67 in main /opt/project/pdns/receiver.cc:654:5
    #11 0x7f374b4b809a in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2409a)
    #12 0x55bedfc9a989 in _start (/opt/pdns-auth/sbin/pdns_server+0x2736989)

Address 0x7ffd8c5a1420 is located in stack of thread T0 at offset 3040 in frame
    #0 0x55bee0a3d5ef in GeoIPBackend::initialize() /opt/project/modules/geoipbackend/geoipbackend.cc:115

lmdbbackend: avoid unaligned uint32_t reads by using memcpy

lmdbbackend.cc:942:27: runtime error: load of misaligned address 0x604000b827aa for type 'uint32_t' (aka 'unsigned int'), which requires 4 byte alignment

remotebackend: use 0 for denoting unknown serial which is uint32_t

remotebackend.cc:610:51: runtime error: -1 is outside the range of representable values of type 'unsigned int'
SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior remotebackend.cc:610:51 in

add symbolizer to auth tests

disable asan leak sanitizer

auth: asan+ubsan; rec: ubsan

install LLVM symbolizer

Two bulk test steps were named identically, rename

Test on HAVE_FIBER_SANITIZER for stack enlargement, __SANITIZE_ADDRESS__
is not defined everywhere.

Reomve tmp debug code and fix two nits in the bulk script

Crash happens earlier than I thought

cat recursor.log before trying to kill rec, if the kill fails
(because rec died) we at least have the log.

Revert "disable recursor asan"

This reverts commit 2799109d800a368a4aebdf1fb1841602ad4ff3b4.

disable recursor asan

circleci: extend coverage some more

* switch to clang-8
* test Recursor SNMP, DNSTAP, Protobuf
* enable asan for Recursor

Merge pull request #9917 from rgacogne/rec-pb-zero-length

rec: Set the Protocol Buffer 'inBytes' field for zero-length messages

rec: Set the Protocol Buffer 'inBytes' field for zero-length messages

Th existing Protocol Buffer code used to do that, so existing receivers
might expect that field to be present.

Merge pull request #9914 from Habbie/pthread-symbols

autoconf: correctly detect pthread symbols

Merge pull request #9911 from omoerbeek/dnsname-macos-openbsd

MacOS (both Intel and arm64) and OpenBSD have no issues any more with boost::containter::string

autoconf: correctly detect pthread symbols

Merge pull request #9843 from rgacogne/dnsdist-protozero

Use protozero for Protocol Buffer operations in dnsdist, and dnstap/outgoing for the rec

Merge pull request #9782 from rgacogne/ddist-dynblocks-metrics-ebpf

dnsdist: Use an eBPF filter for Dynamic blocks when available

Merge pull request #9883 from rgacogne/rec-ds-cname-cache

rec: Lookup DS entries before CNAME entries

Merge pull request #9906 from Habbie/rec-doc-la

rec docs: correct local-address default

Merge pull request #9826 from Habbie/edit-zone-zpt-exc

pdnsutil edit-zone: do not exit on ZoneParser exception

Merge pull request #9910 from nzlosh/zone_xfr_rewording

Reword zone xfr log message to remove ordinal number naming errors.

MacOS (both Intel and arm64) and OpenBSD have no issues any more
with boost::containter::string

Merge pull request #9909 from omoerbeek/macos-sanitizer

Enable address sanitizer on MacOS

Merge pull request #9908 from omoerbeek/auth-build-testrunner

auth: If unit tests are enabled, build testrunner from the main target

If unit tests are enabled, build testrunner from the main dir

Reword zone xfr log message to remove ordinal number naming errors.

rec docs: correct local-address default

Enable address sanitizer on MacOS

Merge pull request #9900 from rgacogne/ddist-rmserver-lock

dnsdist: Fix a hang when removing a server with more than one socket

protozero: Declares names instead of using numerical values for fields

dnstap: Declares names instead of using numerical values for fields

rec: Apply formatting again

rec: Apply formatting, as 'already formatted to perfection' is relative

We still need the protobuf compiler in a few places for our tests

rec: Apply formatting

RemoteLogger: Fix astring-plus-int issue

Remove left-over protobuf from build files, CI, documentation

dnsdist: Use the generic dnstap m4 again

rec: Use protozero for outgoing queries Protocol Buffer operations

RemoteLogger: Use the simpler lock_guard instead of unique_lock

dnspcap2protobuf: Use protozero for Protocol Buffer operations

dnsdist: Use protozero for Protocol Buffer operations

rec: Remove unneeded 'static'

dnsdist: Remove unused fields when eBPF is not available

Merge pull request #9857 from rgacogne/crypto-engine-unique-ptr

Return a unique_ptr instead of a shared one for DNSCryptoKeyEngine

Merge pull request #9905 from omoerbeek/copyright-2021

It's 2021

It's 2021

It's 2021

Merge pull request #9904 from yantarou/dnsdist_typo

dnsdist: Fix typo in tuning documentation

dnsdist: Fix typo in tuning documentation

Merge pull request #9894 from omoerbeek/zap-incbin

Remove incbin from ext and references to it

dnsdist: Fix a hang when removing a server with more than one socket

There was a lock starvation issue when removing a server with more
than one socket in use (`sockets` greater than 1 on the corresponding
`newServer` directive), because the mutex protecting the sockets array
would never be released long enough by the responder thread to allow
the thread stopping the server to acquire it.
This commit fixes that by marking the server as stopped right away,
before acquiring the lock, and also making sure that the responder
thread is woken up regularly (every second, even without any query
to process) and that it checks whether the server has been stopped
just after that.

The issue was introduced in be55a20ce9bb7140071279d70bcb460f1f2b7b7d,
and backported to 1.5.1 in f0d48318cce0dd80ae73c529362bdb2921d8c5c9.

Merge pull request #9841 from rgacogne/pb-logger-short-read

ProtobufLogger: Better handling of short-reads, errors

Merge pull request #9895 from mortenstevens/patch-4

Fix missing #include for gcc-11

Merge pull request #9896 from jacobbunk/max-signature-cache-entries-doc

Document the behavior of the max-signature-cache-entries setting.

Document the behavior of the max-signature-cache-entries setting.

Update documentation with a few things I learned during a debugging
session with great help on IRC.

If you use NSEC narrow mode and handle queries that generates a lot of
signatures, e.g. because of random subdomain queries this can cause
the cache to grow very large.

Also document the surprising cache eviction policy of dropping all
cache entries when the maximum cache size is hit.

Fix missing #include for gcc-11

Merge pull request #9715 from pieterlexis/4.1-docs

Remove all documentation irrelevant after 4.4.0

Merge pull request #9844 from pieterlexis/SVCB-correctly-parse-unknown

SVCB: Correctly parse and print unknown params

Merge pull request #9887 from Habbie/auth-4.4.0-docs

changelog+secpoll for auth-4.4.0

Remove incbin from ext and referencs to it

Kill dead link, replace by more descriptive text

Merge pull request #9848 from pieterlexis/stub-logging

stub: improve logging

Merge pull request #9880 from Habbie/auth-upgrade-docs-confusion

auth docs: unconfuse upgrade text about unknown types

Merge pull request #9881 from Habbie/el6-ipv6

el6 docker builds: prefer v4 resolution

Merge pull request #9879 from rgacogne/rec-ubsan-fixes

rec: A few UBSAN-related fixes

rec: Delete a trailing whitespace

rec: Store the zone and remote server IP in the records cache

changelog+secpoll+EOL update for auth-4.4.0

rec: Add a unit test for the 'DS entry expired but CNAME is here' issue

rec: Lookup DS entries before CNAME entries

When we are looking for a DS, we want to do the non-CNAME cache check first
because we can actually have a DS (from the parent zone) AND a CNAME (from
the child zone), and what we really want is the DS.

el6 docker builds: prefer v4 resolution

auth docs: unconfuse upgrade text about unknown types

rec: Preload libasan, when defined, before running regression tests

rec: Fix building our unit tests with Undefined Behavior Sanitizer

(cherry picked from commit 063a03a75e508d8937fbad67202f97e27a16f078)

rec: Avoid overflow when computing latency

Reported by UBSan:

[2020-02-28 12:21:21] pdns_recursor.cc:1841:31: runtime error: -276679 is outside the range of representable values of type 'unsigned long'
[2020-02-28 12:21:21]     #0 0x5610bb76af48 in startDoResolve(void*) /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.g5d6e6b9f95.dirty/pdns_recursor.cc:1841:31
[2020-02-28 12:21:21]     #1 0x5610bb7d60ac in MTasker<PacketID, std::string>::makeThread(void (*)(void*), void*)::{lambda()#1}::operator()() const /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.g5d6e6b9f95.dirty/./mtasker.cc:284:7
[2020-02-28 12:21:21]     #2 0x5610bb6bae9d in boost::function0<void>::operator()() const /usr/include/boost/function/function_template.hpp:766:14
[2020-02-28 12:21:21]     #3 0x5610bb6ba21b in threadWrapper(long) /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.g5d6e6b9f95.dirty/./mtasker_fcontext.cc:144:9
[2020-02-28 12:21:21]     #4 0x7f29cb06d70d in make_fcontext (/usr/lib/x86_64-linux-gnu/libboost_context.so.1.54.0+0x70d)

(cherry picked from commit b7d61cb18a9bc99d2c759f24e1340efc7a1c7725)

Prevent signed integer overflow in LOC record conversion

Reported by UBSan:

sillyrecords.cc:301:42: runtime error: signed integer overflow: 2031844648 - -2147483648 cannot be represented in type 'int'
    #0 0x55ab56ff5fbd in LOCRecordContent::getZoneRepresentation(bool) const /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/sillyrecords.cc:301:42
    #1 0x55ab571da021 in test_dnsrecords_cc::test_record_types::test_method() /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/test-dnsrecords_cc.cc:232:11
    #2 0x55ab571c9a4a in test_dnsrecords_cc::test_record_types_invoker() /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/test-dnsrecords_cc.cc:42:1
    #3 0x55ab57136125 in boost::unit_test::ut_detail::callback0_impl_t<boost::unit_test::ut_detail::unused, void (*)()>::invoke() /usr/include/boost/test/utils/callback.hpp:89:46
    #4 0x2b0b90cfa1f0  (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x681f0)
    #5 0x2b0b90cd5545 in boost::execution_monitor::catch_signals(boost::unit_test::callback0<int> const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x43545)
    #6 0x2b0b90cd5d82 in boost::execution_monitor::execute(boost::unit_test::callback0<int> const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x43d82)
    #7 0x2b0b90cfa2f1 in boost::unit_test::unit_test_monitor_t::execute_and_translate(boost::unit_test::test_case const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x682f1)
    #8 0x2b0b90ce3f93 in boost::unit_test::framework_impl::visit(boost::unit_test::test_case const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x51f93)
    #9 0x2b0b90d12d22 in boost::unit_test::traverse_test_tree(boost::unit_test::test_suite const&, boost::unit_test::test_tree_visitor&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x80d22)
    #10 0x2b0b90d12d22 in boost::unit_test::traverse_test_tree(boost::unit_test::test_suite const&, boost::unit_test::test_tree_visitor&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x80d22)
    #11 0x2b0b90cdf4b9 in boost::unit_test::framework::run(unsigned long, bool) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x4d4b9)
    #12 0x2b0b90cf7ed3 in boost::unit_test::unit_test_main(bool (*)(), int, char**) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x65ed3)
    #13 0x2b0b92d59f44 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x21f44)
    #14 0x55ab56b37961 in _start (/home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/testrunner+0x1bc3961)

(cherry picked from commit 98576e13197e200a9e1be4a3e00f4cf9488dafc2)

Merge pull request #9876 from omoerbeek/boost-more-toolsets

More toolsets in boost m4 code

Merge pull request #9788 from kpfleming/clarify-putZone-description

Clarify description of putZone API operation.

Merge pull request #9860 from rgacogne/rec-warnings-boost-174

rec: Get rid of warnings when compiling with Boost 1.74

More toolsets in boost m4 code

remove +1

Merge pull request #9738 from rgacogne/ddist-doh-conn-stats

dnsdist: Add per connection queries count and duration stats for DoH

Merge pull request #9856 from rgacogne/rec-nsec3-hashes-cache

rec: Use a short-lived NSEC3 hashes cache for denial validation

Merge pull request #9874 from rgacogne/ddist-fix-doc-typos

dnsdist: Fix typos in the documentation

dnsdist: Fix typos in the documentation

Merge pull request #9862 from rgacogne/ddist-lua-bindings-server-drops

dnsdist: Add a Lua binding for the number of queries dropped by a server

Fix a c/p error in the documentation

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

rec: Get rid of warnings when compiling with Boost 1.74