dnsdist: Fix a hang when removing a server with more than one socket

There was a lock starvation issue when removing a server with more
than one socket in use (`sockets` greater than 1 on the corresponding
`newServer` directive), because the mutex protecting the sockets array
would never be released long enough by the responder thread to allow
the thread stopping the server to acquire it.
This commit fixes that by marking the server as stopped right away,
before acquiring the lock, and also making sure that the responder
thread is woken up regularly (every second, even without any query
to process) and that it checks whether the server has been stopped
just after that.

The issue was introduced in be55a20ce9bb7140071279d70bcb460f1f2b7b7d,
and backported to 1.5.1 in f0d48318cce0dd80ae73c529362bdb2921d8c5c9.

Merge pull request #9841 from rgacogne/pb-logger-short-read

ProtobufLogger: Better handling of short-reads, errors

Merge pull request #9895 from mortenstevens/patch-4

Fix missing #include for gcc-11

Merge pull request #9896 from jacobbunk/max-signature-cache-entries-doc

Document the behavior of the max-signature-cache-entries setting.

Document the behavior of the max-signature-cache-entries setting.

Update documentation with a few things I learned during a debugging
session with great help on IRC.

If you use NSEC narrow mode and handle queries that generates a lot of
signatures, e.g. because of random subdomain queries this can cause
the cache to grow very large.

Also document the surprising cache eviction policy of dropping all
cache entries when the maximum cache size is hit.

Fix missing #include for gcc-11

Merge pull request #9715 from pieterlexis/4.1-docs

Remove all documentation irrelevant after 4.4.0

Merge pull request #9844 from pieterlexis/SVCB-correctly-parse-unknown

SVCB: Correctly parse and print unknown params

Merge pull request #9887 from Habbie/auth-4.4.0-docs

changelog+secpoll for auth-4.4.0

Kill dead link, replace by more descriptive text

Merge pull request #9848 from pieterlexis/stub-logging

stub: improve logging

Merge pull request #9880 from Habbie/auth-upgrade-docs-confusion

auth docs: unconfuse upgrade text about unknown types

Merge pull request #9881 from Habbie/el6-ipv6

el6 docker builds: prefer v4 resolution

Merge pull request #9879 from rgacogne/rec-ubsan-fixes

rec: A few UBSAN-related fixes

changelog+secpoll+EOL update for auth-4.4.0

el6 docker builds: prefer v4 resolution

auth docs: unconfuse upgrade text about unknown types

rec: Preload libasan, when defined, before running regression tests

rec: Fix building our unit tests with Undefined Behavior Sanitizer

(cherry picked from commit 063a03a75e508d8937fbad67202f97e27a16f078)

rec: Avoid overflow when computing latency

Reported by UBSan:

[2020-02-28 12:21:21] pdns_recursor.cc:1841:31: runtime error: -276679 is outside the range of representable values of type 'unsigned long'
[2020-02-28 12:21:21]     #0 0x5610bb76af48 in startDoResolve(void*) /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.g5d6e6b9f95.dirty/pdns_recursor.cc:1841:31
[2020-02-28 12:21:21]     #1 0x5610bb7d60ac in MTasker<PacketID, std::string>::makeThread(void (*)(void*), void*)::{lambda()#1}::operator()() const /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.g5d6e6b9f95.dirty/./mtasker.cc:284:7
[2020-02-28 12:21:21]     #2 0x5610bb6bae9d in boost::function0<void>::operator()() const /usr/include/boost/function/function_template.hpp:766:14
[2020-02-28 12:21:21]     #3 0x5610bb6ba21b in threadWrapper(long) /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.g5d6e6b9f95.dirty/./mtasker_fcontext.cc:144:9
[2020-02-28 12:21:21]     #4 0x7f29cb06d70d in make_fcontext (/usr/lib/x86_64-linux-gnu/libboost_context.so.1.54.0+0x70d)

(cherry picked from commit b7d61cb18a9bc99d2c759f24e1340efc7a1c7725)

Prevent signed integer overflow in LOC record conversion

Reported by UBSan:

sillyrecords.cc:301:42: runtime error: signed integer overflow: 2031844648 - -2147483648 cannot be represented in type 'int'
    #0 0x55ab56ff5fbd in LOCRecordContent::getZoneRepresentation(bool) const /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/sillyrecords.cc:301:42
    #1 0x55ab571da021 in test_dnsrecords_cc::test_record_types::test_method() /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/test-dnsrecords_cc.cc:232:11
    #2 0x55ab571c9a4a in test_dnsrecords_cc::test_record_types_invoker() /home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/test-dnsrecords_cc.cc:42:1
    #3 0x55ab57136125 in boost::unit_test::ut_detail::callback0_impl_t<boost::unit_test::ut_detail::unused, void (*)()>::invoke() /usr/include/boost/test/utils/callback.hpp:89:46
    #4 0x2b0b90cfa1f0  (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x681f0)
    #5 0x2b0b90cd5545 in boost::execution_monitor::catch_signals(boost::unit_test::callback0<int> const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x43545)
    #6 0x2b0b90cd5d82 in boost::execution_monitor::execute(boost::unit_test::callback0<int> const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x43d82)
    #7 0x2b0b90cfa2f1 in boost::unit_test::unit_test_monitor_t::execute_and_translate(boost::unit_test::test_case const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x682f1)
    #8 0x2b0b90ce3f93 in boost::unit_test::framework_impl::visit(boost::unit_test::test_case const&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x51f93)
    #9 0x2b0b90d12d22 in boost::unit_test::traverse_test_tree(boost::unit_test::test_suite const&, boost::unit_test::test_tree_visitor&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x80d22)
    #10 0x2b0b90d12d22 in boost::unit_test::traverse_test_tree(boost::unit_test::test_suite const&, boost::unit_test::test_tree_visitor&) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x80d22)
    #11 0x2b0b90cdf4b9 in boost::unit_test::framework::run(unsigned long, bool) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x4d4b9)
    #12 0x2b0b90cf7ed3 in boost::unit_test::unit_test_main(bool (*)(), int, char**) (/usr/lib/x86_64-linux-gnu/libboost_unit_test_framework.so.1.54.0+0x65ed3)
    #13 0x2b0b92d59f44 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x21f44)
    #14 0x55ab56b37961 in _start (/home/travis/build/rgacogne/pdns/pdns/recursordist/pdns-recursor-0.0.0.0.HEAD.ge217873f32.dirty/testrunner+0x1bc3961)

(cherry picked from commit 98576e13197e200a9e1be4a3e00f4cf9488dafc2)

Merge pull request #9876 from omoerbeek/boost-more-toolsets

More toolsets in boost m4 code

Merge pull request #9788 from kpfleming/clarify-putZone-description

Clarify description of putZone API operation.

Merge pull request #9860 from rgacogne/rec-warnings-boost-174

rec: Get rid of warnings when compiling with Boost 1.74

More toolsets in boost m4 code

remove +1

Merge pull request #9738 from rgacogne/ddist-doh-conn-stats

dnsdist: Add per connection queries count and duration stats for DoH

Merge pull request #9856 from rgacogne/rec-nsec3-hashes-cache

rec: Use a short-lived NSEC3 hashes cache for denial validation

Merge pull request #9874 from rgacogne/ddist-fix-doc-typos

dnsdist: Fix typos in the documentation

dnsdist: Fix typos in the documentation

Merge pull request #9862 from rgacogne/ddist-lua-bindings-server-drops

dnsdist: Add a Lua binding for the number of queries dropped by a server

Fix a c/p error in the documentation

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

rec: Get rid of warnings when compiling with Boost 1.74

Merge pull request #9855 from omoerbeek/rec-prep-4.4.2

rec: Prep for rec 4.4.2 release

rec: Fix the NSEC3 hashes cache on older systems

By explicitely constructing the tuple.

Merge pull request #9847 from mind04/pdns-trusted-notify

auth: don't log trusted-notification-proxy notify at error level

Merge pull request #9840 from omoerbeek/auth-no-incbin

Stop using incbin and use od & sed to generate constant string data

Merge pull request #9858 from Habbie/bind-dl-static

auth bind: call DynListener static functions correctly

dnsdist: Add a Lua binding for the number of queries dropped by a server

Merge pull request #9832 from rgacogne/faster-unique-ids

UUID: Use the non-cryptographic variant of the boost::uuid

rec: Copy the salt into the cache instead of taking a reference

At the moment the salt does live longer than the cache, but that
might hold true forever.

Prep for rec 4.4.2 release

Merge pull request #9854 from omoerbeek/rec-more-stack-for-asan

More stack when asan is used

auth bind: call DynListener static functions correctly

rec: Use a short-lived NSEC3 hashes cache for denial validation

It turns out that computing those SHA1 hashes is far from cheap,
and in almost all cases the salt and iterations are identical
so no need to compute them several times.

Avoid out of bounds access on empty path and do not send a body on 404

More stack when asan is used

Also use the new incbin for rec and dnsdist

force 1 byte reads for od

Make the processing binary safe and zap the incbin include from ws-auth.cc

Merge pull request #9850 from rgacogne/ddist-no-policy-copy

dnsdist: Don't copy the policy for every query

dnsdist: Don't copy the policy for every query

It used to be a cheap object to copy but it now hold two strings.

auth: don't log trusted-notification-proxy notify at error level

SVCB: Correctly parse and print unknown params

There were multiple issues. With this commit, we *always* store the
bytes that are represented by the option. To do this, we needed to
properly parse RFC 1035 character-strings. This is now done with a
conversion of the ABNF from draft-ietf-dnsop-svcb-https-02 to ragel.

The resulting function could be used as a starting point for a better
TXT storage format.

Fixes #9829

ProtobufLogger: Better handling of short-reads, errors

Stop using incbin and use od & sed to generate constant string data.

Merge pull request #9828 from rgacogne/rec-bogus-states-compat-and-docs

rec: Add a compatibility layer for 'Bogus', document changes and the new metrics

Merge pull request #9822 from qvr/feature/dnsdist-acl-from-file

dnsdist: add ability to set ACL from a file

Add a speedtest for uuid generation

Merge pull request #9670 from omoerbeek/rec-offensive-language

Rec: offensive language

Merge pull request #9831 from Habbie/el8-powertools

el8: PowerTools is now powertools

UUID: Use the non-cryptographic variant of the boost::uuid

Since Boost 1.67.0 the default UUID generator is cryptographically
strong, which is neat but quite slower. Since we don't need that,
just use the fastest version.

el8: PowerTools is now powertools

stub: improve logging

Apply suggestions from code review

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

rpzMaster -> rpzPrimary

Deprecate more black- or whitelists

snmp-master-socket -> snmp-daemon-socket

dnsdist: document setACLFromFile()

dnsdist: add setACLFromFile()

Merge pull request #9787 from Habbie/circleci-extend

extend CircleCI coverage

rec: Add regression tests for the DNSSEC states

rec: Document the new DNSSEC states and helpers

rec: Add the Lua 'isValidationStateBogus' convenience function

rec: Preserve compatibility with Lua scripts using the 'Bogus' state

rec: Export a 'Bogus' metric as the sum of all other Bogus metrics

Merge pull request #9807 from rgacogne/rec-untangle-resolving-validating-names-types

rec: Untangle the validation/resolving qnames and qtypes

circleci auth: build and test more backends

Merge pull request #9817 from rgacogne/rec-keep-valid-cached-over-bogus

rec: Keep a cached, valid entry over a fresher Bogus one

Merge pull request #9820 from Habbie/auth-4.4.0-rc1-docs

auth-4.4.0-rc1: docs and secpoll

auth-4.4.0-rc1: docs and secpoll

rec: Fix a comment, as suggested by Otto

rec: Fix unit test formatting

rec: Keep a cached, valid entry over a fresher Bogus one

It turns out to be quite difficult to make us accept a record that
we already have in cache, thanks to sanitization, but let's make
sure that we will not replace a valid entry with a Bogus one if that
happens.
It might happen for SOA records, and for DS records when the TTL of
the corresponding NS records is shorter than the TTL of the DS.

Merge pull request #9815 from Habbie/el6-eol-vault

el6 builds: use vault.centos.org

Merge pull request #9812 from rgacogne/rec-webserver-error

rec: Handle failure to start the web server more gracefully

Merge pull request #9720 from omoerbeek/rec-min-ttl-override-default

Switch default TTL override to 1.

each -> every

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

el6 builds: use vault.centos.org

Merge pull request #9813 from Habbie/geoip-scope-latlonloc

auth geoip: set netmask on all string formatting types

Merge pull request #9779 from Habbie/gh-action-builder

gh actions: build centos6 packages

Merge pull request #9803 from Habbie/docker-pdns-version

dockerfiles: do not claim equivs-dummy is sourced from pdns

auth geoip: set netmask on all string formatting types

(via Kees Monshouwer)

Merge pull request #9801 from rgacogne/ddist-noqueue-for-trailing-data-queries

dnsdist: Clean up the internal queues use for self-answered and trailing test responses

Merge pull request #9756 from rgacogne/ddist-dynblocks-metrics

dnsdist: Add prometheus metrics for top Dynamic Blocks entries

Merge pull request #9806 from rgacogne/rec-report-exact-bogus-state

rec: Log the exact Bogus state when 'dnssec-log-bogus' is enabled

rec: Handle failure to start the web server more gracefully

At this point we already have several threads so calling exit()
will cause problem by trying to destruct objects that are in use
by other threads, so call _exit() instead.
Also mention the web server in the error message so that the root
cause is easier to identify.

Merge pull request #9768 from mind04/pdns-latency

auth: fix rounding inaccuracy in latency statistics

Merge pull request #9793 from rgacogne/rec-gather-denial-for-wildcard

rec: Fix the gathering of denial proof for wildcard-expanded answers

Say something about the consequences of using minimum-ttl-override of zero.