SVCB: return const-refs for heavy kvs

Add SVCB and HTTPS to LDAP schema

Add some regression tests for SVCB

Add SVCB/HTTPS checks to pdnsutil

Add additional processing for SVCB and HTTPS

Add SVCB records, parsing and writing

Add SvcParam class plus tests

iputils: Add function to print comma-separated CA containers

Merge pull request #9518 from mind04/pdns-api-metadata

auth: make sure the metadata cache is not filled from within an api transaction

Merge pull request #9524 from qvr/fix/rediscover-master-alsonotify-changes

auth: bindbackend: 'rediscover' changes to master and also-notifies

auth: bindbackend: 'rediscover' changes to master and also-notifies

builder-support: Disable luajit usage on aarch64 Debian/Ubuntu builds

The luajit package is currently not compatible with the aarch64 architecture,
so when Debian or Ubuntu packages are built for that architecture, use lua5.3
instead.

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

builder-support: Improve consistency of Debian Stretch/Buster configurations

(Also applies to all post-Xenial Ubuntu builds since they use these configurations too)

* Use debhelper version 10.x on both distributions

* Use consistent logic for enabling systemd support

* Remove unnecessary --parallel flags (default mode in debhelper 10.x)

* Always use architecture.mk and pkg-info.mk to set DEB_* variables

* Enable warnings and hardening on Stretch builds

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

builder-support: Extend 'all' module support to docs/sdist/deb targets

The build.sh script can build 'all' modules in a single execution, but
not all of the Dockerfile templates supported this mode. Since this is useful
for manual testing of the build process, this patch adds 'all' support
to the 'docs' and 'sdist' templates, and the templates which produce
Debian-style packages.

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

Always check sscanf's return value

These remaining cases are not in any way a security issue since the
variables are initialized before the call. This mostly improves the
reporting, and make sure we fail earlier.

auth: canDoAXFR: avoid confusing B name

auth: dnsbackend: replace a bare NULL

slaveRefresh: avoid extra SOA lookups

For incoming NOTIFYs, we already call getDomainInfo, so reuse the serial
from there. For unfresh domains, we already have a serial from the
backend.

However, a serial of 0 is now always considered stale.

auth: fix typo in backend-writers-guide.rst

auth: remove UeberBackend::getSOA

slaveRefresh: remove B->getSOA

Merge pull request #9496 from mind04/pdns-dnskey

auth: ignore cryptokeys in presigned zones

Merge pull request #9039 from Habbie/pg-escape-connect-string

auth: quote/escape PG connection parameters

Merge pull request #9389 from RobinGeuze/lmdbNoDupSort

Removed the need for DUPSORT lmdb databases

auth: replace full zone rectifies with rectifyZone() in the rfc2136 code

auth: avoid metadata cache polution in the api code

Removed the need for DUPSORT lmdb databases. Includes automatic database conversion

Merge pull request #8942 from Habbie/lua-backtrace

lua: add backtraces to errors

clarify quoting/escaping upgrade note, thanks @jsoref

quote/escape PG connection parameters

Merge pull request #9427 from mind04/pdns-2136-metadata

auth: improve metadata caching

Merge pull request #9517 from jsoref/spelling

Spelling

Merge pull request #9495 from rgacogne/rec-rearm-after-ooor-timeout

rec: Watch the descriptor again after an out-of-order read timeout

Merge pull request #9504 from rgacogne/rec-time-constness

rec: Better const-ness when dealing with timestamps

Merge pull request #9505 from rgacogne/rec-unused-sign-tags

rec: Remove unused vector of tags in validateDNSKeysAgainstDS()

Merge pull request #9513 from rgacogne/ddist-fix-parse-edns-options

dnsdist: Fix getEDNSOptions() for {AN,NS}COUNT != 0 and ARCOUNT = 0

A few more g_negache un-threading cases.

Since record cache and negcache are global now no need to broadcast to all
threads.

Merge pull request #9510 from azadi/dnsdist-prioritize-chacha

dnsdist: prioritize ChaCha20-Poly1305 when client does

dnsdist: prioritize ChaCha20-Poly1305 when client does

The OpenSSL option SSL_OP_PRIORITIZE_CHACHA prioritizes
ChaCha20-Poly1305 if the client does by temporarily re-prioritizing it
to the top of the server cipher list. Since dnsdist already sets
SSL_OP_CIPHER_SERVER_PREFERENCE by default (preferServerCiphers is set
to true), setting this option enables clients that prefer ChaCha20 due
to a lack of AES-NI (such as mobile devices) to override the server
specified list. This option requires SSL_OP_CIPHER_SERVER_PREFERENCE to
be set and was introduced in OpenSSL 1.1.1.

Note that this change neither affects clients that prefer AES or other
ciphers, nor dnsdist's default options, unless the client explicitly
prioritizes ChaCha20.

Actually fix wipe-cache-typed

rec: Fix a typo in a comment

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

More DTime cleanups, as suggested by Otto during review

dnsdist: Fix getEDNSOptions() for {AN,NS}COUNT != 0 and ARCOUNT = 0

Since 1.5.0, calling getEDNSOptions() from Lua would result in a
ServFail for queries that had no records in additional but at least
one record in either the answer or authority section, such as a
NOTIFY, because of a bug in parseEDNSOptions(). That last function
incorrectly called slowParseEDNSOptions() in that case, triggering
an exception to be raised because slowParseEDNSOptions() does not
expect to be called for a packet with no record in the additional
section.
parseEDNSOptions() now returns `false` for packets that have no
record in the additional section.

Merge pull request #9509 from franklouwers/master

Point to reserved values for setProxyProtocolValues() + funky quotes replacements

Merge pull request #9512 from Habbie/repofiles-ubuntu-focal

generate-repo-files: various updates

Merge pull request #9488 from rgacogne/lmdb-safe-views

Sync string_view definition in lmdb-safe

generate-repo-files: remove all ubuntu trusty

generate-repo-files: remove all debian jessie

generate-repo-files: add auth-43 and dnsdist-15 ubuntu focal

doc typo, thanks @jsoref

Merge pull request #9511 from Habbie/auth-advisories-2020

auth 22 sept 2020: advisories, changelogs, docs

auth 22 sept 2020: advisories, changelogs, docs

Merge pull request #9490 from omoerbeek/rec-coverity-check-fd

rec: Check return value of dup(2) as noted by coverity.

Test for potential NS loop.

We succeed (that is do not go into an endlesss loop) and we need to keep it that way.

Point to reserved values for setProxyProtocolValues() + funky quotes
replacements

Merge pull request #9494 from omoerbeek/rec-incomplete-ifdef

rec: incomplete ifdef

rec: Remove unused vector of tags in validateDNSKeysAgainstDS()

rec: Better const-ness when dealing with timestamps

Check return value of dup(2) as noted by coverity.

Merge pull request #9497 from Habbie/unknown-record-invalid-hex

auth: raise an exception on invalid content in unknown records

auth: remove oracle leftovers from the regression tests

auth: add direct NSEC3PARAM test and add dnssec in the any-query test

auth: ignore cryptokeys in presigned zones and do not add CDS and CDNSKEY records

Merge pull request #9493 from omoerbeek/rec-log-rec_control

Log the line received fomr rec_control

rec: Watch the descriptor again after an out-of-order read timeout

It might be that there was no other incoming query on that connection
and we timed out while the response had not been sent yet, but the
client might want to re-use the connection after receving the response.
We try to reset the TTD, but that might fail when the socket descriptor
has already been removed.

Merge pull request #9492 from omoerbeek/rec-detach-snmp-thread

rec: Detach snmp thread to avoid trouble when trying to quit nicely.

Merge pull request #9491 from omoerbeek/rec-fix-wipe-cache-typed

rec: Fix rec_control wipe-cache-typed

Incomplete ifdef

Detach snmp thread to avoid trouble when trying to quit nicely.

This avoids a case where the thread object and the RecursorSNMPAgent
object get destroyed in the wrong order.

Log the line received fomr rec_control

This can be handy to see what commands were issued to the recursor
when reviewing logs.

Merge pull request #9481 from omoerbeek/rec-prep-4.4.0-rc1

rec: prep for rec-4.4.0-rc1

Fix rec_control wipe-cache-typed (likely a merge error)

Merge pull request #9478 from mind04/pdns-fixme400

Auth: remove a '// HACK FIXME400' and fix the bugs it was hiding

We don't use string_view::at() in lmdb-safe

Switch to the pdns_string_view alias to prevent collisions

Sync string_view definition in lmdb-safe

While we do not actually care about string_view::at() in lmdb-safe,
we need to keep the two in sync so the type aliases do not collide.
Perhaps we should consider using pdns_string_view as an alias instead?

Merge pull request #9487 from PowerDNS/pdnsutil-ipdecrypt-typo

Update pdnsutil.cc ipencrypt/ipdecrypt typo

Update pdnsutil.cc

Merge pull request #9486 from phonedph1/patch-25

Update dnsdist-console.cc

Update dnsdist-console.cc

Merge pull request #9482 from omoerbeek/rec-docs-rst-warnings

rec: Fix a few .rst warnings

Merge pull request #9479 from rgacogne/fix-views

Fix our string_view usage on older distributions

Merge pull request #9475 from omoerbeek/rec-shared-negcache

Rec: shared and sharded negcache

Merge pull request #9477 from pieterlexis/dnstap-needs-protobuf

dnsdist, rec: dnstap requires protobuf

Prep for rec-4.4.0-rc1

Fix a few .rst warnings

rename s_RC and s_negcache to g_recCache and g_negCache to make
clear they are global

dnsdist: views.hh should be a symbolic link to one in the pdns/ directory

Apply suggestions from code review

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

Fix our string_view usage on older distributions

- boost::string_ref requires Boost >= 1.53.0, which we don't have
  in EL6, fall back to a plain std::string (alloc + copy) there ;
- boost::string_view::at() is broken for modern compilers before
  1.64.0, so let's use boost::string_ref instead in that case.

Merge pull request #9385 from rgacogne/rip-out-gss

auth: Remove GSS/TSIG support

Merge pull request #8993 from rgacogne/packetcache-cookies

Skip EDNS Cookies in the packet cache

docs: GSS/TSIG will be removed in 4.4.0, not 4.3.1

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

docs: GSS/TSIG will be removed in 4.4.0, not 4.3.1

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #8969 from rgacogne/systemd-more-sandboxing

Use more of systemd's sandboxing options when available

Update m4/pdns_check_dnstap.m4

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

dnsdist, rec: dnstap requires protobuf

Fail the configure when protobuf is disabled or not found but dnstap was
enabled.

Auth: remove a '// HACK FIXME400' and fix the bugs it was hiding

- LMDB backend was not handling out of zone additionals well.
- doAdditionalProcessingAndDropAA() was wasting backend queries for out of zone records.
- Remove the 'do-ipv6-additional-processing' setting, processing is now always on.
- Some cleanup in zone2sql.

Introduce an invalidate() method instead of assigning directly