Address feedback from #9176

Optimize IXFR-to-AXFR fallback path

Avoid making new backends when we are going to either deny the XFR, or
fall back to AXFR anyway.

This cuts down the number of new backends from four (three for IXFR
pre-checks plus one for AXFR) to one (just the AXFR one).
When replying in IXFR mode, we keep making _one_ new backend, which is
also better than before.

While we now hold the s_plock for a while longer, we only take it once
in doIXFR; before we took it twice -- for TSIG retrieval, which now
re-uses the IXFR backend.

Merge pull request #9083 from Habbie/backport-8972-to-auth-4.3.x

auth-4.3.x: add ubuntu focal target

builder: add ubuntu focal target

(cherry picked from commit b4f4b1ab4ba666fe16f0201b38778fe66dc8e7ae)

Merge pull request #8997 from Habbie/backport-8977-to-auth-4.3.x

auth-4.3.x: fix IXFR-in record duplication issue by avoiding the query cache

fix IXFR-in record duplication issue by avoiding the query cache

(cherry picked from commit fce7ba570569aa6e9d5a21e0c4525a50b73789ef)

Merge pull request #8983 from Habbie/backport-8975-to-auth-4.3.x

auth-4.3.x: improve sql schema updates

auth: remove beta2 schema files

(cherry picked from commit 5f0988efb1d2cfb997d842682a45f342aeb7a91e)

auth: improve sql schema updates

(cherry picked from commit 2af952b486b3bd57e69eeecfed9cd25d6340a361)

Merge pull request #8973 from Habbie/backport-8939-to-auth-4.3.x

auth-4.3.x: Fix NSECx for unpublished DNSKEYs properly

Merge pull request #8958 from Habbie/rel-auth-4.3.x-ci

CI: skip non-auth testing

Retab backends/bind-master and backends/gsql-common to prevent annoying indenting issues

(cherry picked from commit 1bdee42ff1945dd631db725acf3d03b8a36f6a48)

Proper fix for NSECx typemaps in the case of only unpublished DNSKEY's

(cherry picked from commit 3a5b3fef3680b86c54f4a80bcbfa92b9035d1ece)

also skip docs build

Merge pull request #8959 from Habbie/backport-8916-to-auth-4.3.x

auth 4.3.x lmdb: avoid blanket std import; fixes #8872

auth lmdb: avoid blanket std import; fixes #8872

(cherry picked from commit 6910a23b67f64bd71ffb26c1888fb9d8b99acfa6)

Merge pull request #8951 from Habbie/redo-8907

auth-4.3.x: Reduce the number of temporary memory allocations

CI: skip non-auth testing

Merge pull request #8936 from Habbie/backport-8925-to-auth-4.3.x

auth-4.3.x:  Fix it so NSEC and NSEC3 records if there are no published DNSKEYs

Also only add CDS and CDNSKEY to the type map in case we have published DNSKEY's

(cherry picked from commit caa1f48db28a46abd1ce7ac2aa3b4b3cda4e38f0)

Fix it so NSEC and NSEC3 records will not include DNSKEY in the typemap if there are no published DNSKEY records

(cherry picked from commit b8f6caa13c261a9994a3bb50a27dfae3a96c7d84)

Merge pull request #8924 from mind04/auth-4.3.0-rc1-cache

auth: make sure we look at 10% of all cached items during cleanup

auth: make sure we look at 10% of all cached items during cleanup

Move the logic of validDNSName to DNSName::has8bitBytes()

(cherry picked from commit bf7ef5b4ee0ce310db0a3761a8250f86a5fea20d)

auth: Skip the construction of a root DNSName when possible

(cherry picked from commit 020b94c9e00434a509b8f46af070afb2f2afa4b5)

auth: Prevent temporary objects in the DNSBackend::get() overrides

(cherry picked from commit 2ea3d25e0c9eeefdb6d625bc314ad40a19022e23)

auth: Reserve the needed space in the vector of keys

(cherry picked from commit fb4c0e19ccaaed9b88426ca3183b33271be2ecd6)

auth: Reduce the number of allocations in apiServerZones()

(cherry picked from commit c8b929d9f1b17cb3ca73a309172d6929254bf91c)

auth: Reduce the number of memory allocations

(cherry picked from commit 9bbcf03a6ff139016686e97a387cc6787a3990ce)

Merge pull request #8888 from Habbie/auth-4.3.x-backports

auth 4.3.x: two backports

It's 2020

(backport of #8857)

(cherry picked from commit 9fce9d6c21253da0fbeed5163d148be4a0bad1f6)

travis: skip odbc testing, we have it in circleci, closes #8796

(backport of #8877)

(cherry picked from commit 0d756465537c613b48c9b3bc3aa85d1b13090543)

Merge pull request #8631 from zeha/once

Replace include guard ifdef/define with pragma once

Merge pull request #8505 from rgacogne/dnsdist-lua-ffi

dnsdist: Implement LuaFFIRule, LuaFFIAction and LuaFFIResponseAction

Merge pull request #8835 from omoerbeek/rec-prep-4.3.0-rc2

rec: Prep for rec-4.3.0-rc2

Prep for rec-4.3.0-rc2

dnsdist: Add a comment about the lack of guard in dnsdist-lua-ffi-interface.h

Reported by LGTM.

Merge pull request #8833 from rgacogne/pgsql-circleci-trust

Allow all connections to the PG server in Circle CI

Allow all connections to the PG server in Circle CI

Merge pull request #8830 from omoerbeek/rec-init-zone-prio

rec: Init zone's d_priority field.

Init zone's d_priority field.

Merge pull request #8811 from Habbie/nsec-ttl

adjust NSEC TTLs to negative TTL

Merge pull request #8776 from mnordhoff/4.3-schema

auth: Add more SQL schema files to packages and tarballs

add upgrade notes for the new NSEC(3) TTLs

update DNSSEC TTL notes

adjust NSEC TTLs to negative TTL

Merge pull request #8828 from Habbie/qdcount-zero-debug

auth: log "No question section in packet" at Debug. Fixes #7970

Merge pull request #8096 from mind04/pdns-notify-db-queries

auth: do not update identical notified serials

Merge pull request #8826 from rgacogne/nsec-invalid-bitmap-len

Refuse NSEC records with a bitmap length > 32

auth: log "No question section in packet" at Debug. Fixes #7970

Deduplicate EXTRA_DIST and dist_doc_DATA in modified Makefile.ams

auth: Include bind schema files in debs

auth: Include bind schema files in pdns RPM

auth: List the 3.4.0+ SQL schema files wherever the older files are.

And clean up godbcbackend's Makefile.am.

auth: Add enable-foreign-keys.mysql.sql to packages and Makefile.am

auth: Add 4.3.0 schema files to Makefile.ams

auth: do not update identical notified serials

Merge pull request #8094 from mind04/pdns-diff-config

auth: add full option to 'pdns_control show-config'

Merge pull request #8823 from omoerbeek/rec-rpz-passthru

Rec: do continue rpz processing if the current policy is passthru

Refuse NSEC records with a bitmap length > 32

Merge pull request #8799 from Habbie/odbc-threading

auth CI: enable ODBC thread locking

Merge pull request #8815 from pieterlexis/yahttp-ipv6-address

YaHTTP: Support bracketed IPv6 addresses

Merge pull request #8779 from Habbie/empty-ixfr-soa-rrsig

IXFR: only sign SOA in empty response for +DO queries

Rebased to handle NetmaskTree changes

Fix compilation issue on older compilers

Formatting

Avoid copying policies around by passing a Policy& that gets modified
if a match is found.

rec: Lookup RPZ Client IP rules before qname ones

rec: Add more RPZ regression tests

Test clientIP before name, fix one more cutoff condition.

rec: Add unit tests for the RPZ policy priorities and ordering

Set the d_priority field in the policy objects of a zone.

Comments from racacogne:
Better name for currentPriority, more elegant loops with right cutoff.

rec: Add regression tests for the ordering of RPZ policies

Continue evaluation of RPZ rules after passthru, taking
into account RPZ priorities.

dnsdist: Fix issues reported by Charles-Henri during code review

Replace include guard ifdef/define with pragma once

travis: enable ODBC thread locking

circleci: enable ODBC thread locking

Merge pull request #8614 from zeha/api-rm-unimplemented-check

Remove not implemented zone check API from spec

Merge pull request #8766 from zeha/chrish

Update my name in old changelogs

Merge pull request #8793 from rgacogne/auth-reserve-caches

auth: Prepare the caches' buckets in advance

docs security-policy: fix typo in my email address

YaHTTP: Send correct Host header for IPv6 address

YaHTTP: Parse addresses with IPv6 literals

A URL like http://[::1]:81 are parsed correctly now.

Merge pull request #8760 from rgacogne/ddist-doh-exact-match

dnsdist: Don't accept sub-paths of configured DoH URLs

Update pdns/dnsdistdist/docs/upgrade_guide.rst

Co-Authored-By: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #8355 from stephanbosch/netmask-tree

Rework NetmaskTree for better CPU and memory efficiency.

iputils.hh: NetmaskTree: Make the node_type key value const.

This prevents changing the key used by the tree, which would otherwise provide
an opportunity to corrupt the tree.

iputils.hh: NetmaskTree: Make the iterator reference a normal reference rather than a pointer.

This is possible now that the iterator type is no longer dictated by the
internal std::set. This changes the NetmaskTree::iterator API, but it makes it
more standard, less cumbersome, and less confusing.

iputils.hh: NetmaskTree: Make TreeNode::node a normal field rather than a pointer.

It no longer needs to be allocated separately.

iputils.hh: NetmaskTree: Drop the internal std::set.

It is now superfluous.

Merge pull request #8777 from omoerbeek/rec-wip-qname-vs-ds

rec: QNAME minimization sometimes uses 1 label too many

dnsdist: Document that we no longer start as root by default

dnsdist: Document that DoH paths are now exact matches.

Typos

builder: also touch /var/lib/rpm/* before build-specs

Merge pull request #8778 from Habbie/recursor-rpz-refresh

rec RPZ dumpFile/seedFile: store/get SOA refresh on dump/load

Warn at refresh=0

dnsdist: Add LuaRule(), the non-FFI equivalent of LuaFFIRule()

dnsdist: Add Lua bindings and documentation for the Lua FFI policies