dnsdist: Don't overwrite DoH frontends with 'setLocal()'

dnsdist: Add get*BindCount() functions

Allow getting the number of binds of each kind to be able to iterate
over them.

Merge pull request #8840 from omoerbeek/tests-fix-compile-warnings

Fix unsigned vs signed warnings spotted by clang on OpenBSD

Merge pull request #8838 from omoerbeek/dnsdist-no-snmp

dnsdist: Fix compile errors without snmp support

Fix unsigned vs signed warnings spotted by clang on OpenBSD

(which is more picky than others)

Fix compile errors without snmp support

Merge pull request #8631 from zeha/once

Replace include guard ifdef/define with pragma once

Merge pull request #8505 from rgacogne/dnsdist-lua-ffi

dnsdist: Implement LuaFFIRule, LuaFFIAction and LuaFFIResponseAction

Merge pull request #8835 from omoerbeek/rec-prep-4.3.0-rc2

rec: Prep for rec-4.3.0-rc2

Prep for rec-4.3.0-rc2

dnsdist: Add a comment about the lack of guard in dnsdist-lua-ffi-interface.h

Reported by LGTM.

Merge pull request #8833 from rgacogne/pgsql-circleci-trust

Allow all connections to the PG server in Circle CI

Allow all connections to the PG server in Circle CI

Merge pull request #8830 from omoerbeek/rec-init-zone-prio

rec: Init zone's d_priority field.

Init zone's d_priority field.

Merge pull request #8811 from Habbie/nsec-ttl

adjust NSEC TTLs to negative TTL

Merge pull request #8776 from mnordhoff/4.3-schema

auth: Add more SQL schema files to packages and tarballs

add upgrade notes for the new NSEC(3) TTLs

update DNSSEC TTL notes

adjust NSEC TTLs to negative TTL

Merge pull request #8828 from Habbie/qdcount-zero-debug

auth: log "No question section in packet" at Debug. Fixes #7970

Merge pull request #8096 from mind04/pdns-notify-db-queries

auth: do not update identical notified serials

Merge pull request #8826 from rgacogne/nsec-invalid-bitmap-len

Refuse NSEC records with a bitmap length > 32

auth: log "No question section in packet" at Debug. Fixes #7970

Deduplicate EXTRA_DIST and dist_doc_DATA in modified Makefile.ams

auth: Include bind schema files in debs

auth: Include bind schema files in pdns RPM

auth: List the 3.4.0+ SQL schema files wherever the older files are.

And clean up godbcbackend's Makefile.am.

auth: Add enable-foreign-keys.mysql.sql to packages and Makefile.am

auth: Add 4.3.0 schema files to Makefile.ams

auth: do not update identical notified serials

Merge pull request #8094 from mind04/pdns-diff-config

auth: add full option to 'pdns_control show-config'

Merge pull request #8823 from omoerbeek/rec-rpz-passthru

Rec: do continue rpz processing if the current policy is passthru

Refuse NSEC records with a bitmap length > 32

Merge pull request #8799 from Habbie/odbc-threading

auth CI: enable ODBC thread locking

Merge pull request #8815 from pieterlexis/yahttp-ipv6-address

YaHTTP: Support bracketed IPv6 addresses

Merge pull request #8779 from Habbie/empty-ixfr-soa-rrsig

IXFR: only sign SOA in empty response for +DO queries

Rebased to handle NetmaskTree changes

Fix compilation issue on older compilers

Formatting

Avoid copying policies around by passing a Policy& that gets modified
if a match is found.

rec: Lookup RPZ Client IP rules before qname ones

rec: Add more RPZ regression tests

Test clientIP before name, fix one more cutoff condition.

rec: Add unit tests for the RPZ policy priorities and ordering

Set the d_priority field in the policy objects of a zone.

Comments from racacogne:
Better name for currentPriority, more elegant loops with right cutoff.

rec: Add regression tests for the ordering of RPZ policies

Continue evaluation of RPZ rules after passthru, taking
into account RPZ priorities.

dnsdist: Fix issues reported by Charles-Henri during code review

Replace include guard ifdef/define with pragma once

travis: enable ODBC thread locking

circleci: enable ODBC thread locking

Merge pull request #8614 from zeha/api-rm-unimplemented-check

Remove not implemented zone check API from spec

Merge pull request #8766 from zeha/chrish

Update my name in old changelogs

Merge pull request #8793 from rgacogne/auth-reserve-caches

auth: Prepare the caches' buckets in advance

docs security-policy: fix typo in my email address

YaHTTP: Send correct Host header for IPv6 address

YaHTTP: Parse addresses with IPv6 literals

A URL like http://[::1]:81 are parsed correctly now.

Merge pull request #8760 from rgacogne/ddist-doh-exact-match

dnsdist: Don't accept sub-paths of configured DoH URLs

Update pdns/dnsdistdist/docs/upgrade_guide.rst

Co-Authored-By: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #8355 from stephanbosch/netmask-tree

Rework NetmaskTree for better CPU and memory efficiency.

iputils.hh: NetmaskTree: Make the node_type key value const.

This prevents changing the key used by the tree, which would otherwise provide
an opportunity to corrupt the tree.

iputils.hh: NetmaskTree: Make the iterator reference a normal reference rather than a pointer.

This is possible now that the iterator type is no longer dictated by the
internal std::set. This changes the NetmaskTree::iterator API, but it makes it
more standard, less cumbersome, and less confusing.

iputils.hh: NetmaskTree: Make TreeNode::node a normal field rather than a pointer.

It no longer needs to be allocated separately.

iputils.hh: NetmaskTree: Drop the internal std::set.

It is now superfluous.

Merge pull request #8777 from omoerbeek/rec-wip-qname-vs-ds

rec: QNAME minimization sometimes uses 1 label too many

dnsdist: Document that we no longer start as root by default

dnsdist: Document that DoH paths are now exact matches.

Typos

builder: also touch /var/lib/rpm/* before build-specs

Merge pull request #8778 from Habbie/recursor-rpz-refresh

rec RPZ dumpFile/seedFile: store/get SOA refresh on dump/load

Warn at refresh=0

dnsdist: Add LuaRule(), the non-FFI equivalent of LuaFFIRule()

dnsdist: Add Lua bindings and documentation for the Lua FFI policies

dnsdist: Speed up the consistent hashing policies with large weights

Using a sorted vector provides a much faster lookup time than a
std::set when the number of points on the circle (weight of the
backend) is huge.
A boost::flat_set is almost as fast as a sorted vector but the
insertion time is quite bad.

dnsdist: Clean up FFI types

dnsdist: Add direct Lua FFI interface for masking the remote addr

dnsdist: Skip the creation of temp objects in KVS lookups from Lua

dnsdist: Speed-up of the leastOutstanding policy

dnsdist: Add Lua Netmask bindings

dnsdist: Implement fast-{c,w}hashed FFI policies

dnsdist: Bench LB policies

dnsdist: Add Lua bindings for DNSName::hash()

dnsdist: Add unit tests for Lua LB policies as well

dnsdist: Add unit tests for the load-balancing policies

dnsdist: Implement FFI LB policies

dnsdist: Allow wrapping the FFI interface for the existing DNSQuestion object

dnsdist: Add more FFI regression test (DoH, EDNS options and tags)

dnsdist: Add documentation and a regression test for FFI functions

dnsdist: Implement LuaFFIRule, LuaFFIAction and LuaFFIResponseAction

Merge pull request #8807 from Habbie/docker-ovl-rpm

builder: touch /var/lib/rpm/* in every docker layer that uses rpmdb

builder: touch /var/lib/rpm/* in every docker layer that uses rpmdb

references:
https://github.com/pombredanne/dnf-plugin-ovl
https://bugzilla.redhat.com/show_bug.cgi?id=1213602

Merge pull request #8804 from rgacogne/ddist-install-config-file

dnsdist: Fix configuration file installation / chmod

iputils.hh: NetmaskTree: Add iterator class and use it for begin() and end() methods.

iputils.hh: NetmaskTree: Keep track of the left-most node in the tree.

Needed to provide a begin() iterator in constant time.

iputils.hh: NetmaskTree: Copy the tree using tree traversal.

Before, it used the internal std::set.

iputils.hh: NetmaskTree::TreeNode: Implement tree traversal methods.

iputils.hh: NetmaskTree: Make tree cleanup mandatory.

Potentially leaving branches full of unassigned nodes unnecessarily complicates
tree algorithms. Disabling tree cleanup was not used anywhere, except for a unit
test. Note that, after this change, individual branch nodes can still be
unassigned, but not the whole branch. So, when e.g. the left sub-branch of a
node exists, algorithms can rely on the fact that there is at least one assigned
node in there.

iputils.hh: NetmaskTree: Always normalize key netmasks.

This makes address bits below the network mask all zero, which is consistent
with the tree's behavior.

This change addresses one sensitivity to this behavioral change in the recursor
cache.

iputils.hh: NetmaskTree: Reduce the number of tree nodes.

Before, it created a tree node for every network bit in the netmask. Now, it
only creates a tree node when necessary (only for values and branches).