Prep for rec-4.3.0-rc2

Merge pull request #8833 from rgacogne/pgsql-circleci-trust

Allow all connections to the PG server in Circle CI

Allow all connections to the PG server in Circle CI

Merge pull request #8830 from omoerbeek/rec-init-zone-prio

rec: Init zone's d_priority field.

Init zone's d_priority field.

Merge pull request #8811 from Habbie/nsec-ttl

adjust NSEC TTLs to negative TTL

Merge pull request #8776 from mnordhoff/4.3-schema

auth: Add more SQL schema files to packages and tarballs

add upgrade notes for the new NSEC(3) TTLs

update DNSSEC TTL notes

adjust NSEC TTLs to negative TTL

Merge pull request #8828 from Habbie/qdcount-zero-debug

auth: log "No question section in packet" at Debug. Fixes #7970

Merge pull request #8096 from mind04/pdns-notify-db-queries

auth: do not update identical notified serials

Merge pull request #8826 from rgacogne/nsec-invalid-bitmap-len

Refuse NSEC records with a bitmap length > 32

auth: log "No question section in packet" at Debug. Fixes #7970

Deduplicate EXTRA_DIST and dist_doc_DATA in modified Makefile.ams

auth: Include bind schema files in debs

auth: Include bind schema files in pdns RPM

auth: List the 3.4.0+ SQL schema files wherever the older files are.

And clean up godbcbackend's Makefile.am.

auth: Add enable-foreign-keys.mysql.sql to packages and Makefile.am

auth: Add 4.3.0 schema files to Makefile.ams

auth: do not update identical notified serials

Merge pull request #8094 from mind04/pdns-diff-config

auth: add full option to 'pdns_control show-config'

Merge pull request #8823 from omoerbeek/rec-rpz-passthru

Rec: do continue rpz processing if the current policy is passthru

Refuse NSEC records with a bitmap length > 32

Merge pull request #8799 from Habbie/odbc-threading

auth CI: enable ODBC thread locking

Merge pull request #8815 from pieterlexis/yahttp-ipv6-address

YaHTTP: Support bracketed IPv6 addresses

Merge pull request #8779 from Habbie/empty-ixfr-soa-rrsig

IXFR: only sign SOA in empty response for +DO queries

Rebased to handle NetmaskTree changes

Fix compilation issue on older compilers

Formatting

Avoid copying policies around by passing a Policy& that gets modified
if a match is found.

rec: Lookup RPZ Client IP rules before qname ones

rec: Add more RPZ regression tests

Test clientIP before name, fix one more cutoff condition.

rec: Add unit tests for the RPZ policy priorities and ordering

Set the d_priority field in the policy objects of a zone.

Comments from racacogne:
Better name for currentPriority, more elegant loops with right cutoff.

rec: Add regression tests for the ordering of RPZ policies

Continue evaluation of RPZ rules after passthru, taking
into account RPZ priorities.

travis: enable ODBC thread locking

circleci: enable ODBC thread locking

Merge pull request #8614 from zeha/api-rm-unimplemented-check

Remove not implemented zone check API from spec

Merge pull request #8766 from zeha/chrish

Update my name in old changelogs

Merge pull request #8793 from rgacogne/auth-reserve-caches

auth: Prepare the caches' buckets in advance

docs security-policy: fix typo in my email address

YaHTTP: Send correct Host header for IPv6 address

YaHTTP: Parse addresses with IPv6 literals

A URL like http://[::1]:81 are parsed correctly now.

Merge pull request #8760 from rgacogne/ddist-doh-exact-match

dnsdist: Don't accept sub-paths of configured DoH URLs

Update pdns/dnsdistdist/docs/upgrade_guide.rst

Co-Authored-By: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #8355 from stephanbosch/netmask-tree

Rework NetmaskTree for better CPU and memory efficiency.

iputils.hh: NetmaskTree: Make the node_type key value const.

This prevents changing the key used by the tree, which would otherwise provide
an opportunity to corrupt the tree.

iputils.hh: NetmaskTree: Make the iterator reference a normal reference rather than a pointer.

This is possible now that the iterator type is no longer dictated by the
internal std::set. This changes the NetmaskTree::iterator API, but it makes it
more standard, less cumbersome, and less confusing.

iputils.hh: NetmaskTree: Make TreeNode::node a normal field rather than a pointer.

It no longer needs to be allocated separately.

iputils.hh: NetmaskTree: Drop the internal std::set.

It is now superfluous.

Merge pull request #8777 from omoerbeek/rec-wip-qname-vs-ds

rec: QNAME minimization sometimes uses 1 label too many

dnsdist: Document that we no longer start as root by default

dnsdist: Document that DoH paths are now exact matches.

Typos

builder: also touch /var/lib/rpm/* before build-specs

Merge pull request #8778 from Habbie/recursor-rpz-refresh

rec RPZ dumpFile/seedFile: store/get SOA refresh on dump/load

Warn at refresh=0

Merge pull request #8807 from Habbie/docker-ovl-rpm

builder: touch /var/lib/rpm/* in every docker layer that uses rpmdb

builder: touch /var/lib/rpm/* in every docker layer that uses rpmdb

references:
https://github.com/pombredanne/dnf-plugin-ovl
https://bugzilla.redhat.com/show_bug.cgi?id=1213602

Merge pull request #8804 from rgacogne/ddist-install-config-file

dnsdist: Fix configuration file installation / chmod

iputils.hh: NetmaskTree: Add iterator class and use it for begin() and end() methods.

iputils.hh: NetmaskTree: Keep track of the left-most node in the tree.

Needed to provide a begin() iterator in constant time.

iputils.hh: NetmaskTree: Copy the tree using tree traversal.

Before, it used the internal std::set.

iputils.hh: NetmaskTree::TreeNode: Implement tree traversal methods.

iputils.hh: NetmaskTree: Make tree cleanup mandatory.

Potentially leaving branches full of unassigned nodes unnecessarily complicates
tree algorithms. Disabling tree cleanup was not used anywhere, except for a unit
test. Note that, after this change, individual branch nodes can still be
unassigned, but not the whole branch. So, when e.g. the left sub-branch of a
node exists, algorithms can rely on the fact that there is at least one assigned
node in there.

iputils.hh: NetmaskTree: Always normalize key netmasks.

This makes address bits below the network mask all zero, which is consistent
with the tree's behavior.

This change addresses one sensitivity to this behavioral change in the recursor
cache.

iputils.hh: NetmaskTree: Reduce the number of tree nodes.

Before, it created a tree node for every network bit in the netmask. Now, it
only creates a tree node when necessary (only for values and branches).

iputils.hh: NetmaskTree: Initialize TreeNode::node immediately.

Later commit relies on this.

iputils.hh: NetmaskTree: Use for loops instead of while loops.

Makes using `continue' easier in later commit.

iputils.hh: NetmaskTree: Restructure the tree with separate branches for for IPv4 and IPv6

This simplifies the code considerably.

iputils.hh: NetmaskTree: Rename field "root" to "d_root"

iputils.hh: NetmaskTree: Use ComboAddress::getBit() and Netmask::getBit()

iputils.hh: NetmaskTree: Make cleanup_tree() method private.

iputils.hh: Netmask: Prevent the construction of a 128-bit IPv4 netmask.

iputils.hh: Netmask: Add getBit()

iputils.hh: Netmask: Add getAddressBits()

iputils.hh: ComboAddress: Add getBit()

iputils.hh: ComboAddress: Add getBits()

iputils.hh: Netmask: Add getSuper()

test-iputils_hh.cc: Add tests for NetmaskTree copy, swap and iterator operations.

iputils.hh: Netmask: Add getNormalized()

test-iputils_hh.cc: Test 0.0.0.0 address at serveral network bit ranges.

test-iputils_hh.cc: Better verify the NetmaskTree container size during tests.

iputils.hh: Consistently use nullptr rather than NULL.

iputils.hh: Fix erroneous comments.

Reformat test-iputils_hh.cc.

Remove a few empty lines.

Reformat iputils.hh

Mainly removed whitespace at end of line and fixed several indenting mishaps.

Merge pull request #8803 from rgacogne/dnsname-centos-6

Fix "error: 'strlen' was not declared in this scope" on CentOS 6

dnsdist: Fix configuration file installation / chmod

Introduced in c98c0ef694de0c536e6d71af8c58a16f6635ea35

Fix "error: 'strlen' was not declared in this scope" on CentOS 6

Merge pull request #8800 from Habbie/dnsdist-docs-tables

dnsdist docs: refer to new tables. Fixes #8798

Merge pull request #8783 from rgacogne/cpu-steal-iowait

Add 'IO wait' and 'steal' metrics on Linux

Tweaks for minimum time

Introduce an explicit refreshFromConf arg to RPZIXFRTracker.

Always load and store the rpz refresh value from and to the zone.
That we we can easily decide which value to use: if an explicit
refreshFromConf value is set, use that one, otherwise use the one
in the rpz zone.

Document that IO wait and steal metrics are in units of USER_HZ.

Merge pull request #8801 from rgacogne/ddist-setwebapikey

dnsdist: Fix a typo 'apikey' -> 'apiKey' in setWebserverConfig() doc

dnsdist: Fix a typo 'apikey' -> 'apiKey' in setWebserverConfig() doc