Formatting

Avoid copying policies around by passing a Policy& that gets modified
if a match is found.

rec: Lookup RPZ Client IP rules before qname ones

rec: Add more RPZ regression tests

Test clientIP before name, fix one more cutoff condition.

rec: Add unit tests for the RPZ policy priorities and ordering

Set the d_priority field in the policy objects of a zone.

Comments from racacogne:
Better name for currentPriority, more elegant loops with right cutoff.

rec: Add regression tests for the ordering of RPZ policies

Continue evaluation of RPZ rules after passthru, taking
into account RPZ priorities.

dnsdist: Fix issues reported by Charles-Henri during code review

Replace include guard ifdef/define with pragma once

travis: enable ODBC thread locking

circleci: enable ODBC thread locking

Merge pull request #8614 from zeha/api-rm-unimplemented-check

Remove not implemented zone check API from spec

Merge pull request #8766 from zeha/chrish

Update my name in old changelogs

Merge pull request #8793 from rgacogne/auth-reserve-caches

auth: Prepare the caches' buckets in advance

docs security-policy: fix typo in my email address

YaHTTP: Send correct Host header for IPv6 address

YaHTTP: Parse addresses with IPv6 literals

A URL like http://[::1]:81 are parsed correctly now.

Merge pull request #8760 from rgacogne/ddist-doh-exact-match

dnsdist: Don't accept sub-paths of configured DoH URLs

Update pdns/dnsdistdist/docs/upgrade_guide.rst

Co-Authored-By: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Add a couple tests on Netmask comparison

Keep a masked network in the Netmask class

Compare netmasks on their masked version (highly inefficient version)

Merge pull request #8355 from stephanbosch/netmask-tree

Rework NetmaskTree for better CPU and memory efficiency.

iputils.hh: NetmaskTree: Make the node_type key value const.

This prevents changing the key used by the tree, which would otherwise provide
an opportunity to corrupt the tree.

iputils.hh: NetmaskTree: Make the iterator reference a normal reference rather than a pointer.

This is possible now that the iterator type is no longer dictated by the
internal std::set. This changes the NetmaskTree::iterator API, but it makes it
more standard, less cumbersome, and less confusing.

iputils.hh: NetmaskTree: Make TreeNode::node a normal field rather than a pointer.

It no longer needs to be allocated separately.

iputils.hh: NetmaskTree: Drop the internal std::set.

It is now superfluous.

Merge pull request #8777 from omoerbeek/rec-wip-qname-vs-ds

rec: QNAME minimization sometimes uses 1 label too many

dnsdist: Document that we no longer start as root by default

dnsdist: Document that DoH paths are now exact matches.

Typos

builder: also touch /var/lib/rpm/* before build-specs

Merge pull request #8778 from Habbie/recursor-rpz-refresh

rec RPZ dumpFile/seedFile: store/get SOA refresh on dump/load

Warn at refresh=0

dnsdist: Add LuaRule(), the non-FFI equivalent of LuaFFIRule()

dnsdist: Add Lua bindings and documentation for the Lua FFI policies

dnsdist: Speed up the consistent hashing policies with large weights

Using a sorted vector provides a much faster lookup time than a
std::set when the number of points on the circle (weight of the
backend) is huge.
A boost::flat_set is almost as fast as a sorted vector but the
insertion time is quite bad.

dnsdist: Clean up FFI types

dnsdist: Add direct Lua FFI interface for masking the remote addr

dnsdist: Skip the creation of temp objects in KVS lookups from Lua

dnsdist: Speed-up of the leastOutstanding policy

dnsdist: Add Lua Netmask bindings

dnsdist: Implement fast-{c,w}hashed FFI policies

dnsdist: Bench LB policies

dnsdist: Add Lua bindings for DNSName::hash()

dnsdist: Add unit tests for Lua LB policies as well

dnsdist: Add unit tests for the load-balancing policies

dnsdist: Implement FFI LB policies

dnsdist: Allow wrapping the FFI interface for the existing DNSQuestion object

dnsdist: Add more FFI regression test (DoH, EDNS options and tags)

dnsdist: Add documentation and a regression test for FFI functions

dnsdist: Implement LuaFFIRule, LuaFFIAction and LuaFFIResponseAction

Merge pull request #8807 from Habbie/docker-ovl-rpm

builder: touch /var/lib/rpm/* in every docker layer that uses rpmdb

builder: touch /var/lib/rpm/* in every docker layer that uses rpmdb

references:
https://github.com/pombredanne/dnf-plugin-ovl
https://bugzilla.redhat.com/show_bug.cgi?id=1213602

Merge pull request #8804 from rgacogne/ddist-install-config-file

dnsdist: Fix configuration file installation / chmod

iputils.hh: NetmaskTree: Add iterator class and use it for begin() and end() methods.

iputils.hh: NetmaskTree: Keep track of the left-most node in the tree.

Needed to provide a begin() iterator in constant time.

iputils.hh: NetmaskTree: Copy the tree using tree traversal.

Before, it used the internal std::set.

iputils.hh: NetmaskTree::TreeNode: Implement tree traversal methods.

iputils.hh: NetmaskTree: Make tree cleanup mandatory.

Potentially leaving branches full of unassigned nodes unnecessarily complicates
tree algorithms. Disabling tree cleanup was not used anywhere, except for a unit
test. Note that, after this change, individual branch nodes can still be
unassigned, but not the whole branch. So, when e.g. the left sub-branch of a
node exists, algorithms can rely on the fact that there is at least one assigned
node in there.

iputils.hh: NetmaskTree: Always normalize key netmasks.

This makes address bits below the network mask all zero, which is consistent
with the tree's behavior.

This change addresses one sensitivity to this behavioral change in the recursor
cache.

iputils.hh: NetmaskTree: Reduce the number of tree nodes.

Before, it created a tree node for every network bit in the netmask. Now, it
only creates a tree node when necessary (only for values and branches).

iputils.hh: NetmaskTree: Initialize TreeNode::node immediately.

Later commit relies on this.

iputils.hh: NetmaskTree: Use for loops instead of while loops.

Makes using `continue' easier in later commit.

iputils.hh: NetmaskTree: Restructure the tree with separate branches for for IPv4 and IPv6

This simplifies the code considerably.

iputils.hh: NetmaskTree: Rename field "root" to "d_root"

iputils.hh: NetmaskTree: Use ComboAddress::getBit() and Netmask::getBit()

iputils.hh: NetmaskTree: Make cleanup_tree() method private.

iputils.hh: Netmask: Prevent the construction of a 128-bit IPv4 netmask.

iputils.hh: Netmask: Add getBit()

iputils.hh: Netmask: Add getAddressBits()

iputils.hh: ComboAddress: Add getBit()

iputils.hh: ComboAddress: Add getBits()

iputils.hh: Netmask: Add getSuper()

test-iputils_hh.cc: Add tests for NetmaskTree copy, swap and iterator operations.

iputils.hh: Netmask: Add getNormalized()

test-iputils_hh.cc: Test 0.0.0.0 address at serveral network bit ranges.

test-iputils_hh.cc: Better verify the NetmaskTree container size during tests.

iputils.hh: Consistently use nullptr rather than NULL.

iputils.hh: Fix erroneous comments.

Reformat test-iputils_hh.cc.

Remove a few empty lines.

Reformat iputils.hh

Mainly removed whitespace at end of line and fixed several indenting mishaps.

Merge pull request #8803 from rgacogne/dnsname-centos-6

Fix "error: 'strlen' was not declared in this scope" on CentOS 6

dnsdist: Fix configuration file installation / chmod

Introduced in c98c0ef694de0c536e6d71af8c58a16f6635ea35

Fix "error: 'strlen' was not declared in this scope" on CentOS 6

Merge pull request #8800 from Habbie/dnsdist-docs-tables

dnsdist docs: refer to new tables. Fixes #8798

Merge pull request #8783 from rgacogne/cpu-steal-iowait

Add 'IO wait' and 'steal' metrics on Linux

Tweaks for minimum time

Introduce an explicit refreshFromConf arg to RPZIXFRTracker.

Always load and store the rpz refresh value from and to the zone.
That we we can easily decide which value to use: if an explicit
refreshFromConf value is set, use that one, otherwise use the one
in the rpz zone.

Document that IO wait and steal metrics are in units of USER_HZ.

Merge pull request #8801 from rgacogne/ddist-setwebapikey

dnsdist: Fix a typo 'apikey' -> 'apiKey' in setWebserverConfig() doc

dnsdist: Fix a typo 'apikey' -> 'apiKey' in setWebserverConfig() doc

dnsdist docs: refer to new tables. Fixes #8798

Merge pull request #8792 from rgacogne/dnsname-strlen

DNSName: Don't call strlen() when the length is already known

Merge pull request #8737 from Habbie/circleci-pager

avoid 'git show -s' from starting a pager in CircleCI

DNSName: Don't call strlen() when the length is already known

Merge pull request #8795 from omoerbeek/rec-lua-docs-policytag

rec: Remove duplicate *PolicyTags docs

Merge pull request #8171 from rgacogne/dnsdist-soa-in-negative

dnsdist: Add SetNegativeAndSOAAction() and its Lua binding