rec: Add a regression test for the RPZ updates with several deltas

(cherry picked from commit ba5f46ae28b9502294424aaa90ff9dad729de757)

rec: Fix RPZ removals when an update has several deltas

(cherry picked from commit b72e5c8578561a8c0a306a861011f5e409a4797b)

Merge pull request #9145 from rgacogne/rec43-travis-unbreak-trusty

rec-4.3.x: travis: install pdns package from direct download

travis: install pdns package from direct download

(cherry picked from commit b5b83152b5a56b8095ab0d713a31c3ab5d1ec25b)

Merge pull request #9140 from rgacogne/rec43-formatting

rec-4.3.X: Fix formatting

Merge pull request #9130 from jsoref/rel-rec-4.3.x-suppress-spell-check

Suppress PR based spell check for the rec-4.3.x branch

fix formatting

(cherry picked from commit b963ef8b7568c55493f942d660d9a61103bfc04e)

Merge pull request #9128 from rgacogne/rec43-fix-gethostname-no-hostnamemax

rec-4.3.x: Fix compilation on systems that do not define HOST_NAME_MAX

Suppress PR based spell check

Fix compilation on systems that do not define HOST_NAME_MAX

On FreeBSD at least, HOST_NAME_MAX is not defined and we need to
use sysconf() to get the value at runtime instead.
Based on a work done by @RvdE to make the recursor compile on
FreeBSD (many thanks!).

(cherry picked from commit 4c990a1b82e091d887d873c7da5254de84aabebb)

Merge pull request #9122 from rgacogne/rec43-gcc10

rec-4.3.x: Fix build with gcc-10

Fix build with gcc-10

From an e-mail from Jeff Law <law@redhat.com>:

Subject: Minor problem in pdns, dnsdist and pdns-recursor packages in Fedora

[ All three packages have embedded copies of the same problematic code
and the same patch fixes all three. ]

Red Hat's compiler team continues to try and be proactive in identifying
issues that will arise as a result of the introduction of a new GCC
release into Fedora each spring.

You're being contacted because a package you maintain in Fedora is going
to fail to build with gcc-10 in the spring.  Yes, I know that's a few
months away, but it's far easier to fix this stuff proactively now than
wait.

Fixing it now also means that your package will continue to be built
with testing versions of gcc-10 as we proceed through the development
process thus allowing additional issues to be caught early.

Your particular package will fail due to an uninstantiated template for
AsyncLoader<Request>.  These kinds of problems are relatively common due to
changes in the tuning of the inliner for gcc-10:

> BUILDSTDERR: /usr/bin/ld: webserver.o: in function `WebServer::serveConnection(std::shared_ptr<Socket>) const':
> BUILDSTDERR: /builddir/build/BUILD/pdns-4.2.1/pdns/webserver.cc:373: undefined reference to `YaHTTP::AsyncLoader<YaHTTP::Request>::feed(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)'
> BUILDSTDERR: collect2: error: ld returned 1 exit status
> BUILDSTDERR: make[3]: *** [Makefile:2751: ixfrdist] Error 1
>

The attached patch arranges for an instance to be instantiated when
compiling reqresp.cpp and is sufficient to fix this problem.  The
choice of reqresp.cpp fairly arbitrary IIRC.

Ideally you'll with upstream to get this fixed, but a Fedora patch is
clearly OK as well.   I'll install the attached fix into Fedora in a
week or so if I haven't heard from you.

Jeff

(cherry picked from commit ffb885e937c27bb1c62dee8f18c58ae0d5d52d39)

Merge pull request #9115 from pieterlexis/rec-4.3.x-may-2020

Recursor 4.3.x fixes May 2020

Don't read potentially uninitalized memory if gethostname() failed

If the buffer is smaller than `HOST_NAME_MAX` (64 on Linux but up to
255 bytes in POSIX, which FreeBSD, MacOS etc honor) gethostname()
might return -1 without null-terminating the buffer, causing an
out-of-bounds read.
As we look for the first '.' using `strchr()`, replacing it with a
null byte, we also have a one-byte out-of-bounds write which might
result in a crash or, albeit very unlikely, arbitrary code execution.

(cherry picked from commit aac6348d56f6f3fdba9dd2455ef06081da507c14)

rec: Fix DNSSEC validation of completely empty NXDomain answers

If the answer has no SOA and no NSEC inside a DNSSEC-secure zone,
we should go Bogus.

(cherry picked from commit 1c0ee0d118a886857629aa733c23311057f315f9)

rec: Add a regression test for duplicate entries in a RPZ XFR update

rec: Don't crash on a duplicate RPZ entry received over XFR

rec: Limit the number of queries sent out to get NS addresses per query

Merge pull request #9082 from omoerbeek/backport-8972-to-rec-4.3.x

rec: backport to rec 4.3.x: builder: add ubuntu focal target

builder: add ubuntu focal target

(cherry picked from commit b4f4b1ab4ba666fe16f0201b38778fe66dc8e7ae)

Merge pull request #9048 from omoerbeek/backport-8778-to-rec-4.3.x

rec: Backport 8778 to rec 4.3.x: RPZ dumpFile/seedFile: store/get SOA refresh on dump/load

Warn at refresh=0

(cherry picked from commit 1778d156949380dff86304aa5dbbfb5e10351302)

Tweaks for minimum time

(cherry picked from commit 87e7a7268ff1c2117f51fbc208ea213584d59536)

Introduce an explicit refreshFromConf arg to RPZIXFRTracker.

Always load and store the rpz refresh value from and to the zone.
That we we can easily decide which value to use: if an explicit
refreshFromConf value is set, use that one, otherwise use the one
in the rpz zone.

(cherry picked from commit d70a762725cd7011b15286eb580ad93c932b7641)

rec RPZ dumpFile/seedFile: store/get SOA refresh on dump/load

(cherry picked from commit 982817f34d0826bc80adefe488ba8d0383b0e6cf)

Merge pull request #8963 from omoerbeek/backport-8876-to-rec-4.3.x

rec: backport 8876 to rec-4.3.x: Update boost.m4

Update boost.m4

Closes #8875

(cherry picked from commit 2bcb6ea0ddc99548d3d7d6d317c5d64d55aac6cc)

Merge pull request #8870 from omoerbeek/backport-8864-to-rec-4.3.x

rec: backport 8864 to rec 4.3.x: Only log qname parsing errors when 'log-common-errors' is set

rec: Only log qname parsing errors when 'log-common-errors' is set

(cherry picked from commit 4b4566e8d28ff3b18152213e8c8666aa643f8eb9)

Merge pull request #8863 from omoerbeek/backport-8857-to-rec-4.3.x

rec: backport 8857 to rec 4.3.x: update copyright year

Merge pull request #8865 from omoerbeek/backport-8833-to-rec-4.3.x

rec: backport 8833 to rec 4.3.x: Allow all connections to the PG server in Circle CI

Allow all connections to the PG server in Circle CI

(cherry picked from commit fed8314d910dbd61f3f3abfbf51f8a316b93001c)

It's 2020

(cherry picked from commit 9fce9d6c21253da0fbeed5163d148be4a0bad1f6)

Merge pull request #8831 from omoerbeek/backport-8826-to-rec-4.3.x

rec: Backport 8826 to rec 4.3.x: Refuse NSEC records with a bitmap length > 32

Merge pull request #8827 from omoerbeek/backport-8823-to-rec-4.3.x

rec: Backport 8823 to rec 4.3.x: do continue rpz processing if the current policy is passthru

Refuse NSEC records with a bitmap length > 32

(cherry picked from commit 3d51568b456205c9bd60ceeedb4b43af4a33f019)

Init zone's d_priority field.

Adapt to somewhat older NetmaskTree

Rebased to handle NetmaskTree changes

(cherry picked from commit 9bb0af0351594875cc3a8648e0f523cc666989be)

Fix compilation issue on older compilers

(cherry picked from commit 63464fee3f912b6b6c2d3df10321e17f1781cf6a)

Formatting

(cherry picked from commit 08352cb51e382d27f8204e631d04ad7bfc011f2f)

Avoid copying policies around by passing a Policy& that gets modified
if a match is found.

(cherry picked from commit 2996400c6411b2cbd0b0d8f5d811f7daecad5282)

rec: Lookup RPZ Client IP rules before qname ones

(cherry picked from commit a7e329b836f7ccf4e8cd0c99b5e8aa01865a79f1)

rec: Add more RPZ regression tests

(cherry picked from commit f89ae456f6a975c54d94fd701b16a2fbd1284e82)

Test clientIP before name, fix one more cutoff condition.

(cherry picked from commit a4fc3b3720c8bb6fe872b737cab31ae38e4d1191)

rec: Add unit tests for the RPZ policy priorities and ordering

(cherry picked from commit d2205b89a70d262fac29d0bafacfd6b46675dc34)

Set the d_priority field in the policy objects of a zone.

Comments from racacogne:
Better name for currentPriority, more elegant loops with right cutoff.

(cherry picked from commit 79f64c2b48b641b12f21a6f47b1b7b5ec0f6c7ee)

rec: Add regression tests for the ordering of RPZ policies

(cherry picked from commit fa97374995007c984b756e2e8afb2ac63053107c)

Continue evaluation of RPZ rules after passthru, taking
into account RPZ priorities.

(cherry picked from commit e37e5795852dc954d50a91ecaca2c47b04f16c24)

Merge pull request #8751 from omoerbeek/backport-8740-to-rec-4.3.x

rec: backport 8740 to rec 4.3.x: Update boost.m4

Update boost.m4

This detects boost::context on boost version 1.61 through 1.65 correctly

(cherry picked from commit c54133a4abccd7228b6898af5cb7b684c6225e97)

Merge pull request #8738 from omoerbeek/backport-8729-to-rec-4.3.x

rec: backport 8729 to rec 4.3.x: Explicitly enable dnstap for debian-stretch and buster

Merge pull request #8731 from omoerbeek/backport-8723-to-rec-4.3.x

rec: Backport 8723 to rec 4.3.x: add unit tests for the NSEC3 Opt-Out case

Merge pull request #8730 from omoerbeek/backport-8718-to-rec-4.3.x

rec: backport 8718 to rec 4.3.x: Make ComboAddress::setPort() update the current object

Merge pull request #8728 from omoerbeek/backport-8719-to-rec-4.3.x

rec: Backport 8719 to rec 4.3.x: EPEL 8 now has libfstrm-devel

Merge pull request #8727 from omoerbeek/backport-8705-to-rec-4.3.x

rec: Backport 8705 to rec 4.3.x: Fix the evaluation order for filtering policies (RPZ)

Merge pull request #8726 from omoerbeek/backport-8688-to-rec-4.3.x

rec: Backport 8688 to rec 4.3.x: Give an explcit messsage if something is wrong with socket-dir.

- Explcitly enable dnstap for debian-stretch and buster
- Fix inconsistent ref to stretch vs buster in ubuntu-bionic

(cherry picked from commit 51ad9bdf22e58e95e892b46ebc72904d00592560)

rec: Bow to formatting gods

(cherry picked from commit 68ffd18c09061cca424cf2bd5ab4305b8271cfd8)

Fix braces formatting in pdns/recursordist/test-syncres_cc.cc

Co-Authored-By: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 6850fa5d095bf2bb4251a6bbf9f763a2116f5c6a)

rec: Add unit tests for the NSEC3 Opt-Out case

An Opt-Out NSEC3 only proves that there is no delegation, so we
should not consider a DS NODATA or a NXDOMAIN proved by that RR
secure but insecure.
This was fixed in 18c8faae6c67f734583c5c881d0d083d3253b49e and this
commit adds a few unit tests to cover the fix.

(cherry picked from commit c179741988b9273b12c15a6b318ff0a43fe50081)

Make ComboAddress::setPort() update the current object

Instead of creating a new one.

(cherry picked from commit 79816288afe7169c1f1bb28463f22512ca11c3b9)

Explicit--enable-dnstap, as suggested by lieter.

(cherry picked from commit d9707e17d453042049d8a6cc920d9cc7fe09bf55)

EPEL 8 now has libfstrm-devel

(cherry picked from commit 7799259f199121b2b3feba24f90ef1c5381de51d)

Better function name as suggested by rgacogne.

(cherry picked from commit c6042a88ccf588e718daf1ddd35622d85b7f3dde)

Give an explcit messsage if something is wrong with socket-dir.

(cherry picked from commit 0127f6bdccd1a694c5441e914eaa5550ec6d6e0b)

rec: Apply Otto's suggestion to distinguish which exact policy matched

(cherry picked from commit f1ff3d4f19301340d64f6722d822d15bddda4fb4)

rec: Remove now useless references to '-2' for RPZ hits

(cherry picked from commit 0a9fc756d4d3559ca999756cc6b451693b0467c8)

rec: Add regression tests for RPZ ordering precedence rules

(cherry picked from commit 1d2777e993b3f958b182d90a024826217f28a5a5)

rec: Export the filtering policy type to Lua

(cherry picked from commit ed25b2151711bd20cf4a512b8102eef74665a65c)

rec: Only the first filtering policy should match

Subsequent ones should not be applied.
Also make sure that NSDNAME and NSIP triggers really stop the
processing of the query, instead of just causing the current NS to
be skipped.

(cherry picked from commit 124dd1d4124c52c56a93d6e765f091c88f7bc88a)

rec: Fix the evaluation order for filtering policies (RPZ)

Since 272e9a0034e8c5ea29d1ab7d24630424f178e926 we scanned all policies
for an exact match before looking for wildcard matches. It brokes
the promise that filtering policies are evaluated in the order they
are defined.

(cherry picked from commit 06cfa23ffbc7ae170eee31f8130d74f0b07ec9d9)

Merge pull request #8704 from omoerbeek/backport-8702-to-rec-4.3.x

rec: Backport 8702 to 4.3.x: Add the source and destination ports to the protobuf msg

Handle source and destination ports in the sample protobuf logger

(cherry picked from commit f39c1ce956d4bf3fa73d08d996b638e3a8221859)

rec: Add the source port to protobuf messages for incoming queries

(cherry picked from commit 5d2e9a839cd59911530bf124badfa239304af5b6)

dnsdist: Add the source and destination ports to the protobuf msg

(cherry picked from commit 36de33306ac5bfa4f55e26975f35fb35a90914da)

Merge pull request #8673 from omoerbeek/backport-8639-to-rec-4.3.x

rec: backport 8639 to 4.3.x: debian postinst / do not fail on user creation if it already exists

Merge pull request #8685 from omoerbeek/backport-8684-to-rec-4.3.x

rec: backport 8684 to 4.3.x: parsing `dont-throttle-names` and `dont-throttle-netmasks` as comma separated lists

Merge pull request #8692 from omoerbeek/backport-8665-to-rec-4.3.x

rec: backport 8665 to 4.3.x: An Opt-Out NSEC3 RR only proves that there is no secure delegation

Merge pull request #8695 from omoerbeek/backport-8694-to-rec-4.3.x

rec: backport 8694 to 4.3.x: Fix ./syncres.hh:228:20: warning: initialized lambda captures are a C++14 extension

Fix ./syncres.hh:228:20: warning: initialized lambda captures are a C++14 extension

(cherry picked from commit 7b07a07cce7b9476ef602b9e9b35d30a239bdc96)

rec: An Opt-Out NSEC3 RR only proves that there is no secure delegation

(cherry picked from commit 18c8faae6c67f734583c5c881d0d083d3253b49e)

Merge pull request #8670 from omoerbeek/backport-8648-to-rec-4.3.x

rec: backport 8648 to rec 4.3.x: fix wrong zoneCuts caused by cache only lookup

parsing `dont-throttle-names` and `dont-throttle-netmasks` as comma separated lists

(cherry picked from commit 5285831402f3f3a209c16cb3bd743eea640cf894)

Merge pull request #8675 from omoerbeek/backport-8647-to-rec-4.3.x

rec: Backport 8647 to rec 4.3.x: increase default maxqperq

correct cast

Co-Authored-By: Remi Gacogne <rgacogne@users.noreply.github.com>
(cherry picked from commit 13c43bdd982b2a6df7096a167b0c32c3cc807a8d)

Slightly different approach as suggested by rgacogne: if
qname-minimization is active, force maxqperq to be >= 100.

(cherry picked from commit edea1bf7e1213f9643bd0ce29cb81d4413774d98)

Set default maxqperq to 60, and allow for extra if qname-minimization is on.

(cherry picked from commit 409b839837f174a1ca1e614dc7cd66f581e4c1be)

Bump max-qperq default to 100; this is enough for rev v6 queries with cold
cache with validations and qname minimization enabled.  Fixes #8646.

(cherry picked from commit 15d63d5a4a17aece479be953651643736a26d3d0)

rec: debian postinst / do not fail on user creation if it already exists

(cherry picked from commit fddad2718fb994d4fd016c03e1e05ef6c67aae14)

Introduce test for PR 8648.

While there, explicitly init qname-minimization in test-syncres to
false.  The current code gave the impression it was turned on by
default for unit tests.  We have a lot of test that count queries,
and that is highly depedent on qname minimization being on or off.

QName Minimization consults the cache first to see work needs to
be done. Via doCacheCheck() this can lead to a call to computeZoneCuts()
which might/does not work properly on only cached records, so always
make sure it can go out if needed. Should fix #8642.

(cherry picked from commit 0eb07f3a5c23cc94c95a2bed022367085f8dfcef)

Merge pull request #8539 from pieterlexis/4.3-docs

Auth 4.3.0 docs

auth 4.3.0-alpha1 secpoll

document local-ipv6 removal in 4.3

auth 4.3 changelog

git-to-changelog-merges: remove trailing spaces

EL pkgs: chown dirs to service user

Add auth 4.3.0 upgrade docs

Merge pull request #8571 from omoerbeek/rec-better-time-based

Rec: better time based data structures