rec: Test the most simple condition first

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 89461c55042e1f0f7d17a511ae3d6c7c39602954)

rec: Add a regression test for gettag_ffi, RPZ and DNS64 interaction

(cherry picked from commit 76b47869c7902da25036c76ec4cd98fe23a51827)

rec: Apply dns64 on RPZ hits generated after a gettag_ffi hit

We do special case the qname RPZ processing after a gettag_ffi hit,
leading to dns64 to not be applied in that case. This commit adds
dns64 handling to the special case.

(cherry picked from commit 92f829c42ef82b6d5d0804886519536137925f23)

Merge pull request #10314 from omoerbeek/backport-10286-to-rec-4.4.x

rec: Backport 10286 to rec 4.4.x: rpz dumper: stop generating double zz labels on networks that start with zeroes

Merge pull request #10313 from omoerbeek/backport-10291-to-rec-4.4.x

rec: backport 10291 to rec-4.4.x: Exception loading the RPZ seedfile is not fatal.

Exception loading the RPZ seedfile is not fatal.

Catch PDNSException and clear on failure.

(cherry picked from commit a47cc75dfa7519bcf7b31cee511852ae954a50f8)

the code is not glibc specific

(cherry picked from commit 245abe4da5829bcf39953cfe06c0ef6ab8f6ecd7)

comments from code review

(cherry picked from commit 34b0536b713515b4cc89d8a28ea27822ef0880dc)

auto, reinterpret_cast

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>
(cherry picked from commit de769ee3f68d9e940cd10610e7a68b03ce339bda)

add tests

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 0d70e98b423fed67efff4ea82db7eb7d6552a64c)

rpz dumper: stop generating double zz labels on networks that start with zeroes

(partial rewrite; adds tests)

(cherry picked from commit bbe6cfec2b5a0b65a7183c04a4d088f1fcc87ba7)

Merge pull request #10240 from omoerbeek/backport-10238-to-rec-4.4.x

rec: Backport 10238 to rec 4.4.x: More fail-safe handling of NOD files

Merge pull request #10227 from omoerbeek/backport-10111-to-rec-4.4.x

rec: Backport 10111 to rec 4.4.x: Handle policy (if needed) after postresolve

Fix make_unique to be c++11 compatibe, use explicit unique_ptr ct

Safe tmp file handling, basic sanity check on size of data.

(cherry picked from commit 852d4e70c09dd9b41d9aa2a988a666b0cb749d97)

Move the opening of the file to write a bit down

(cherry picked from commit 5ef38b0c7b61e819773765d87b0fe6061cd0be7a)

namespace filesystem = boost::filesystem

(cherry picked from commit dec872ee807caa32eab6f75e36db4feb16f2f6ea)

Zap tmp files; use random suffix and fix leak by using smart pointer.

(cherry picked from commit e672ad6db7e9d0a98569656a4c0701121715b842)

More fail-safe handling of NOD files

(cherry picked from commit 7b4cc738ffaaec7173f39fc140799f2200d93e61)

Merge pull request #10226 from omoerbeek/backport-10064-to-rec-4.4.x

rec: Backport 10064 to 4.4.x: Return current rcode instead of 0 if there are no CNAME records to follow

Merge pull request #10225 from omoerbeek/backport-10042-to-rec-4.4.x

Backport 10042 to rec 4.4.x: dockerfiles: Ensure version number is correct for releases

Merge pull request #10224 from omoerbeek/backport-9883-to-rec-4.4.x

rec: Backport 9883 to rec 4.4.x: Lookup DS entries before CNAME entries

Merge pull request #10222 from omoerbeek/backport-9860-to-rec-4.4.x

rec: backport 9860 to 4.4.x: Get rid of warnings when compiling with Boost 1.74

Review comments: clean d_from if needed and a merge oversight.

Reformat

Merge pull request #10221 from omoerbeek/backport-9856-to-rec-4.4.x

rec: Backport 9856 to rec 4.4.x: Use a short-lived NSEC3 hashes cache for denial validation

Merge pull request #10220 from omoerbeek/backport-9827-to-rec-4.4.x

rec: backport 9827 to rec 4.4.x: stop using travis

Partial backport of #10111: Handle policy (if needed) after postresolve

I did not take the Lua changes, as there is a (slight) chance they are disruptive.

Return current rcode instead of 0 if there are no CNAME records to follow.

Note that this is a change in behaviour. While it is for the good, it might
be existing code depends on the old 0 value...

(cherry picked from commit 558d47eba7d2edd3fb5991af428d9d432fec1dfa)

docker: use unbuffered output in init

(cherry picked from commit aa665201200100c9f97969c8a9907d775d55adbe)

dockerfiles: Ensure version number is correct for releases

(cherry picked from commit a508963dc3a36883b24db67e285c9e0481b84fb0)

rec: Remove unneeded 'static'

(cherry picked from commit 3eff7a0d105c6fa6342a82a217e1f96217824dbf)

Resolve merge issues

rec: Store the zone and remote server IP in the records cache

(cherry picked from commit 928c0f926859012945a223d28ffd3ce3f3ba2ac1)

rec: Add a unit test for the 'DS entry expired but CNAME is here' issue

(cherry picked from commit b26212090b16c0a4e7f583e10586e5e85e2b66ae)

rec: Lookup DS entries before CNAME entries

When we are looking for a DS, we want to do the non-CNAME cache check first
because we can actually have a DS (from the parent zone) AND a CNAME (from
the child zone), and what we really want is the DS.

(cherry picked from commit 38263b88f2b3fa979cb1067ce602f48a1a4678bb)

rec: Get rid of warnings when compiling with Boost 1.74

(cherry picked from commit b2dd79dc04e2939fb84e3a4ee3df9a191bebe529)

rec: Fix the NSEC3 hashes cache on older systems

By explicitely constructing the tuple.

(cherry picked from commit a398d2ca66cffdbc7b3e96366fa5978e8f7cf32e)

rec: Copy the salt into the cache instead of taking a reference

At the moment the salt does live longer than the cache, but that
might hold true forever.

(cherry picked from commit 8ca539e75a1b0cc8f43f7e2234357c857f9876bf)

rec: Use a short-lived NSEC3 hashes cache for denial validation

It turns out that computing those SHA1 hashes is far from cheap,
and in almost all cases the salt and iterations are identical
so no need to compute them several times.

(cherry picked from commit dabcae2a1b2223a5c77f9fed28525204b3d303a5)

stop using travis

(cherry picked from commit cd8a563cb06dd7a0625db130c6eeb9a58ab8371c)

Merge pull request #10199 from omoerbeek/backport-9812-to-rec-4.4.x

rec: Backport 9812 to 4.4.x: Handle failure to start the web server more gracefully

Merge pull request #10198 from omoerbeek/backport-9749-to-rec-4.4.x

rec: backport 9749 to 4.4.x: Fix the DNSName move assignement operator

Merge pull request #10197 from omoerbeek/backport-9970-to-rec-4.4.x

rec: Backport 9970 to 4.4.x: test that we correctly cap the answer's TTL in expanded wildcard cases

rec: Handle failure to start the web server more gracefully

At this point we already have several threads so calling exit()
will cause problem by trying to destruct objects that are in use
by other threads, so call _exit() instead.
Also mention the web server in the error message so that the root
cause is easier to identify.

(cherry picked from commit ce715f38fcedf752220cd5056e1a3945330041fd)

Fix the DNSName move assignement operator

A misplaced 'const' prevented it from being called, making every
move of a DNSName into a full copy.
Introduced in d720eb8add5ebda11867e8b404125e0b68ed2911.

(cherry picked from commit 8d1bb300460d5cc97b4599ea8eddeb7b6d35decf)

rec: Test that we correctly cap the answer's TTL in expanded wildcard cases

(cherry picked from commit 84b05fc29e3cab7cd41d0a2309b1f969b7b6d0b7)

rec: Account for the NSEC(3) denial TTL in expanded wildcard answers

(cherry picked from commit 222ce6bfee7718df70dcaa3e22bb42a3ddf66ad1)

Merge pull request #10194 from omoerbeek/backport-9793-to-rec-4.4.x

rec: Backport 9793 to 4.4.x: Fix the gathering of denial proof for wildcard-expanded answers

Merge pull request #10192 from omoerbeek/rec-backport-10185-to-4.4.x

rec: Backport 10185 to 4.4.x: make sure we take the right minimum for the PC TTL data in the SERVFAIL case.

rec: Fix the gathering of denial proof for wildcard-expanded answers

If somehow the RRSIG indicating that the answer is expanded from a
wildcard (label count smaller than the number of labels in the name)
went _after_ the NSEC we need, we forgot to gather that NSEC.
It might have been an issue for downstream validation (we do gather
them a second time later for our own validation) since the client
would not have received them.

(cherry picked from commit 0626e855ad5f944f8b357d729dc42e001f57820a)

Backport #10185: make sure we take the right minimum for the PC TTL data in the SERVFAIL case.

Merge pull request #10062 from Habbie/rec-4.4.x-el8-fstrm

rec-4.4.x el8: pull in libfstrm

rec-4.4.x el8: pull in libfstrm

Merge pull request #9830 from omoerbeek/rec-4-4.x-drop-el6

Rec: Backport 8617 to 4.4.x: drop el6 build

Merge pull request #9852 from pieterlexis/rec-4.4-docker

Port the dockerfiles from master to rec-4.4

Port the dockerfiles from master to rec-4.4

Merge pull request #9837 from omoerbeek/backport-9832-to-rec-4.4.x

rec: Backport 9832 to rec 4.4.x: UUID: Use the non-cryptographic variant of the boost::uuid

Merge pull request #9838 from omoerbeek/backport-9817-to-rec-4.4.x

rec: Backport 9817 to rec 4.4.x: Keep a cached, valid entry over a fresher Bogus one

LWResult::Result does not exist in 4.4.x

rec: Fix a comment, as suggested by Otto

(cherry picked from commit 911d4fa6ff8dd2afd86f10e53cf025ed7b1dd250)

rec: Fix unit test formatting

(cherry picked from commit 5cf5062e9bb8c320eba1d4e51f5b0ba9afad0270)

rec: Keep a cached, valid entry over a fresher Bogus one

It turns out to be quite difficult to make us accept a record that
we already have in cache, thanks to sanitization, but let's make
sure that we will not replace a valid entry with a Bogus one if that
happens.
It might happen for SOA records, and for DS records when the TTL of
the corresponding NS records is shorter than the TTL of the DS.

(cherry picked from commit feca7c190f690e0caa424a2810a4d43b55501dfb)

Add a speedtest for uuid generation

(cherry picked from commit eee6c2d5ab5c322f3e7501e531a0325b586beb3b)

UUID: Use the non-cryptographic variant of the boost::uuid

Since Boost 1.67.0 the default UUID generator is cryptographically
strong, which is neat but quite slower. Since we don't need that,
just use the fastest version.

(cherry picked from commit 0acc8b31804a2ed3bb7309d5fb22576411fcd244)

Merge pull request #9833 from Habbie/backport-9831-to-rec-4.4.x

rec-4.4.x: el8: PowerTools is now powertools

el8: PowerTools is now powertools

(cherry picked from commit 26fe12046566da83844f1163134ba722a603e911)

pkgs: drop EL6

rec: drop EL6 pkg support

Merge pull request #9799 from Habbie/backport-9574-to-rec-4.4.x

rec-4.4.x: Ensure socket-dir matches runtimedir on old systemd

Merge pull request #9825 from omoerbeek/backport-9807-to-rec-4.4.x

rec: Backport 9807 to rec 4.4.x: Untangle the validation/resolving qnames and qtypes

rec: Untangle the validation/resolving qnames and qtypes

(cherry picked from commit 6d1218188747bdeb9f8fddc52a0499a8d9490ff4)

Merge pull request #9821 from rgacogne/rec44-more-bogus-states

rec-4.4.x: Move to several distinct Bogus states, for easier debugging

rec: Preserve compatibility with Lua scripts using the 'Bogus' state

Merge pull request #9805 from omoerbeek/backport-9790-to-rec-4.4.x

rec: backport 9790 to rec-4.4.x: Do not chase CNAME during qname minization step 4

rec: Export a 'Bogus' metric as the sum of all other Bogus metrics

rec: Add more Bogus states to better match rfc8914 extended codes

(cherry picked from commit fecac3ba8edd4f14d88bab29a215ef246e5af764)

rec: Move to several distinct Bogus states, for easier debugging

This is especially useful after the fact, when the Bogus state is
retrieved from a cache and we don't have any clue left as to how
we ended up with that state.

(cherry picked from commit fd8709153d9318904ef2b1063bff10244d9724fd)

rec: Do not chase CNAME during qname minization step 4

(cherry picked from commit 7373cea835239f1b18a72000821bb17b516d954b)

Ensure socket-dir matches runtimedir on old systemd

This is mostly a hack for systemd version <240 so using virtual hosting
on Ubuntu Bionic and EL7 does not lead to surprises.

This Commit explicitly adds the `--socket-dir` to the invocation of the
unit. Any users who want to use their own runtimedirs should use a
drop-in unit overriding ExecStart. I believe this does not validate the
principle of least surprise for those using the PowerDNS provided
packages and virtual hosting.

Fixes #9485

(cherry picked from commit 7bbaae110abb53f43d0bf60c81efe3bb8630a925)

Merge pull request #9774 from Habbie/backport-9766-to-rec-4.4.x

rec-4.4.x: APL records: fix endianness problem.

APL records: fix endianness problem. Closes #9763

(cherry picked from commit a0d9f00d8d76bb07847abb2f837f7c629fb238b2)

Merge pull request #9719 from omoerbeek/backport-9707-to-rec-4.4.x

rec: Backport to 4.4.x: Do not add request to a wait chain that's already processed or being processed.

Merge pull request #9687 from omoerbeek/backport-9651-to-rec-4.4.x

rec: Backport 9651 to rec 4.4.x: Allow to specify a name in getMetric() that is used for Prometheus export only.

Do not add request to a wait chain that's already processed or being processed.

The following scenario can occur. Multiple concurrent clients doing the same query A
are needed to trigger it:

1. Incoming request A, which has a need for request X
2. Add request X to chain because we already have an identical outstanding request
3. We receive the reply for X
4. We process the chain
5. In the meantime a new request for X that's identical is added to the chain
6. The added id in step 5 is not being processed anymore -> timeout

This can happen if request X has TTL 0, otherwise the record cache would have a hit.

(cherry picked from commit c647a254a0f863aabeaea9d33f673afa26c60457)

Merge pull request #9710 from rgacogne/rec44-fakeaaa-cname-loop

rec-4.4.x: Avoid a CNAME loop detection issue with DNS64

Merge pull request #9705 from Habbie/rec-4.4-nod-oversize

rec-4.4: do not send overly long NOD lookups

rec: Add a regression test for the DNS64 CNAME loop detection issue

(cherry picked from commit c222611257ba7230b7d5f5cea76bf79067079ce2)

rec: Avoid a CNAME loop detection issue with DNS64

When the requested qname is a CNAME to a second CNAME, the CNAME
loop detection might get incorrectly triggered because the CNAMEs
were already present in the vector of result records.

(cherry picked from commit acc9751140f91020c2917831b70c7d51f744e91e)

rec-4.4: do not send overly long NOD lookups

Merge pull request #9683 from omoerbeek/backport-9680-to-rec-4.4.x

rec: Backport 9680 to rec 4.4.x: If a.b.c CNAME x.a.b.c is encoutered, switch off QM

Only prepend the pdns_recursor_ prefix if no 2nd arg to getMteric was
given.

This also fixes the lookup of the HELP entries since they require the
original key. So getAllStats() now returns the key, the prometheus name
and the value.

(cherry picked from commit 308cd14cac73ba48aca3d3953e12d1cc04a96bbb)

Allow to specify a name that is used for Prometheus export only.

This can be used to specify names that are structured using Prometheus
conventions. If no name Prometheus name is given, do a more thorough
conversion to a name Prometheus likes by replacng any non-alnum
char by an underscore.

(cherry picked from commit 57c5fefb0f2d97e072f8a9e34a30729e6c24b52b)

Merge pull request #9682 from omoerbeek/backport-9679-to-rec-4.4.x

rec: Backport 9679 to rec 4.4.x: Fix the processing of answers generated from gettag

Use the same words for for both cases

(cherry picked from commit 90ef54c85523e845107fecda53b365e50ae69569)

If a.b.c CNAME x.a.b.c is encoutered, switch off
QM, it will lead to great recursion depth without result.

(cherry picked from commit 157d17730c4fa6b25c1e0f5e720b7e73ac7723aa)

rec: Add a regression test for answers generated from gettag

(cherry picked from commit 9fbfe39b195982fbce4123014a943a6f02bbe58d)

rec: Fix the processing of answers generated from gettag

The logic to let a RPZ match override the answers generated from Lua
was broken, ignoring the generated values.

(cherry picked from commit 995884ff35d9591857edd6aef0df07e892c19485)

Merge pull request #9605 from omoerbeek/rec-backport-to-4.4.x-sec-2020-07

rec: Backport of CVE-2020-25829 (any-cache-update) to 4.4.x

rec: Add a unit test for the ANY "just-in-time" cached records case