rec: Backport 12495 to rex-4.8.x: Change a few logging urgency levels

Backport of #12495

Merge pull request #12475 from omoerbeek/backport-12467-to-rec-4.8.x

rec: Backport 12467 to rec: 4.8.x: do not use "message" as key, it has a special meaning to systemd-journal

rec: Backport 12467 to rec: 4.8.x: do not use "message" as key, it has a special meaning to systemd-journal

Merge pull request #12459 from Habbie/backport-12453-to-rec-4.8.x

rec-4.8: lock.hh: include <stdexcept>

Merge pull request #12457 from omoerbeek/backport-12395-to-rec-4.8.x

rec: Backport 12395 to rec-4.8.x: When the stale function is triggered, wrong data can be returned from negcache and record cache

Merge pull request #12456 from omoerbeek/backport-12368-to-rec-4.8.x

rec: Backport 12368 to rec-4.8.x: Add the 'parse packet from auth' error message to structured logging

Merge pull request #12455 from omoerbeek/backport-12352-to-rec-4.8.x

rec: Backport 12352 to rec 4.8.x: Refresh of negcache stale entry might use wrong qtype

lock.hh: include <stdexcept>

(cherry picked from commit d8b4ea24dc5dbe7c53c24bfffba24bcae7f58e02)

rec: backport 12395 to rec-4.8.x: When the stale function is triggered, wrong data can be returned from negcache and record cache

Backport of #12395

rec: backport 12368 to rec-4.8.x: Add the 'parse packet from auth' error message to structured logging

Change the logic a bit, as negcache->get() can be called with qtype = QType:::ENT,
but we do not want to push a task with QType::ENT

Also change a few QType& to QType, it's a small int, no need to pass by reference.

(cherry picked from commit 2541e0f53c6abba298b4a86032bdbc7dfff3ee03)

change negcache stale resolveTask qtype

(cherry picked from commit cce57cb0c4a7112c02b82549149818faccaaa5f7)

Merge pull request #12418 from omoerbeek/rec-backport-12374-to-4.8.x

rec: Backport 12374 to rec-4.8.x: make cache cleaning more fair when under pressure

Merge pull request #12408 from omoerbeek/rec-backport-12407-to-4.8.x

rec: Backport 12407 to 4.8.x: do not chain ecs enabled queries

Merge pull request #12346 from omoerbeek/backport-12317-to-rec-4.8.x

rec: Backport 12317 to rec-4.8.x: Fix compilation on FreeBSD. reported by HellSpawn

Merge pull request #12345 from omoerbeek/backport-12333-to-rec-4.8.x

rec: Backport 12333 to rec-4.8.x: For setting socket buf size not decreasing is not an error

Merge pull request #12344 from omoerbeek/backport-12260-to-rec-4.8.x

rec: Backport 12260 to rec-4.8.x: Properly encode json string containing binary data

Merge pull request #12343 from omoerbeek/backport-12254-to-rec-4.8.x

rec: Backport 12254 to rec-4.8.x: Restrict permissions for GITHUB_TOKEN in our workflows

Merge pull request #12442 from omoerbeek/rec-48-backport-qm-ds-fallback

rec: Backport to 4.8.x: Do *not* use QName Minimization for DS retrievals in QM fallback mode.

Backport to 4.8.x: Do *not* use QName Minimization for DS retrievals in QM fallback mode.

Include <cmath>

close newfs on fopen fail

Co-authored-by: Remi Gacogne <github@coredump.fr>

rec: Backport 12374 to rec-4.8.x: make cache cleaning more fair when under pressure

Reformat

rec: Backport 12407 to rec-4.8.x: do not chain ecs enabled queries

Backport of #12407

For setting socket buf size not decreasing is not an error

(cherry picked from commit fe65dec04f3fadaca8f5319cf02f4b302463afe9)

Fix compilation on FreeBSD. reported by HellSpawn

(cherry picked from commit 398bb0f1e7122d6de0e6c5ec3383ba49a446d580)

Properly encode json string containing binary data

The existing code assumes the strings are alreayd valid UTF8 and contain potential out-of-bound accesses.

Also urlEncode path in log lines, as it trips pytest.xml:

Running tests...

$ 'pytest' '--junitxml=pytest.xml' '-v'
==STDOUT===

==STDERRR===
  File "/home/otto/pdns/regression-tests.api/runtests.py", line 304, in <module>
    print(serverproc.stderr.read())
  File "/usr/lib/python3.9/codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xeb in position 4304: invalid continuation byte

There might be more places where this is needed.

(cherry picked from commit 1478a2c8713535e4cbd1943e2526e3527d58a19b)

Restrict permissions for GITHUB_TOKEN in our workflows

Added using https://github.com/step-security/secure-workflows
For more information see:
- https://github.com/ossf/scorecard/blob/d8fefc9b246db3600c777e9d60d441d7c386ce1d/docs/checks.md#token-permissions
- https://github.blog/changelog/2021-04-20-github-actions-control-permissions-for-github_token/

(cherry picked from commit aff4e1eafa5bbc4e9ef6acee9d73b2154e0ab9b9)

Merge pull request #12293 from omoerbeek/backport-12289-to-rec-4.8.x

rec: Backport 12289 to rec 4.8.x: refactor unsuppored qtype code and make sure we ServFail on all unsupported qtypes

Elaborate on NSEC/NSEC3 diffference in comment

(cherry picked from commit 2cdafbdeae085e1443d13e4ddf578c86ce24c1e6)

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit bca5ab3a353ac1dcf1171176bee6c22bd4ed92b0)

rec: refactor unsuppored qtype code and make sure we ServFail on all unsupported qtypes

This fixes #12251

Also I'd like to know why we ServFail on NSEC3 but not on NSEC: we should either fix that or add a comment explaining this.

(cherry picked from commit e7cc83fd617c877f272b8344d5fb7252acfdc297)

Merge pull request #12221 from omoerbeek/backport-12219-to-rec-4.8.x

recL Backport to rec-4.8.x: Infra queries should not use refresh mode

Infra queries should not use refresh mode.

When I introduced serve state in #11776, I reintroduced the mistake previously fixed in #11376.
Fixes #12078

(cherry picked from commit 28a3eea55d15d33a65b2108c1598c15d00e0173c)

Merge pull request #12201 from omoerbeek/backport-12199-to-rec-4.8.x

rec: Backport 12199 to rec-4.8.x: Also consider recursive forward in the "forwarded DS should not end up in negCache code"

Merge pull request #12200 from omoerbeek/backport-12198-to-rec-4.8.x

rec: Backport 12198 to rec-4.8.x: Correct skip record condition in processRecords.

Also consider recursive forward in the "forwarded DS should not end up in negCache code."

With @rgacogne and @phonedph1
Fixes #12189

(cherry picked from commit af746aaf59a2e977bafabd5814635f59b01e5835)

Correct skip record condition in processRecords.

Noted the other day by @rgacogne

(cherry picked from commit d1321ff57909f8fb9d0bd7a20e3c4eb85a6b76e1)

Merge pull request #12197 from omoerbeek/backport-12175-to-rec-4.8.x

rec: Backport 12175 to rec 4.8.x: Get DS records with QM switched on

Merge pull request #12196 from omoerbeek/backport-12194-to-rec-4.8.x

rec: Backport 12194 to rec-4.8.x: Fix typo in structured logging key

Fix test (from rgacogne)

Do this by merging https://github.com/PowerDNS/pdns/commit/994d2e09f088f2908a887e2539f8abbd1e36d003.diff

For some unknown reason (maybe the same reason rgacogne was not able to create a PR for this?)
a cherry pick did not work, so do a "manual" diff and patch of Remi's work.

(cherry picked from commit 4b0a0031b46d7e045e98ef073811e374717751b4)

Avoid a race in wiping the cache and fix test_Bogus by explictly
filling the aggressive cache.

(cherry picked from commit 2ec80d483f48fb042397456ad0b032a671232f48)

Get DS records with QM switched on.

This avoid a.root-servers.net going Bogus, which can happen
if the .net NS are not cached and we miss the cut.

Fixes #12160 and avoids the need to prime the .net NS records explicitly.

(cherry picked from commit e2307ada1210fee6198e54db2dc91dac8fa68070)

Fix typo

(cherry picked from commit 68dbf30cebc92d29853314b1160257a9dbc5f4f1)

Merge pull request #12163 from omoerbeek/backport-12155-to-rec-4.8.x

rec: Backport 12155 to rec 4.8.x: Fix snmp OID numbers for rcode stats

Merge pull request #12162 from omoerbeek/backport-12122-to-rec-4.8.x

rec: Backport 12122 to rec 4.8.x: Implement output operator for QTypes

Merge pull request #12161 from omoerbeek/backport-12125-to-rec-4.8.x

rec: Backport 12125 to rec 4.8.x: handle ixfr connect and transfer timeouts

Typo

Co-authored-by: Charles-Henri Bruyand <charleshenri.bruyand+github@gmail.com>
(cherry picked from commit 38b69143124de1d2f7341148c6250e821c02e4be)

Clarify Prometheus names

(cherry picked from commit fe6797befcdb8b9287ac87dacc796282920e7001)

Fix snmp OID numbers for rcode stats

(cherry picked from commit bdc4ee0a00ad913a4e0d909f4bfc4e1a404ead68)

Pass an object as const ref

Co-authored-by: Charles-Henri Bruyand <charleshenri.bruyand+github@gmail.com>
(cherry picked from commit fa61cf82d85f5e26178853e9b0f4be14f55565db)

Implement output operator for QTypes.

This fixes #12089

The theory says there should be no unwanted side effects, but I'd like
that to be validated independently.

(cherry picked from commit da19e4feb842464659536076b47047b2910c73fb)

Better wording in comment

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit 240460d77be35a6a1c1e6fa22364efe19dc3ee84)

Timout handling for ixfrs as a client.

One complicating factor is that this is shared code, but auth and
rec do not agree on the definiton of the timeout value: auth states
it is a maximum idle time, while rec state it is the total xfr time.
While both apporaches make sense and in the end we would like to
enforce both, we now go for a more simple solution that respects
auth or rec behaviour based on a flag.

(cherry picked from commit fee334ae0f5083d47f9adc207d5a1a6d36ebc2ac)

Merge pull request #12146 from omoerbeek/backport-12063-to-rec-4.8.x

rec: backport 12063 to 4.8.x: Also do the compare for protobuf logger config objects.

Merge pull request #12150 from omoerbeek/backport-12140-to-rec-4.8.x

rec: Backport 12140 to rec 4.8.x: be more lenient replacing auth by non-auth records in cache

Merge pull request #12145 from omoerbeek/backport-12081-to-rec-4.8.x

rec: backport 12081 to rec-4.8.x: Log invalid RPZ content when obtained via IXFR

Merge pull request #12144 from omoerbeek/backport-12133-to-rec-4.8.x

rec: backport 12054 to rec-4.8.x: Fix assertAlmostEqual call to compare absolute difference

Merge pull request #12147 from omoerbeek/backport-12066-to-rec-4.8.x

rec: backport 12066 to rec 4.8.x: Detect invalid bytes in makeBytesFromHex()

typo in comment

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit 681a49f10b00ba7ee38a55402953d076c7221160)

Add test

(cherry picked from commit f4621cce40bdc1648edf82717239ef040eedb9b6)

QM can get confused by expiring infra records, so be a bit more lenient
with replacing auth records by unauth, as unauth (typically infra
records) might come in while we are resolving.

Should fix #12078

(cherry picked from commit 1ce6006d7ddc925a13b868488b6e987bca41cc90)

Apply Otto's suggestion

(cherry picked from commit 7f73a566805979f94bc1a23c9088372e00177bec)

misc: Switch to a std::array in makeHexDump()

(cherry picked from commit 8c7a1b8a671291e6ee2e7e4abdbdd41e9c714b31)

auth: Detect invalid bytes in makeBytesFromHex()

Also only allocate the required number of bytes, not twice that.

(cherry picked from commit 50953de897023742e43d3feab976b891be1c6e63)

Also do the compare for protobuf logger config objects.

I'm not doing the async part now, as tsan reports there would be a race.
The case occuring the most: no changes is now handled correctly and quickly and that is the main thing.

(cherry picked from commit babe943035818b7a97e59cfd70921ba06bbf31cf)

rec: Log invalid RPZ content when obtained via IXFR

That kind of content was properly logged and handled when received
during the initial loading (AXFR) but not when received via an
incremental update.

(cherry picked from commit 55a99233728fc01e3946a97fb8dbb073a3003622)

Fix assertAlmostEqual call to compare absolute difference

(cherry picked from commit 67dd4251f758a695dab05e206a32199ccee6c214)
(cherry picked from commit 23064464fe298ac748470942de6e04a429be9a31)

Backport of #12054 and #12133

Merge pull request #12055 from omoerbeek/backport-12054-to-rec-4.8.x

rec: Backport 12054 to rec 4.8.x: fix locked regr test

Rec: fix locked regr test

(cherry picked from commit 23064464fe298ac748470942de6e04a429be9a31)

Merge pull request #12051 from omoerbeek/rec-specialize-to-rec48

rec 4.8.x branch: Remove unneeded targets according to checklist

Remove unneeded targets according to checklist

Merge pull request #12041 from omoerbeek/rec-regr-test-locking

rec: Regression test for locked cache

Merge pull request #12047 from chbruyand/rec-dnstap-nod

rec: add support for NOD/UDR notifications using dnstap

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

Fix unused function warnings if !ENABLE_NOD

Add dnstapNODFrameStream stats
Fix docs refs
Fix #ifdef

Doc tweaks

Tweaks: fix build with dnstabp disabled, process config changes

rec: add support for streaming NOD and UDR using dnstap

rec: make sure data is at least the size of a dnsheader when constructing a DnstapMessage

Merge pull request #12049 from omoerbeek/rec-followup-11903

rec: fix build with --disable-dnstap, followup to #11903

Merge pull request #12048 from omoerbeek/rec-config-default

rec: Fix --config (should be equal to --config=default),  followup to #11907

rec: fix build with --disable-dnstap, followup to #11903

Merge pull request #12046 from rgacogne/fix-portsmplexer

Fix compilation of the event ports multiplexer

rec: Fix --config (should be equal to --config=default),  followup to #11907

Fix compilation of the event ports multiplexer

Thanks to Jonathan Perkin for the patch!

Merge pull request #11960 from Habbie/builder-dispatch-release

expand builder-dispatch workflow for release building

Merge pull request #11954 from Habbie/axfr-primary-tc-servfail

auth AXFR server: abort on chunk with TC set

Merge pull request #12028 from mind04/pdns-edit-zone

auth: pdnsutil edit-zone, detect capitalization changes in LUA, TXT a…

Merge pull request #11983 from chbruyand/keyroller

auth: Keyroller first import

Merge pull request #12001 from rgacogne/ddist-mac-cache

dnsdist: Implement a small MAC address cache

Merge pull request #12039 from omoerbeek/dnsdist-coverity-20220928

Dnsdist: coverity 20220928

Merge pull request #11840 from rgacogne/ddist-doc-missing-json-objects-api

dnsdist: Document all the API JSON objects

Merge pull request #11732 from rgacogne/ddist-reg-tests-fd

dnsdist: Stop background threads and close file descriptors in regression tests

Merge pull request #12007 from rgacogne/ddist-cache-inspection

dnsdist: Add Lua bindings to look up domain and IP addresses from the cache

Merge pull request #11995 from rgacogne/ddist-more-discovery-tests

dnsdist: More backend discovery regression tests

Merge pull request #12000 from rgacogne/ddist-doh-skip-headers-alloc

dnsdist: Speed up DoH handling by preventing allocations and copies

Merge pull request #11903 from omoerbeek/pb-dnstap-stats

rec: protobuf and dnstap metrics