Process review comments

Remaining structured logging, "only" sending/receiving questions and answers, validation and tracing remain.

Structured Logging: finish Lua config messages

Structured logging for root refresh

Merge pull request #11651 from Y7n05h/refactor

dnsdist: refactor sendfromto

dnsdist: refactor sendfromto

Signed-off-by: Y7n05h <Y7n05h@protonmail.com>

Merge pull request #11601 from omoerbeek/rec-shared-ednsmap

Rec: shared ednsmap

Merge pull request #11685 from rgacogne/ddist-cppcheck-warnings

dnsdist: Fix a few performance-related warnings reported by cppcheck

Merge pull request #11613 from omoerbeek/burtle

hashHeaderAndQName burtle optimization

Merge pull request #11641 from omoerbeek/codeQL-v2

Move to v2 for CodeQL action, v1 will be deprecated dec 2022

Process review comment: move var to inner block

Use the level actually *used* to decide to update edns status.
Fold the logic to not update if no change and updating the timestamp to the setter.

Prune EDNS table once every minute, as the entries last for 2 hours

Move edns table to a shared table

Merge pull request #11340 from norve/pdnustil-flush-prompt

Pdnustil flush prompt

Merge pull request #11413 from Habbie/man-pdnsutil-b2b-migrate

auth: add b2b-migrate to pdnsutil man page

Merge pull request #11350 from mind04/pdns-presigned-alias

auth: no ALIAS and LUA record expansion in presigned zones

Merge pull request #11691 from rgacogne/ddist-1.7.2-changelog-secpoll

dnsdist: ChangeLog and secpoll update for 1.7.2

dnsdist: Update the release date for 1.7.2

Merge pull request #11682 from fredmorcos/recursor-ipv6-from-etc-hosts

Recursor: Load IPv6 entries from `etc-hosts` file

DNSRecord: Formatting

DNSRecord: Explicit member initialization

Add domain map population tests that include search suffixes

Only add PTR records for the canonical hostname

Convert the handling of addresses from etc-hosts file to ComboAddress

This enables almost-seamless IPv6 support and cleans up a few things e.g. avoid using
strings when handling IP addresses.

This commit also refactors the creation of forward and reverse lookup entries.

Move domain-map related helper functions for testability and add tests

This also adds tests for loading entries from an etc-hosts-like file.

Implement toString() for DNSRecord

Another constructor that accepts all params for DNSRecord

Default init of DNSRecord fields

Implement toString() for SyncRes::AuthDomain

Implement operator== for SyncRes::AuthDomain

Add IPv4 and IPv6 address reversal to ComboAddress

Whitespace & cleanup

Recursor: Add .clang-tidy to gitignore

Lint fix when iterating over IP parts in reverse

Lint fixes when loading etc-hosts file

Whitespace

Merge pull request #11692 from omoerbeek/rec-actually-run-tasks

rec: Run tasks from houskeeping thread in a proper way.

Merge pull request #11548 from rgacogne/ddist-ebpf-docs

dnsdist: Document eBPF requirements, external program support

Merge pull request #11526 from Y7n05h/master

use BPF_MAP_TYPE_LPM_TRIE for range matching

Run tasks from houskeeping thread in a proper way.

Previously, this was only done if log-common-errors was true, due
to argument reversal.  In general task *would* be executed, as they
are also run after each query processed by SyncRes (so not after
packet cache hits).

Thanks to @jelu!

dnsdist: ChangeLog and secpoll update for 1.7.2

Merge pull request #11688 from rgacogne/ddist-downstream-doc-typo

dnsdist: Fix a typo in the Downstream guide

Merge pull request #11660 from omoerbeek/rec-sd-journal

rec: Use systemd-journal for structured logging if it is available

Merge pull request #11681 from omoerbeek/rec-sl-subsys

rec: structured logging for various subsystyems

Beter naming of closure

Process review commens from @fredmorcos, thanks!

Merge pull request #11662 from omoerbeek/rec-sl-dns64

rec:  Structured logging for dns64 and simlar functions using directResolve()

Update pdns/dnsdistdist/docs/reference/ebpf.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

Update pdns/dnsdistdist/docs/reference/ebpf.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

Update pdns/dnsdistdist/docs/reference/ebpf.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

dnsdist: Fix a typo in the Downstream guide

dnsdist: fix build error

Signed-off-by: Y7n05h <Y7n05h@protonmail.com>

Update document

Update pdns/bpf-filter.hh

Co-authored-by: Remi Gacogne <github@coredump.fr>

Update pdns/bpf-filter.hh

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11624 from rgacogne/dnsname-labels-visitor

SuffixMatchTree: Improve lookup performance

Merge pull request #11686 from phonedph1/patch-34

dnsdist: Update dq.rst

Merge pull request #11687 from mind04/auth-unused

auth: remove an unused variable from the querycache

auth: remove an unused variable from the querycache

Update dq.rst

dnsdist: Fix a few performance-related warnings reported by cppcheck

Merge pull request #11684 from rgacogne/ddist-fix-dumpstats-custom-metrics

dnsdist: Fix 'dumpStats()' with custom metrics

dnsdist: Fix 'dumpStats()' with custom metrics

Merge pull request #11683 from Habbie/dnsdist-libedit2

dnsdist: fix building without libedit in dnsdist.cc as well

Merge pull request #11659 from rgacogne/ddist-add-stats-to-general-api-endpoint

dnsdist: Add 'statistics' to the general API endpoint

dnsdist: fix building without libedit in dnsdist.cc as well

dnsdist: Add 'statistics' to the general API endpoint

Making it possible to retrieve all metrics by querying one endpoint
(/api/v1/servers/localhost) instead of two (/api/v1/servers/localhost
and /api/v1/servers/localhost/statistics).

rec-main part of control channel structured logging

Merge pull request #11680 from mnordhoff/patch-12

rec: Fix typos in stats log messages

rec: Fix typos in stats log messages

dnsdist: Change the bpf:blockRange bpf:allowRange to bpf:addRangeRule
bpf:rmRangeRule bpf:lsRangeRule

Signed-off-by: Y7n05h <Y7n05h@protonmail.com>

Update pdns/bpf-filter.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

Update pdns/bpf-filter.hh

Co-authored-by: Remi Gacogne <github@coredump.fr>

Update pdns/bpf-filter.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

Tweaks to make exception reporting more uniform

Merge pull request #11668 from rgacogne/ddist-verbose-logging

dnsdist: Optionally send 'verbose' messages to a file, and log them at 'DEBUG' level otherwise

Move RPZ, dnstap and protobuf subsystems  to structured logging,

Plus a few remaining cases for startup abnd config.

Merge pull request #11674 from chbruyand/dnsdist-custom-metrics

dnsdist: add support for user defined metrics

Merge pull request #11669 from rgacogne/ddist-log-exit

dnsdist: Log when exiting due to a SIGTERM signal

dnsdist: Document that the "debug" log file is currently not rotated

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

dnsdist: Better wording in setVerboseLogDestination's documentation

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

try to appease the spell checker AND the code format checker :)

Merge pull request #11673 from rgacogne/ddist-api-backend-protocol

dnsdist: Add the protocol (Do53, DoT, DoH, ...) of backends in the API

dnsdist: also register custom metrics to prometheus

dnsdist: fix custom metrics documentation

dnsdist: log an error when invalid custom metric name is given

dnsdist: avoid multiple lookup

dnsdist: Add the protocol (Do53, DoT, DoH, ...) of backends in the API

Merge pull request #11671 from mnordhoff/patch-10

rec: Fix typo in stats log message

rec: Fix typo in stats log message

dolog: Handle the non-dnsdist and non-recursor case

dnsdist: Log when exiting due to a SIGTERM signal

The recursor already does the same, and it might be useful to understand
why the process was terminated.

dnsdist: Add an option to send 'verbose' messages to a log file

dnsdist: add support for user defined metrics

dnsdist: Log verbose messages to syslog at 'debug' level, not 'info'

dnsname: Cast to uint8_t, not unsigned char, in RawLabelsVisitor ctor

Merge pull request #11661 from omoerbeek/rec-secpoll-44

rec: Update secpoll status for 4.4.8, missed on 4.7.0 release

rec: Update secpoll status for 4.4.8, missed on 4.7.0 release

SuffixMatchTree: Fix compilation on old libstdc++

Move the < operator definition before the set one, so that old versions
of libstdc++ do not mistakenly refuse to compile:
```
In file included from /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/map:60:
/usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/stl_tree.h:452:7: error: static_assert failed due to requirement 'std::__is_invocable<std::less<void> &, const SuffixMatchTree<bool> &, const SuffixMatchTree<bool> &>{}' "comparison object must be invocable with two arguments of key type"
      static_assert(__is_invocable<_Compare&, const _Key&, const _Key&>{},
      ^             ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
/usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/stl_set.h:133:17: note: in instantiation of template class 'std::_Rb_tree<SuffixMatchTree<bool>, SuffixMatchTree<bool>, std::_Identity<SuffixMatchTree<bool> >, std::less<void>, std::allocator<SuffixMatchTree<bool> > >' requested here
      _Rep_type _M_t;  // Red-black tree representing set.
                ^
../../pdns/dnsname.hh:306:50: note: in instantiation of template class 'std::set<SuffixMatchTree<bool>, std::less<void>, std::allocator<SuffixMatchTree<bool> > >' requested here
  mutable std::set<SuffixMatchTree, std::less<>> children;
                                                 ^
../../pdns/dnsname.hh:497:27: note: in instantiation of template class 'SuffixMatchTree<bool>' requested here
    SuffixMatchTree<bool> d_tree;
                          ^
```
Sseen with clang8 on Buster, but see also
https://gcc.gnu.org/bugzilla/show_bug.cgi?id=85965