Tweaks to make exception reporting more uniform

Merge pull request #11668 from rgacogne/ddist-verbose-logging

dnsdist: Optionally send 'verbose' messages to a file, and log them at 'DEBUG' level otherwise

Move RPZ, dnstap and protobuf subsystems  to structured logging,

Plus a few remaining cases for startup abnd config.

Multiple toString() calls -> once call.

Merge pull request #11674 from chbruyand/dnsdist-custom-metrics

dnsdist: add support for user defined metrics

Merge pull request #11669 from rgacogne/ddist-log-exit

dnsdist: Log when exiting due to a SIGTERM signal

dnsdist: Document that the "debug" log file is currently not rotated

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

dnsdist: Better wording in setVerboseLogDestination's documentation

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

try to appease the spell checker AND the code format checker :)

Merge pull request #11673 from rgacogne/ddist-api-backend-protocol

dnsdist: Add the protocol (Do53, DoT, DoH, ...) of backends in the API

dnsdist: also register custom metrics to prometheus

dnsdist: fix custom metrics documentation

dnsdist: log an error when invalid custom metric name is given

dnsdist: avoid multiple lookup

dnsdist: Add the protocol (Do53, DoT, DoH, ...) of backends in the API

Merge pull request #11671 from mnordhoff/patch-10

rec: Fix typo in stats log message

rec: make rec zone files with trailing dot

rec: Fix typo in stats log message

dolog: Handle the non-dnsdist and non-recursor case

dnsdist: Log when exiting due to a SIGTERM signal

The recursor already does the same, and it might be useful to understand
why the process was terminated.

dnsdist: Add an option to send 'verbose' messages to a log file

dnsdist: add support for user defined metrics

dnsdist: Log verbose messages to syslog at 'debug' level, not 'info'

dnsname: Cast to uint8_t, not unsigned char, in RawLabelsVisitor ctor

Merge pull request #11661 from omoerbeek/rec-secpoll-44

rec: Update secpoll status for 4.4.8, missed on 4.7.0 release

rec: Update secpoll status for 4.4.8, missed on 4.7.0 release

SuffixMatchTree: Fix compilation on old libstdc++

Move the < operator definition before the set one, so that old versions
of libstdc++ do not mistakenly refuse to compile:
```
In file included from /usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/map:60:
/usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/stl_tree.h:452:7: error: static_assert failed due to requirement 'std::__is_invocable<std::less<void> &, const SuffixMatchTree<bool> &, const SuffixMatchTree<bool> &>{}' "comparison object must be invocable with two arguments of key type"
      static_assert(__is_invocable<_Compare&, const _Key&, const _Key&>{},
      ^             ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
/usr/bin/../lib/gcc/x86_64-linux-gnu/8/../../../../include/c++/8/bits/stl_set.h:133:17: note: in instantiation of template class 'std::_Rb_tree<SuffixMatchTree<bool>, SuffixMatchTree<bool>, std::_Identity<SuffixMatchTree<bool> >, std::less<void>, std::allocator<SuffixMatchTree<bool> > >' requested here
      _Rep_type _M_t;  // Red-black tree representing set.
                ^
../../pdns/dnsname.hh:306:50: note: in instantiation of template class 'std::set<SuffixMatchTree<bool>, std::less<void>, std::allocator<SuffixMatchTree<bool> > >' requested here
  mutable std::set<SuffixMatchTree, std::less<>> children;
                                                 ^
../../pdns/dnsname.hh:497:27: note: in instantiation of template class 'SuffixMatchTree<bool>' requested here
    SuffixMatchTree<bool> d_tree;
                          ^
```
Sseen with clang8 on Buster, but see also
https://gcc.gnu.org/bugzilla/show_bug.cgi?id=85965

SuffixMatchTree: Avoid cloning labels during lookups

Implement a zero-allocation, zero-copy visitor for DNSName raw labels

Zap a redundant var

Add a comment wrt hashing the header

make burtlemix an (inline) function

Smarter hashing of header and query

reformat

burtle reorg: to separate file and inline

Merge pull request #11656 from chbruyand/dnsdist-cache-cleanup-count

dnsdist: add a counter for the number of cache cleanups

Modify journal availability test.

To both test for NOTIFY_SOCKET (to see if we're runnign underst systemd)
and availbility of the journal socket (to see if systemd-journal is
active)

Use systemd-journal for structured logging if it is available

Merge pull request #11654 from omoerbeek/rec-logging-periodic-stats

Rec: structured logging for periodic stats

Merge pull request #11658 from Habbie/protobuf-python-impl

protobuf: use python implementation during tests

Merge pull request #11655 from omoerbeek/toupper-lower-by-table

Change dns_tolower() and dns_toupper() to use a table

protobuf: use python implementation during tests

Somewhat more info in housekeeping and directResolve

Implemnent dns_tolower() and dns_toupper() by table and fold into dnsname.{cc,hh}

Before:
'BurtleHashCI' 0.10 seconds: 66975796.8 runs/s, 0.01 usec/run

After:
'BurtleHashCI' 0.10 seconds: 96758136.6 runs/s, 0.01 usec/run

Introduce speedtest for case insensitive burtle

Structured logging for dns64 and simliar functions using directResolve()

Merge pull request #11642 from omoerbeek/structured-logging2

rec: Structured logging for housekeeping

Merge pull request #11646 from omoerbeek/rec-prep-4.7.0

Rec: prep 4.7.0

Tweak: move log level fo SL to Info

Structured logging for periodic stats, using "official" stat names as key values

Secpoll and changelog

Merge pull request #11650 from mnordhoff/patch-11

auth: Clarify 4.3.0 upgrade note

auth: make it possible to completely disable LUA records

auth: no ALIAS and LUA record processing in presigned zones

auth: Clarify 4.3.0 upgrade note

It was a little unclear that it doesn't apply to something like 4.2.0-beta2.

Merge pull request #11644 from omoerbeek/rec-deprecate-xpf-settings

rec: Deprecation warning for XPF settings.

Deprecation warning for XPF settings.

Plus a tweak in the associated structured logging.

Merge pull request #11643 from rgacogne/ddist-mac-large-buffer

dnsdist: Accept large buffers in getMACAddress()

dnsdist: Accept large buffers in getMACAddress()

dnsdist: add a statistic for the number of cache cleanups

Use a name for `const std::shared_ptr<Log::Logger>&`, call it `Logr::log_t`

Move housekeeping and associated code to strcutured logging

EOL update for 4.7.0

Move to v2 for CodeQL action, v1 will be deprecated dec 2022

Merge pull request #11591 from rgacogne/ddist-mac-netlink

dnsdist: Support link-level address retrieval for IPv6 as well

Merge pull request #11639 from Habbie/packages-sdig-dot

auth packaging: add DoT support to sdig

Merge pull request #11631 from omoerbeek/structured-logging1

rec: use structured logging for startup and config reporting

auth packaging: add DoT support to sdig

Apply suggestions from code review

Co-authored-by: Charles-Henri Bruyand <charleshenri.bruyand+github@gmail.com>

dnsdist: Proper handling of scope IDs for MAC addresses

Thanks to Peter for the correct check!

dnsdist: Document the return value of getMACAddress()

As suggested by Otto.

dnsdist: Better descripton of getMACAddress() in the documentation

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist: Better descripton of getMACAddress() in the console help

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #11637 from Habbie/dnsdist-getverbose

dnsdist: add getVerbose() function

Update pdns/dnsdistdist/docs/reference/config.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

dnsdist: add getVerbose() function

Merge pull request #11606 from rgacogne/ddist-lua-binding-dns-payload

dnsdist: Add Lua bindings to access the DNS payload as a string

dnsdist: Fix typo reported by Peter (thanks!)

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #11609 from omoerbeek/rec-api-allow-empty

Rec: api allow empty allow-from

More conversions, startup should be done now

Try to be smart: if to_string() or toLogString() is there, use it.

More smart logging of iterables and inline a few methods

Some more conversions to structured logging

Tweaks: use name for prio, change some prio's, use setter for arguments

Merge pull request #11627 from omoerbeek/rec-rpz-dump-docs

Clarify naming of RPZ zones loaded by rpzFile.

Tsan complained about strftime(), it manulipates locale and/or tz info.
So guard if needed.

Formatting

Convert startup and some of config to use structured logging

Tweaks wrt explicit priority.

It should be made less easy to make mistakes here.

Reorg to be able to use structured logging in shared files.

Using arguments.cc as a test-case.

Merge pull request #11626 from omoerbeek/zonemd-zap-binary-function

Zap binary function, not needed and deprecated in c++11, removed in c++17

Clarify naming of RPZ zones loaded by rpzFile.

Also
- don't include local refs, they end up wrong in the man page. Replace them by URLs.
- add links to general docs on both maual pages.

Zap binary function, not needed and deprecated in c++11, removed in c++17

Merge pull request #11620 from Y7n05h/fix11619

 dnsdist: remove implicit type conversion

Merge pull request #11621 from rgacogne/ddist-fix-proxyprotocol-tc-doh+ddist-fix-proxyprotocol-tc-doh

dnsdist: Fix a crash on a invalid protocol in DoH forwarded-for header

dnsdist: Test for an exception raised when adding proxy protocol payload to a DoH query

dnsdist: Fix a crash on a invalid protocol in DoH forwarded-for header

(cherry picked from commit f84fbd58b150fe6b69a7af27e23502f58f68eee5)

Merge pull request #11604 from rgacogne/ddist-fix-proxyprotocol-tc-doh

dnsdist: Fix invalid proxy protocol payload on a DoH TC to TCP retry

Merge pull request #11614 from xorander00/docs-loglevel-fix

Changed loglevel wording to be more accurate for both recursor and au…

Merge pull request #11607 from rgacogne/rec-doc-missing-dq-attributes

rec: Document a few missing DNSQuestion attributes