Proces review comments by rgacogne, thanks!

Reorganize queueData() with respect to logging.

Let queueData() return a status and log that via a program supplied helper.
This way, the program specific (recursor,dnsdist) logging isn't polluting the common code.

There are a few other cases that need to be dealt with some day.

dnsdist log levels should be reviewed (I copied the existing), they might be too verbose.

Merge pull request #11874 from omoerbeek/rec-pb-size

Rec: check protobuf size

Merge pull request #11873 from omoerbeek/rec-prep-20220823

Rec prep 20220823

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Check variable length cases to not create protobufs > max / 2

Check sizes of generated protobuf messages

Merge pull request #11869 from omoerbeek/rec-maintenance-metrics

rec: Keep time and count metrics when maintenance is called.

Add 2022-02 PSA

These metrics are counters

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11842 from mind04/auth-remotes

auth: use getInnerRemote() for the remotes ring

Fix MIB, it was missing the objects defs.

rec: Keep time and count metrics when maintenance is called.

Fixes #6981

Prep for August 23 2022 releases

Merge pull request #11849 from omoerbeek/rec-dns64-vs-rcode

Rec: consider dns64 processing in more cases than Rcode == NoError

Merge pull request #11859 from omoerbeek/rec-incfiles

rec: only include minimized js files and remove unused underscore*.js

Two more DNS64 test cases: "timeout on AAAA" and "Lua handled things"

Merge pull request #11819 from darnuria/auth-tsan-supp

[tsan] add data race suppression for avg_latency and send_latencyres …

[tsan] Data race suppression for avg_latency and send_latency globals.

See <https://github.com/PowerDNS/pdns/issues/11814>

Update pdns/pdns_recursor.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11672 from phonedph1/patch-33

rec: make rec zone files with trailing dot

More consistent naming

Only include files really needed: skip non-mminimzed versions and LICENSE and fix dependencies

Clean up javascript files

- d3.js is actually the minimized verison of d3.v3.js
- introduce minimized version of handlebars
- delete underscore*.js as it is unused

Merge pull request #11857 from omoerbeek/rec-link-libcrypto-rec_control

res: Set rec_control_LDFLAGS, needed for MacOS or any platforms where libcrypto is not in default lib path.

Merge pull request #11852 from rgacogne/ddist-less-contention-servers

dnsdist: Slightly reduce contention around a pool's servers

Merge pull request #11850 from fredmorcos/fred/11795-fix-recursor-not-responsive-after-config-reload

Fix recursor not responsive after Lua config reload

Document desired DNS674 behaviour and tweak implementation to adhere to docs.

Merge pull request #11851 from rgacogne/ddist-doh-only-call-getsockname-once

dnsdist: Only call getsockname() once per incoming DoH connection

dnsdist: Make ServerPolicy::NumberedServerVector const

As suggested by Otto (Thanks!).

Merge pull request #11845 from rgacogne/ddist-better-stats-handling

dnsdist: Better handling of the different types of metrics

Merge pull request #11844 from rgacogne/ddist-destroy-initial-health-mplexer

dnsdist: Do not keep the mplexer created for the initial health-check around

Merge pull request #11798 from rgacogne/ddist-fix-cache-counters-latency

dnsdist: Fix latency and counters update for UDP cache hits

Merge pull request #11790 from rgacogne/ddist-fix-exception-discovery

dnsdist: Use the correct delay when a backend cannot be upgraded to Do{T,H}

Merge pull request #11812 from zeha/recnojquery

Recursor: replace/remove jQuery

Merge pull request #11854 from omoerbeek/rec-slog-ws-followup

rec: structured logging for sebserver followup: An HttpException creates a new response body.

Set rec_control_LDFLAGS, needed for MacOS or any platforms where libcryto is not in default lib path.

Fixes #11855

rec js: use searchParams.append to build URL

rec: split config for fetch out of get_json

Makes for easier development of the embedded JS/HTML files.
To use this, use the commented out fetchConfig, and open index.html
in a browser directly from the filesystem.

An HttpException creates a new response body.

Initialize the s_dlog field of that new response. I would prefer to do that in the
exception's ct, but we do not have the uniqueid there.

Merge pull request #11838 from rgacogne/ddist-fix-cdb-tests

dnsdist: Fix a possible race in the CDB reload regression tests

Rec: Move FrameStreamServersInfo to rec-main

Rec: Asynchronously destroy old connections to dnstap servers

With @omoerbeek

Closes #11795

Rec: Don't reload Lua config if it hasn't changed

This also groups together 1) the list of frame stream servers, 2) the config from which
the list was created and 3) the config's generation into a single struct called
FrameStreamServersInfo. The struct is used to compare the old and new configuration to
decide whether to destroy the old config object or not.

Part of #11795

dnsdist: Slightly reduce contention around a pool's servers

We only need to take the lock to get the shared pointer, as the
actual content is guaranteed not to change, so we do not need to
hold the lock while we iterate over the servers list to check
whether they are up, or what their current outstanding count is.

Transform a AAAA NoData result into a FormErr in Lua and see if dns64 is still applied

Move dns64 processing before postresolve processing

dnsdist: Only call getsockname() once per incoming DoH connection

The current code is calling h2o_socket_getpeername() and
h2o_socket_getsockname() once per DoH _query_, and while the former
is cheap because h2o caches the result for us, the latter is actually
expensive, so this code caches both values so that we only retrieve
them once per DoH connection.

Further simplification of processing of policy result

When considering dns64, we also should consider handling RCodes != 0.

This make the logic as described in RFC 6147, section 5.1

Merge pull request #11843 from omoerbeek/rec-authzones-wipe

Clear the caches *after* loading authzones.

dnsdist: Better handling of the different types of metrics

This commit ensures that we don't crash if we forget to update a part of code
if we ever add a new type of metrics, as happened in 9f4fa5ae01efa878d2aa27e4398740d7ed6ef01f.

dnsdist: Do not keep the mplexer created for the initial health-check around

We do not need after that initial health-check round so it is only wasting
(a very small amount of) memory and one file descriptor at that point.

Clear the caches *after* loading authzones.

auth: use getInnerRemote() for the remotes ring

Merge pull request #11830 from asgeirn/dnsdist-4155-enetunreach

Also reconnect on ENETUNREACH.

dnsdist: Fix a possible race in the CDB reload regression tests

Merge pull request #11825 from mind04/pdns-catalog-next

Pdns catalog next

Use stringerror

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #11827 from nils-wisiol/clarify_hashing_docs

dnsdist: docs clarification on cookie hashing

Merge pull request #11807 from Habbie/dnsdist-addrule-typo

dnsdist docs: fix addRule typo

auth: fix backend page layout

auth: fix broken link in catalog doc

auth: fix catalogDiff() coverity report

auth: add missing catalog types in getAllDomains()

Merge pull request #11822 from Habbie/nits-20220803

auth: sql/catalog nits

Also reconnect on ENETUNREACH.

Ref. #4155

dnsdist: docs clarification on cookie hashing

auth sqlite3: abort schema transactions on error

sqlite3 catalog zones: fix query typos

sqlite3 schema migration: fix typo

Merge pull request #11820 from omoerbeek/rec-load-lua-errhandling

rec: Handle file related errors initially loading Lua script.

Handle error initially loading Lua script.

Fixes #11818 #10079

Merge pull request #11811 from zeha/recrmoldjs

rec: remove unused jsrender.js

rec: rename local.js to help cache issue with Firefox

Merge pull request #11082 from zeha/auth-merge-main

auth: merge "main" code into new auth-main.(cc|hh)

pdns/auth-main.*: format-code

auth: merge "main" code into new auth-main.(cc|hh)

Merge common_startup.cc and receiver.cc into auth-main.cc, and
rename common_startup.hh into receiver.hh.
This is a very minimal merge with no cleanup. Its intention is to
make understanding the startup code path easier, by avoiding having
to look at two compilation units to determine the exact order.

Merge pull request #11760 from Habbie/lua-shared-tcp

auth LUA: make shared mode work for TCP queries

Merge pull request #11808 from Habbie/dnsbulktest-init-var

dnsbulktest: initialise struct member; use correct type when setting it

Merge pull request #11815 from mind04/auth-notify

auth: make sure a notified zone is in the zonecache

Merge pull request #11759 from mind04/auth-tsig-cleanup

auth: getTSIGKey(s) cleanup

rename s_LUA to LUA where it is not a static

LUA records: describe shared state UDP/TCP difference

auth: make sure a notified zone is in the zonecache

Merge pull request #11780 from omoerbeek/rec-save-last-nsspeed

rec: Save the last nsspeed recorded plus output it in rec_control dump-nsspeeds

Some more `auto` instead of explicit types

Merge pull request #11714 from omoerbeek/rec-sl-queries

rec:  stuctured logging for incoming and outgoing subsystems

rec: improve network error handling

rec: un-xhtml-ify html

rec: remove jquery

rec: set template output without jquery

rec: use Array.forEach instead of jquery.each

rec: bind event handler without jquery

Also remove reference to not-existing filter2 checkbox.

rec: read filter1 checkbox without jquery

rec: show/hide connection error/status without jquery

rec: read handlebar templates without $()

rec: use defer instead of $(document).ready

rec: use fetch instead of jQuery.ajax/getJSON

Merge pull request #11772 from mind04/auth-catalog-zone

Implement catalog zones in the authoritative server