Secpoll and changelog

EOL update for 4.7.0

Merge pull request #11631 from omoerbeek/structured-logging1

rec: use structured logging for startup and config reporting

Apply suggestions from code review

Co-authored-by: Charles-Henri Bruyand <charleshenri.bruyand+github@gmail.com>

Merge pull request #11637 from Habbie/dnsdist-getverbose

dnsdist: add getVerbose() function

Update pdns/dnsdistdist/docs/reference/config.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

dnsdist: add getVerbose() function

Merge pull request #11606 from rgacogne/ddist-lua-binding-dns-payload

dnsdist: Add Lua bindings to access the DNS payload as a string

Merge pull request #11609 from omoerbeek/rec-api-allow-empty

Rec: api allow empty allow-from

More conversions, startup should be done now

Try to be smart: if to_string() or toLogString() is there, use it.

More smart logging of iterables and inline a few methods

Some more conversions to structured logging

Tweaks: use name for prio, change some prio's, use setter for arguments

Merge pull request #11627 from omoerbeek/rec-rpz-dump-docs

Clarify naming of RPZ zones loaded by rpzFile.

Tsan complained about strftime(), it manulipates locale and/or tz info.
So guard if needed.

Formatting

Convert startup and some of config to use structured logging

Tweaks wrt explicit priority.

It should be made less easy to make mistakes here.

Reorg to be able to use structured logging in shared files.

Using arguments.cc as a test-case.

Merge pull request #11626 from omoerbeek/zonemd-zap-binary-function

Zap binary function, not needed and deprecated in c++11, removed in c++17

Clarify naming of RPZ zones loaded by rpzFile.

Also
- don't include local refs, they end up wrong in the man page. Replace them by URLs.
- add links to general docs on both maual pages.

Zap binary function, not needed and deprecated in c++11, removed in c++17

Merge pull request #11620 from Y7n05h/fix11619

 dnsdist: remove implicit type conversion

Merge pull request #11621 from rgacogne/ddist-fix-proxyprotocol-tc-doh+ddist-fix-proxyprotocol-tc-doh

dnsdist: Fix a crash on a invalid protocol in DoH forwarded-for header

dnsdist: Test for an exception raised when adding proxy protocol payload to a DoH query

dnsdist: Fix a crash on a invalid protocol in DoH forwarded-for header

(cherry picked from commit f84fbd58b150fe6b69a7af27e23502f58f68eee5)

Merge pull request #11604 from rgacogne/ddist-fix-proxyprotocol-tc-doh

dnsdist: Fix invalid proxy protocol payload on a DoH TC to TCP retry

Merge pull request #11614 from xorander00/docs-loglevel-fix

Changed loglevel wording to be more accurate for both recursor and au…

Merge pull request #11607 from rgacogne/rec-doc-missing-dq-attributes

rec: Document a few missing DNSQuestion attributes

 dnsdist: remove implicit type conversion (fix: #11619 )

Signed-off-by: Y7n05h <Y7n05h@protonmail.com>

Changed loglevel wording to be more accurate for both recursor and authoritative.

Document meaning of empty allow-from

Merge pull request #11605 from omoerbeek/rec-prep-4.7.0-rc1

Prep for rec-4.7.0-rc1

rec: Document a few missing DNSQuestion attributes

dnsdist: Add Lua bindings to access the DNS payload as a string

Merge pull request #11602 from rgacogne/ddist-missing-prometheus-descriptions

dnsdist: Add missing descriptions for prometheus metrics

Merge pull request #11603 from rgacogne/ddist-upgrade-guide-formatting

dnsdist: Fix formatting issues in the upgrade guide

Add tests for empty allow-from and allow-notify-from case

Fix API issue when asking config values for allow-from or allow-notify-from

Prep for rec-4.7.0-rc1

dnsdist: Fix invalid proxy protocol payload on a DoH TC to TCP retry

dnsdist forwards incoming DoH queries to its backend over UDP, and
retry over TCP if the response is truncated (TC=1).
When the proxy protocol is used between dnsdist and its backend, the
second query, over TCP, needs to take into account that the proxy
protocol payload has already been handled. This was not properly done
in that exact case because the proxy protocol payload length was not
propagated to the code handling the TCP communication, leading to
the query ID being edited at the wrong offset in the packet and thus
to an invalid proxy protocol payload.

Merge pull request #11592 from omoerbeek/auth-test-incomplete-xfr

Auth: fix race in incomplete xfr test

dnsdist: Fix formatting issues in the upgrade guide

dnsdist: Add missing descriptions for prometheus metrics

Merge pull request #11567 from rgacogne/ddist-set-verbose

dnsdist: Add setVerbose() to switch the verbose mode at runtime

Merge pull request #11598 from omoerbeek/rec-shared-throttlemap

Rec: shared throttle map

Merge pull request #11599 from omoerbeek/auth-coverity-1488422

auth: Tweak for Coverity 1488422

Upgrade guide entries and small nit

Use wrappers, as suggested by rgacogne@ in his review.

Merge pull request #11577 from rgacogne/ddist-skip-scan-no-outstanding

dnsdist: Scan the UDP buckets only when we have outstanding queries

Merge pull request #11596 from rgacogne/ddist-console-redundant-code

dnsdist: Remove dead code in the console

Tweak for Coverity 1488422.

The spot where the warning happens changed, plus appease clang-tidy.

Throttle table cleanup task is now handler specific.

Also use QType consistently.

dnsdist: Remove dead code in the console

Reported by Coverity as CID 378254.

Merge pull request #11590 from fredmorcos/11325-rsa-pem-import-export

RSA PEM import/export

Use emplace instead of insert

Shared throttle map

So the race is between setting the new serial to return and the message coming in
Make sure we set the new serial asap

Add debug print lines to the new test_XFRIncomplete that fails occasionally on GH Actions.

Using a slow loaded VM I could reproduce these failures once in a while.
Adding the print statements made the failures go away. Maybe some form
of synchronization is going on with the extra debug I/O?  Committing this
to see what happens on GH Actions.

Merge pull request #11589 from omoerbeek/coverity-20220429

auth: Set of Coverity fixes

SignerParams PEM contents don't need to be optional anymore

We now always test PEM import/export and we expect any new signers to
implement the necessary methods for that.

RSA PEM test data

Formatting

RSA PEM import

RSA PEM export

Merge pull request #11582 from fredmorcos/refactor-test-signers

Refactor signers tests

Use better get(); writen2(); release() idiom

Add missing include

Fix signer tests for platforms (i.e. OpenSSL forks) without Ed25519

Don't leak on exception and another case that needs an annotation

Coverity 1030062 Uninitialized scalar field

Coverity 1401639 Division or modulo by float zero: avoid div by zero

Coverity 1469729 Explicit null dereferenced: bail is SOA isn't set

Coverity 1469730 Explicit null dereferenced: use a default sleep time if sr isn't set

Coverity 1469728 Resource leak by using annotation

Merge pull request #11587 from omoerbeek/rec-outgoing-pb-race

rec: Avoid a race in test code between processing the first query and the priming code

Merge pull request #11586 from Y7n05h/doc

dnsdist: fix wrong parameter type in document

Merge pull request #11543 from rgacogne/ddist-console-max-size-log

dnsdist: Log when a console message exceeds the maximum size

Merge pull request #11578 from rgacogne/ddist-relayed-msg

dnsdist: Include the address of the backend in 'relayed to' messages

Avoid a race in test code between processing the first query and the priming code.

It can happen the root updating houskeeping code has not run yet when
processing the first query.  In that case, we do not have root DNSKEY
records in cache.  When validating the answer, rec will then go out and
fetch those, so no real issue, apart form the fact that it interferes
with our expected outgoing protobuf messages.

Same make sure the root DNSKEY records are cached before doing the actual
test query.

dnsdist: fix wrong parameter type in document

Signed-off-by: Y7n05h <Y7n05h@protonmail.com>

Test Ed448 as part of the generic mechanism for testing signers

This also automatically tests a few things that weren't being tested before.

Merge pull request #11514 from rgacogne/ddist-api-noauth

dnsdist: Add an option for unauthenticated access to the API

Avoid using magic numbers for algorithms

Clean-up signer params

test-signers: Use boost fixtures and print info about signers/tests

This also prints out information about what signers are available and what tests are
getting enabled. Use the `--log_level=message` argument to the boost `testrunner` to see
that information.

Lint fixes (consts, boolean conditions)

dnsdist: Include the address of the backend in 'relayed to' messages

Not all backends have a name.

dnsdist: Scan the UDP buckets only when we have outstanding queries

Merge pull request #11574 from rgacogne/ddist-1.7.1-changelog-secpoll

dnsdist: ChangeLog and secpoll update for dnsdist 1.7.1

dnsdist: Hopefully we will release 1.7.1 today

Formatting

Merge pull request #11493 from fredmorcos/11325-eddsa-import-export-pem

Support PEM import and export of EdDSA keys

Merge pull request #11562 from fredmorcos/find-libdecaf-headers

Try harder to find libdecaf headers

Merge pull request #11573 from rgacogne/ddist-no-downstream

dnsdist: Better log message when no downstream server are available

dnsdist: ChangeLog and secpoll update for dnsdist 1.7.1

Merge pull request #11570 from omoerbeek/rec-codeql-j4

rec: Reduce make -j parameter from 8 to 4 for CodeQL action, as dnsdist does.

dnsdist: Better log message when no downstream server are available

Reduce make -j parameter from 8 to 4, as dnsdist does.

This might fix the occasional build issues with the CodeQL GH Action.