dnsdist: Rewrite/clear records from DNS packets slightly faster

By using `std::unordered_set` instead of `std::set`.

Merge pull request #12388 from rgacogne/ddist-async

dnsdist: Implement async processing of queries and responses

Merge pull request #12441 from rgacogne/enable-lto

Add a configure option to enable LTO

Merge pull request #12424 from rgacogne/ddist-carbon-2

dnsdist: Better handling of multiple carbon servers

dnsdist: Use normalizeTV() and timeval operator+/operator-

As suggested by Otto (thanks!).

mplexer: Fix infinite (-1) timeout with kqueue and ports implementations

Merge pull request #12414 from fredmorcos/openssl3-rsa-prep

Openssl 3.0: RSA prep work

Merge pull request #12422 from rgacogne/ddist-notify-axfr-cache

dnsdist: Document interactions between XFR, NOTIFY and the cache

Merge pull request #12453 from Habbie/lockhh-stdexcept

lock.hh: include <stdexcept>

dnsdist: Stop caching responses to XFR queries

dnsdist: Simplify the sample rule to disable caching for NOTIFY queries

dnsdist: Fix a typo (ORRule -> OrRule) in the XFR documentation

Cleanup OpenSSL RSA DCKE

Formatting OpenSSL RSA DCKE

lock.hh: include <stdexcept>

Merge pull request #12451 from rgacogne/ci-init-pattern

CI: Initialize automatic variables to a pattern in our CI

Merge pull request #12395 from zjs604381586/fixed-negcache

When the stale function is triggered, wrong data can be returned from negcache and record cache

Merge pull request #12304 from PowerDNS/dependabot/pip/pdns/keyroller/certifi-2022.12.7

build(deps): bump certifi from 2021.10.8 to 2022.12.7 in /pdns/keyroller

dnsdist: Apply Otto's remarks to the new carbon code

- We now explicitly convert to double, making sure that we will not
  overflow by restricting the value of the counter
- Clear the endpoints list when the carbon threads are started, to
  make clear we do not need them anymore
- Move the endpoints passed to the carbon threads, to make static
  analysis tools happy.

rec: Initialize automatic variables to a pattern in our CI

auth: Initialize automatic variables to a pattern in our CI

dnsdist: Initialize automatic variables to a pattern in our CI

dnsdist: Really fix time computation in the async unit tests

Merge pull request #12427 from rgacogne/init-auto-vars

Add a new configure option to initialize automatic variables

Merge pull request #12433 from rgacogne/ci-fortify-3

Enable the highest supported level of `FORTIFY_SOURCE` in our CI tests

typoe in comment

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #12444 from omoerbeek/rec-qm-ds-fallback

rec:  Do *not* use QName Minimization for DS retrievals in QM fallback mode.

Add two test for the CNAME case and use proper named TTLs in various places

Merge pull request #11600 from rgacogne/auth-speedup-rsa-ecdsa-signatures-cleaner

auth: Speed up ECDSA and RSA signatures

Merge pull request #12447 from rgacogne/ddist-clang-warnings

dnsdist: Fix a couple warnings reported by clang++

Merge pull request #12446 from omoerbeek/rec-stack-protector

Rec: stack protector for mthread stacks

1024 is not enough with ASN + UBSAN, so go for 1536

dnsdist: Fix a couple warnings reported by clang++

Allow for some headroom, needed with TSAN

Merge pull request #12445 from omoerbeek/rec-2023-01-followup

rec: Add a bit more explanation to advisory

Test case for a record becoming available from an auth while being served stale (negatively) by rec.

Merge pull request #12421 from rgacogne/ddist-skip-invalid-ocsp

dnsdist: Skip invalid OCSP files after issuing a warning

missing word in comment

Co-authored-by: Remi Gacogne <github@coredump.fr>

typo in comment

Co-authored-by: Remi Gacogne <github@coredump.fr>

typo

Co-authored-by: Matt Nordhoff <mnordhoff@mattnordhoff.com>

Add a bit more explanation to advisory.

Also, attribution line was lost.

Be a bit more conservative, only clean specific (neg)cache entries if needed
*and* server-stale is active

ASAN is greedy, give it bigger stacks

Do *not* use QName Minimization for DS retrievals in QM fallback mode.

Merge pull request #12431 from fredmorcos/gh-actions-docs

Migration of CircleCI documentation generation and upload to Github Actions

Merge pull request #12443 from omoerbeek/rec-prep-4.8.1

rec: Prep for rec-4.8.1

Prep for rec-4.8.1

Add a configure option to enable LTO

The supported options are:
- thin: this is the recommended option for clang, as it is more
  scalable. It automatically determines the number of CPU cores
  to use. It requires support in the linker as well.
- auto: this is the recommended option for GCC, and a valid
  fallback for clang when 'thin' is not supported. It automatically
  determines the number of CPU cores to use as well.
- yes: this translates to '-flto', which will use a single CPU core
  in most cases, but is a valid fallback.
- no: LTO is disabled.

Merge pull request #12439 from rgacogne/fix-dnsreplay-man

dnsreplay: Fix formatting in the man page

libssl: Use decltype(&SSL_CTX_free) as suggested by Fred

dnsdist: Skip invalid OCSP files after issuing a warning

Contrary to certificates and keys, OCSP files are never required to
provide a working DoT or DoH service, so it's better to start even
if would not load all, or any, OCSP files.

Merge pull request #12435 from rgacogne/ddist-failure-server-ctx

dnsdist: Gracefully handle a failure to create a TLS server context

dnsreplay: Fix formatting in the man page

Remove unused CircleCI documentation generator and upload workflows

Github Actions workflow to generate and upload documentation

Fix heading of Documentation section under Compiling the Recursor

docs/Makefiles: Whitespace cleanup

tasks.py: Missing commas

Gitignore: Add .venv

dnsdist: Use pdns::OpenSSL::error and decltype()

As suggested by Fred (thanks!).

Add a test to check that we can use the specified stack size

Actual test of the guard pages can be done, but is hard to fit in the test framework.
To test manually decrease the headroom const to 0

dnsdist: Gracefully handle a failure to create a TLS server context

Merge pull request #12425 from omoerbeek/rec-forward-nord

rec: Change the way RD=0 forwarded queries are handled.

Merge pull request #12428 from rgacogne/moved-credentials

credentials: Explicitly clear credentials once they have been moved

Enable the highest supported level of FORTIFY_SOURCE in our CI tests

credentials: Explicitly clear credentials once they have been moved

Add a new configure option to initialize automatic variables

The new option, `--enable-auto-var-init`, when enabled, sets the
`-ftrivial-auto-var-init` flag when supported by the compiler
(GCC 12+, clang 16+) to either:
- `zero`: zero-initializes all automatic variables, and is enabled
  with `--enable-auto-var-init=yes` or `--enable-auto-var-init=zero`.
  This can be used as a hardening measure in production, reducing
  information leakage issues.
- `pattern`: initialize all automatic variables to a pattern that
  is likely to be detected, like 0xAA, and is enabled via
  `--enable-auto-var-init=pattern`. This is useful in tests,
  especially when the cost of sanitizers is too high.

I have not done any performance testing, but the zero option is
generally considered to have a less than 5% performance cost.

dnsdist: Document what happens on cache hit, miss after resumption

dnsdist: Fix time computation in the async unit tests

dnsdist: Better documentation for `DNSQuestion:restart()`

dnsdist: Document the valid ranges for the asynchronous identifiers

dnsdist: Better documentation for `DNSQuestion:restart()`

dnsdist: Cleanly round the elapsed time to the nearest microseconds

Merge pull request #12415 from rgacogne/ddist-improv

dnsdist: Small improvements

Change the way RD=0 forwarded queries are handled.

Since forever, there has been special case code for forwarded queries
in the RD=0 case.  This special case code does a hardcoded RD=0
query to the specified forwarder.  This code has two consequences:

1. Even if the forwarder is marked recursive it gets a RD=0 query
2. The cache is not consulted at all

The corresponding unit tests actually test this behaviour, but after
historic digging with help from @rgacogne it turns out the the unit
test do not reflect the desired functionality, but the current state
of affairs to help with a refactoring PR.  That is good, since
refactoring should not change functionality.

But now the time has come to change the code to do the desired thing:

1. If an RD=0 query is received, do a cache only-lookup in all cases.
2. Never send a RD=0 query to a recursive forwarder

I already did a similar thing when I wrote the QName Minimization
code, introducing a conditional that only gets set for that case,
to avoid changing unrelated (to QM) functionality.

Merge pull request #12381 from rgacogne/fortify-3

Enable FORTIFY_SOURCE=3 when supported by the compiler

Merge pull request #12420 from omoerbeek/rec-README

rec: README tweaks, .md does not know :program:`...`

dnsdist: Better handling of multiple carbon servers

Merge pull request #12407 from omoerbeek/rec-ecs-chaining

rec: do not chain ecs enabled queries

Merge pull request #12419 from omoerbeek/rec-close-fd-on-fdopen-fail

rec: negcache dump code: close fd on fdopen fail

dnsdist: Document interactions between XFR, NOTIFY and the cache

rec: README tweaks, .md does not know :program:`...`

Merge pull request #12364 from rgacogne/rec-doc-compiling

rec: In compiling docs, warn about the GH tarballs, add deps from README

Merge pull request #12396 from omoerbeek/stringerror-thread-safe

Introduce a thread-safe version of stringerror()

Close fd on fdopen fail.

Originally suggested by @rgacogne, but not included in the merge of #12374
somehow.

Merge pull request #12412 from fredmorcos/openssl3-tls-mac

OpenSSL 3.0: TLS MAC handling

Merge pull request #12416 from Habbie/variable-mirror

build-and-test-all: add functionality to quickly switch ubuntu mirrors

build-and-test-all: add functionality to quickly switch ubuntu mirrors

dnsdist: Document the 'restart' feature

dnsdist: FFI interface for the Lua network endpoint

dnsdist: Add documentation for suspending/resuming objects

dnsdist: Add the infrastructure for restartable queries

dnsdist: Add regression tests for the regular Lua async bindings

dnsdist: Add regular Lua bindings for async handling of queries

dnsdist: Add regression tests for asynchronous processing

dnsdist: Implement async processing of queries and responses

Merge pull request #12405 from rgacogne/ddist-frontend-responses

dnsdist: Proper accounting of response and cache hits

Merge pull request #12386 from rgacogne/single-doh-acceptor

dnsdist: Merge the 'main' and 'client' DoH threads in single acceptor mode

Merge pull request #12384 from rgacogne/ddist-cap-ttl

dnsdist: Add the ability to cap the TTL of records after insertion into the cache

dnsdist: Add more unit tests for the packet overlay