sdig: add rudimentary EDE output

Merge pull request #13281 from omoerbeek/omoerbeek-patch-1

rec: Clear taskQueue at start of test run

rec: Clear taskQueue at start of tets run

Not all tests leave an empty queue.
Test that use syncres get an auto clear, but this test does not use syncres.

Merge pull request #13278 from omoerbeek/rec-pc-task-unsupported

rec: packetcache submit task fixes

Merge pull request #13279 from omoerbeek/rec-unittest-rnd

rec: Switch randomization of unit tests back on

Merge pull request #13276 from omoerbeek/rec-conf-dir

rec: Fix sysconfdir handling in new settings code

Merge pull request #13277 from omoerbeek/rec-log-level

rec: allow loglevel to be set to levels < 3

Reformat and use specific NOLINT

Add test for TTL perc bug found while working on issue #13266

Merge pull request #13275 from dmachard/ddist-export-downstream-addr

dnsdist: add lua binding to downstream address

wrap DownstreamState instead of ComboAddress

Merge pull request #13252 from omoerbeek/rec-settings-make

rec: Add make -C rust clean when generate.py is run

Merge pull request #13195 from omoerbeek/rec-tcp-in

rec: move tcp-in processing to dedicated thread(s)

rec: Switch randomization of unit tests back on

The mthread fixes from #13251 should allow that now

rec: allow loglevel to be set to levels < 3

Fixes #13264

Also document what happens if quiet is set.

Merge pull request #13274 from rgacogne/ddist-enable-h2o-back

dnsdist: Enable back h2o support in our packages

Improve config-dir docs a bit

Small fixes in comments and log messages from review

rec: Fix sysconfdir handling in new settings code

Partly from @RvdE
Fixes #13259

Some delinting of common cache code

Merge pull request #13258 from omoerbeek/rec-yaml-conv-docs

rec: Clarify file name and placement rules for converted old-style files

dnsdist: add lua binding to downstream addr

dnsdist: Document that h2o support is no longer built by default

dnsdist: Enable back h2o support in our packages

As we promised to do.

Merge pull request #13269 from rgacogne/ddist-doc-fix-underline-too-short

dnsdist: Fix too short underline for latency-doh-avg1000000 title

Prevent lookups for unsupported qtypes or rcode != 0 to submit refresh tasks

Merge pull request #13245 from Habbie/gmysql-drop-opt-reconnect

smysql: stop explicity setting MYSQL_OPT_RECONNECT to 0

Merge pull request #13192 from aj-gh/gss-tsig-featuremsg

Auth: Improve error message for missing GSS-TSIG feature

add a missing space to format the changelog correctly

dnsdist: Fix too short underline for latency-doh-avg1000000 title

Merge pull request #13263 from rgacogne/ddist-190-a1-changelog-secpoll

dnsdist: Add ChangeLog and update secpoll for 1.9.0-alpha1

secpoll: Don't advise updating from dnsdist's pre-release 1.9.0-alpha1

Merge pull request #13261 from rgacogne/ddist-fix-spurious-failures-async-unit-tests

dnsdist: Prevent spurious failures of the async unit tests

dnsdist: Add ChangeLog and update secpoll for 1.9.0-alpha1

dnsdist: Uglify the code to make the formatter happy

dnsdist: Prevent spurious failures of the async unit tests

The events should be triggered either almost immediately or after
10 ms, but we have seen many spurious failures on our CI, likely
because the box is overloaded, so sleep for up to 100 ms to be sure.
I managed to reproduce the issue locally by running this command in
parallel of the tests, for reference: `stress --cpu <number of HT cores>`.

Merge pull request #13256 from rgacogne/ddist-fix-randomized-unit-tests

dnsdist: Ensure our unit tests can be run in random order

Merge pull request #13253 from rgacogne/ddist-race-tests-certificate

dnsdist: Fix a race in TLS certificate generation in the tests

rec: Clarify file name and placement rules for converted old-style files

Merge pull request #13238 from Habbie/default-catalog-zone

auth: add default-catalog-zone setting

Merge pull request #13257 from Habbie/unbreak-curl-rpmbuild

builder (rpm): use allowerasing to allow replacement of curl-minimal with curl

use allowerasing to allow replacement of curl-minimal with curl

dnsdist: Appease the formatting gods

dnsdist: Ensure our unit tests can be run in random order

Merge pull request #13254 from Habbie/drop-kinetic

builder: drop ubuntu kinetic, it is EOL

auth: add default-catalog-zone setting

builder: drop ubuntu kinetic, it is EOL

Merge pull request #13251 from omoerbeek/mtasker-exception-fiber

rec: When an exception is thrown from an mthread register stack switch (in the ASAN case)

dnsdist: Fix a race in TLS certificate generation in the tests

The OCSP and TLS tests are generating new TLS certificate and key,
so there was a time window for a certificate/key mismatch if a test
is starting right at the moment the OCSP and TLS tests are generating
new material. This commit fixes it by using different file names for
these tests.

Add make -C rust clean when generate.py is run.

See comment for motivation. While working on the settings project,
I had this line, but I thouhgt it was no longer needed so I removed
it. It turns out it *is* needed. Found out when adding the
recursor.tcp_threads field.

Merge pull request #13250 from omoerbeek/rec-coverity-20230913

rec: Fix Coverityy 1519054: Using invalid iterator

And another case for catch/throw

Also catch/throw in sendEvent() case

Add 'versionadded'

Introduce setting recursor.tcp_threads.

While working on this, I noticed that after changing table.py
the new lib.rs is generated, but the Serde derives to not seem to get
triggered until afert I do a make clean. To be investigated.

Before this PR, if pdns-distributes-queries is *false* worker threads process both UDP and TCP queries

Only init Lua for workers (both UDP and TCP)

Now that distributor threads do no longer process (TCP) queries, no need to have Lua inited for those

Adopt code change suggestions from @rgacogne's review

Apply spelling fixes

Co-authored-by: Remi Gacogne <github@coredump.fr>

Tweaks and some docs

Include all rec threads for CPU usage stats

Also count TCP "distributed" queries and show them in the periodic stats

Do note that the rules to increment various counters are a bit divergent if you compare TCP and UDP

In the singkle thread case, TCP is still handled by a separate thread

Run seperate TCP threads. These threads listen and process incoming TCP queries

TODO: test, validate reuseport behaviour, settings, docs

Some more refactoring to get complexity down plus comments on the way tcp-in works

Refactor actual processing of query out of handleRunningTCPQuestion

When an exception is thrown from an mthread register stack switch in the ASAN case

Merge pull request #13248 from omoerbeek/rec-prep-5.0.0-alpha1

Prep for rec-5.0.0-alpha1

Prep for rec-5.0.0-alpha1

rec: Fix Coverityy 1519054: Using invalid iterator

Merge pull request #13247 from omoerbeek/rec-fix-docker-build

rec: fix docker build; it does `make install` without first building the default target

Merge pull request #13244 from fredmorcos/rec-settings-minor-fixes

Rec settings minor cleanups

Install Rust in docker build env

Merge pull request #13246 from omoerbeek/omoerbeek-patch-1

rec: Fix wrongly converted default for "quiet"

rec: fix docker build; it does `make install` without first building the default target

Fix wrongly converted default for "quiet"

Rec: Settings Rust bridge allow passing references to owned Vecs

Revert "Rec: Settings Rust bridge prefer slices over Vec references"

This reverts commit ea0681a158aa8bc60fdbc8fe39b41d60ae800629.

smysql: stop explicity setting MYSQL_OPT_RECONNECT to 0

Setting this option, even to 0, causes spurious warnings to the console
with recent libmysqlclient versions. The upstream bug
( https://bugs.mysql.com/bug.php?id=112089 )
has now been open for a month, so we're implementing a workaround.

0 was the default since at least MySQL 5.7, perhaps longer.

closes #13242

Merge pull request #13243 from omoerbeek/rec-no-random-unittests

Rec's unit tests (in combination with asan+ubsan) are not ready yet for randomization

dnsdist: Fix the test order dependency in the Dynamic Blocks unit tests

Rec: Typos

Rec: Settings Rust bridge prefer slices over Vec references

Rec's unit tests (in combination with asan+ubsan) are not ready yet for randomization

Rec: Settings Rust bridge ignore Emacs' .dir-locals.el

Merge pull request #13237 from omoerbeek/random-unittests

Introduce randomness in test order to catch hidden dependencies between unit-tests

Merge pull request #13239 from omoerbeek/rec-fix-rust-install

rec: With #13101 the cwd of the build changed, adapt call to ci-rust-install

With #13101 the cwd of the build changed, adapt call to rust install

Be even more lenient in allowing timing differences

Merge pull request #13101 from romeroalx/add-make-distdir

GH actions. build-and-test-all.yml: add make distdir as an additional step for build jobs

Merge pull request #13008 from omoerbeek/rec-gen-settings

Rec: rewrite settings code, move to yaml settings file using Rust

Introduce randomness in test order to catch hidden dependencies between unit-tests

Also be a bit more lenient in a recently introduced test that checks timing
of some aggressive cache manipulations.

Fix typo in function name (both def and caller)

adding make distdir step to build-and-test-all

Introduce structured YAML settings for Recursor.

Mostly written in Rust, using CXX and Serde

Code generation is used to generate both the old style config tables as
the new Rust based code. The code generation also produces the code
to covert old styel to new style and documentation.

Th main entry point for code generationo is settings/generate.py,
using the table table.py

Existing configs continue to work as before.

Merge pull request #13210 from omoerbeek/rec-systemd-unit-nss

rec: remove Before=nss-lookup.target line from unit file

Merge pull request #13209 from omoerbeek/rec-aggr-cache-pruning

rec: make aggressive cache pruning more effective and more fair

Apply typo-in-comment fixes from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

Merge pull request #13227 from rgacogne/ddist-fix-unit-tests-on-el-with-lto

dnsdist: Fix unit tests for incoming DoH w/ nghttp2

Merge pull request #13229 from appliedprivacy/patch-2

docu typo fix: latency-doh-avg 100k -> 1M