dnsdist: Only put outgoing DoH conn in the idle queue if they are idle

dnsdist: Do not pretend that a connection will be reusable when it's dead

By remember that a connection is no longer usable when we notice that,
we prevent a case where we could pretend that it will be usable when
it has finished processing the current queries and responses, which
is not true.

dnsdist: Add a metric to track when the TCP conns limit is reached

dnsdist: Implement a limit of concurrent connections to a backend

Merge pull request #11716 from rgacogne/split-metrics

dnsdist: Add more detailed metrics

Merge pull request #11718 from rgacogne/ddist-fix-backend-concurrent-conns

dnsdist: Fix the number of concurrent queries on a backend TCP conn

Merge pull request #11722 from Habbie/luathread-sigterm

dnsdist newThread(): mask SIGTERM

dnsdist newThread(): mask SIGTERM

dnsdist: Fix the number of concurrent queries on a backend TCP conn

When we are in the process of sending a query to the backend, that
query is no longer accounted in the "queued" queries nor it is in
the "queued" responses, but we need to take it into account.
Otherwise we might be sending two concurrent queries to a backend
that does not support out-of-order processing (increasing our
latency), or even worse to one that does not support pipelining.

dnsdist: Add per-protocol latency averages

dnsdist: Add a per-server metric for non-compliant responses

dnsdist: Add a per-frontend metric for non-compliant queries

Merge pull request #11712 from chbruyand/dnsdist-packetcache-ringbuffer

dnsdist: fill ringbuffers with responses served from the cache

Make sure that we do not read past our buffer in any case

Co-authored-by: Remi Gacogne <github@coredump.fr>

process review comments

dnsdist: fill ringbuffers with responses served from the cache

Merge pull request #11696 from rgacogne/ddist-fix-source-itf

dnsdist: Bind to the requested src interface without a src address

Merge pull request #11689 from rgacogne/ddist-skip-allocations-policies

dnsdist: Avoid allocating memory in LB policies for small number of servers

Merge pull request #11707 from rgacogne/ddist-latencies

dnsdist: Compute backend latency earlier, to avoid internal latency

Merge pull request #11698 from rgacogne/ddist-more-name-bindings

Implement `SuffixMatchTree::getBestMatch()` to get the name that matched

dnsdist: Bind to the requested src interface without a src address in auto-discovery as well

dnsdist: Only check if we want a specific interface if we actually support that

dnsdist: Use IP_BIND_ADDRESS_NO_PORT when binding UDP sockets as well

dnsdist: Fix a typo LeastOustandingType -> LeastOutstandingType

dnsdist: Fix a bound issue, improve readability (thanks, Otto!)

dnsdist: Remove a forgotten debug message

Merge pull request #11693 from omoerbeek/rec-sl-web

rec: Structured logging for webserver

Process review comments

Merge pull request #11695 from rgacogne/ddist-do-not-autoupgrade-dotdoh

dnsdist: Do not try to auto-upgrade DoT and DoH backends

Merge pull request #11710 from omoerbeek/rec-sl-3

rec: stuctured logging for various subsystems

Merge pull request #11709 from omoerbeek/rec-sd-journal-followup

Rec: systemd-journal structured logging followup

Process review comments

Process review comments: add comments and braces

Merge pull request #11711 from rgacogne/ddist-startup-infos

dnsdist: Log listening addresses and version at the 'info' level

Merge pull request #11704 from omoerbeek/rec-edns-sparse-table

Rec: make edns table a sparse table

Move back to origial EDNSLevel logic.

The handling around ednsMANDATORY is separate form the table handling,
so do not mix these up.

Remaining structured logging, "only" sending/receiving questions and answers, validation and tracing remain.

dnsdist: Log listening addresses and version at the 'info' level

These are really informations, not warnings.

Structured Logging: finish Lua config messages

Structured logging for root refresh

Format

Structured logging for webserver

Document structured-logging-backend

Early priority filter for structured logging

Introduce a setting to switch to systemd-journal (default off),

It is nicely structured but not really nice for human consumption.
Also fix priority filtering.

dnsdist: Properly handle TCP latencies for DoH backends as well

dnsdist: Test the TCP latency in our regression tests

dnsdist: Compute backend latency earlier, to avoid internal latency

Also properly report the latency as TCP when forwaring a query received
over UDP to TCP-only, DoT and DoH backends.
Exports the TCP latency in the prometheus and API metrics.

Merge pull request #11651 from Y7n05h/refactor

dnsdist: refactor sendfromto

Only erase if we know the edns entry exists

Fix comments and clear up the logic of EDNSLevel

dnsdist: refactor sendfromto

Signed-off-by: Y7n05h <Y7n05h@protonmail.com>

Only store edns status if it is not EDNSOK

Merge pull request #11601 from omoerbeek/rec-shared-ednsmap

Rec: shared ednsmap

Merge pull request #11685 from rgacogne/ddist-cppcheck-warnings

dnsdist: Fix a few performance-related warnings reported by cppcheck

Merge pull request #11613 from omoerbeek/burtle

hashHeaderAndQName burtle optimization

Merge pull request #11641 from omoerbeek/codeQL-v2

Move to v2 for CodeQL action, v1 will be deprecated dec 2022

Process review comment: move var to inner block

Use the level actually *used* to decide to update edns status.
Fold the logic to not update if no change and updating the timestamp to the setter.

Prune EDNS table once every minute, as the entries last for 2 hours

Move edns table to a shared table

Merge pull request #11340 from norve/pdnustil-flush-prompt

Pdnustil flush prompt

Merge pull request #11413 from Habbie/man-pdnsutil-b2b-migrate

auth: add b2b-migrate to pdnsutil man page

Merge pull request #11350 from mind04/pdns-presigned-alias

auth: no ALIAS and LUA record expansion in presigned zones

dnsdist: Add more DNSName and SuffixMatchNode Lua bindings

Implement SuffixMatchTree::getBestMatch() to get the name that matched

dnsdist: Bind to the requested src interface without a src address

In some cases we want to bind to a specific interface when contacting
a backend without specifying an exact source address, leaving the
kernel select one for us.

dnsdist: Do not try to auto-upgrade DoT and DoH backends

Merge pull request #11691 from rgacogne/ddist-1.7.2-changelog-secpoll

dnsdist: ChangeLog and secpoll update for 1.7.2

dnsdist: Update the release date for 1.7.2

Merge pull request #11682 from fredmorcos/recursor-ipv6-from-etc-hosts

Recursor: Load IPv6 entries from `etc-hosts` file

DNSRecord: Formatting

DNSRecord: Explicit member initialization

Add domain map population tests that include search suffixes

Only add PTR records for the canonical hostname

Convert the handling of addresses from etc-hosts file to ComboAddress

This enables almost-seamless IPv6 support and cleans up a few things e.g. avoid using
strings when handling IP addresses.

This commit also refactors the creation of forward and reverse lookup entries.

Move domain-map related helper functions for testability and add tests

This also adds tests for loading entries from an etc-hosts-like file.

Implement toString() for DNSRecord

Another constructor that accepts all params for DNSRecord

Default init of DNSRecord fields

Implement toString() for SyncRes::AuthDomain

Implement operator== for SyncRes::AuthDomain

Add IPv4 and IPv6 address reversal to ComboAddress

Whitespace & cleanup

Recursor: Add .clang-tidy to gitignore

Lint fix when iterating over IP parts in reverse

Lint fixes when loading etc-hosts file

Whitespace

Merge pull request #11692 from omoerbeek/rec-actually-run-tasks

rec: Run tasks from houskeeping thread in a proper way.

Merge pull request #11548 from rgacogne/ddist-ebpf-docs

dnsdist: Document eBPF requirements, external program support

Merge pull request #11526 from Y7n05h/master

use BPF_MAP_TYPE_LPM_TRIE for range matching

Run tasks from houskeeping thread in a proper way.

Previously, this was only done if log-common-errors was true, due
to argument reversal.  In general task *would* be executed, as they
are also run after each query processed by SyncRes (so not after
packet cache hits).

Thanks to @jelu!

dnsdist: ChangeLog and secpoll update for 1.7.2

Merge pull request #11688 from rgacogne/ddist-downstream-doc-typo

dnsdist: Fix a typo in the Downstream guide

dnsdist: Use the correct positions in the LB servers array

Merge pull request #11660 from omoerbeek/rec-sd-journal

rec: Use systemd-journal for structured logging if it is available

Merge pull request #11681 from omoerbeek/rec-sl-subsys

rec: structured logging for various subsystyems

dnsdist: Avoid allocating memory in LB policies for small number of servers

The gist of this commit is that we do not need to dynamically allocate
memory in our load-balancing policies when we have a few number of
servers to consider: we can very well use a stack-based array instead.

Beter naming of closure

Process review commens from @fredmorcos, thanks!