Include sys/time.h; needed on musl; fixes #11000

Merge pull request #10992 from omoerbeek/rec-prep-4.6.0-beta2

rec: Prep for rec-4.6.0-beta2

Prep for rec-4.6.0-beta2

Merge pull request #10987 from rgacogne/ddist17-b1-changelog-secpoll

dnsdist: Add ChangeLog and secpoll update for 1.7.0-beta1

dnsdist: Fix the description of 10920 in the ChangeLog, remove useless entries

spellcheck: Allow 'XDP', 'Grié'

Merge pull request #10883 from rgacogne/ddist-pinned-maps

dnsdist: Implement filesystem pinning for eBPF maps

dnsdist: Add ChangeLog and secpoll update for 1.7.0-beta1

Merge pull request #10896 from omoerbeek/more-secpoll-check

More strict secpoll.zone check

dnsdist: Switch to a uint8_t for the XDP match action type

dnsdist: Apply suggestions from code review on the new eBPF map type

contrib/xdp.py: Apply the change suggested by Pieter (thanks!)

Co-authored-by: Pieter Lexis <pieter@plexis.eu>

dnsdist: Add a sample XDP program and associated python script in contrib

Both contributed by Pierre Grié <pierre.grie@nameshield.net>.

dnsdist: Add a new eBPF map format, support external eBPF programs

Supporting external eBPF programs makes it possible to populate the
eBPF tables from dnsdist, manually or via our dynamic blocking mechanisms,
but to actually do the filtering in an external program, like an XDP one.

We cannot increase the size of eBPF programs if we want to stay
below 4k instructions for older kernels, so this commit implements
a compatibility layer with the new map format.

The 4k limit for unprivileged was removed in 5.2 but the complexity limit remains:
The complexity limit was actually changed several times since the
32k value from its introduction in Linux 3.18: it was raised to 64k
in Linux 4.7, then to 96k in Linux 4.12, again to 128k in Linux 4.14,
and at last to 1M in Linux 5.2.

dnsdist: Implement filesystem pinning for eBPF maps

This makes the filter (v4, v6 and qnames) maps persistent across a
restart and allow external programs to read and update them without
the need to use dnsdist's console.

indent

Merge pull request #10981 from Habbie/2136-rrset-ttl

auth 2136: apply new TTL to whole RRset, not only to the added record

Merge pull request #10980 from omoerbeek/rec-ede-issue

rec: Return the proper ede on validation failure

auth 2136: apply new TTL to whole RRset, not only to the added record

fixes #10921

auth 2136: improve some log messages

Merge pull request #10907 from rgacogne/ddist-handle-existing-edns-mac-setedns

dnsdist: Handle existing EDNS content for SetMacAddrAction/SetEDNSOptionAction

Merge pull request #10920 from rgacogne/ddist-cleanup-conns

dnsdist: Remove unreachable code in HTTP/2 connections cleanup

no else after exit

Co-authored-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

tweaks and undo error entry

Move check to a shell script

More strict secpoll check; hope I got the yaml quoting right

some more ()'s for readability

Co-authored-by: Remi Gacogne <github@coredump.fr>

Add a test for ede sig expired that does not rely on external servers

Merge pull request #10975 from omoerbeek/rec-fewer-circle-bulktests

rec: Run fewer CircleCI bulk tests

Merge pull request #10973 from omoerbeek/rec-asan-ubsan-to-strategy

rec: enable tsan for GH actions rec build and tests

Merge pull request #10954 from Habbie/update-contributing

some updates to CONTRIBUTING.md

Add test

Merge pull request #10751 from kpfleming/issue-7014

rec: Add support for NOTIFY queries to wipe cache entries

dnsdist: Apply suggestions from code review (thanks, Otto!)

Return the proper ede on validation failure; fixes #10936

Update pdns/recursordist/RECURSOR-MIB.txt

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #10972 from franklouwers/feature/update-docs

Clarify recursor docs for forward-zones-recurse

Merge pull request #10977 from omoerbeek/dnsdist-unit-test-connect

dnsdist: Disable the actual connect() in the test_dnsdisttcp_cc_c unit tests.

Disable the actual connect() in the test_dnsdisttcp_cc_c unit tests.

They are not needed and cause (at least on OpenBSD) firewall state table
clashes: they remain in a embryotic state because no actual activity
occurs on them due to the rest of the tests using mockup code.

tcpiohandler.cc is not linked into the tests, so define it locally in
test-dnsdisttcp_cc.cc as well.

rec: Add support for NOTIFY operations to wipe cache entries

NOTIFY operations can be sent to trigger removal of cache entries which
match the zone specified in the operation. All entries, regardless of
type, in or below the specified zone, are removed.  Control over
permission to send such operations is provided by an ACL, and control over
zones which can be wiped is provided by a new configuration setting.

The default configuration ignores all NOTIFY operations.

This patch adds:

* 'allow-notify-from' and 'allow-notify-from-file' settings, operating
  almost identically to 'allow-from' and 'allow-from-file' (the only
  difference being the default value).

* 'allow-notify-for' and 'allow-notify-for-file' settings, which provide
  a list of zones for which NOTIFY operations are allowed.

* modification to 'forward-zones-file' setting, allowing zones specified
  there to optionally allow NOTIFY operations.

* 'source-disallowed-notify' metric, counting the number of NOTIFY operations
  which have been denied by the ACL.

* 'zone-disallowed-notify' metric, counting the number of NOTIFY operations
  which have been denied by the zone list.

* API support for modifying 'allow-notify-from' ACL.

* Regression tests for new ACL settings.

Merge pull request #10969 from Habbie/doc-nits-11-2021

rec, auth: some doc updates

rec: Refactor cache-wiping code into a common function

Eliminates multiple copies of the code and eliminates
inconsistencies between them.

rec: Allow worker threads to send tasks to handler thread

Extend the ThreadMSG mechanism to allow worker threads to submit
tasks to be executed by the handler thread (one-way only, no
answers can be returned).

print stderr and stdout for api test

Merge pull request #10971 from omoerbeek/rec-curl-dep

rec: We need libcurl dev lib for the zone-to-cache function.

Disable bulk test with TSAN for now and add some debug code to api test

Supress g_stats data races

Run fewer CircleCI bulk tests. These are covered by builbot anyway

Enable tsan build plus tests for rec GH actions

Remove other remains of GnuTLS config that was never useful

Merge pull request #10970 from Habbie/auth-4.5.2-secpoll-docs

auth-4.5.2: secpoll and changelog

Move asan plus ubsan settings to strategy, in preparation for also doing tsan

Clarify docs

We need libcurl dev lib for the zone-to-cache function.

Also fix config summary line and print curl feature on --version

auth-4.5.2: secpoll and changelog

Merge pull request #10941 from Habbie/bind-dont-list-rejected-zones

auth bindbackend: skip rejected zones during list and search

Merge pull request #10967 from pieterlexis/rec-lua-scr-doc-format

rec: Fix formatting for versionadded

improve chroot text

stop saying mysql is a good choice for performance

auth bindbackend: skip rejected zones during list and search, fixes #10885

Fix formatting for versionadded

Merge pull request #10966 from omoerbeek/rec-prep-4.6.0-beta1

rec: Prep for rec-4.6.0-beta1

Correct versionadded

Prep for rec-4.6.0-beta1

Merge pull request #10965 from omoerbeek/rec-timeout-on-control

rec: Use a global timeout for the various recv's we're doing to get a control message

Merge pull request #10937 from omoerbeek/rec-tests-gh

rec: gh actions for recursor tests

Merge pull request #10963 from mind04/pdns-soa-backend

auth: make the zonecache more robust for bad data and save some SOA q…

Merge pull request #10959 from mind04/pdns-napex-soa

auth: api, check qtype location

Use sysconf if needed to get ARG_MAX

Limit max arg length

Use a global timeout for the various recv's we're doing to get a control message

auth: make the zonecache more robust for bad data and save some SOA queries
for dnssec zones

Review remarks from Habbie

auth: api, remove CDS and CDNSKEY for now, in favor of https://www.ietf.org/archive/id/draft-thomassen-dnsop-dnssec-bootstrapping-02.html

auth: check domain_id in the info-all-master-query

auth: api, check qtype location. Some types only live apex and some are not allowed (or useful) there.

dnsdist: Formatting...

dnsdist: Test that reused connections are moved to the active queue

Merge pull request #10948 from phonedph1/patch-30

dnsdist: dont try to set IPV6_RECVPKTINFO on an ipv4 any bind?

dnsdist: Split the list of downstream connections in two, active and idle

This way we can easily keep track of how many idle connections we have,
and try to reuse these first.

dnsdist: Fix formatting of the connections cache unit tests

dnsdist: Add a unit test for the outgoing connection cache

dnsdist: Fix a race condition in the XFR regression tests

dnsdist: Refactoring of the TCP connection caches

dnsdist: Fix missing 'continue's when cleaning the connections cleaning code

dnsdist: Remove unreachable code in HTTP/2 connections cleanup

Reported by Coverity (CID 373724).

Merge pull request #10865 from Habbie/api-v1

auth, rec: put some json on /api/v1

Merge pull request #10951 from mind04/pdns-catch-more

auth: improve dnsname exception handling for SOA records

Merge pull request #10955 from omoerbeek/dnsdist-regexp-suffixmatch

If possible, use SuffixMatchNodeRule() instead of RegexRule()

Merge pull request #10960 from nivex/patch-1

Fix quad9 example servers that had run together

Fix quad9 example servers that had run together

auth: improve SOA dnsname exception handling

Merge pull request #10943 from rgacogne/credentials-script-salt-unsigned

Credentials: EVP_PKEY_CTX_set1_scrypt_salt() takes an `unsigned char*`

namespace

better docblock note

Update CONTRIBUTING.md

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

If possible, use SuffixMatchNodeRule() instead of RegexRule

some updates to CONTRIBUTING.md

Update pdns/dnsdist.cc

Co-authored-by: Remi Gacogne <github@coredump.fr>

Reformat