docker: always clear cache in debug mode

WIP: improvements for Docker debug mode

Merge branch 'dname-support' into 'master'

DNAME support

Closes #234

See merge request knot/knot-resolver!965

lib/cache: shut up linters

It makes no sense to run produce/consume with either of these NULL.

tests: add Deckard module with DNAME tests

validator: stricter filtering of "failed" ranks from answer

It appears possible that a KR_RANK_MISSING record might still get into
answer in some edge cases, so let's be more defensive.  See cce8d9355.

fix DNAME support

Merge !983: prefill/zimport: fix race condition on TA access

zimport: log errors on error level, not just verbose

prefill/zimport: NEWS

prefill/zimport: fix race condition on TA access

TA RRset might change asynchronously between zi_zone_import() and
zi_zone_process(), we cannot rely pointer from zi_zone_import().

Merge branch 'cname-rank-no-ta' into 'master'

cache: fix cases of CNAMEs not getting cached

See merge request knot/knot-resolver!974

iterate: use resolve_badmsg() fallback for more RCODEs

+ REFUSED and SERVFAIL (in non-STUB)

cache: avoid CNAMEs when QTYPE=DS

It's disallowed combination, but why not fix it when it's so easy.

This was exposed by some of the previous two commits (not sure why)
in CI test for kresd->kresd forwarding.

cache: fix CNAME caching when validation is disabled

This also fixes the same for DNAMEs - soon, when they get supported.

Only the special case is changed - xNAMEs when no TAs exist.
Overall the TA handling in kresd is buggy; fortunately in practice it
seems very rare to run in other configuration than single root TA.

cache: in STUB mode always cache whole packets

... instead of individual records.
- iterator in STUB mode can't process individual CNAME steps from cache
- perhaps it's more suitable for STUB anyway

Merge branch 'ci-dumpcap-fix' into 'master'

ci: enable docker-build to run non-interactively

See merge request knot/knot-resolver!981

ci: enable docker-build to run non-interactively

Merge branch 'ci-dumpcap' into 'master'

ci: add dumpcap for Deckard to Debian image

See merge request knot/knot-resolver!980

ci: add dumpcap for Deckard to Debian image

Merge !979: lua: properly initialize random number generator

lua: properly initialize random number generator

Formerly multiple instances could use the same seed,
which prevented the retry logic in Lua modules (e.g. prefill) from
retrying at different times.

AFAIK security impact is zero aside from potential thundering-herd
problem with many kresd instances.

Merge !978: doc: support sphinx 3.0.0+

doc: use python as default domain

Our lua functions don't conform to C function declarations, which
generates warnings when using Sphinx 3.0.0+.

doc: use sphinx 3.0.0+ on readthedocs

doc/lib: add warning about potential doc inaccuracies

doc/policy: make sure only one reference to rpz() exists

doc/upgrading: reword to use new-style C reference

lib/rplan: clean up codestyle for doxygen

lib/utils: ensure consistent use of KR_* macros

The macros that expand to __attribute__(x) should precede function
declaration, consistently with all the other code.

doc/doxygen: configure macro expansion and edge cases

Configure doxygen to expand/ignore some macros like KR_EXPORT.

Skip some edge-case symbols that would be difficult to fix otherwise.

Merge !975: prevent bogus RRsets from leaking into answers

Closes #396

validator: use rank BOGUS where appropriate instead of MISSING

MISSING triggers re-query to auth in attempt to find missing RRSIGs.
It causes reduntant queries and also puts some BOGUS RRsets in answers.
(It sounds bad but we were correctly setting rcode=SERVFAIL and AD=0
even before this commit.)

Formerly RRSIG ranks did not reflect results of validation.
Now we mark them as BOGUS and upgrade them to SECURE if they validate.

New validator phase answer_finalize prevents BOGUS RRsets from being
put even into SERVFAIL answers.

Closes: #396

Merge branch '194-support-rpz-cname-redirection' into 'master'

support arbitrary data in RPZ

See merge request knot/knot-resolver!964

modules/policy: use origin and domain name as binary data

modules/policy: Return NODATA on *. action  in rpz file

modules/policy/rpz: Correct work if RRset is suffixed zone name

modules/policy: Add RPZ test

modules/policy: Take multiple RR types from rpz file for a single domain name

modules/policy: Overwrite rdata by rpz file

modules/policy: Add ANSWER action

Merge branch 'pkg-varlib-permissions' into 'master'

systemd/tmpfiles: change directory owner to root

See merge request knot/knot-resolver!972

systemd/tmpfiles: change directory owner to root

Change the owner of kresd files to root:knot-resolver. This improves
behaviour for Fedora, where kresd can run under root (e.g. in Docker).
Otherwise, running kresd as root on Fedora would fail because of dropped
capabilities and attempting to access /var/lib/knot-resolver, which was
owned by knot-resolver.

This change makes it possible for both root (user) and knot-resolver
(group) to have the same permissions on these directories despite
dropped capabilities.

distro/rpm: make owner consistent with other dirs

Merge branch 'cache-pkt-large' into 'master'

cache: fix large answers from packet cache

See merge request knot/knot-resolver!976

cache: fix large answers from packet cache

Atomic packets larger than both 4k and net.bufsize() could not
be fetched from cache; now that's fixed in a minimalistic way.
(Minimalistic except for nitpicks like adding comments.)

Merge !977: lua worker.bg_worker: also report missing cqueues

Fixes #562 (kind-of)

lua worker: improve message when missing cqueues

lua worker.bg_worker: also report missing cqueues

Otherwise people could get confusing errors like:
> attempt to index field 'bg_worker' (a nil value)

Merge branch 'rpm-centos8' into 'master'

distro/rpm: make spec centos8 compatible

See merge request knot/knot-resolver!973

ci: add obs:centos8 job

distro/tests: add centos8

distro/rpm: make spec centos8 compatible

Merge branch 'policy-postrules' into 'master'

policy postrules

Closes #556

See merge request knot/knot-resolver!969

rebinding: deduplicate code of policy.REFUSE

policy: fix qry parameter in postrules

Some rules need it and it was nil until now.

modules/policy: make actions usable in postrules

DENY, DENY_MSG, DROP, REFUSE and TC will now clear the _selected RRs.
I believe that's what people usually expect of these actions anyway.

Merge branch 'modules-tests' into 'master'

modules/meson.build: move test definitions closer to modules

See merge request knot/knot-resolver!971

modules/meson.build: move test definitions closer to modules

Merge !966: daf and HTTP fixes

Closes #553.

daf: make protocol detection consistent with http module

daf: fix example in documentation

modules/daf: add warning since examples can be misleading

modules/daf: add some basic tests

modules/daf: fix pass, deny, drop and tc actions

Previously, all those actions caused resolver to return SERVFAIL,
because the lua code failed to evaluate.

Notably, deny action now properly returns NXDOMAIN instead of SERVFAIL.
The drop action still returns SERVFAIL.

daf/README: use proper syntax, not syntactic sugar

http: update favicon to match Resolver colors

Old favicon used Knot DNS colors (dark blue) instead of Knot Resolver
colors (light blue).

daf: fix add() handling of empty rule strings

daf: config tests for HTTP API

daf: remove ordering requirement between http and daf modules

tests: avoid deprecated -f 1 in config tests, use -n

Omission in a339ee10d71380f6c0779950b73dd3c419036135.

Related: #529

daf: fix HTTP DELETE

Rule ID is a number, not a string.

http: also log results of HTTP requests

daf: fix the ajax error callback for rule control

daf: fix consensus() function to correctly detect empty answers

consensus() function is affected by
https://gitlab.labs.nic.cz/knot/knot-resolver/issues/554
so this fix helps only with single-instance scenarios.

daf: fix the rule builder form

http: log requests in verbose mode

daf: fix HTTP API endpoints to work with webmgmt interface

It is broken at least since 1223599d1cb8d92f1ebe7100e926b8fe44bee2f2,
i.e. 4.0.0.

daf: fix del method

The id rule is not the same as the index of the array.

Fixes: #553

Merge branch 'deckard_debug' into 'master'

tests: revert broken commits in Deckard repo

See merge request knot/knot-resolver!970

tests: revert broken commits in Deckard repo

I don't know why exactly it fails ... let's unblock release.

Merge !968: daemon: decrease tcp backlog to 128

daemon: decrease tcp backlog to 128

From our TCP benchmarks, values over 128 don't seem to have any
measurable benefits, even with hundreds of thousands of connections.

On the contrary, during very high TCP and CPU load, smaller backlog
seems to dramatically improve latency for clients that keep idle TCP
connections.

During normal/low load, smaller backlog doesn't seem to have any
benefits.

When measured against "aggressive" clients that immediately close the
TCP connection once their query is answered, backlog smaller than 128
was measured to hurt performance.

The application's backlog size is ultimately limited by
net.core.somaxconn, which has been set to 128 prior to Linux 5.4.
Therefore, this change only affects newer kernels and those who have
manually set this value to a higher size.

For more, see
https://gitlab.labs.nic.cz/knot/knot-resolver/-/merge_requests/968

Merge !967: abort integration tests if sendmmsg is enabled

Merge branch 'lua-resolve-opt' into 'master'

lua resolve(): correctly include EDNS0 in the virtual packet

See merge request knot/knot-resolver!963

deckard: abort if sendmmsg/recvmmsg are in use

Deckard does not support these and it leads to confusing errors.
In long term we need to migrate Deckard to different network backend:
https://gitlab.labs.nic.cz/knot/deckard/issues/42

lua resolve(): correctly include EDNS0 in the virtual packet

The new allocation approach isn't perfectly optimal, but it seems
relatively easy to understand and handles OOM conditions OK (I think).

Merge !957: per-request verbose logging and debug log improvements

lua: log RR ranks the same way as [cach] does

policy.DEBUG: NEWS + upgrading

policy.DEBUG_IF: avoid creating new callbacks on every request

This new approach uses per-request variables in Lua and creates new
callback for each DEBUG_IF call instead of each request.

Dockerfile with one-shot mode

Intended usage: Quick resolution attempt with an empty cache.

export QNAME=...
export QTYPE=...
sudo -E docker run -e QNAME -e QTYPE krestest:latest '-n' '-c' '/etc/knot-resolver/kresd.conf'

policy.DEBUG: fix to respect user-provided callbacks

It creates new callback functions for every request which
uses "callback chaining" but these should be rare.

lua: expose cache miss detection in request objects

It seems there is no reason to keep this function private in policy
module.

cache: remove forgotten log message "writing RRsets"

It did not log through request->trace_log and is not very useful anyway.

validator: clarify message about signed non-authoritative data

policy.DEBUG: add also policy.REQTRACE for printing incoming packets

policy.DEBUG: generalize DEBUG_CACHE_MISS into DEBUG_IF

DEBUG_IF accepts user-supplied function which decides which requests
should be logged.

policy: doc reorganization and clarification

policy.DEBUG: log also final answer

Attempt to avoid duplicating ten lines in debug_logfinish_cb lead me
to splitting kr_log_qverbose_impl into two functions kr_log_q and kr_log_req.
This is another minor change to API exposed to modules.