Merge branch 'modules-tests' into 'master'

modules/meson.build: move test definitions closer to modules

See merge request knot/knot-resolver!971

modules/meson.build: move test definitions closer to modules

Merge !966: daf and HTTP fixes

Closes #553.

daf: make protocol detection consistent with http module

daf: fix example in documentation

modules/daf: add warning since examples can be misleading

modules/daf: add some basic tests

modules/daf: fix pass, deny, drop and tc actions

Previously, all those actions caused resolver to return SERVFAIL,
because the lua code failed to evaluate.

Notably, deny action now properly returns NXDOMAIN instead of SERVFAIL.
The drop action still returns SERVFAIL.

daf/README: use proper syntax, not syntactic sugar

http: update favicon to match Resolver colors

Old favicon used Knot DNS colors (dark blue) instead of Knot Resolver
colors (light blue).

daf: fix add() handling of empty rule strings

daf: config tests for HTTP API

daf: remove ordering requirement between http and daf modules

tests: avoid deprecated -f 1 in config tests, use -n

Omission in a339ee10d71380f6c0779950b73dd3c419036135.

Related: #529

daf: fix HTTP DELETE

Rule ID is a number, not a string.

http: also log results of HTTP requests

daf: fix the ajax error callback for rule control

daf: fix consensus() function to correctly detect empty answers

consensus() function is affected by
https://gitlab.labs.nic.cz/knot/knot-resolver/issues/554
so this fix helps only with single-instance scenarios.

daf: fix the rule builder form

http: log requests in verbose mode

daf: fix HTTP API endpoints to work with webmgmt interface

It is broken at least since 1223599d1cb8d92f1ebe7100e926b8fe44bee2f2,
i.e. 4.0.0.

daf: fix del method

The id rule is not the same as the index of the array.

Fixes: #553

Merge branch 'deckard_debug' into 'master'

tests: revert broken commits in Deckard repo

See merge request knot/knot-resolver!970

tests: revert broken commits in Deckard repo

I don't know why exactly it fails ... let's unblock release.

Merge !968: daemon: decrease tcp backlog to 128

daemon: decrease tcp backlog to 128

From our TCP benchmarks, values over 128 don't seem to have any
measurable benefits, even with hundreds of thousands of connections.

On the contrary, during very high TCP and CPU load, smaller backlog
seems to dramatically improve latency for clients that keep idle TCP
connections.

During normal/low load, smaller backlog doesn't seem to have any
benefits.

When measured against "aggressive" clients that immediately close the
TCP connection once their query is answered, backlog smaller than 128
was measured to hurt performance.

The application's backlog size is ultimately limited by
net.core.somaxconn, which has been set to 128 prior to Linux 5.4.
Therefore, this change only affects newer kernels and those who have
manually set this value to a higher size.

For more, see
https://gitlab.labs.nic.cz/knot/knot-resolver/-/merge_requests/968

Merge !967: abort integration tests if sendmmsg is enabled

Merge branch 'lua-resolve-opt' into 'master'

lua resolve(): correctly include EDNS0 in the virtual packet

See merge request knot/knot-resolver!963

deckard: abort if sendmmsg/recvmmsg are in use

Deckard does not support these and it leads to confusing errors.
In long term we need to migrate Deckard to different network backend:
https://gitlab.labs.nic.cz/knot/deckard/issues/42

lua resolve(): correctly include EDNS0 in the virtual packet

The new allocation approach isn't perfectly optimal, but it seems
relatively easy to understand and handles OOM conditions OK (I think).

Merge !957: per-request verbose logging and debug log improvements

lua: log RR ranks the same way as [cach] does

policy.DEBUG: NEWS + upgrading

policy.DEBUG_IF: avoid creating new callbacks on every request

This new approach uses per-request variables in Lua and creates new
callback for each DEBUG_IF call instead of each request.

Dockerfile with one-shot mode

Intended usage: Quick resolution attempt with an empty cache.

export QNAME=...
export QTYPE=...
sudo -E docker run -e QNAME -e QTYPE krestest:latest '-n' '-c' '/etc/knot-resolver/kresd.conf'

policy.DEBUG: fix to respect user-provided callbacks

It creates new callback functions for every request which
uses "callback chaining" but these should be rare.

lua: expose cache miss detection in request objects

It seems there is no reason to keep this function private in policy
module.

cache: remove forgotten log message "writing RRsets"

It did not log through request->trace_log and is not very useful anyway.

validator: clarify message about signed non-authoritative data

policy.DEBUG: add also policy.REQTRACE for printing incoming packets

policy.DEBUG: generalize DEBUG_CACHE_MISS into DEBUG_IF

DEBUG_IF accepts user-supplied function which decides which requests
should be logged.

policy: doc reorganization and clarification

policy.DEBUG: log also final answer

Attempt to avoid duplicating ten lines in debug_logfinish_cb lead me
to splitting kr_log_qverbose_impl into two functions kr_log_q and kr_log_req.
This is another minor change to API exposed to modules.

unify verbose logging and request tracing

Formerly both logs used slightly different formats and duplicated code.
From now on verbose log and request tracing are generated using the same
code.

This required a small change to request trace_log_f definition so it
might affect external modules.

lua: helper functions for debug log

debug: warn on qname letter case mismatch

We de-randomize qname letter case very early so kr_pkt_text() should see
all lowercase. Any uppercase means mismatch.

I've considered moving debug print to an earlier place but this way it
is more visible so I like more.

iterate: log IP address sending mismatching answers

daemon/worker: add logging to qr_task_step query cancelation

Merge branch 'strict-aliasing' into 'master'

fix strict aliasing problems

See merge request knot/knot-resolver!962

meson.build: compile with -fno-strict-aliasing

I tested that older compilers don't refuse this option:
 - gcc 4.8 (as that's the default in CentOS 7)
 - llvm 3.8 (year 2016 is enough, I hope)

lib/generic/array: fix a strict aliasing problem

The issue here is that `char *` is not allowed to alias
with `anyType *`.  With gcc-10 in Fedora this now started
to cause real problems and loading stats module segfaulted.

Actually I can't see in standard (C11 6.5 par.7) that using `void *`
is guaranteed to be correct, but at least it seems fine with gcc,
and e.g. some standard functions like posix_memalign() use it
in the same "dangerous" way.

Merge branch 'ci-add-docker-py' into 'master'

ci/debian-buster: Add docker-py to docker image

See merge request knot/knot-resolver!961

ci/debian-buster: Add docker-py to docker image

Merge branch 'ci-add-libnghttp2' into 'master'

ci/debian-buster: add libnghttp2 to docker image

See merge request knot/knot-resolver!960

ci/debian-buster: add libnghttp2 to docker image

Merge branch 'fix-leap-distrotest' into 'master'

distro/tests: failure to refresh Leap15 repo is non-critical

See merge request knot/knot-resolver!959

distro/tests: failure to refresh Leap15 repo is non-critical

distro/tests: update README

Merge branch 'doc-links' into 'master'

doc: fix a broken internal link

See merge request knot/knot-resolver!958

doc: fix a broken internal link

Reported on Turris forums:
https://forum.turris.cz/t/dns-over-tcp-just-a-single-transaction/12003/21

Merge !954: docs: better RPZ description (+fix watch)

Merge !956: ci/travis: correctly print http error codes

ci/travis: correctly print http error codes

Thanks to Tomas.

modules/policy: polict.rpz() shouldn't watch file when watch=false

Merge branch 'compiler-warnings' into 'master'

compiler warning improvements

See merge request knot/knot-resolver!952

docs: better RPZ description

Merge branch 'ci-disable-epel8-check' into 'master'

ci: disable build check for EPEL8 (still unresolvable)

See merge request knot/knot-resolver!953

ci: disable build check for EPEL8 (still unresolvable)

make bad <lua.h> a hard informative error

daemon/main: -Wformat in info message

Normally the types are equal, but that's not true e.g.
on 32-bit systems and macOS.

meson: turn implicit-function warnings into hard errors

I just saw a case with bad luajit includes that linked successfully even
with some of the macros getting this warning.

daemon/bindings/net: avoid -Wunused-variable on non-Linux

Merge !951: NEWS: I forgot to re-classify the last change

NEWS: I forgot to re-classify the last change

Merge !949: FreeBSD-related improvements

Fixes #549

lib/cache: ignore EINVAL from space pre-allocation

daemon/io: extend logging for TCP Fast Open failure

In FreeBSD it's disabled by default, causing this error.
I tried disabling it on Linux via sysctl, but that didn't seem
to cause any errors.

Merge !950: Fix spelling in module-prefill description

Fix spelling error in module-prefill description

Merge !948: README.md: fix broken readthedocs link

README.md: fix broken readthedocs link

The nice restructuring had these side effects, unfortunately.

Merge branch 'gc-cpu-usage' into 'master'

gc: don't re-open cache so often

See merge request knot/knot-resolver!946

gc: make the log more readable

One iteration of GC produces five lines of log (without -DDEBUG);
separating those chunks seems much nicer.

gc: make state in kr_cache_gc() explicit

It really is nicer to work with.
Additionally re-open cache after any GC errors.

gc: don't re-open cache so often

Re-opening the cache causes fsync - every interval (1s by default).
Normally that isn't noticeable, but on encrypted ZFS it causes
high CPU consumption (even when "idle").

grahamc first reported this and Mic92 tested the patch helps. Thanks!
https://gitter.im/CZ-NIC/knot-resolver?at=5e4ea2343ca8a67fb808e349

Merge branch 'spdx-cleanup' into 'master'

spdx cleanup: fix installation and pkgtests

See merge request knot/knot-resolver!945

spdx cleanup: fix installation and pkgtests

Merge !942: license cleanup

autogenerate AUTHORS file to get rid of outdated data

The file can be re-generated using scripts/update-authors.sh.
File .mailmap is used for name canonicalization and fresh list of
authors replaces the old one in AUTHORS file automatically.
Gitlab CI checks its content before release (on branches named release-*).

Marek Vavruša is listed in .mailmap file twice intentionally,
once as CZ.NIC employee and second time as external contributor.

http: document source of bootstrap/bootswatch theme

Source is
git+https://github.com/twbs/bootstrap.git@a78dc3aed640a35914361b837ce24573a0515e19#yeti/bootstrap.min.css
but our version has minor modifications:
- removed link to font file
- minor font and line height adjustments
- added SPDX header

Diffing minimized CSS file is a mess so use something like
$ awk '{gsub(/{|}|;/,"&\n"); print}'
to get something more legible.

http: machine readable license for selectize.js

http: update selectize.js to match upstream version 0.12.6

Originally we used version 0.12.0 but the files in our repo did not
exactly match files in the upstream repo and I could not confirm
if the changes were meaningful or just artifact of source minimization
process.

To remove uncertainity I've updated selectize.js to latest upstream version
0.12.6, did not do any extra CSS minimization, and removed unused file
selectize.min.css.

As far as I can tell it seems to work.

Source:
git+https://github.com/selectize/selectize.js.git@eb0fca364f9bd6864ae197ea58c853f2717052a9

mark bundled content with SPDX file

The SPDX file contains hand-written metadata about source URL, version,
authors, and license.

There are two missing pieces in HTTP module:
- bootswatch theme - I could not find what theme we ship, maybe it is
  based on one of bootswatch themes but heavily modified
- selectize.js source does not match respective files in upstream but
  contains minor changes

I will deal with these in later commits.

license: add note that some files might have different license

tag license files according to Linux Kernel license identifier syntax

https://www.kernel.org/doc/html/latest/process/license-rules.html#license-identifier-syntax

treewide: machine readable license for all the rest

These files did not have GNU GPL v3 boilderplate in them so
I've added machine readable tag with appropriate license.

treewide: machine readable license for GNU GPLv3+ source code

Long GNU GPLv3 boilderplate was automatically replaced
with machine readable tag.

contrib/licenses: machine readable license

contrib/ucw: machine readable license

contrib/murmurhash3: machine readable license