Merge !600: NSEC3 aggressive caching

Merge branch 'master' into cache-NSEC3

Merge !606: fix validation of explicit wildcard queries

nsec: correct wildcard proof check with queried for literal wildcard

The validation fails in current implementation when queried directly
for the wildcard. In that case the count of the common labels with the
NSEC record is the same, and not shorter by 1 (to accomodate wildcard
expansion).

Merge branch 'http-allow-reuseport' into 'master'

http: allow all forks to process HTTP requests

See merge request knot/knot-resolver!406

modules/http: allow passing server options to http configuration

This allows HTTP server to start with reuseport, reuseaddr or v6only.
The reuseport allows running HTTP module on all forks, not just the main one.

Merge !561: minor pack_t and nsrep refactoring

lib/generic/pack: switch to NULL on empty pack iterator

It's probably slightly safer to use NULL than end-array pointer,
so let's use it in this case.  Significantly adapted by Vlada
from original Marek's change, after master fixed the corruption.

lib/nsrep: refactored copypasta

cache: tiny nitpicks

NEWS: add aggressive NSEC3

Merge branch 'master' into cache-NSEC3

reduce verbose logging - cases not really useful

Also tweak order of information when logging cache stash,
as it was rather unnatural.

cache: more checks, comment cleanup

cache: review stashing NSEC* parameters

Merge branch 'ci-docker' into 'master'

ci/Dockerfile.debian: use new respdiff git repo

See merge request knot/knot-resolver!602

ci/Dockerfile.debian: use new respdiff git repo

cache: avoid potential out-of-bounds with NSEC3 params

It's possible the parser wouldn't let such RR through,
and it's most likely validator shouldn't let them through.
Even so, I feel better to check anyway.

Merge branch 'tls-session-resumption' into 'master'

daemon/tls: session resumption with tickets (client & server side)

See merge request knot/knot-resolver!585

cache find_leq_NSEC3: precise check for NSEC3 params

cache: shorten repetitive `qry->flags` blocks

cache entry_list_parse: squash a simple FIXME

daemon/tls: disable session resumption with shared secret for now

There is no GnuTLS version which would make this safe.
See https://gitlab.com/gnutls/gnutls/issues/477

opt-out nitpicks, eradicate kr_rank_test_noassert

daemon/tls: add basic config tests

daemon/tls: document limitations of the session key synchronization

daemon/tls: work on server-side session tickets

daemon/bindings: import tls session ticket key salt from file

daemon/tls: session resumption with tickets (client & server side)

separate most of code for retrieval from cache

api.c was growing too long.
Also a few other minor changes.

WIP: minor code cleanups

kr_rank_test*: avoid code duplication

Merge branch 'master' into cache-NSEC3

Merge branch 'tls-ciphers' into 'master'

restrict TLS ciphers

See merge request knot/knot-resolver!601

daemon/tls: make gnutls_priority stricter

Otherwise CentOS 7 enables those two "ciphers" by default.
Noticed in #355.

daemon/tls: don't segfault if gnutls_priority_* fails

Merge remote-tracking branch 'o/master' into cache-NSEC3

Merge branch 'policy_clear_ad' into 'master'

modules.policy: REFUSE, TC - clear AD flag in answers

See merge request knot/knot-resolver!599

modules.policy: REFUSE, TC - clear AD flag in answers

Merge branch 'ci-epel-error' into 'master'

ci: make distro:epel-7 easier to debug in typical cases

See merge request knot/knot-resolver!598

ci: make distro:epel-7 easier to debug in typical cases

Merge branch 'tls-system-store' into 'master'

daemon/tls: use system CA with TLS_FORWARD policy

Closes #310

See merge request knot/knot-resolver!586

daemon/tls: document new behavior

daemon/tls: system CA's are used by default with TLS_FORWARD policy when ca_file parameter is omitted

daemon/tls: use system CA with TLS_FORWARD policy

Merge branch 'policy_REFUSE' into 'master'

Policy REFUSE; minot tweak

Closes #337

See merge request knot/knot-resolver!549

kresd: improve error reporting if cache cannot be opened

For some weird reason kresd crashed on assert(false) if it cannot open
cache even though it handles this case properly without the assert.

policy: add REFUSE policy

Fixes: #337

Merge branch 'http-custom-endpoints' into 'master'

Allow creating custom endpoints in the HTTP module

See merge request knot/knot-resolver!527

http: interface parameter check fix

http/prometheus: allow finalization of metrics table

This allows other modules to add or modify custom metrics or labels.

http/prometheus: allow custom namespaces

http: allow loading custom endpoints to http

Previously the module was created on configuration time, so it wasn't
possible to inject custom endpoints to the default interface.

bindings: always set AD=1 in internal queries just like real clients

The AD indicates validation request (but not request for DNSSEC records).
If the response can't be validated, resolver flips the AD to 0.

Merge branch 'packaging-update' into 'master'

distro: packaging updates

See merge request knot/knot-resolver!567

systemd: man page - update about system-kresd.slice

distro/rpm: handle systemd restarts in CentOS 7 compatible way

distro/rpm/knot-resolver.spec

distro/arch: add missing dependencies

distro/deb: remove obsolete dependencies libjansson and python3

distro/rpm: use Python3 to build doc

distro/*: remove obsolete memcached and redis dependency

distro/rpm: reformat spec file

distro/arch: reformat dependencies

distro/deb: reformat knot-resolver.dsc

Merge branch 'lua-add-per-request-variables' into 'master'

daemon: allow per-request variables in Lua

See merge request knot/knot-resolver!533

daemon: allow per-request variables in Lua

The handlers in Lua can now store per-request variables that are automatically
GC'd when the request is finished. This is useful for stateful modules,
such as DNS64 that uses internal option flags for state tracking.

The layers can now get a variable table like so:

```
local vars = kres.request_t(r):vars()
vars.hello = true
```

The variables are persisted between different layers for each request.

Merge branch 'nitpick-bugs' into 'master'

cache/entry_rr: fixed undefined behavior

See merge request knot/knot-resolver!595

lib/cache: get rid of void-pointer arithmetic

Checked with -Wpointer-arith; still hindered by contrib/ucw.

Merge pointer-arith changes into cache-NSEC3

cache/entry_rr: fixed undefined behavior

Pointer arithmetic with 'void *' is undefined, it only works as GNU extension.

Merge branch 'deb-cleanup' into 'master'

synchronize distro/deb with official debian packaging

See merge request knot/knot-resolver!593

synchronize distro/deb with official debian packaging

Note that this is not an exact synchronization, just the salient parts
where i believe upstream wants to sync up with debian.

I've left alone indications of upstream package maintainership, and
I've left debhelper back at version 9, for example.  and i've left the
differences between the shipped debian/kresd.conf (debian package
ships a minimal kresd.conf that doesn't load those four modules, in
particular).

Merge branch 'doc-nitpicks' into 'master'

documentation nitpicks

See merge request knot/knot-resolver!592

other docs nitpicks

I don't think it's good to write that we "provide a library",
as it currently doesn't seem suitable for usage outside kresd.

policy, view: documentation nitpicks

It seems like implementation and docs got de-synchronized,
probably at some point very long ago (years).

doc/build: refresh build-time requirements

Merge branch 'systemctl-start' into 'master'

doc: systemd -- clarify how to manually start all services.

See merge request knot/knot-resolver!591

doc: systemd -- clarify how to manually start all services.

See https://github.com/systemd/systemd/issues/9080 for
details/discussion.

Merge branch 'ci-docker-update' into 'master'

ci: add pytest-xdist dependency for Deckard

See merge request knot/knot-resolver!590

ci: add pytest-xdist dependency for Deckard

Merge branch 'endianness' into 'master'

handle htobe32 et al. on glibc systems with a non-Linux kernel

See merge request knot/knot-resolver!588

handle htobe32 et al. on glibc systems with a non-Linux kernel

This fix copies over an updated #if clause from libknot's
src/contrib/endian.h.

This should resolve:

    https://gitlab.labs.nic.cz/knot/knot-resolver/issues/348

See also discussion about this same problem in libknot from a couple
years ago:

    https://bugs.debian.org/840460

I note that contrib/wire.h in knot-resolver is out of sync with
src/contrib/wire.h (and src/contrib/endian.h) from libknot.  I don't
know whether there's any upstream preference for keeping these in sync
in some more reliable way than manual comparisons.  For now i'm just
providing a narrow fix for the specific problem.

Merge branch 'iter-minim-op' into 'master'

iterate: avoid turning off qname minimization in a case

Closes #339

See merge request knot/knot-resolver!584

iterate: avoid turning off qname minimization in a case

Thanks to @ spakka for discovering this and authoring an earlier version
of this commit.

Merge !576: validate: avoid incorrect downgrade of NS

validate: be more careful with marking RRs as insecure

In case of referrals the authoritative server might add also another NS
record(s), and this might lead to downgrading the corresponding zones.
Regressed probably in f0da0a35 !505.

improve verbose logs

Merge branch 'master' into cache-NSEC3

Merge !579: treewide: additional dname checks

treewide: additional dname checks

Merge !539: cleanup after knot minimal version bumps

lua bindings: complete knot_pkt_t

We don't need the end, but I prefer to get rid of the exception,
as we now require libknot > 2.6 anyway and it only implies adding
a few more binding lines.

treewide: remove branches supporting old knot

Our Makefile required >= 2.6.4 for some time already.
It's pretty straightforward, except for zonefile.lua.in -> zonefile.lua

Merge branch 'ci-respdiff-config' into 'master'

ci: respdiff - use relative path to restart script

See merge request knot/knot-resolver!580

ci: respdiff - use relative path to restart script

remove temporary debug assertions

stash_pkt() nitpick: shortcut for flags

fix some opt-out answers not being cached (at all, rare)

Merge branch 'master' into cache-NSEC3