prefill: import zone immediately after start

Delaying import would leak bunch of queries from the resolver between
moment of start and import.

prefill: split into separate functions, handle daemon restart

The original prefill module did not import zone data after daemon
restart unless the file TTL was expired. The module now reuses data
on disk as long as TTL is not expired, and imports the zone after module
load.

prefill: avoid rename syscall

An attempt to rename/move temporary file to its final destination will
fail if /tmp and working directory belong to different filesystems.

It seems that temporary file is not required so it easier to get rid of
it altogether.

zimport: fix error reporting

prefill: log delay before first refresh

prefill: check that CA path is a directory, use name ca_dir for clarity

prefill: mandate certificate verification

ca_path parameter is now required so the module does not do anything
until its config() method is called.

prefill: rename local variables prefetch -> prefill

daemon: cache prefill module

lib/utils: merge kr_rrkey() and kr_rrkey2() functions

The old kr_rrkey() was used only on one place (and incorrectly) so now
we are replacing both copies with single implementation for general
resolver and root zone import.
It should not make any practical difference.

daemon: root zone import

Merge branch 'marek/fix-infinite-loop-on-send-error' into 'master'

worker: fixed infinite loop on send failure

See merge request knot/knot-resolver!559

worker: fixed infinite loop on send failure

The problem here is when qr_task_send() returns an error, the
following error handler will attempt to cancel all tasks that were
started on the same connection, but that will only work for the first
task (which is finished), the qr_task_on_send() will have no effect
on tasks in progress as the passed handle is NULL, and the task->finished
is false, thus looping infinitely.

The solution here is to let the rest of the tasks complete, even though
sending answer back will fail (which is fine).

Merge branch 'tls_polish' into 'master'

tls_client logging and doc improvements

See merge request knot/knot-resolver!536

tls_client: log specific errors during CA+hostname authentication

tls_client: unify spelling tls-client -> tls_client

tls_client: verbose log number of imported certificates

tls_client: fix CA authentication examples in documentation

Merge !558: worker_ctx: migrate leaders from map_t to trie_t

worker_ctx: migrate leaders from map_t to trie_t

lib/generic/array: add array_push_mm shorthand

It just feels more consistent with the rest.

Merge !556: daemon/worker: fix missed statistics for TLS writes

daemon/worker: fix missed collection of statistics when data is sended over TLS

Merge branch 'tls-crash' into 'master'

improve TLS error handling

Closes #340

See merge request knot/knot-resolver!555

daemon: improved error handling

daemon: improved error handling

Merge !550: add trie from knot-dns...

... and migrate kr_zonecut to it.

lib/generic/set: it's unused, so stop including it

struct kr_zonecut::nsset: migrate from map_t to trie_t

lib/generic/trie: KR_EXPORT some functions

Needed for followup commits.  The trie_* names aren't ideal for global
namespace, but ATM I can't see a better way.

lib/generic/{array,pack}: improve documentation

lib/generic/trie: documentation nitpicks

pack_clone: new function

lib/generic/trie: avoid uint redefinition

Well, we could e.g require C11 instead of C99, but this one is easy.

lib/generic/trie: add tries from knot-dns

(Don't use them anywhere yet.)

Merge branch 'marek/fix-servfails-for-root-ds' into 'master'

fixed validation of root DS

See merge request knot/knot-resolver!544

validate: avoid DNSSEC_NODS for . DS queries

... after the parent commit. Perhaps it can't cause trouble,
but I'll feel safer this way.

fixed validation of root DS

The root DS exists outside of DNS hierarchy, so its NSEC proving non-existence
always contains the SOA, as that's the root of DNS and there's nothing above it.

Merge branch 'vicky/disable_dupcheck_for_listenfd' into 'master'

Always create a endpoint in network_listen_fd

See merge request knot/knot-resolver!523

Always create a endpoint in network_listen_fd

There is no need to check for unique addr+port for FDs passed
by a supervisor process like systemd.

Merge !554: ci: GIT_STRATEGY: clone

ci: GIT_STRATEGY: clone

Merge branch 'packaging-improvements' into 'master'

Packaging improvements

Closes #323

See merge request knot/knot-resolver!540

distro/deb: sync keyfile-ro patch from debian

distro/deb: avoid shipping duplicate root.hints and icann-ca.pem

Closes #323

Merge branch 'aho-corasick-update' into 'master'

Aho corasick update

See merge request knot/knot-resolver!548

Update lua-aho-corasick build rules

This continues work done in !547 by respecting sensible build patterns
across a submodule.

use https for lua-aho-corasick submodule

Merge !547: use CPPFLAGS if set

use CPPFLAGS if set

CPPFLAGS is a traditional build environment variable used to set C
pre-processor flags.  Accept these flags during the build if they've
been set.

Merge branch 'marek/fix-parentchild-insecure-delegation' into 'master'

iterate: update zone cut when NS is authoritative for both parent and child

See merge request knot/knot-resolver!543

iterate: move structure declaratin outside of ifdef block

iterate: update zone cut when NS is authoritative for both parent and child

In some cases the NS is authoritative for both parent and the child side of
the delegation (e.g. nrl.navy.mil). When it gets the query for such NS,
it can respond from the child side with an NS record in the answer and AA=1.
The resolver should update the zone cut accordingly, otherwise it would fail
validation in cases when the child-side of the delegation is insecure,
but parent side  of the delegation is secure, because the child side
would respond without DNSSEC records, and it wouldn't indicate that
the zone cut needs updating (when using minimal answers) (e.g. www.nrl.navy.mil).

Merge !542: Grammar and wording improvements in README

Grammar and wording improvements in README

Merge branch 'nsfetch-nokey' into 'master'

lib/resolve: cut fetching: don't use root hints if no keys fetched, but glue addresses found

See merge request knot/knot-resolver!513

lib/zonecut: nitpicks in kr_zonecut_has_glue()

lib/zonecut: get rid off incorrect function name

lib/resolve: cut fetching: don't use root hints if no keys fetched, but glue addresses found

Merge branch 'nitpicks' into 'master'

Nitpicks

See merge request knot/knot-resolver!537

docs: cross-linking nitpicks

- clickable module references
- clickable RFC references via :rfc:`NNN#anchor`

predict: don't auto-load stats if not needed

and make docs conform to the reality.

daemon/bindings: keep the pattern for function names

document cache.ns_tout

Merge branch 'validate-cname-nxdomain' into 'master'

validator: fix CNAME to NXDOMAIN in a single answer

See merge request knot/knot-resolver!538

validator: fix CNAME to NXDOMAIN in a single answer

Real example: cname.nohats.ca
This case was handled for forwarding only, presumably because it
happened more often (no need to be withing single zone to be within
single answer); now the approach is the same.

Merge branch 'release-2-2-0' into 'master'

Release 2.2.0

See merge request knot/knot-resolver!535

cache: nitpick after !532 (no effect)

lua bindings: fix generator after !534

debian: bump to libkres7

release 2.2.0

Merge branch 'serve-stale-rcache-v1' into 'master'

Serve stale with reputation cache: version 1

See merge request knot/knot-resolver!534

lib/nsrep: cleanup

lib/nsrep: tuning of serve-stale parameters; valid NS's sometimes been ignored by ns election algorithm, fixed

daemon: tuning of stale-serve parameters

daemon: time period which determines how long NS non-reachabilty will be cached made configurable

daemon/engine: remove cache cleaning timer since this functionality was relocated to nsrep

lib/nsrep: tuning of 'serve_stale' module

lib/nsrep: when timeout occurs and NS has no cached RTT yet, don't mark it as timeouted

lib/nsrep: don't mark NS as 'timeouted' immediately, but after two retries

lib/nsrep: minor changes

lib/nsrep: some changes in NS selection algorithm

lib/nsrep: some changes in NS selection algorythm

Merge branch 'fix-crash-with-large-rrsets' into 'master'

cache: fixed crash with RR sets with over 255 records

See merge request knot/knot-resolver!532

cache: fixed crash with RR sets with over 255 records

The previous cache version encoded RR count as uint8_t, which doesn't
work with RR sets with over 255 records. This caused cache writes
to fail and subsequently ending in an assertion failure.
It is not very common to have large RR sets, but it has legitimate
use cases such as a lot of SRV or address records for large container
deployments etc.

Merge branch 'fix-oversize-responses-over-tcp' into 'master'

daemon/worker: allow large responses for outbound over TCP

See merge request knot/knot-resolver!526

daemon/worker: allow large responses for outbound over TCP

This was previously fixed in e25358d4f6521a55c33ec1d3a55f2bf6e2f99607,
but broken in the rewrite. The answer buffer size must be a maximum size,
otherwise payloads larger than configured UDP buffer size can't be
transmitted over TCP.

Merge branch 'debian-no-symbols-in-dev' into 'master'

debian: build dev packages without symbols file

See merge request knot/knot-resolver!524

debian: build dev packages without symbols file

Merge branch 'packaging-tests' into 'master'

packaging: tests - explicitly specify repository for testing

See merge request knot/knot-resolver!525

packaging: tests - explicitly specify repository for testing

Merge branch 'disable-tls-error-logs' into 'master'

daemon/tls: downgraded TLS logging to verbose

See merge request knot/knot-resolver!531

daemon/tls: downgraded TLS logging to verbose

Logging handshake and connection failures should be verbose, as
it's not really a server failure if client errors, or uses a wrong
SPKI pin to the certificate. It is however not ideal to flood logs.

Merge branch 'update-readme-pkg' into 'master'

README: update package information

See merge request knot/knot-resolver!529

README: update package information

Merge branch 'obs-nightly-build' into 'master'

ci: execute OBS build nightly instead of after every change

See merge request knot/knot-resolver!528

ci: execute OBS build nightly instead of after every change

There are couple reasons to prefer nightly builds:
- to conserve hw resources
- automated builds at predictable times make it easier to use the devel
repo for manual testing builds

Merge !516: nitpicks, see individual commits

make: don't magically -D_FORTIFY_SOURCE=2

This is just annoying for development.  You want -O0 or -Og,
and consequently you get lots of warnings that are difficult to disable.

I believe hardening options are more of a responsibility/choice of the
caller, typically distributions have some general policies and pass the
flags (almost) uniformly to all packages.  I can't see any part of kresd
being so specific to warrant explicit hardening.

ucw/mempool-fmt: alloca.h isn't needed (anymore)

The file is new here, but it has a long history upstream.
Thanks to Leo Vandewoestijne for finding the problem on FreeBSD.