implement basic infrastructure for scoped cache

This commit adds support for scoped cache, e.g. keys can be tagged
with a scope, so that the same key can exist in multiple scope and
returns the value based on the scope set.

This is practically requires for scoping by subnet in ECS, but
it doesn't implement ECS completely. This is just a framework
to make something like ECS possible in a module.

The scope search is currently non-exhaustive, it either returns
a value bound to given scope or look into global scope, nothing
in between.

Merge branch 'arch-update' into 'master'

distro/arch: generate debug symbols

See merge request knot/knot-resolver!571

distro/arch: create debug symbols pkg

distro/arch: don't overwrite kresd.conf by default

Merge !551: misc changes from Marek

iterate: allow lame negative answers in PERMISSIVE mode

Some nameservers are hopelessly broken (ns1-ord.salesforce.com),
and will return lame negative answers which will flag the nameserver
as bad, so it wouldn't be picked for valid queries.

copy transitive query flags when CNAME chasing

This is an issue for things like disabling minimisation, which only works
for the original query and not for the CNAME target.

check per-query flags instead of global options, getter for NS name

Checking query flags instead of global context option allows setting
overrides on individual queries. The effect is the same as query flags
start by copying request flags which start by copying context options.

add bindings for the checkout layer

This one was missing from the current bindings. The checkout layer
runs when the worker attempts to send a DNS query to given upstream
when the address is already determined. The layer can add EDNS options
or update outbound query, or block particular addresses / protocol.

lua: added typecheck for string-to-dname conversion

Merge !519: Restore cache insert RR API

Closes #332.

cache: restore flagging entries written into cache

This was probably lost during the cache backend rewrite in 2.x

fixes #332

kres: added missing nil check for dname2str

kres: added interface for RR set wire size and packet remaining bytes

kres: preserve error code value along with the text explanation

Wrapping the error code in a structure preserves both the numeric value
and the ability to convert it into textual format.

kres: added rr:rdcount() and tests

lib/utils: fixed memory corruption in kr_pkt_recycle and kr_pkt_clear_payload

Previous implementation forgot to clear the compression table, which is
an internal structure to packet. So when a recycled packet was reused,
it compared owners of newly inserted records with dangling pointers left
in the compression table.

This is less of a problem in query processing,
as each packet uses a memory pool, so the pointed names were never deallocated,
but it would write out wrong compression pointers because the compression
table kept pointing into packet that was now cleared and reused for something else.

It is more of a problem with packets created without a memory pool,
as the compression table kept references to memory that was already freed.

kres: cleanup, added typechecks where missing

kres: added rr:merge_data(source) for RR merging

This is generally useful for parsing records from packet, as they
are broken into individual RRs that need reassembling.

kres: add insert and sync interfaces to the cache metatype

This adds metatype wrappers for kr_cache_insert_rr and kr_cache_sync
for the cache metatype, and tests.

kres: add constructor for rrsets and refactor rr2str function to use it

This updates the metatype to wrap knot_rrset_add_rdata and knot_rrset_init_empty
in a nicer way, and adds automatic GC destructor and tests.

cache: changed get_new_ttl private API to allow custom timestamp

Before the API depended on the qry object which only makes sense during
resolution of requests, not when manipulating cache out of it.

cache: restored kr_cache_insert_rr API

This commit abstracts out stash_rrset from stash_rrarray_entry,
and fixes incrementing metrics on actual record insertion.
It then resurfaces kr_cache_insert_rr that was deleted in 2.0
using the extracted function.

vcunat separated stash_rrset_precond() later during rebase.

Merge !565: changes from security repo

Closes #334 and #336

NEWS: cleanup

- TLS errors were mentioned twice
- the option mode wasn't changed, just a static function name

rfc7706: fixup links to modules

They didn't work locally for me, at least.

Merge branch 'release-2-3-0' into 'master'

Release 2.3.0

Closes knot-resolver#334 and knot-resolver#336

See merge request knot/knot-resolver-security!3

release 2.3.0

docs: document our position on RFC 7706

lib/generic/pack: more NULL checks

Inspired by Marek's MR.

daemon/worker: fix misplaced timer stop

fixup! 8ea37cc3 daemon/worker: robustness against the slow-lorris attack

lib/generic/pack: fix a bug/inconsistency

The NULL is never tested, and it was breaking our usual iteration pattern.

daemon/worker: fix missed deinitialization when processing erroneous TCP states

daemon/worker: adjust tcp timeouts

This is an attempt to fix two problems:
1. kresd tries to close incoming TCP connection too early. This may lead
to multiple client reconnections. This problem primarily
affects TCP/TLS clients who send several queries over single TCP connection.

2. In certain circumstances outbound TCP connection doesn't timeout
despite that fact that upstream doesn't send back any answers.
This may lead to timeouts on non-problematic queries.

Merge branch 'crache' into 'master'

Handle RRs with non-Internet class and meta-types

Closes knot-resolver#334

See merge request knot/knot-resolver-security!2

cache: catch disallowed RR types at API entry points

Merge branch 'cookie-qcount0' into 'master'

Refuse EDNS cookie requests if cookie module is missing

Closes knot-resolver#336

See merge request knot/knot-resolver-security!4

iterate: only pick RRs from the IN class

Merge branch 'slow-lorris' into 'master'

Protection against slowlorris attack on autoritative side

See merge request knot/knot-resolver-security!5

lib/resolve: cleanup

lib/resolve: accept incoming requests with QDCOUNT = 0 only if cookie module has loaded.

daemon/worker: robustness against the slow-lorris attack

Merge branch 'stale_verbose' into 'master'

serve_stale: log only in verbose mode

See merge request knot/knot-resolver!564

serve_stale: log only in verbose mode

Merge branch 'packaging-update' into 'master'

distro/rpm: update dependency declarations to conform with pkg standards

See merge request knot/knot-resolver!563

distro/rpm: update dependency declarations to conform with pkg standards

Merge branch 'packaging-update' into 'master'

distro/deb: add prefill module

See merge request knot/knot-resolver!562

distro/deb: add prefill module

Merge branch 'fromjson' into 'master'

export a JSON decode function to lua

See merge request knot/knot-resolver!560

export a JSON decode function to lua

Since there is already a bundled JSON library, expose it to lua for
modules to use.

Merge branch 'separate-tls-counter' into 'master'

daemon/worker: separate counter for TLS sendings

See merge request knot/knot-resolver!557

daemon/worker: separate counter for TLS sendings

Merge branch 'root-zone-import' into 'master'

root zone import implementation

See merge request knot/knot-resolver!511

prefill: documentation

prefill: replace CA directory path with CA file path

luasec internally calls SSL_CTX_load_verify_locations() which has
non-intuituve behavior for directories. Given that we already use path
to certificate file for TLS_FORWARD it is better to use consistent and
intuitive interface.

prefill: mandate explicit URL configuration

Default values would cause confusion when we introduce support for
non-root zones.

prefill: configation syntax for multiple zones

Only root zone can be imported (for now) but we want to
avoid changing syntax when support for other zones is added.

prefill: import zone immediately after start

Delaying import would leak bunch of queries from the resolver between
moment of start and import.

prefill: split into separate functions, handle daemon restart

The original prefill module did not import zone data after daemon
restart unless the file TTL was expired. The module now reuses data
on disk as long as TTL is not expired, and imports the zone after module
load.

prefill: avoid rename syscall

An attempt to rename/move temporary file to its final destination will
fail if /tmp and working directory belong to different filesystems.

It seems that temporary file is not required so it easier to get rid of
it altogether.

zimport: fix error reporting

prefill: log delay before first refresh

prefill: check that CA path is a directory, use name ca_dir for clarity

prefill: mandate certificate verification

ca_path parameter is now required so the module does not do anything
until its config() method is called.

prefill: rename local variables prefetch -> prefill

daemon: cache prefill module

lib/utils: merge kr_rrkey() and kr_rrkey2() functions

The old kr_rrkey() was used only on one place (and incorrectly) so now
we are replacing both copies with single implementation for general
resolver and root zone import.
It should not make any practical difference.

daemon: root zone import

Merge branch 'marek/fix-infinite-loop-on-send-error' into 'master'

worker: fixed infinite loop on send failure

See merge request knot/knot-resolver!559

worker: fixed infinite loop on send failure

The problem here is when qr_task_send() returns an error, the
following error handler will attempt to cancel all tasks that were
started on the same connection, but that will only work for the first
task (which is finished), the qr_task_on_send() will have no effect
on tasks in progress as the passed handle is NULL, and the task->finished
is false, thus looping infinitely.

The solution here is to let the rest of the tasks complete, even though
sending answer back will fail (which is fine).

Merge branch 'tls_polish' into 'master'

tls_client logging and doc improvements

See merge request knot/knot-resolver!536

tls_client: log specific errors during CA+hostname authentication

tls_client: unify spelling tls-client -> tls_client

tls_client: verbose log number of imported certificates

tls_client: fix CA authentication examples in documentation

Merge !558: worker_ctx: migrate leaders from map_t to trie_t

worker_ctx: migrate leaders from map_t to trie_t

lib/generic/array: add array_push_mm shorthand

It just feels more consistent with the rest.

Merge !556: daemon/worker: fix missed statistics for TLS writes

daemon/worker: fix missed collection of statistics when data is sended over TLS

Merge branch 'tls-crash' into 'master'

improve TLS error handling

Closes #340

See merge request knot/knot-resolver!555

daemon: improved error handling

daemon: improved error handling

Merge !550: add trie from knot-dns...

... and migrate kr_zonecut to it.

lib/generic/set: it's unused, so stop including it

struct kr_zonecut::nsset: migrate from map_t to trie_t

lib/generic/trie: KR_EXPORT some functions

Needed for followup commits.  The trie_* names aren't ideal for global
namespace, but ATM I can't see a better way.

lib/generic/{array,pack}: improve documentation

lib/generic/trie: documentation nitpicks

pack_clone: new function

lib/generic/trie: avoid uint redefinition

Well, we could e.g require C11 instead of C99, but this one is easy.

lib/generic/trie: add tries from knot-dns

(Don't use them anywhere yet.)

Merge branch 'marek/fix-servfails-for-root-ds' into 'master'

fixed validation of root DS

See merge request knot/knot-resolver!544

validate: avoid DNSSEC_NODS for . DS queries

... after the parent commit. Perhaps it can't cause trouble,
but I'll feel safer this way.

fixed validation of root DS

The root DS exists outside of DNS hierarchy, so its NSEC proving non-existence
always contains the SOA, as that's the root of DNS and there's nothing above it.

Merge branch 'vicky/disable_dupcheck_for_listenfd' into 'master'

Always create a endpoint in network_listen_fd

See merge request knot/knot-resolver!523

Always create a endpoint in network_listen_fd

There is no need to check for unique addr+port for FDs passed
by a supervisor process like systemd.

Merge !554: ci: GIT_STRATEGY: clone

ci: GIT_STRATEGY: clone

Merge branch 'packaging-improvements' into 'master'

Packaging improvements

Closes #323

See merge request knot/knot-resolver!540