Merge branch 'master' into cache-NSEC3

work around dnssec_nsec3_hash() doing realloc()

.

- kill unused struct nsec_p, and have a new one, due to the libknot
  structure needing deallocation
- implement NODATA wildcard answers (not tested yet)
- remove unused parameters (cover_*_kwz)

Merge branch 'augeas-ci' into 'master'

add augeas-tools so we can test our lens in Deckard

See merge request knot/knot-resolver!566

add augeas-tool so we can test our lens in Deckard

Merge branch 'udp-src-scheck' into 'master'

daemon: check source in udp answer

See merge request knot/knot-resolver!522

daemon/worker: compare udp src ports as well as addresses; cleanup

daemon: check source in udp answer

Merge branch 'prefill_fix' into 'master'

prefill: fix ca_file to actually expect file and not a directory

See merge request knot/knot-resolver!578

prefill: fix ca_file to actually expect file and not a directory

This was leftover from an old version which used directory with
certificates instead of bundle in single file.

Related: !511

Merge branch 'nitpicks' into 'master'

misc nitpicks

See merge request knot/knot-resolver!568

policy docs: replace incorrect example

The example didn't work and I don't immediately see how to quickly fix
it, so let's have another more complex example instead (fished from an
older forum post of mine).

ta_signal_query: correct logging

daemon docs: mention relation of hostname() and TLS

cache TTL limit nitpicks: allow equality, fix docs

I also tried making a clickable define in the docs,
like for cache.ns_tout(), but I failed.

Merge branch 'marek/add-lru-bindings' into 'master'

daemon/lua: added basic bindings for LRU

See merge request knot/knot-resolver!569

daemon/lua: added basic bindings for LRU

Only get-set operations are added, added some tests.

Merge branch 'tls-inv-session' into 'master'

daemon/worker: improved server-side error handling

See merge request knot/knot-resolver!574

daemon/worker: improved server-side error handling

Merge branch 'tcp-leaks' into 'master'

daemon/worker: orphaned tasks prevention

See merge request knot/knot-resolver!570

fix positive NSEC3 wildcards not always being answered

fix incorrect bitmap usage

fix "over-optimization", --verbose nitpicks

linting nitpicks

complete proofs if wildcard doesn't exist

WIP: fixes, turned off NSEC3 packet cache, etc.

It might actually work, except for wildcard checks
(non-existence is assumed without checking/providing a proof record).

WIP: nsec3_encloser() finished, maybe?

WIP checkpoint

write NSEC3 key creation

NSEC3 are probably stashed OK now

WIP

cache: map_t -> trie_t (easy)

utils.h, nsrep.h: drop an unused #include

daemon/worker: orphaned tasks prevention

nitpicks

Merge branch 'ci-diffrepro' into 'master'

ci: respdiff - run diffrepro 3 times to reproduce results

See merge request knot/knot-resolver!572

ci: respdiff - run diffrepro 3 times to reproduce results

fixup! post-merge fixups

post-merge fixups

Merge branch 'arch-update' into 'master'

distro/arch: generate debug symbols

See merge request knot/knot-resolver!571

distro/arch: create debug symbols pkg

distro/arch: don't overwrite kresd.conf by default

Merge branch 'master' into cache-NSEC3

WIP: add forgotten file

Merge tag 'v2.3.0' into cache-NSEC3

TMP

Merge !551: misc changes from Marek

iterate: allow lame negative answers in PERMISSIVE mode

Some nameservers are hopelessly broken (ns1-ord.salesforce.com),
and will return lame negative answers which will flag the nameserver
as bad, so it wouldn't be picked for valid queries.

copy transitive query flags when CNAME chasing

This is an issue for things like disabling minimisation, which only works
for the original query and not for the CNAME target.

check per-query flags instead of global options, getter for NS name

Checking query flags instead of global context option allows setting
overrides on individual queries. The effect is the same as query flags
start by copying request flags which start by copying context options.

add bindings for the checkout layer

This one was missing from the current bindings. The checkout layer
runs when the worker attempts to send a DNS query to given upstream
when the address is already determined. The layer can add EDNS options
or update outbound query, or block particular addresses / protocol.

lua: added typecheck for string-to-dname conversion

Merge !519: Restore cache insert RR API

Closes #332.

cache: restore flagging entries written into cache

This was probably lost during the cache backend rewrite in 2.x

fixes #332

kres: added missing nil check for dname2str

kres: added interface for RR set wire size and packet remaining bytes

kres: preserve error code value along with the text explanation

Wrapping the error code in a structure preserves both the numeric value
and the ability to convert it into textual format.

kres: added rr:rdcount() and tests

lib/utils: fixed memory corruption in kr_pkt_recycle and kr_pkt_clear_payload

Previous implementation forgot to clear the compression table, which is
an internal structure to packet. So when a recycled packet was reused,
it compared owners of newly inserted records with dangling pointers left
in the compression table.

This is less of a problem in query processing,
as each packet uses a memory pool, so the pointed names were never deallocated,
but it would write out wrong compression pointers because the compression
table kept pointing into packet that was now cleared and reused for something else.

It is more of a problem with packets created without a memory pool,
as the compression table kept references to memory that was already freed.

kres: cleanup, added typechecks where missing

kres: added rr:merge_data(source) for RR merging

This is generally useful for parsing records from packet, as they
are broken into individual RRs that need reassembling.

kres: add insert and sync interfaces to the cache metatype

This adds metatype wrappers for kr_cache_insert_rr and kr_cache_sync
for the cache metatype, and tests.

kres: add constructor for rrsets and refactor rr2str function to use it

This updates the metatype to wrap knot_rrset_add_rdata and knot_rrset_init_empty
in a nicer way, and adds automatic GC destructor and tests.

cache: changed get_new_ttl private API to allow custom timestamp

Before the API depended on the qry object which only makes sense during
resolution of requests, not when manipulating cache out of it.

cache: restored kr_cache_insert_rr API

This commit abstracts out stash_rrset from stash_rrarray_entry,
and fixes incrementing metrics on actual record insertion.
It then resurfaces kr_cache_insert_rr that was deleted in 2.0
using the extracted function.

vcunat separated stash_rrset_precond() later during rebase.

Merge !565: changes from security repo

Closes #334 and #336

NEWS: cleanup

- TLS errors were mentioned twice
- the option mode wasn't changed, just a static function name

rfc7706: fixup links to modules

They didn't work locally for me, at least.

Merge branch 'release-2-3-0' into 'master'

Release 2.3.0

Closes knot-resolver#334 and knot-resolver#336

See merge request knot/knot-resolver-security!3

release 2.3.0

docs: document our position on RFC 7706

lib/generic/pack: more NULL checks

Inspired by Marek's MR.

daemon/worker: fix misplaced timer stop

fixup! 8ea37cc3 daemon/worker: robustness against the slow-lorris attack

lib/generic/pack: fix a bug/inconsistency

The NULL is never tested, and it was breaking our usual iteration pattern.

daemon/worker: fix missed deinitialization when processing erroneous TCP states

daemon/worker: adjust tcp timeouts

This is an attempt to fix two problems:
1. kresd tries to close incoming TCP connection too early. This may lead
to multiple client reconnections. This problem primarily
affects TCP/TLS clients who send several queries over single TCP connection.

2. In certain circumstances outbound TCP connection doesn't timeout
despite that fact that upstream doesn't send back any answers.
This may lead to timeouts on non-problematic queries.

Merge branch 'crache' into 'master'

Handle RRs with non-Internet class and meta-types

Closes knot-resolver#334

See merge request knot/knot-resolver-security!2

cache: catch disallowed RR types at API entry points

Merge branch 'cookie-qcount0' into 'master'

Refuse EDNS cookie requests if cookie module is missing

Closes knot-resolver#336

See merge request knot/knot-resolver-security!4

iterate: only pick RRs from the IN class

Merge branch 'slow-lorris' into 'master'

Protection against slowlorris attack on autoritative side

See merge request knot/knot-resolver-security!5

lib/resolve: cleanup

lib/resolve: accept incoming requests with QDCOUNT = 0 only if cookie module has loaded.

daemon/worker: robustness against the slow-lorris attack

Merge branch 'stale_verbose' into 'master'

serve_stale: log only in verbose mode

See merge request knot/knot-resolver!564

serve_stale: log only in verbose mode

Merge branch 'packaging-update' into 'master'

distro/rpm: update dependency declarations to conform with pkg standards

See merge request knot/knot-resolver!563

distro/rpm: update dependency declarations to conform with pkg standards

Merge branch 'packaging-update' into 'master'

distro/deb: add prefill module

See merge request knot/knot-resolver!562

distro/deb: add prefill module

Merge branch 'fromjson' into 'master'

export a JSON decode function to lua

See merge request knot/knot-resolver!560

export a JSON decode function to lua

Since there is already a bundled JSON library, expose it to lua for
modules to use.

Merge branch 'separate-tls-counter' into 'master'

daemon/worker: separate counter for TLS sendings

See merge request knot/knot-resolver!557

daemon/worker: separate counter for TLS sendings

Merge branch 'root-zone-import' into 'master'

root zone import implementation

See merge request knot/knot-resolver!511

prefill: documentation

prefill: replace CA directory path with CA file path

luasec internally calls SSL_CTX_load_verify_locations() which has
non-intuituve behavior for directories. Given that we already use path
to certificate file for TLS_FORWARD it is better to use consistent and
intuitive interface.

prefill: mandate explicit URL configuration

Default values would cause confusion when we introduce support for
non-root zones.

prefill: configation syntax for multiple zones

Only root zone can be imported (for now) but we want to
avoid changing syntax when support for other zones is added.

prefill: import zone immediately after start

Delaying import would leak bunch of queries from the resolver between
moment of start and import.

prefill: split into separate functions, handle daemon restart

The original prefill module did not import zone data after daemon
restart unless the file TTL was expired. The module now reuses data
on disk as long as TTL is not expired, and imports the zone after module
load.

prefill: avoid rename syscall

An attempt to rename/move temporary file to its final destination will
fail if /tmp and working directory belong to different filesystems.

It seems that temporary file is not required so it easier to get rid of
it altogether.