Merge !838: modules/refuse_nord: refuse queries without RD bit set

modules/stats: adjust test

doc/build: clarify documentation about tests

modules/refuse_nord: document usage

modules/refuse_nord: add test

modules/refuse_nord: refuse queries without RD bit set

Refusing to answer queries without RD bit makes it harder
to read what data is present in resolver's cache.

Merge branch 'rebinding_fix' into 'master'

avoid a false-positive assert from rebinding module

See merge request knot/knot-resolver!851

kr_request: remove ::additional

Somehow I didn't notice this field when adding ::add_selected.
We probably never put anything into answer's ADDITIONAL,
so noone's noticed a problem until now.

lib/resolve answer_finalize: simplify a bit of code

lib/resolve answer_finalize: separate a special case

We currently allow modules to produce a packet beforehand,
but the possibility was rather implicit in this part of code.
In particular, we might possible trigger a false alarm in
assert(answer->current <= KNOT_ANSWER)

Merge branch 'ci-extract-tar' into 'master'

ci: respdiff - extract multiple archives

See merge request knot/knot-resolver!853

ci: respdiff - extract multiple archives

Merge !850: daemon/tls: fix handling of GNUTLS_E_AGAIN

Closes #489

daemon/tls: fix handling of GNUTLS_E_AGAIN

The code incorrectly assumes GNUTLS_E_AGAIN can only be caused
by reading the entire libuv buffer. Legitime causes of GNUTLS_E_AGAIN
wouldn't be processed correctly. These could be caused by a new
session ticket sent by the server.

Fixes #489

Merge branch 'mod_api_clarif' into 'master'

modules: fix typo in link to upgrading guide

See merge request knot/knot-resolver!852

modules: fix typo in link to upgrading guide

Merge branch 'ci-add-debian10' into 'master'

ci: add distrotest:debian10

See merge request knot/knot-resolver!848

ci: add distrotest:debian10

Merge branch 'ci-update' into 'master'

ci: update

See merge request knot/knot-resolver!847

ci/README: add --no-cache to docker builds to force pkg update

ci: fix distrotests for testing repo

ci/debian-buster: add dependencies from knot-resolver-testing OBS repo

ci/debian-stable: delete old image

ci/debian-buster: add lua-psl optional dependnecy

ci/debian-buster: update to released version

Merge branch 'perf-sendmmsg-answ' into 'master'

use sendmmsg syscall towards UDP clients

See merge request knot/knot-resolver!846

daemon: use sendmmsg towards UDP clients

main: better support for profiling

Merge branch 'release-410' into 'master'

Release 4.1.0

See merge request knot/knot-resolver!845

release 4.1.0

gc: reformat source code to conform to Linux codestyle

Main motivation is getting rid of tab-space mix.
Reformated using github/torvalds/linux/master/scripts/Lindent.

systemd/kres-cache-gc: make service more robust

kr_cache_gc: fix double-free for failed/unifinished txns

gc: better approximation of the space to free

gc: adjust DEBUG output

distro/tests: check kres-cache-gc is started

kr_cache_gc: update docs

systemd: add kres-cache-gc.service

utils/cache_gc: meson - rename to kres-cache-gc

gc: fix a lint warning

I think the condition is still quite well readable even though much
shorter than my original !(kd[i - 1] == 0 && kd[i - 2] == 0)

gc: handle the NS multi-entries much better

gc: clean warnings with -DDEBUG

gc: cleanup warnings from GCC 9 compiler

gc: keep root and TLD data in cache as much as possible

gc: delete inconsistent entries from cache instead of skipping them

gc: skip over "VERS" metadata entry in cache

gc: fix kr_gc_key_consistent to work with root zone NSECs

utils/cache_gc: adapt for faster checking of usage

- don't print a line in every checking cycle
- don't exit when cache isn't found
- reduce recommended interval to 10s (compromise)
- don't increase cache size (but keep the code for now)

utils/cache_gc: more lint fixes

I can't see any real benefit of floating-point in the amount_tofree
computation; we could use round(), but it doesn't seem significant.

utils/cache_gc lint: stricter parsing of CLI integers

For example, "10foo" will no longer be accepted as number 10.

utils/cache_gc: meson - add sources to c_lint

utils/cache_gc: rename daemon to kres_cache_gc

client: move under utils directory

utils/kr_cache_gc: minor nitpicks

It should be no real change, just better readability, hopefully.

utils/kr_cache_gc: support NSEC3 (aggressive) RRs

lib/cache: make entry_h_consistent() generic

Basically all use cases get renamed to *_E(), except one in utils/kr_cache_gc.
It was perhaps confusing that this name only applied to 'E' entries.

doc: document cache garbage collector

utils/kr_cache_gc: fix lint:pedantic

distro: package kr_cache_gc

utils/kr_cache_gc: add params for configuring cache

utils/kr_cache_gc: set default rw_txn_items to 100

utils/kr_cache_gc: re-initialize lmdb txn in case of error

utils/kr_cache_gc: skip invalid entries during iteration

kr_cache_gc: build with meson

kr_cache_gc: randomized deleting of parts of huge categories

kr_cache_gc: implemented dry-run (only occupation watching mode)

kr_cache_gc: improvements, mostly categories

kr_cache_gc: implemented categories, code split and cleanup

categories: different level of what should be deleted based on DB usage

kr_cache_gc: increasing mapsize if the cache is full

kr_cache_gc: little improvements

kr_cache_gc: separated DB transactions to prevent blocking; config; bugfix

kr_cache_gc: added optional interval of infinite periodic action

kr_cache_gc: separated main function

kr_cache_gc: UI improvements

kr_cache_gc: initial commit

Revert "Merge branch 'kr_cache_gc' into 'master'"

This reverts commit c3a754dd295fe5349840f988bfa5f11da790aa88, reversing
changes made to 06d01bf00a8a0ab64941bbee617ac434296adae8.

I've have accidentally merged incorrect branch, let's try to fix that by
reverting incorrect version of GC and merging the correct one.

NEWS: add merge request numbers for security fixes

distro/rpm: handle systemd files update in Fedora

NEWS for 4.1.0

Merge branch 'v410-news' into 'master'

Security fix CVE-2019-10191

See merge request knot/knot-resolver!839

nitpicks related to the CVE fix in parent commit

lib/cache: fix CVE-2019-10191

Don't stash a packet with mismatching QNAME+QTYPE.
When receiving an NXDOMAIN or NODATA packet in an insecure zone,
it would get cached with KR_RANK_INSECURE regardless of mismatch
in QNAME.  If the 0x20 pattern was preserved in the fake QNAME,
such packet would then be used to answer queries with matching QNAME,
even if there's no proof that this QNAME is insecure.

lib/cache: don't stash packets with zeros in QNAME

Cache uses dname_lf for keys, i.e. zero bytes serve as separators
between labels.  Therefore having a zero inside label could masquerade
for QNAME that does have label separators instead of these zeros.
That doesn't seem really exploitable in practice, as standard registries
won't allow such labels, so I can't see any possible attack that would
"cross border" of these registries, e.g. attacking anything inside
example.org without any cooperation from its owner (or org or root).

Merge branch 'doc-google-public-dns' into 'master'

doc: document TLS_FORWARD issues with some public DNS providers

See merge request knot/knot-resolver!843

doc: document TLS_FORWARD issues with some public DNS providers

Merge branch 'cache-stale-reader-locks' into 'master'

cache: clear stale reader locks

See merge request knot/knot-resolver!844

lib/cache: handle MDB_READERS_FULL

Abnormally terminated processes might leave stale reader locks,
and this is required to clear them.

Merge branch 'rebinding_fix' into 'master'

rebinding: fix crash

See merge request knot/knot-resolver!842

rebinding: clarify comment about *_selected arrays

rebinding: log each blocked request only in verbose mode

Also the log now uses the same format query UID format as elsewhere.

rebinding: stop iteration after encountering a filtered address

State FAIL does not stop iteration because kr_resolve_consume() resets
RESOLVED flag on failed attempts. This causes excessive attempts,
basically forcing kresd to try all authoritative servers before giving
up.

This excessive iteration also caused crash on assert in answer_fail
function.

Merge branch 'zimport' into 'master'

Zone import/prefill

Closes #474

See merge request knot/knot-resolver!840

NEWS: avoid crashing of preffil on empty file

prefill: tests for zone import

prefill: check correct origin attribute

name of SOA record must be "."

zimport: avoid crash on empty zone file

Fixes: #474

zimport: avoid crash on zi_state_parsing() failure

Merge branch 'ci-histogram-rcode' into 'master'

ci: collect RCODE histograms from respdiff

See merge request knot/knot-resolver!841

ci: collect RCODE histograms from respdiff

Merge branch 'nitpicks' into 'master'

Nitpicks in Lua binding generation + pkt DO read operation

See merge request knot/knot-resolver!830