Merge branch 'ci-deckard-valgrind' into 'master'

Check deckard with valgrind during CI

See merge request knot/knot-resolver!365

Check deckard with valgrind during CI

refs #227

Merge branch 'basic-dockerfile' into 'master'

CI: new Dockerfile

See merge request knot/knot-resolver!375

Run respdiff CI in new docker image

Run pylint and pep8 CI with new dockerfile.

Run deckard CI checks in new docker image

Run valgrind CI checks with new docker image

Add new Dockerfile for CI based on debian.

Merge !377: package fixes, primarily for Darwin

NEWS: document Darwin fixes

make: fix date command on Darwin

The -r has two different meanings, apparently :-D

modules: use LIBEXT to fix Darwin

root hints: improve error message

... when the installed root.hints isn't found

Merge !376: misc nitpicks

tests/deckard: update to fix faketime

nitpick: use KR_COLD when we have it

doc: drop a flag deprecated since Sphinx 1.6

It's true by default anyway.

Merge !374: release 1.4.0

release 1.4.0 tomorrow

Merge !373: Dockerfile: the aho-corasick module is now needed

Dockerfile: the aho-corasick module is now needed

... even if only building

Merge !371: FORWARD: don't validate NS in authority section

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/248

validate: wildcard expansion -> adjust to_wire

We pushed all authority to the wire, but that was unnecessary,
and in particular it clashed with not validating NS in authority when
forwarding (new change).  Let's only apply this to NSEC* RRs.

Merge !372: fixes after merge !367: root hints

nitpick: unsigned vs. long makes a difference in printf

Sometimes I was getting huge RTT numbers in the output (>4G).

hints: fix linkage on darwin

It's not very nice that this symbol used in hints.so is defined in
sbin/kresd, but it touches the daemon structures and thus doesn't
really belong into libkres.

engine: nitpicks around loading root hints

"lua_" in name is not appropriate, as the function does no lua stuff
anymore, so let's unify it to "engine_".

nitpick: unused-variable since !367 (cac9e018c3)

validate: improve verbose messages

Next time it will be directly visible what record fails to validate,
which was the most time-expensive part when creating the parent commit.

FORWARD: don't validate NS in authority section

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/248
Some (exotic?) resolvers add extra NS records but doesn't provide
signatures for them even though we ask with +dnssec +cd.
That lead to validation errors.  Current example server: 198.101.242.72
Let's not try to validate them when FORWARDing, as we won't most likely
need those records anyway (contrary to iteration mode).

Merge !367: roothints: load from zonefile

Merge !370: make: link gnutls into libkres

make: link gnutls into libkres

It's needed after the parent merge (sometimes, e.g. on macos).
We always depended on it through libdnssec, so it's no real difference.

Merge !369: gnutls logging improvements

gnutls logging improvements

- move it to utils.c, so it's sensitive to later changes in verbosity
- don't mark the lines with [tls], as they may come through libdnssec
- use stdout like other verbose messages, instead of stderr (real errors)

roothints: various changes

- expose the function as hints.root_file
- use the same filename as Debian
- remove the unneeded script
- docs and some nitpicks

Merge branch 'max-resolve-time' into 'master'

Limit maximal resolution time

Closes #241

See merge request !368

lib/resolve: optimazlization of resolution overall time checking

roothints: load from zonefile

lib: additional checks when overall resolution time of single query is checked

lib: support of an upper limit for resolution time of single query

Merge !366: worker: disable assert we can't fix immediately

worker: disable assertion that we can't fix immediately

Production kresd should compile with -DNDEBUG, so it wouldn't be
affected by this, but it was annoying for debugging other problems.
See https://gitlab.labs.nic.cz/knot/knot-resolver/issues/245

Merge !362: LMDB fixes - transactions and cache.clear()

NEWS: entry for this branch

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/240

cache: nitpicks

cache.clear() on LMDB: be more strict about transactions

In particular, don't keep even a reset read-only transaction.
This doesn't help with that MDB_BAD_TXN, but still it seems better.

cache.clear() on LMDB: simplify .cachelock

The locking was done incorrectly - the copied text from man open(2)
suggested creating a *unique* file and linking that one to the lockfile.
Anyway, I don't think we need to support cache on NFSv3 on old kernels ;-)

Merge !364: doc/build: fix another instance of the old link

doc/build: fix another instance of the old link

Merge !363: README: Fix homepage/download link

Fix homepage/download link in README

Homepage link was broken – https://www.knot-resolver.cz/pages/try.html returns 404 (moved to /download during website redesign)

cache.clear() on LMDB: first try mdb_drop()

It's certainly a cleaner way.

cache: handle LMDB resize by another process

kresd never handled it.  It's perhaps a rare occasion when different
instances (attempt to) set different cache sizes.

docs: purge long-dead cache API from an example

cache: rework reusing transactions (LMDB)

Previously a read transaction could be held open by each fork
indefinitely.  That was done for better speed, but it had a downside
of keeping old pages alive and potentially reading only old data,
until some writes were attempted by that fork.

Now kr_cache_ provides explicit API for suitable points where to break
transactions, reusing the _sync command.  On LMDB side the read-only
transaction is only reset and later renewed, supposedly giving better
performance than aborting (see LMDB docs on reset+renew).

Performance: preliminary testing with two forks, resperf on comcast
query-set shows no noticeable difference in peak QPS.

Merge !361: main ipc_activity: misc improvements

Fixes #150.

Merge branch 'ci-valgrind' into 'master'

Run unittests in CI under Valgrind memcheck

See merge request !353

Check for memory leaks during unittest CI using valgrind

New ci task has been added that checks for possible memory leaks when running unittests. Messages from valgrind are displayed only when leak is detected.
refs #227

Add dockerfile for valgrind ci tests.

main ipc_activity: close and free handle on error

main ipc_activity: misc improvements

Stop IPC after getting an error.  One point is the situation when one
of the forks ends for some reason, which lead to problems.
Another point is pipes getting out of sync.

Smaller changes:
- don't free the handle while it's still half-in-use
- don't fully panic here because of ENOMEM, just stop IPC

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/150

main ipc_activity: use goto to simplify nesting

Merge branch 'ci-clone-workaround' into 'master'

Gitlab bug workaround: use git:// protocol for submodules

See merge request !360

ci: update Deckard to use newest resolver test suite

Besides other things, this version of Deckard has new DNSSEC tests and
includes workaround for Gitlab CI submodule checkout.

ci: use git:// protocol for external submodules

This is workaround for
https://gitlab.com/gitlab-org/gitlab-ci-multi-runner/issues/2148

Given the fact we only read it, and the fact that commit ID is stored
inside our repo, it should not bring any new security problems.

Merge branch 'cache_error_reporting' into 'master'

daemon: improve error reporting related to cache configuration

See merge request !359

daemon: improve error reporting related to cache configuration

Confusion related to wrong cache configuration is more frequent than it
should be. Hopefully this will enable users to help themselves.

Merge !356: doc: fix default for net.tcp_pipeline

doc: fix default for net.tcp_pipeline

Merge !355: CI fixes

gitlab-ci: employ GIT_SUBMODULE_STRATEGY: recursive

gitlab-ci: fallout from !352

- don't have pyyaml twice
- don't install for python3 (for now), just as with other modules

deckard: update, mainly to fix outdated RRSIG

Merge !337: policy.suffix: update the aho-corasick code

Close https://gitlab.labs.nic.cz/knot/knot-resolver/issues/200.

Merge branch 'master' into aho-corasick

... to resolve some simple conflicts.

Merge branch 'fix-deckard-ci' into 'master'

Install yaml for deckard CI.

See merge request !352

Install yaml for deckard CI.

Merge branch 'flags-refactor' into 'master'

refactor query flags

See merge request !341

Merge !351: Dockerfile: try fixing the build

bootstrap-depends.sh: update packages

Dockerfile: try fixing the build

The bad xxd didn't happen to me locally :-/

Merge branch 'master' into flags-refactor

There were just simple conflicts in NEWS and docs.

Merge !350: Release 1.3.3

gitlab CI: try to fix it

release 1.3.3

doc: fix a RST syntax error

Merge a critical security fix

Merge !349: modules/http: fix compatibility with Prometheus

https://github.com/CZ-NIC/knot-resolver/pull/48

NEWS: add parent commit

modules/http: fix compatibility with the Prometheus text format

The Prometheus text format requires histogram parameters to be quoted,
and the result to end with an empty newline characted.

Merge !348: utils: silence a coverity warning

utils: silence a coverity warning

There's no real change, as the function is documented to possibly
return only zero or one in this case.

Merge !347: utils: fix seeding of the random generator

utils: fix seeding of the random generator

If the fread didn't read all in one go, the buffer was being repeatedly
overwritten from the start instead of continuing the read :-/
I also changed the overall approach in some respects.

dnssec: make a function static (unused outside)

dnssec: guard against out-of-bailiwick signatures

Merge !346: kr_rand_uint: nitpicks

kr_rand_uint: nitpicks

- the returned value is up to max-1 and not max (tiny bias)
- improve efficiency slightly
- unsigned -> uint32_t, as that's the range it supports (mostly equal)

Merge !343: iterate: remove counter-productive validation