lib/resolve: optimazlization of resolution overall time checking

lib: additional checks when overall resolution time of single query is checked

lib: support of an upper limit for resolution time of single query

Merge !366: worker: disable assert we can't fix immediately

worker: disable assertion that we can't fix immediately

Production kresd should compile with -DNDEBUG, so it wouldn't be
affected by this, but it was annoying for debugging other problems.
See https://gitlab.labs.nic.cz/knot/knot-resolver/issues/245

Merge !362: LMDB fixes - transactions and cache.clear()

NEWS: entry for this branch

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/240

cache: nitpicks

cache.clear() on LMDB: be more strict about transactions

In particular, don't keep even a reset read-only transaction.
This doesn't help with that MDB_BAD_TXN, but still it seems better.

cache.clear() on LMDB: simplify .cachelock

The locking was done incorrectly - the copied text from man open(2)
suggested creating a *unique* file and linking that one to the lockfile.
Anyway, I don't think we need to support cache on NFSv3 on old kernels ;-)

Merge !364: doc/build: fix another instance of the old link

doc/build: fix another instance of the old link

Merge !363: README: Fix homepage/download link

Fix homepage/download link in README

Homepage link was broken – https://www.knot-resolver.cz/pages/try.html returns 404 (moved to /download during website redesign)

cache.clear() on LMDB: first try mdb_drop()

It's certainly a cleaner way.

cache: handle LMDB resize by another process

kresd never handled it.  It's perhaps a rare occasion when different
instances (attempt to) set different cache sizes.

docs: purge long-dead cache API from an example

cache: rework reusing transactions (LMDB)

Previously a read transaction could be held open by each fork
indefinitely.  That was done for better speed, but it had a downside
of keeping old pages alive and potentially reading only old data,
until some writes were attempted by that fork.

Now kr_cache_ provides explicit API for suitable points where to break
transactions, reusing the _sync command.  On LMDB side the read-only
transaction is only reset and later renewed, supposedly giving better
performance than aborting (see LMDB docs on reset+renew).

Performance: preliminary testing with two forks, resperf on comcast
query-set shows no noticeable difference in peak QPS.

Merge !361: main ipc_activity: misc improvements

Fixes #150.

Merge branch 'ci-valgrind' into 'master'

Run unittests in CI under Valgrind memcheck

See merge request !353

Check for memory leaks during unittest CI using valgrind

New ci task has been added that checks for possible memory leaks when running unittests. Messages from valgrind are displayed only when leak is detected.
refs #227

Add dockerfile for valgrind ci tests.

main ipc_activity: close and free handle on error

main ipc_activity: misc improvements

Stop IPC after getting an error.  One point is the situation when one
of the forks ends for some reason, which lead to problems.
Another point is pipes getting out of sync.

Smaller changes:
- don't free the handle while it's still half-in-use
- don't fully panic here because of ENOMEM, just stop IPC

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/150

main ipc_activity: use goto to simplify nesting

Merge branch 'ci-clone-workaround' into 'master'

Gitlab bug workaround: use git:// protocol for submodules

See merge request !360

ci: update Deckard to use newest resolver test suite

Besides other things, this version of Deckard has new DNSSEC tests and
includes workaround for Gitlab CI submodule checkout.

ci: use git:// protocol for external submodules

This is workaround for
https://gitlab.com/gitlab-org/gitlab-ci-multi-runner/issues/2148

Given the fact we only read it, and the fact that commit ID is stored
inside our repo, it should not bring any new security problems.

Merge branch 'cache_error_reporting' into 'master'

daemon: improve error reporting related to cache configuration

See merge request !359

daemon: improve error reporting related to cache configuration

Confusion related to wrong cache configuration is more frequent than it
should be. Hopefully this will enable users to help themselves.

Merge !356: doc: fix default for net.tcp_pipeline

doc: fix default for net.tcp_pipeline

Merge !355: CI fixes

gitlab-ci: employ GIT_SUBMODULE_STRATEGY: recursive

gitlab-ci: fallout from !352

- don't have pyyaml twice
- don't install for python3 (for now), just as with other modules

deckard: update, mainly to fix outdated RRSIG

Merge !337: policy.suffix: update the aho-corasick code

Close https://gitlab.labs.nic.cz/knot/knot-resolver/issues/200.

Merge branch 'master' into aho-corasick

... to resolve some simple conflicts.

Merge branch 'fix-deckard-ci' into 'master'

Install yaml for deckard CI.

See merge request !352

Install yaml for deckard CI.

Merge branch 'flags-refactor' into 'master'

refactor query flags

See merge request !341

Merge !351: Dockerfile: try fixing the build

bootstrap-depends.sh: update packages

Dockerfile: try fixing the build

The bad xxd didn't happen to me locally :-/

Merge branch 'master' into flags-refactor

There were just simple conflicts in NEWS and docs.

Merge !350: Release 1.3.3

gitlab CI: try to fix it

release 1.3.3

doc: fix a RST syntax error

Merge a critical security fix

Merge !349: modules/http: fix compatibility with Prometheus

https://github.com/CZ-NIC/knot-resolver/pull/48

NEWS: add parent commit

modules/http: fix compatibility with the Prometheus text format

The Prometheus text format requires histogram parameters to be quoted,
and the result to end with an empty newline characted.

Merge !348: utils: silence a coverity warning

utils: silence a coverity warning

There's no real change, as the function is documented to possibly
return only zero or one in this case.

Merge !347: utils: fix seeding of the random generator

utils: fix seeding of the random generator

If the fread didn't read all in one go, the buffer was being repeatedly
overwritten from the start instead of continuing the read :-/
I also changed the overall approach in some respects.

dnssec: make a function static (unused outside)

dnssec: guard against out-of-bailiwick signatures

Merge !346: kr_rand_uint: nitpicks

kr_rand_uint: nitpicks

- the returned value is up to max-1 and not max (tiny bias)
- improve efficiency slightly
- unsigned -> uint32_t, as that's the range it supports (mostly equal)

Merge !343: iterate: remove counter-productive validation

layer/iterate: remove counter-productive validation

... functionality from iterator: don't fail immediately if actual number
of labels in owner name exceeds number in label field of RRSIG rrset

Merge branch 'ci-respdiff' into 'master'

CI: integrate respdiff v2 into gitlab-ci

See merge request !345

CI: migrate to respdiff v2

All resolvers are configured as recursors (no forwarding).
We should extend testing so we can test recursion and forwarding at the
same time.

List of queries is taken dynamically from
https://gitlab.labs.nic.cz/knot/knot-resolver/snippets/69
This will likely change in future.

The test will fail if mismatch rate >= 1 %.
This is error margin for network instability and few possibly broken upstreams
in the test list.

Merge branch 'ci-deckard' into 'master'

CI: update Deckard to use newest resolver test suite

See merge request !344

CI: update Deckard to use newest resolver test suite

Merge !325: policy: more/better special-use domain names

NEWS: changes in this branch

Merge branch 'master' into policy-reserved-domains

Merge !342: make: revert adding -rpath by default

make: revert adding -rpath by default

This reverts commits 89ebf5293 and 1d8b5706cd.
I didn't realize that setting rpath is considered bad practice by most
distributions.  I'm really "spoiled" by nix(pkgs/os).

policy docs: rework it all

- greatly reduce duplication - mainly actions and filters that were
described on two separate places
- try to improve readability etc.

hints docs: clean a bit, note interaction with policies

lua: remove :nslist from kr_query_t

It was rather low-level anyway.

lua: remove :final from kr_query_t

lua: remove some compatibility code

qflags refactor: NEWS entry, ABI bump

kr_qflags: don't use X-macros anymore

We no longer need it and it's just confusing,
e.g. the bit assignments were ignored now.

qflags: WIP refactor - lua-related fixups

qflags: WIP refactor - reimplement option() in lua

qflags: WIP refactor - hand-replace complex cases

qflags: WIP refactor - regex replacements

sed -e 's/flags |= QUERY_\([A-Z0-9_]*\);/flags.\1 = true;/g' \
        -e 's/flags &= ~QUERY_\([A-Z0-9_]*\);/flags.\1 = false;/g' \
        -e 's/\(flags\|options\|opts\) & QUERY_\([A-Z0-9_]*\)\()\| ||\)/\1.\2\3/g' \
        -i $(git grep -l QUERY_)

qflags: WIP refactor

Merge !340: make: add -rpath only on non-Darwin POSIX

make: add -rpath only on non-Darwin POSIX

I didn't recall this doesn't work on Darwin.

Merge !338: make: add -rpath when linking to find libkres

make: add -rpath when linking to find libkres

... even if LIBDIR isn't on a standard place.

NEWS + docs: the aho-corasick update

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/200

add scripts/make-archive.sh

as 'git archive' won't include the submodule with aho-corasick code

policy aho-corasick: makefile tweaks

- install the library with executable bit
- use native library extension (i.e. .dylib on Macs)
- kill their fancy CFLAGS to get better portability (e.g. -msse4.1)
- gitlab-ci: this submodule is needed before building already
- actually remove aho-corasick.lua

Merge branch 'master' into aho-corasick

Merge !336: release 1.3.2

release 1.3.2

Merge !335: predict: fixes for refreshing expiring RRs

predict docs: fix the description of expiring records

The description didn't match the reality.  Change docs for now,
even though 1% seems a bit too little to me personally.

predict: refresh expiring records immediately

It seemed a bit strange to have 'stats' module collect expiring records
in an LRU, then once a few minutes convert that via JSON to a lua table,
and put those records into prefetching queue.  Apart from complexity,
it wouldn't work well with short TTLs typical for today's CDNs, e.g. 30
or 60 seconds.

rrcache: fix prefetching of expiring insecure RRs

Our security policy prevented those from reaching cache,
crippling the feature.

Merge !334: bootstrap-depends.sh: fixup travis

bootstrap-depends.sh: try to fix travis