roothints: load from zonefile

Merge branch 'ci-valgrind' into 'master'

Run unittests in CI under Valgrind memcheck

See merge request !353

Check for memory leaks during unittest CI using valgrind

New ci task has been added that checks for possible memory leaks when running unittests. Messages from valgrind are displayed only when leak is detected.
refs #227

Add dockerfile for valgrind ci tests.

Merge branch 'ci-clone-workaround' into 'master'

Gitlab bug workaround: use git:// protocol for submodules

See merge request !360

ci: update Deckard to use newest resolver test suite

Besides other things, this version of Deckard has new DNSSEC tests and
includes workaround for Gitlab CI submodule checkout.

ci: use git:// protocol for external submodules

This is workaround for
https://gitlab.com/gitlab-org/gitlab-ci-multi-runner/issues/2148

Given the fact we only read it, and the fact that commit ID is stored
inside our repo, it should not bring any new security problems.

Merge branch 'cache_error_reporting' into 'master'

daemon: improve error reporting related to cache configuration

See merge request !359

daemon: improve error reporting related to cache configuration

Confusion related to wrong cache configuration is more frequent than it
should be. Hopefully this will enable users to help themselves.

Merge !356: doc: fix default for net.tcp_pipeline

doc: fix default for net.tcp_pipeline

Merge !355: CI fixes

gitlab-ci: employ GIT_SUBMODULE_STRATEGY: recursive

gitlab-ci: fallout from !352

- don't have pyyaml twice
- don't install for python3 (for now), just as with other modules

deckard: update, mainly to fix outdated RRSIG

Merge !337: policy.suffix: update the aho-corasick code

Close https://gitlab.labs.nic.cz/knot/knot-resolver/issues/200.

Merge branch 'master' into aho-corasick

... to resolve some simple conflicts.

Merge branch 'fix-deckard-ci' into 'master'

Install yaml for deckard CI.

See merge request !352

Install yaml for deckard CI.

Merge branch 'flags-refactor' into 'master'

refactor query flags

See merge request !341

Merge !351: Dockerfile: try fixing the build

bootstrap-depends.sh: update packages

Dockerfile: try fixing the build

The bad xxd didn't happen to me locally :-/

Merge branch 'master' into flags-refactor

There were just simple conflicts in NEWS and docs.

Merge !350: Release 1.3.3

gitlab CI: try to fix it

release 1.3.3

doc: fix a RST syntax error

Merge a critical security fix

Merge !349: modules/http: fix compatibility with Prometheus

https://github.com/CZ-NIC/knot-resolver/pull/48

NEWS: add parent commit

modules/http: fix compatibility with the Prometheus text format

The Prometheus text format requires histogram parameters to be quoted,
and the result to end with an empty newline characted.

Merge !348: utils: silence a coverity warning

utils: silence a coverity warning

There's no real change, as the function is documented to possibly
return only zero or one in this case.

Merge !347: utils: fix seeding of the random generator

utils: fix seeding of the random generator

If the fread didn't read all in one go, the buffer was being repeatedly
overwritten from the start instead of continuing the read :-/
I also changed the overall approach in some respects.

dnssec: make a function static (unused outside)

dnssec: guard against out-of-bailiwick signatures

Merge !346: kr_rand_uint: nitpicks

kr_rand_uint: nitpicks

- the returned value is up to max-1 and not max (tiny bias)
- improve efficiency slightly
- unsigned -> uint32_t, as that's the range it supports (mostly equal)

Merge !343: iterate: remove counter-productive validation

layer/iterate: remove counter-productive validation

... functionality from iterator: don't fail immediately if actual number
of labels in owner name exceeds number in label field of RRSIG rrset

Merge branch 'ci-respdiff' into 'master'

CI: integrate respdiff v2 into gitlab-ci

See merge request !345

CI: migrate to respdiff v2

All resolvers are configured as recursors (no forwarding).
We should extend testing so we can test recursion and forwarding at the
same time.

List of queries is taken dynamically from
https://gitlab.labs.nic.cz/knot/knot-resolver/snippets/69
This will likely change in future.

The test will fail if mismatch rate >= 1 %.
This is error margin for network instability and few possibly broken upstreams
in the test list.

Merge branch 'ci-deckard' into 'master'

CI: update Deckard to use newest resolver test suite

See merge request !344

CI: update Deckard to use newest resolver test suite

Merge !325: policy: more/better special-use domain names

NEWS: changes in this branch

Merge branch 'master' into policy-reserved-domains

Merge !342: make: revert adding -rpath by default

make: revert adding -rpath by default

This reverts commits 89ebf5293 and 1d8b5706cd.
I didn't realize that setting rpath is considered bad practice by most
distributions.  I'm really "spoiled" by nix(pkgs/os).

policy docs: rework it all

- greatly reduce duplication - mainly actions and filters that were
described on two separate places
- try to improve readability etc.

hints docs: clean a bit, note interaction with policies

lua: remove :nslist from kr_query_t

It was rather low-level anyway.

lua: remove :final from kr_query_t

lua: remove some compatibility code

qflags refactor: NEWS entry, ABI bump

kr_qflags: don't use X-macros anymore

We no longer need it and it's just confusing,
e.g. the bit assignments were ignored now.

qflags: WIP refactor - lua-related fixups

qflags: WIP refactor - reimplement option() in lua

qflags: WIP refactor - hand-replace complex cases

qflags: WIP refactor - regex replacements

sed -e 's/flags |= QUERY_\([A-Z0-9_]*\);/flags.\1 = true;/g' \
        -e 's/flags &= ~QUERY_\([A-Z0-9_]*\);/flags.\1 = false;/g' \
        -e 's/\(flags\|options\|opts\) & QUERY_\([A-Z0-9_]*\)\()\| ||\)/\1.\2\3/g' \
        -i $(git grep -l QUERY_)

qflags: WIP refactor

Merge !340: make: add -rpath only on non-Darwin POSIX

make: add -rpath only on non-Darwin POSIX

I didn't recall this doesn't work on Darwin.

Merge !338: make: add -rpath when linking to find libkres

make: add -rpath when linking to find libkres

... even if LIBDIR isn't on a standard place.

NEWS + docs: the aho-corasick update

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/200

add scripts/make-archive.sh

as 'git archive' won't include the submodule with aho-corasick code

policy aho-corasick: makefile tweaks

- install the library with executable bit
- use native library extension (i.e. .dylib on Macs)
- kill their fancy CFLAGS to get better portability (e.g. -msse4.1)
- gitlab-ci: this submodule is needed before building already
- actually remove aho-corasick.lua

Merge branch 'master' into aho-corasick

Merge !336: release 1.3.2

release 1.3.2

Merge !335: predict: fixes for refreshing expiring RRs

predict docs: fix the description of expiring records

The description didn't match the reality.  Change docs for now,
even though 1% seems a bit too little to me personally.

predict: refresh expiring records immediately

It seemed a bit strange to have 'stats' module collect expiring records
in an LRU, then once a few minutes convert that via JSON to a lua table,
and put those records into prefetching queue.  Apart from complexity,
it wouldn't work well with short TTLs typical for today's CDNs, e.g. 30
or 60 seconds.

rrcache: fix prefetching of expiring insecure RRs

Our security policy prevented those from reaching cache,
crippling the feature.

Merge !334: bootstrap-depends.sh: fixup travis

bootstrap-depends.sh: try to fix travis

Merge !330: predict: fix enqueuing from predict log

Closes #154.

update NEWS

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/154
I'm sorry I broke the module in 06b0d3d4bf6c.  Thaks Vita!

Merge branch 'master' into predict-fix

... to allow NEWS update

predict.generate: fix modular arithmetic

The epoch indices are from [1..period].

Merge !333: dnssec: handle unknown DNSKEY/DS algorithms

layer/validate: handle unknown algorithms

i.e. downgrade a zone to insecure when *all* DNSKEYs of the apex are
unverifiable due to unimplemented DNSKEY or DS algorithms.
Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/210

Makefile refactoring: abstract knot version

Merge !309: hints: improve interpretation of hosts-like files

Closes #204.

Merge branch 'master' into hints-name-order

... to fix conflict in NEWS.

Merge !332: fixup old gitlab URLs

policy: update aho-corasick code

Library lua-aho-corasick is provided as git submodule. Library
build is triggered with kresd build. ahocorasick.so is copied into
modules directory.

hints.add_hosts: error out if a bad entry is encountered

hints: add (shadowed) PTR records for non-canonical names

Which semantically reverses part of fbe88ccd2.
I would personally prefer not to, but I guess it would be less consistent.
Also make the error messages a little better.

fixup old gitlab URLs

Almost all of them were getting redirected correctly, but why keep the
old ones.  Also update a couple nitpicks directly around.

Merge !331: Dockerfile: fix repo URL

Dockerfile: fix repo URL

Merge !329: rrcache: mangle TTL in first answer already

hints: fix removal of PTR records

I broke this in 3da1535ece when changing stuff around addr2reverse;
now it should be OK, after partially reversing that commit.
I'm sorry.  Thanks to Vita for noticing the breakage.

Merge !328: fix dns64 with policy.FORWARD

dns64 docs: document that policy.FORWARD works OK

At least it seems so...

update NEWS, docs

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/204