predict: refresh expiring records immediately

It seemed a bit strange to have 'stats' module collect expiring records
in an LRU, then once a few minutes convert that via JSON to a lua table,
and put those records into prefetching queue.  Apart from complexity,
it wouldn't work well with short TTLs typical for today's CDNs, e.g. 30
or 60 seconds.

rrcache: fix prefetching of expiring insecure RRs

Our security policy prevented those from reaching cache,
crippling the feature.

Merge !330: predict: fix enqueuing from predict log

Closes #154.

update NEWS

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/154
I'm sorry I broke the module in 06b0d3d4bf6c.  Thaks Vita!

Merge branch 'master' into predict-fix

... to allow NEWS update

predict.generate: fix modular arithmetic

The epoch indices are from [1..period].

Merge !333: dnssec: handle unknown DNSKEY/DS algorithms

layer/validate: handle unknown algorithms

i.e. downgrade a zone to insecure when *all* DNSKEYs of the apex are
unverifiable due to unimplemented DNSKEY or DS algorithms.
Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/210

Makefile refactoring: abstract knot version

Merge !309: hints: improve interpretation of hosts-like files

Closes #204.

Merge branch 'master' into hints-name-order

... to fix conflict in NEWS.

Merge !332: fixup old gitlab URLs

hints.add_hosts: error out if a bad entry is encountered

hints: add (shadowed) PTR records for non-canonical names

Which semantically reverses part of fbe88ccd2.
I would personally prefer not to, but I guess it would be less consistent.
Also make the error messages a little better.

fixup old gitlab URLs

Almost all of them were getting redirected correctly, but why keep the
old ones.  Also update a couple nitpicks directly around.

Merge !331: Dockerfile: fix repo URL

Dockerfile: fix repo URL

Merge !329: rrcache: mangle TTL in first answer already

hints: fix removal of PTR records

I broke this in 3da1535ece when changing stuff around addr2reverse;
now it should be OK, after partially reversing that commit.
I'm sorry.  Thanks to Vita for noticing the breakage.

Merge !328: fix dns64 with policy.FORWARD

dns64 docs: document that policy.FORWARD works OK

At least it seems so...

update NEWS, docs

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/204

Merge branch 'master' into hints-name-order

(so that NEWS can get updated)

hints: change the handling of repeated hints (again)

In reverse (PTR) records, now the last definition wins,
and non-canonical names don't get (shadowed) records.

predict: fix enquing from predict log

 * changed stype to type
 * fix enquening queries from predict log
 * keep heuristic in function generate to predict upcoming epoch

Merge !327: zonecut: fix possible opportunities to use insecure

... data from cache as keys for validation

zonecut: fix possible opportunities to use insecure

... data from cache as keys for validation

lib/resolve: make the dns64 module working correctly in forwarding mode

rrcache: mangle TTL in first answer when using cache.min_ttl

Issue #127.

Answer is mangled first and then copied to cache.

Merge !326: various nitpicks

dns64 nitpick: make the query flag "official"

dnstap tests: ignore+clean additional directories

utils: remove unused kr_rrarray_add(...)

Noticed after removal of its lua binding in commit 3be76db7610.

Merge !324: dns64: correct order of CNAME and AAAA in answer

NEWS, docs: update dns64 info

dns64: improve with policy.FORWARD or .STUB

Clearing the query flags lead to kresd iterating over authoritative
servers.  Related: https://gitlab.labs.nic.cz/knot/resolver/issues/217

Note that validation of synthesised AAAA behind a CNAME doesn't work
when policy.FORWARD + dns64.  Example: www.regiojet.cz.
policy.STUB + dns64 seems not to work at all.

lua nitpicks: memory management

dns64-cname: correct order of CNAME and AAAA in answer

If CNAME chain occurs CNAME is placed before AAAA.

Merge !323: contrib/lmdb: 0.9.18 -> 0.9.21

contrib/lmdb: 0.9.18 -> 0.9.21

Maybe some coverity issues will get fixed, even though
they had seemed not to be affecting our use cases in kresd.

Tests+Deckard look OK and I've been using my system and kresd with
system-wide 0.9.21 for some time already.

Merge !318: lib/resolve: use RTT tracking to choose forwarders

Closes #125 and #208.

lib/resolve: even better support for forwarder choice

- sort the list instead of just picking the best one
- prefer unknown RTTs to probe them
- verbose output of the choice

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/125
Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/208

nsrep: eradicate kr_nsrep_inaddr*

They're just useless when we have kr_inaddr*.

lib/resolve: better support for forwarder choice

Merge !322: coverity fixes (nothing important)

utils: shut up a coverity warning (CID 155456)

rplan: fix a coverity warning (CID 164834)

There would be no real resource leak, as the memory is on a mempool,
so the lifetime is limited by kr_request finishing.  Also, it's only
on an unlikely error branch, but still...

Merge !321: bootstrap-depends nitpick: warn about ~/.local

bootstrap-depends nitpick: warn about rm -rf ~/.local

Some people might get surprised, as it's the default location for quite
some data nowadays ($XDG_DATA_HOME).

Merge !320: dnssec/nsec: add a precaution for DS nodata

dnssec/nsec: add a precaution when checking DS nodata

I just found it by accident when studying RFCs again.
Hmm, I'd like an operator for logical implication; I'm spoiled by Maths.

Merge branch 'check-config' into 'master'

daemon: check existence of config file

See merge request !317

Merge !319: Dockerfile: add missing curl dependency

Dockerfile: add missing curl dependency

Without it we were failing to download fstrm tarball,
and the shown errors were very confusing.
Tested building an image locally.

daemon: check existence of config file

... even if rundir isn't specified.  No other changes in semantics.
Before this a typo in config path would pass silently.

Merge !315: doc/build.rst updates

Merge !316: release 1.3.1

release 1.3.1

lib/resolve: bugfixes for forwarding mode

unecessary queries in some circumstances; some minor bugfixes

layer/pktcache: don't cache CNAME'ed negative answer when forwarding

it can contain records which have not been validated by validator

layer/validate: forwarding mode, another CNAME fix

Don't check proof of nonexistance in NODATA or NAME ERROR answers
which contains a CNAME.

doc/build.rst: quick pass to fix/update the info

In particular, don't mention things that probably don't work (well):
Windows, amalgamation, very old OpenSUSE package.

Merge !314: policy.FORWARD: fix some CNAME problems

NEWS: update with for this branch

layer/iterate: forwarding mode - treat CNAME'ed NS&DS answers as proof of zonecut nonexistance

layer/validate: bugfix; in some circumstances KR_RANK_OMIT rank was not processed properly

lib/resolve: special processing for cname'ed DS answers in forward mode (*.vutbr.cz DS)

Merge !313: modules/http: fix finding the static files

modules/http: fix finding the static files

I also verified there's no other usage of the `moduledir` symbol from
lua.  Bug introduced in 2f81b1118430 (within !298).

hints: minor nitpicks

hints nitpicks: inline unload() into hints_deinit()

The API function doesn't do anything else anyway.

hints: fix reverse IPv6 hints

The length was halved, mixed ">" vs. ">>", etc.

hints: remove unused code

doc/build.rst: add info about installing on FreeBSD

(the port will soon be 1.3.0 also)
Close https://github.com/CZ-NIC/knot-resolver/pull/43.

Merge !312: utils.h: add a missing include

utils.h: add a missing include

This tiny addition was needed to be able to install on FreeBSD.
Close https://github.com/CZ-NIC/knot-resolver/pull/44

Merge branch 'kres-gen-guide' into 'master'

lua kres-gen: add a guide to re-generating

See merge request !310

Merge !311: root-hints: B server changed its AAAA

root-hints: B server changed its AAAA

http://www.root-servers.org/news/b-root-begins-anycast-in-may.txt

lua kres-gen: add a guide to re-generating

hints: reverse lookup keep name ordering from host file

If one line contains multiple names for the address, the first
name should be the canonical one (i.e. used for reverse lookups).
In the current implementation wins top level domain according to
domain tree.

This change saves PTR records to separate tree. Names are
oredered according to order in host file.

Merge branch 'NEWS-final-date' into 'master'

Update the final date for 1.3.0 release

See merge request !308

Update the final date for 1.3.0 release

Merge branch 'cname-loop' into 'master'

iterate: be more precise when detecting CNAME loops

See merge request !307

iterate: be more precise when detecting CNAME loops

Iterating over sibling sub-queries isn't precise enough,
and in particular in forwarding mode it reported non-existing loops.

Example ATM: www.dpo.cz - there forwarding spawns multiple sub-queries,
and one of those is a CNAME to another of them.  Due to them being siblings,
the old code misdetected that as a CNAME loop.  Now that we have these
cname_parent pointers, we can do a precise detection.

Merge !306: version 1.3.0

version 1.3.0

Merge !305: validate: work around some SERVFAILs (iterating mode)

validate: work around some SERVFAILs (iterating mode)

- This affects the iterating mode only (except for a verbose message).
- The problem was introduced when implementing forwarding in 651c5aad.
- Example that was affected: *.org.ru.

When the same server is authoritative for multiple consecutive zones,
with a higher one being signed and a lower one being unsigned, we may
get an unsigned answer even in case we *think* we're currently in a
signed zone.

In particular, DS (sub-)queries are important because of being used to
prove the insecurity of zones - in that case the iterator can correctly
determine the (unexpected) zone name from which the answer came, due to
seeing the SOA record, but that is too late for zone_cut_check() to try
getting a trust chain to it, so we need to YIELD for it to do it.

Merge !304: workarounds: add avTs.mcafee.com

workarounds: add avTs.mcafee.com

Merge !303: policy: add forwarding with validation (by default)

Merge branch !301: fix incorrectly set AD flag for CNAME chains

lib/resolve: clear AD flag if there are CNAMEs synthesized from wildcard covered by optouted NSEC3

lib/validate: cleanup (commented code block was deleted)

lib/validate: validation of NXDOMAIN answers for DS queries was fixed

fix incorrectly set AD flag for CNAME chains

Valid CNAME chains that ended in NODATA had AD flag set.

call it 1.3.0-rc1

doc+NEWS: changes related to full-forward

nitpicks from doxygen parser