nsrep: never blacklist NSs because of SERVFAIL/REFUSED

The SERVFAIL is a soft-failure, and REFUSED isn't something the server
is really in control of. It is easy to trick the resolver into blacklisting
a NS by creating a bad delegation and pointing it at the victim NS.

This changes the scoring function to degrade server score on these rcodes,
but cap it to a really bad score. It should be treated as timed out only
if it really times out or is unreachable.

iterate: do not treat REFUSED as soft fail with retries

REFUSED means the NS isn't authoritative for given zone, so it
shouldn't be treated like SERVFAIL. This fixes when a server is not
authoritative for given zone (failed transfer, bad delegation), and the
resolver enters into a retry loop and eventually runs out of time,
instead of trying different servers.

updated cache:insert_rr() interface with cache scope changes

implement basic infrastructure for scoped cache

This commit adds support for scoped cache, e.g. keys can be tagged
with a scope, so that the same key can exist in multiple scope and
returns the value based on the scope set.

This is practically requires for scoping by subnet in ECS, but
it doesn't implement ECS completely. This is just a framework
to make something like ECS possible in a module.

The scope search is currently non-exhaustive, it either returns
a value bound to given scope or look into global scope, nothing
in between.

network: make TCP_BACKLOG_DEFAULT a compile time define and set to default

This was previously hardcoded to 16. This makes it at least a compile time
define, with a default of 511 (as that's what Redis and Apache use).

check per-query flags instead of global options, getter for NS name

Checking query flags instead of global context option allows setting
overrides on individual queries. The effect is the same as query flags
start by copying request flags which start by copying context options.

add bindings for the checkout layer

This one was missing from the current bindings. The checkout layer
runs when the worker attempts to send a DNS query to given upstream
when the address is already determined. The layer can add EDNS options
or update outbound query, or block particular addresses / protocol.

lib/resolve: don't append EDNS to garbage packets

The current handler will try to construct the compression table
starting with query name in question. If there's no query name,
it's going to construct it with garbage bytes.

modules/http: added an error handler to HTTP streams

Instead of throwing an error in the HTTP handler, server should log it.
This covers errors like client disconnecting before reading the response
body etc.

resolve: always update QNAME after zone cut update

Previously the code didn't update query if the minimization was turned off,
but that broke resolution for deep zones (like in-addr.arpa) when part of
the chain fell out of cache, and nearest zone cut was longer than
current query name. The condition is not necessary, since kr_make_query
already checks for query name minimisation flag.

http: allow loading custom endpoints to http

Previously the module was created on configuration time, so it wasn't
possible to inject custom endpoints to the default interface.

Restore visibility for cache stats

Add the missing stats for cache module, on RR entry level.

cache: changed get_new_ttl private API to allow custom timestamp

Before the API depended on the qry object which only makes sense during
resolution of requests, not when manipulating cache out of it.

cache: restored kr_cache_insert_rr API

This commit abstracts out stash_rrset from stash_rrarray_entry,
and fixes incrementing metrics on actual record insertion.
It then resurfaces kr_cache_insert_rr that was deleted in 2.0
using the extracted function.

Merge !664: KNOT_MINVER: 2.7.1 -> 2.7.2

Re-revert "kr_nsec_bitmap_contains_type(): moved to libdnssec"

This reverts commit 512f4aee63cbad71639d7865a8b9f5a3c32ffed2.
knot-dns-2.7.2 fixed this.

Makefile: KNOT_MINVER 2.7.1 -> 2.7.2

Merge branch 'ci-fix' into 'master'

ci: fixes

See merge request knot/knot-resolver!666

ci: docker/fedora - add knot-resolver-testing OBS repos to mock

ci: update respdiff configs

Merge branch 'ci-rpm-builds' into 'master'

ci: rpm builds

See merge request knot/knot-resolver!665

ci: docker/fedora - add OBS to EPEL7 mock

ci: docker/fedora update to F29

Merge !663: ci: optimize respdiff

ci: optimize respdiff

Merge !650: misc nitpicks (see commits)

misc nitpicks (see commits)

Merge branch 'ci-update-respdiff-jobs' into 'master'

ci: update respdiff jobs

See merge request knot/knot-resolver!661

ci: update respdiff jobs

Merge branch 'ci-respdiff-stats' into 'master'

ci: improve respdiff jobs

See merge request knot/knot-resolver!659

ci: respdiff - add option to force respdiff execution

ci: respdiff - use statcmp to plot graphs

ci: respdiff - collect png graphs

ci: respdiff - create unique labels

ci: enable multiple respdiff runs

Merge branch 'ci-deckard-update' into 'master'

ci: update Deckard in attempt to make CI more reliable

See merge request knot/knot-resolver!658

ci: update Deckard in attempt to make CI more reliable

Changes related to monotonic fake time and detection logic for overload
should make CI a little bit more reliable. It should be even better once
we combine overload-detection with some kind of auto-retry.

Merge branch 'release_300' into 'master'

Release 3.0.0

See merge request knot/knot-resolver!653

release 3.0.0

ci: check libkres symbols file

libkres: bump ABI to 8

update minimal libknot version to 2.7.1

scripts: utility script for OBS test build

ci: turn on respdiff:iter.tls6 job

cookies: hide module documentation

Merge branch 'restore-cache-ops' into 'master'

lua: resurrect cache.clear('name')

See merge request knot/knot-resolver!633

cache.clear() tests: add cache.clear('.', true)

cache: update NEWS

cache.clear: clearing root clears everything, not only the root zone

Problem was caused by our lookup format where only the root zone starts
with \0 and all other zones start differently. This caused
cache_match('.') to match only data from root zone.

cache: update docs

cache: relocate cache ABI version entry

... to avoid colliding e.g. with cache.clear('.')

cache.clear: log when asynchonous clear is finished, document interface

WIP: docs

cache.clear: tests

tests/config: remove duplicite keyfile tests

cache.clear: use same output format for full cache clear

cache.clear: use same output format for exact qname+qtype match

cache.clear: allow callback to modify return value

This is handy mainly for tests but it costs nothing so why not to do it.

cache.clear: clarify chunk size limit

cache.clear(): display apex name if needed

Error message is now contains apex name and advice how to clear negative
proofs.

cache: return number of removed entries from remove_* functions

It is more convenient to return 0 instead of ENOENT.

cache.clear(): return a table

Also make the CLI table-printer print a bit longer strings
than it used to.

cache.clear(): various warnings

WIP: needs at least review, perhaps some more modifications

cache API: avoid some ENOENT errors

lib/resolve nitpick: clear lint warnings

(perhaps this started with libknot-2.7?)

cache+lua: add kr_cache_closest_apex() API

docs for cache.prune(): mention the planned GC

cache.get(): disable again, for now

We need to think about the API carefully.

cache.clear(): more flexibility via parameters

cache.clear(name), cache.get(name): review

- fix some edge cases and nitpicks
- static storage -> stack (for temporaries of a few kilobytes)
- sync docs, including caveats of the implementation

cache: restore kr_cache_match and kr_cache_remove

1. Restore two cache op which got dropped in 2.0;
2. Add kr_unpack_cache_key to parse cache key;
3. Fix the lua binding for cache.get and cache.clear.

Merge !657: remove memcached and redis from source tree

remove memcached and redis modules from source tree

Source was kept for historical reasons but was not in use since 2.0.0.
It is now clear that there are better approaches to implement
distributed cache so it is pointless to keep old stuff in tree and
confuse users.

Merge branch 'test-bitmaps' into 'master'

Revert "kr_nsec_bitmap_contains_type(): moved to libdnssec"

See merge request knot/knot-resolver!655

Revert "kr_nsec_bitmap_contains_type(): moved to libdnssec"

This reverts commit c13fe1f81abab6d9218e7373d24d5caf8d9ca8b6.
It turns out there's a bug in dnssec_nsec_bitmap_contains() (2.7.{0,1})

Merge branch 'ta_sentinel-static' into 'master'

ta_sentinel: also consider static trust anchors

See merge request knot/knot-resolver!654

ta_sentinel: also consider static trust anchors

i.e. those not managed via RFC 5011.
The verbose log format is changed a bit, consequently.

Merge branch 'rebrand' into 'master'

Rebrand to "Knot Resolver"

See merge request knot/knot-resolver!652

rebrand to "Knot Resolver"

Let's see if it helps against confusion with "Knot DNS" authoritative
server or not.

rebrand to "Knot Resolver"

Previously we were using names "Knot DNS Resolver" and "Knot Resolver"
interchangibly and the prefix "Knot DNS" was somehow confusing users.
Let's see if this rebranding actually helps or not.

Merge branch 'knot-2.7' into 'master'

knot 2.7

See merge request knot/knot-resolver!630

NEWS: polish for 3.0.0 release

KNOT_MINVER := 2.7.1

cookies: disable for now

doc: add lua API changes

I intentionally didn't mark the function names as code or similar,
as changing formatting every other word seemed too visually distracting.

doc: add ./NEWS as "Release notes" section

old NEWS nitpicks: fix warnings from Sphinx

cache nitpick: avoid an unused value and recomputation

It's never been used apparently, since its introduction in 5b288464.
This commit doesn't depend on knot being 2.7 at all.

reorder_RR(): don't rotate based on request ID

As Marek noted, the option is meant to fix bad stub-resolvers,
and those may not put good randomness into the ID.

reorder_RR(): implement again and better

... thanks to new API in libknot-2.7.
Apart from being simpler, it now rotates even uncached answers.

knot_dname_in(): replace

This second part of API replacement in particular lengthens the code,
but I hope the new expression will be easier to understand at least.

knot_dname_is_sub(): replace

lua: clean up, generate libzscanner bindings

lua: finish fixing the mess around passing rdata

lua: rrsig_type_covered

iterate, nsrep: more resiliency to possible errors

removal of pos from parameters

knot_rdata_t field rename

kr_nsec_bitmap_contains_type(): moved to libdnssec

knot_nsec*_bitmap*() changes