Revert "iterate: fix minimisation downgrade when encountering authoritative referrals"

This reverts commit e51864e98f951a1d22808410d42751b0d1bb6772.

Revert "validate: don't turn all NS records insecure on non-existent DS"

This reverts commit f522436b62cdfd972f603809a367859c4576445b.

cache/api: implement cache scope for kr_cache_insert()

resolve: write EDNS to wire after the finish layer

This allows the finish layer to add/update OPT RR in the answer.

nsrep: verbose probe message, cap timeout value, less aggressive retry

The timeouted NS retry probed is now logged when tracing
Long response RTT is capped to KR_NS_TIMEOUT to smooth out transient errors.
The retry timer minimum interval is increased from 250ms to 500ms, as NSs taking
typically longer than 1s would just waste time retrying.

lru: fix case when inserting value with larger size than allocated

This fixes a case when inserting into LRU, and the entry for given
key exists, but has allocated smaller value than what's requested.

iterate: remove NO_MINIMIZE from transitive flags

The NO_MINIMIZE may be set when encountering an ENT, but it should
be retried on subsequent query.

daf: bugfix for rule deletion, hint for duplicated rule

don't rewrite cached SOA records from negative answers

Currently there's only exception to avoid rewriting secure NS records.
Most of the negative answers provide SOA record, so it's undesirable
to keep rewriting it for every negative answer.

modules/policy: check whether query is defined

removed invalid assertion

daemon/worker: always try multiple upstreams even if sending fails

Before no other upstreams were tried if qr_task_send or kr_resolve_checkout
failed, which isn't correct, as it doesn't allow blocking of outbound requests.

modules/daf: allow multiple argument matching in filter

This looks like in nftables, e.g. `src { 127.0.0.1 192.168.1.1 }`

Revert "nsrep: respect NO_THROTTLE for timeouted nameservers"

This reverts commit 573e552094f065471f34ebe26573095e47012050.

modules/daf: case insensitive feature flags

modules/daf,renumber: fixed the modules and added tests

This fixes most of the rules in DAF that were broken in 2.0 and adds tests.
It also allows policy filter to evaluate policies in the checkout layer,
before the subrequest is sent to authoritative. This is used primarily for
negotiating features between resolver and authoritatives, or disabling transports.

The policy filter can now match on:
* NS suffix - to apply policies on any zone on given nameservers
* Query type

New actions:
* REFUSE - block query with an RCODE=REFUSED, fixes #337

The DAF can now toggle features between resolver and authoritatives.

fixes #322

lib/resolve: randomize qname in checkout layer when secret changes

This allows changing of secret in the checkout layer.

daemon/worker: move checkout layer before connect, catch checkout errors

The checkout layer was moved to where upstream address is known, but
before outbound message is sent (or connected to upstream).
The reason is to allow checkout layer to block outbound queries
without wasting time waiting for connect.

lib/utils: removed obsoleted functions

Header flags can now be set from Lua, as well as packet payload clearing.

nsrep: respect NO_THROTTLE for timeouted nameservers

worker: fixed a mistakenly used pkt_buf instead of pkt

The `pkt` is set to NULL above, but it's not used and `pkt_buf` is used instead,
it may point to an invalid packet and cause problems further down.

lib/generic/pack: fix operations on empty pack

Several operations were not safe to call on empty pack and would
return invalid memory. If the pack would have reserved space, but
would be empty (length = 0), it's head would be NULL but tail would
be array address (pack->at + 0). This is mostly checked by caller,
but it wasn't in several places (object deletion).

defines: make retry limits compile time configurable

zonecut: fix kr_zonecut_find_nsname with the trie implementation

lib/cache: removed assertion that causes server to crash on partial writes

iterate: fix minimisation downgrade when encountering authoritative referrals

This fixes turning off minimisation when there's an authoritative referral
answer on the resolution path. This happens when there's a nameserver,
which is authoritative for both parent and child side of the delegation,
so it answers from the child side with AA=1. Such answer will be mistakenly
processed as authoritative, and QNAME minimisation will be turned off
(assuming this is the final zone cut).

nsrep: never blacklist NSs because of SERVFAIL/REFUSED

The SERVFAIL is a soft-failure, and REFUSED isn't something the server
is really in control of. It is easy to trick the resolver into blacklisting
a NS by creating a bad delegation and pointing it at the victim NS.

This changes the scoring function to degrade server score on these rcodes,
but cap it to a really bad score. It should be treated as timed out only
if it really times out or is unreachable.

iterate: do not treat REFUSED as soft fail with retries

REFUSED means the NS isn't authoritative for given zone, so it
shouldn't be treated like SERVFAIL. This fixes when a server is not
authoritative for given zone (failed transfer, bad delegation), and the
resolver enters into a retry loop and eventually runs out of time,
instead of trying different servers.

updated cache:insert_rr() interface with cache scope changes

implement basic infrastructure for scoped cache

This commit adds support for scoped cache, e.g. keys can be tagged
with a scope, so that the same key can exist in multiple scope and
returns the value based on the scope set.

This is practically requires for scoping by subnet in ECS, but
it doesn't implement ECS completely. This is just a framework
to make something like ECS possible in a module.

The scope search is currently non-exhaustive, it either returns
a value bound to given scope or look into global scope, nothing
in between.

network: make TCP_BACKLOG_DEFAULT a compile time define and set to default

This was previously hardcoded to 16. This makes it at least a compile time
define, with a default of 511 (as that's what Redis and Apache use).

check per-query flags instead of global options, getter for NS name

Checking query flags instead of global context option allows setting
overrides on individual queries. The effect is the same as query flags
start by copying request flags which start by copying context options.

add bindings for the checkout layer

This one was missing from the current bindings. The checkout layer
runs when the worker attempts to send a DNS query to given upstream
when the address is already determined. The layer can add EDNS options
or update outbound query, or block particular addresses / protocol.

lib/resolve: don't append EDNS to garbage packets

The current handler will try to construct the compression table
starting with query name in question. If there's no query name,
it's going to construct it with garbage bytes.

modules/http: added an error handler to HTTP streams

Instead of throwing an error in the HTTP handler, server should log it.
This covers errors like client disconnecting before reading the response
body etc.

resolve: always update QNAME after zone cut update

Previously the code didn't update query if the minimization was turned off,
but that broke resolution for deep zones (like in-addr.arpa) when part of
the chain fell out of cache, and nearest zone cut was longer than
current query name. The condition is not necessary, since kr_make_query
already checks for query name minimisation flag.

http: allow loading custom endpoints to http

Previously the module was created on configuration time, so it wasn't
possible to inject custom endpoints to the default interface.

Restore visibility for cache stats

Add the missing stats for cache module, on RR entry level.

cache: changed get_new_ttl private API to allow custom timestamp

Before the API depended on the qry object which only makes sense during
resolution of requests, not when manipulating cache out of it.

cache: restored kr_cache_insert_rr API

This commit abstracts out stash_rrset from stash_rrarray_entry,
and fixes incrementing metrics on actual record insertion.
It then resurfaces kr_cache_insert_rr that was deleted in 2.0
using the extracted function.

Merge !664: KNOT_MINVER: 2.7.1 -> 2.7.2

Re-revert "kr_nsec_bitmap_contains_type(): moved to libdnssec"

This reverts commit 512f4aee63cbad71639d7865a8b9f5a3c32ffed2.
knot-dns-2.7.2 fixed this.

Makefile: KNOT_MINVER 2.7.1 -> 2.7.2

Merge branch 'ci-fix' into 'master'

ci: fixes

See merge request knot/knot-resolver!666

ci: docker/fedora - add knot-resolver-testing OBS repos to mock

ci: update respdiff configs

Merge branch 'ci-rpm-builds' into 'master'

ci: rpm builds

See merge request knot/knot-resolver!665

ci: docker/fedora - add OBS to EPEL7 mock

ci: docker/fedora update to F29

Merge !663: ci: optimize respdiff

ci: optimize respdiff

Merge !650: misc nitpicks (see commits)

misc nitpicks (see commits)

Merge branch 'ci-update-respdiff-jobs' into 'master'

ci: update respdiff jobs

See merge request knot/knot-resolver!661

ci: update respdiff jobs

Merge branch 'ci-respdiff-stats' into 'master'

ci: improve respdiff jobs

See merge request knot/knot-resolver!659

ci: respdiff - add option to force respdiff execution

ci: respdiff - use statcmp to plot graphs

ci: respdiff - collect png graphs

ci: respdiff - create unique labels

ci: enable multiple respdiff runs

Merge branch 'ci-deckard-update' into 'master'

ci: update Deckard in attempt to make CI more reliable

See merge request knot/knot-resolver!658

ci: update Deckard in attempt to make CI more reliable

Changes related to monotonic fake time and detection logic for overload
should make CI a little bit more reliable. It should be even better once
we combine overload-detection with some kind of auto-retry.

Merge branch 'release_300' into 'master'

Release 3.0.0

See merge request knot/knot-resolver!653

release 3.0.0

ci: check libkres symbols file

libkres: bump ABI to 8

update minimal libknot version to 2.7.1

scripts: utility script for OBS test build

ci: turn on respdiff:iter.tls6 job

cookies: hide module documentation

Merge branch 'restore-cache-ops' into 'master'

lua: resurrect cache.clear('name')

See merge request knot/knot-resolver!633

cache.clear() tests: add cache.clear('.', true)

cache: update NEWS

cache.clear: clearing root clears everything, not only the root zone

Problem was caused by our lookup format where only the root zone starts
with \0 and all other zones start differently. This caused
cache_match('.') to match only data from root zone.

cache: update docs

cache: relocate cache ABI version entry

... to avoid colliding e.g. with cache.clear('.')

cache.clear: log when asynchonous clear is finished, document interface

WIP: docs

cache.clear: tests

tests/config: remove duplicite keyfile tests

cache.clear: use same output format for full cache clear

cache.clear: use same output format for exact qname+qtype match

cache.clear: allow callback to modify return value

This is handy mainly for tests but it costs nothing so why not to do it.

cache.clear: clarify chunk size limit

cache.clear(): display apex name if needed

Error message is now contains apex name and advice how to clear negative
proofs.

cache: return number of removed entries from remove_* functions

It is more convenient to return 0 instead of ENOENT.

cache.clear(): return a table

Also make the CLI table-printer print a bit longer strings
than it used to.

cache.clear(): various warnings

WIP: needs at least review, perhaps some more modifications

cache API: avoid some ENOENT errors

lib/resolve nitpick: clear lint warnings

(perhaps this started with libknot-2.7?)

cache+lua: add kr_cache_closest_apex() API

docs for cache.prune(): mention the planned GC

cache.get(): disable again, for now

We need to think about the API carefully.

cache.clear(): more flexibility via parameters

cache.clear(name), cache.get(name): review

- fix some edge cases and nitpicks
- static storage -> stack (for temporaries of a few kilobytes)
- sync docs, including caveats of the implementation

cache: restore kr_cache_match and kr_cache_remove

1. Restore two cache op which got dropped in 2.0;
2. Add kr_unpack_cache_key to parse cache key;
3. Fix the lua binding for cache.get and cache.clear.

Merge !657: remove memcached and redis from source tree

remove memcached and redis modules from source tree

Source was kept for historical reasons but was not in use since 2.0.0.
It is now clear that there are better approaches to implement
distributed cache so it is pointless to keep old stuff in tree and
confuse users.

Merge branch 'test-bitmaps' into 'master'

Revert "kr_nsec_bitmap_contains_type(): moved to libdnssec"

See merge request knot/knot-resolver!655