lib/resolve: fixed aborted rec when all IPv6 NS were bad

the query flags were cleared too early, and the rec never
retried if the NS had ipv6 addresses, but all were bad

layer/iterate: don't update cut if we get m10n referral/CNAME

lib: turned some knobs

layer/iterate: work around auths hinting CNAME authority

this fixes an issue when nameserver responds with AA=0 and authority
of a CNAME target (which is in current bailiwick)

layer/iterate: work around broken auths that rewrite QNAME

modules/hints: fixed AAAA processing (swapped rclass/rtype)

layer/rrcache: small ttl check before merging

build: fixed travis

Merge branch 'dns-0x20'

lib/rplan: lowercase snames, fix hints

layer/iterate: do not check 0x20 if safemode or cached

daemon/worker: less frequent decommit

layer/iterate: do DNS 0x20 unless in safe mode

DNS 0x20 https://tools.ietf.org/html/draft-vixie-dnsext-dns0x20-00
is a way to add more randomness into queries to make spoofing tougher
this implementation provides up to 32 bits of randomness to QNAME,
which is more than enough for most names (it is possible to add a
maximum of 1 bit of entropy per alphanumeric character, so it's not very
efficient with shorter names)

fixes #27

tests/pydnstest: add support for DNS 0x20

lib/cache: cleanup

lib: cleanup

lib/zonecut: fixed _copy() when addr pack is empty

lib/resolve: top-down search if NS is at current zone cut (not backtrace)

lib/nsrep: be more aggresive with TCP for broken delegations

libuv doesn't do connected UDP sockets, so we can't get ICMP unreachable
otherwise

daemon/worker: trim on pool rollover

modules/block: block ANY type example

modules/block: updated doc

Merge branch 'block-module'

modules/block: tweaks here and there to please tracer

lib/utils: packet recycling (keeps header, doesn’t free memory)

daemon/bindings: no userdata for rplan/query

modules/block: common suffix match

daemon/ffi: skip layer calls in invalid states

modules/block: added Aho-Corasick suffix match, pattern match, doc

daemon/bindings: wrapped rrtypes, fixed pkt:add()

daemon/bindings: wip on query and packet bindings

lib/utils: moved isaac cspring here

lib/rplan: stringified query flags

daemon/bindings: some basic Lua interface to rplan and query

daemon/bindings: fixed Lua <=5.1 compat and bad cast

daemon: fixed leaks and bad ffi module cleanup

daemon/bindings: Lua 5.0/5.1 compat

modules/block: block policies for queries

by default it blocks queries to private zones, can be extended to match anything in the query content (i.e. water torture style attacks)

daemon/bindings: minimal Lua interface to packet and DNS primitives (wip)

daemon/ffimodule: ignore undefined layers on load

daemon/bindings: cleanup

daemon/worker: argh

Merge branch 'root-hints'

modules/hints: configurable root hints, part of module

before root hints were hardcoded to the resolver,
now they are present in form of a cut in the resolution
context, and the modules can add/remove/replace them
on the fly

daemon/engine: convert Lua tables to JSON for prop calls

daemon/bindings: return top to previous after timer

docker: fixed broken musl libc + stack protector

Merge branch 'faster-request-proc'

layer/rrcache: work around unreclaimable pages on clear

modules/redis: ping server if disconnected

modules/redis: missing header

modules/cachectl: fixed cachectl, optional pruning granularity

Merge branch 'cache-redis' into faster-request-proc

lua/sandbox: default cache backend/size

modules/redis: implement basic hiredis storage backend

the Redis backend supports UNIX, TCP and custom ports
no real transactions nor iteration, but it’s not needed at the moment
transactions keep replies in a freelist, which is purged on transaction
commit / abort

travis: cut slack some slack

daemon/worker: malloc.h is not present on OS X

lib: cleanup

lib/lru: args checking

layer/iterate: don't even try to minimize root

modules/cachectl: count pruned towards deletes

lib/zonecut: check for parent of root

modules/cachectl: incremental pruning, can clear 64k items in one go

lib/cache: cache fixes, use substruct instead of pointer aliasing

fixes potential cache key oob write

layer/pktcache: treat all cache insert errors as errors

daemon/worker: decommit memory every 1000nth pool delete

contrib: ccan/json possible uninitialized use

daemon: allocate worker from pool, cleanup

tests/test_cache: dladdr is broken for local syms

this relies on a lot of things (intrinsic), frame pointer and symbol dynamic symbol table

build: brought back PIC for modules

daemon/worker: keep freelist of mempools for recycling

Merge branch 'build-changes-q2' into faster-request-proc

contrib: use embedded ucw/mempool instead of libknot internals

contrib/ucw: use stdlib alloc routines instead of xmalloc/xfree

contrib: added mempools from libucw

modules/kmemcached: missing documentation, doc cleanup

build: renamed libkresolve => libkres, kresolved => kresd

also some cleanup and version bump to Q2

build: allow library to be built statically

layer/rrcache: rewritten RR merging code

previously a CNAME RR could be merged as a queried type RR, leading to failed cache lookups as ‘expired’

layer/*cache: lookup only on first iteration

layer/iterate: glue may be in ANSWER, cleanup

lib/resolve: do not reelect NS after addr resolution

previously if NS had no A/AAAA records, they we’re looked up in subrequests, after that a new NS was reelected (possibly preferring another unknown), now it stays true to the NS of choice and changes only if it is unuseable

lib/cache: return records that are going to be expired next second

lib/cache: save cache lookup if record is stale and not missing

the cache_peek() api was reworked to return an error code instead, from this the caller can tell whether the record is present (but expired) or missing. this save a secondary CNAME lookup in case the original record was just expired

lib/nsrep: NS reputation cache in addition to RTT cache

this LRU-like cache tracks lame nameservers, unresolvable
nameservers (to not waste resources in trying to resolve them),
and possibly other features (extension support, …)

lib/zonecut: prefetch A/AAAA records from cache

lib/cache: better handling of TXN_OPEN, cleanup

lib/resolve: fix minimized QNAME if zone cut changes

tests: improved array test

Revert "daemon/worker: ring buffer to recycle mempools"

This reverts commit 91a2945e631b673942ffe62992e03913925a63da.

Conflicts:
daemon/worker.h

Merge branch 'ns-rtt-cache'

daemon: cleanup

Merge branch 'master' into ns-rtt-cache

Merge branch 'fix-ns-badboys'

Merge branch 'master' into fix-ns-badboys

tests: cleanup in lru test

generic/array: shot myself to the foot

daemon/worker: ring buffer to recycle mempools

this avoids repetitive allocation/free cycles on load

tests: added missing lru unit test

Merge branch 'dnssec-integration-test'