daemon/worker: smaller starting mempool per request (16k)

an average request from cache requires ~12k, an average iterative request 16-64k
this reduces allocation cost when there are now pools on the freelist

daemon/worker: satisfy subreq sockets from freelist

since the structures are ~ same size as I/O requests (udp_send_t being 60B larger than others), they all share the same freelist

daemon/io: fix closing TCP sockets without worker knowing it

daemon/worker: track ipv4/ipv6 requests

lib/rrcache: allow replacement of expiring records

modules/stats: 10-100-1000 ms latency tracking

modules/stats: expose frequent queries LRU turnover

generic/lru: count updates in slot for item-slot stickiness

modules/stats: fixed potential crash on empty prefix

Merge branch 'stats-improved' into prefetch-wip

modules/stats: sample list of most frequent iterative queries

the stats module keeps track of frequent iterative queries using
probabilistic sampling. the list includes subrequests.
it is useful for tracking over time, prefetching and anomaly reporting

modules/stats: persistent metrics table

enumerated metrics are always present (set to 0 if not used), this fixes
missing values when not measuring and provides a faster access to common
data

generic/lru: evictions counter to aid efficiency prediction

daemon/lua: fixed output printing

tests: can execute specific tests, fixed EDNS+RR merging

doc: updated lib

doc: updated dependencies

doc: updated library doc for developers

Merge branch 'async-io-requests'

daemon/worker: fixed leak

daemon/worker: asynchronous I/O requests

this can coalesce sends/writes in future versions of libuv

daemon/worker: compile-time support for recvmmsg in worker buffers

lib: faster rdata iterators

daemon: worker can accept multiple pkts, cleanup

daemon: fork earlier, keep instance id in 'worker.id'

this fixes an issue with libuv sometimes crashing with mismatching number
of descriptors with REUSEPORT

doc: fixed typo

Merge branch 'prefetch-wip'

doc: added documentation for worker api

modules/prefetch: fixed lua error on bad queries, iterative

layer/rrcache: cache authority only if chasing referral/cname

modules/prefetch: basic prefetching of frequently used records

modules: api fixups

daemon/bindings: cleanup, checking, rrclass wrapper

daemon/bindings: Lua API for worker (resolve, stats)

lib/cache: track expiring records in cache

prefetch wip

lib/utils: fixed recycle on already filled packet

bindings: pkt:get(section,id) wrapper

lib: cleanup

block: improved suffix match, added doc

modules+bindings: cleanup

Merge branch 'tests_wrapped' into 'master'

Tests wrapped

See merge request !15

tests: style fixes, notes

scripts: updated broken Lua build on some linkers

scripts: updated broken Lua build on some linkers

tests: integration tests with wrapped syscalls

build: placed ldflags after libraries (may be static)

Merge branch 'hive-wip'

doc: documented forked mode

daemon/bindings: missing brk in wrapped lookup tables

lib: helping compiler with early returns

daemon/main: cleanup, forking and remote tty

when the daemon starts in non-interactive mode, it creates a pipe in the ‘tty/<pid>’ which can be used to interact with it remotely - much wow

e.g. $ socat - UNIX-CONNECT:tty/38284

contrib/ccan: added ‘asprintf’ compatibility

daemon: forking wip

daemon/network: enabled Linux-style SO_REUSEPORT if supported

Merge branch 'zonecut-filter-addrs'

lib/zonecut: filter ANY and loopback addresses

layer/iterate: workaround for leaf NS that can only do lame NODATA answer

layer/rrcache: re-enabled caching of volatile records

lib/resolve: fixed aborted rec when all IPv6 NS were bad

the query flags were cleared too early, and the rec never
retried if the NS had ipv6 addresses, but all were bad

layer/iterate: don't update cut if we get m10n referral/CNAME

lib: turned some knobs

layer/iterate: work around auths hinting CNAME authority

this fixes an issue when nameserver responds with AA=0 and authority
of a CNAME target (which is in current bailiwick)

layer/iterate: work around broken auths that rewrite QNAME

modules/hints: fixed AAAA processing (swapped rclass/rtype)

layer/rrcache: small ttl check before merging

build: fixed travis

Merge branch 'dns-0x20'

lib/rplan: lowercase snames, fix hints

layer/iterate: do not check 0x20 if safemode or cached

daemon/worker: less frequent decommit

layer/iterate: do DNS 0x20 unless in safe mode

DNS 0x20 https://tools.ietf.org/html/draft-vixie-dnsext-dns0x20-00
is a way to add more randomness into queries to make spoofing tougher
this implementation provides up to 32 bits of randomness to QNAME,
which is more than enough for most names (it is possible to add a
maximum of 1 bit of entropy per alphanumeric character, so it's not very
efficient with shorter names)

fixes #27

tests/pydnstest: add support for DNS 0x20

lib/cache: cleanup

lib: cleanup

lib/zonecut: fixed _copy() when addr pack is empty

lib/resolve: top-down search if NS is at current zone cut (not backtrace)

lib/nsrep: be more aggresive with TCP for broken delegations

libuv doesn't do connected UDP sockets, so we can't get ICMP unreachable
otherwise

daemon/worker: trim on pool rollover

modules/block: block ANY type example

modules/block: updated doc

Merge branch 'block-module'

modules/block: tweaks here and there to please tracer

lib/utils: packet recycling (keeps header, doesn’t free memory)

daemon/bindings: no userdata for rplan/query

modules/block: common suffix match

daemon/ffi: skip layer calls in invalid states

modules/block: added Aho-Corasick suffix match, pattern match, doc

daemon/bindings: wrapped rrtypes, fixed pkt:add()

daemon/bindings: wip on query and packet bindings

lib/utils: moved isaac cspring here

lib/rplan: stringified query flags

daemon/bindings: some basic Lua interface to rplan and query

daemon/bindings: fixed Lua <=5.1 compat and bad cast

daemon: fixed leaks and bad ffi module cleanup

daemon/bindings: Lua 5.0/5.1 compat

modules/block: block policies for queries

by default it blocks queries to private zones, can be extended to match anything in the query content (i.e. water torture style attacks)

daemon/bindings: minimal Lua interface to packet and DNS primitives (wip)

daemon/ffimodule: ignore undefined layers on load

daemon/bindings: cleanup