modules/block: reworked for new FFI bindings

daemon/bindings: replaced old Lua/C bindings with LuaJIT FFI

this is a first step of leaning towards LuaJIT.
the FFI bindings are much faster, simpler and don’t abort traces

daemon core scripting engine is still going to support interpreted Lua, but modules requiring library bindings (such as ‘block’) will require LuaJIT for FFI

daemon/ffimodule: simplified pointer to layer capi

previously the pointer for C layer API was stored in Lua, it is stored directly in module data now for fast access. this doesn’t disturb VM when processing requests.

lib/resolve: use begin layer for resolution start

this provides a useful callback for per-request operations that can’t wait until the query is completed (e.g. blocking or logging started queries)

modules/block: comparison without copying

daemon: more aggressive Lua GC, forced GC steps

the memory could go through the roof with sufficiently high pps, GC now runs at 4x the speed of allocations and doesn’t wait for increase, some callbacks also perform full collection cycle on completion

modules/block: cleanup, faster matching

daemon/ffimodule: call Lua modules unless in FAIL state

daemon/engine: priority prefix ‘<‘ for modules

if the configured modules name is prefixed with ‘<‘ it takes precedence before all others,
e.g. modules = { ‘hints’, ‘<block’ }
means that the ‘hints’ module will be executed in-order (last), and ‘block’ module layer will be called as first in query processing

daemon/ffimodule: store layer callbacks in registry

calling a Lua layer now takes only O(1) registry lookup and
pushing the right parameters

lib/resolve: use maximum unfragmented UDP payload for iter as default

this is a saner default for large answers. instead of waiting for
probably lost/thrown away fragmented packet, do the query over TCP
instead

daemon/engine: build OPT RR in advance

lib/resolve: fixed qry flags clearing on NS switch

daemon/worker: per-pkt pools

lib/zonecut: check if the label hopping failed

daemon/main: fixed CID#126582, CID#126580

daemon/engine: fixed Lua 5.2 compatibility

build: fixed .travis.yml

daemon/main: added check for dupfd

fixed CID#125374

Merge branch 'predict'

modules/stats: sample all expiring records

lib/resolve: overlay is not copied on startup

this fixes a problem when a module was removed, but pending
queries referenced it, causing a crash. usually when the
server was busy and a module was unloaded.
as we don’t need to copy layers at all, they’re just iterated
from the array of modules using a macro

modules/predict: turn off prediction by setting empty period

modules/predict: cleanup

generic/lru: 16bit refcounts/length

tests: fixed rplan tests

lib/rplan: ability to refetch expiring queries

layer/rrcache: minttl 5s default

lib/resolve: per-request options, worker.resolve() support

modules/predict: cleaned up implementation, doc

modules/prefetch: frequent sampling, fetch iteration

modules/prefetch: 5x multisampling, 20% jitter

modules/prefetch: multisampling, expiring prefetch, configurable window

modules/stats: log frequent and expiring queries

modules/prefetch: wip

lib/resolve: fixed TCP retransmit

daemon/worker: cleanup ioreq recycling, correct checking of ioreq validity

before only current I/O handle was tracked for each subrequest, but the
requests may have outlived it (connect request isn't cancelable for
example), if such request terminated after the request was finished,
it checked the address of potentially stale task

Always change results from travis to gitter.im since it doesn't clutter main chat

Added Gitter badge

Call the webhook only on change/change

Enable gitter.im webhook

Merge commit '931d736540012dd8a770650434b3d901434930e3'

daemon/worker: cleanup and fixed early memset

daemon/io: use recvmmsg for master sockets, recvmsg otherwise

this applies for Linux with recvmmsg() support only

daemon/worker: fixed bad memory access with delayed send completion

when the timeout event was fired, it started another step in query
resolution, but there may have been pending events on previous handle
if the events on the previous handle completed, they would check the
memory of their task (which may have been non-existent) and possibly
double-close the handle

layer/iterate: do DNS 0x20 only for outbound queries

no need to scramble queries satisfied from cache

daemon/worker: smaller starting mempool per request (16k)

an average request from cache requires ~12k, an average iterative request 16-64k
this reduces allocation cost when there are now pools on the freelist

daemon/worker: satisfy subreq sockets from freelist

since the structures are ~ same size as I/O requests (udp_send_t being 60B larger than others), they all share the same freelist

daemon/io: fix closing TCP sockets without worker knowing it

daemon/worker: track ipv4/ipv6 requests

lib/rrcache: allow replacement of expiring records

modules/stats: 10-100-1000 ms latency tracking

modules/stats: expose frequent queries LRU turnover

generic/lru: count updates in slot for item-slot stickiness

modules/stats: fixed potential crash on empty prefix

daemon/lua: fixed output printing

Merge branch 'stats-improved' into prefetch-wip

modules/stats: sample list of most frequent iterative queries

the stats module keeps track of frequent iterative queries using
probabilistic sampling. the list includes subrequests.
it is useful for tracking over time, prefetching and anomaly reporting

modules/stats: persistent metrics table

enumerated metrics are always present (set to 0 if not used), this fixes
missing values when not measuring and provides a faster access to common
data

generic/lru: evictions counter to aid efficiency prediction

daemon/lua: fixed output printing

tests: can execute specific tests, fixed EDNS+RR merging

doc: updated lib

doc: updated dependencies

doc: updated library doc for developers

Merge branch 'async-io-requests'

daemon/worker: fixed leak

daemon/worker: asynchronous I/O requests

this can coalesce sends/writes in future versions of libuv

daemon/worker: compile-time support for recvmmsg in worker buffers

lib: faster rdata iterators

daemon: worker can accept multiple pkts, cleanup

daemon: fork earlier, keep instance id in 'worker.id'

this fixes an issue with libuv sometimes crashing with mismatching number
of descriptors with REUSEPORT

doc: fixed typo

Merge branch 'prefetch-wip'

doc: added documentation for worker api

modules/prefetch: fixed lua error on bad queries, iterative

layer/rrcache: cache authority only if chasing referral/cname

modules/prefetch: basic prefetching of frequently used records

modules: api fixups

daemon/bindings: cleanup, checking, rrclass wrapper

daemon/bindings: Lua API for worker (resolve, stats)

lib/cache: track expiring records in cache

prefetch wip

lib/utils: fixed recycle on already filled packet

bindings: pkt:get(section,id) wrapper

lib: cleanup

block: improved suffix match, added doc

modules+bindings: cleanup

Merge branch 'tests_wrapped' into 'master'

Tests wrapped

See merge request !15

tests: style fixes, notes

scripts: updated broken Lua build on some linkers

scripts: updated broken Lua build on some linkers

tests: integration tests with wrapped syscalls

build: placed ldflags after libraries (may be static)

Merge branch 'hive-wip'

doc: documented forked mode

daemon/bindings: missing brk in wrapped lookup tables

lib: helping compiler with early returns

daemon/main: cleanup, forking and remote tty

when the daemon starts in non-interactive mode, it creates a pipe in the ‘tty/<pid>’ which can be used to interact with it remotely - much wow

e.g. $ socat - UNIX-CONNECT:tty/38284

contrib/ccan: added ‘asprintf’ compatibility