Merge branch 'master' into cache-rrsig-wip

layer/validate: basic NSEC exact match non-existence check

tests: libfaketime.dylib were added

tests: single-threaded version

lib: build compat

lib/resolve: no pointless cleanup (mempool allocated)

Merge branch 'lua-fastcall'

daemon: cleanup

layer/validate: Signed data reconstruction detects wild cards.

build: disabled default debug messages, optional with -DWITH_DEBUG

this is a small step for me, but a huge step for resolver

lib/utils: common integer time diff (msecs)

based on _BSD_SOURCE timersub macro

lib/resolve: count early finished requests as done

this fixes stats for canceled/blocked or forwarded queries without
started name resolution

build: build LuaJIT by default

this also fixes static linking missing a math library

modules/block: reworked for new FFI bindings

daemon/bindings: replaced old Lua/C bindings with LuaJIT FFI

this is a first step of leaning towards LuaJIT.
the FFI bindings are much faster, simpler and don’t abort traces

daemon core scripting engine is still going to support interpreted Lua, but modules requiring library bindings (such as ‘block’) will require LuaJIT for FFI

daemon/ffimodule: simplified pointer to layer capi

previously the pointer for C layer API was stored in Lua, it is stored directly in module data now for fast access. this doesn’t disturb VM when processing requests.

lib/resolve: use begin layer for resolution start

this provides a useful callback for per-request operations that can’t wait until the query is completed (e.g. blocking or logging started queries)

tests: libfaketime config generation

modules/block: comparison without copying

daemon: more aggressive Lua GC, forced GC steps

the memory could go through the roof with sufficiently high pps, GC now runs at 4x the speed of allocations and doesn’t wait for increase, some callbacks also perform full collection cycle on completion

modules/block: cleanup, faster matching

daemon/ffimodule: call Lua modules unless in FAIL state

daemon/engine: priority prefix ‘<‘ for modules

if the configured modules name is prefixed with ‘<‘ it takes precedence before all others,
e.g. modules = { ‘hints’, ‘<block’ }
means that the ‘hints’ module will be executed in-order (last), and ‘block’ module layer will be called as first in query processing

daemon/ffimodule: store layer callbacks in registry

calling a Lua layer now takes only O(1) registry lookup and
pushing the right parameters

tests: raw query

tests: libfaketime search

tests: libfaketime search

tests/integration: fixed missing cache in config

tests/integration: added libfaketime support, fixes TIME_PASSES

this needs more work to find the correct libfaketime library
(newer version is required for FAKETIME_TIMESTAMP_FILE)
we may bundle it as it's small

layer/validate: layer is issuing requests for missing DS records

tests/validate: fixed syntax error

tests: using cwrap

tests: using cwrap

layer/validate: configured trust anchor is automatically added when missing

lib/zonecut: implemented function for trust anchor copying

test/validate: changed result to meet the obtained value

layer/validate: resolver queries for missing DNSKEYS

layer/validate: removed the addition of DNSKEY query as it didn't work

tests/validate: added DNSKEY for cz.

Updated whole scenario because of conflicting timestamps.

tests/test_integration: missing global OPT

lib/resolve: set DO=1 option too early

Merge branch 'master' into cache-rrsig-wip

Conflicts:
lib/layer/rrcache.c
lib/resolve.c
lib/resolve.h
lib/rplan.h
lib/zonecut.c
modules/stats/stats.c

daemon/engine: fixed Lua 5.2 compatibility

layer/validate: DNSKEY query is planned after delegation update

lib/zonecut: DNSKEY must not be present as long as the trust anchor exists

layer/validate: implemented update_delegation()

layer/validate: fixed bug in kr_rrset_validate_with_key()

layer/validate: excluding authority NS records from validation

lib/zonecut: kr_zonecut_set() does not reset TA and DNSKEY

The trust anchor and keys are not changed in order not to disrupt packet
validation.

lib/resolve: use maximum unfragmented UDP payload for iter as default

this is a saner default for large answers. instead of waiting for
probably lost/thrown away fragmented packet, do the query over TCP
instead

daemon/engine: build OPT RR in advance

layer/validate: fixed error in validate_section()

All RRSets in section must be signed properly. (Currently no checking for
non-authoritative RRSets is implemented.)

layer/rrcache: only RRSIGs are stored in special cache

travis: changed knot commit because of bugs in functionality

lib/zonecut: fixed bug when materialising cache content

lib/resolve: fixed qry flags clearing on NS switch

daemon/worker: per-pkt pools

lib/zonecut: check if the label hopping failed

daemon/main: fixed CID#126582, CID#126580

daemon/engine: fixed Lua 5.2 compatibility

build: fixed .travis.yml

daemon/main: added check for dupfd

fixed CID#125374

Merge branch 'predict'

layer/validate: validate_records()

modules/stats: sample all expiring records

lib/resolve: overlay is not copied on startup

this fixes a problem when a module was removed, but pending
queries referenced it, causing a crash. usually when the
server was busy and a module was unloaded.
as we don’t need to copy layers at all, they’re just iterated
from the array of modules using a macro

layer/validate: implemented kr_rrset_validate()

modules/predict: turn off prediction by setting empty period

modules/predict: cleanup

generic/lru: 16bit refcounts/length

tests: fixed rplan tests

lib/rplan: ability to refetch expiring queries

layer/rrcache: minttl 5s default

lib/resolve: per-request options, worker.resolve() support

modules/predict: cleaned up implementation, doc

modules/prefetch: frequent sampling, fetch iteration

modules/prefetch: 5x multisampling, 20% jitter

modules/prefetch: multisampling, expiring prefetch, configurable window

modules/stats: log frequent and expiring queries

modules/prefetch: wip

lib/resolve: fixed TCP retransmit

daemon/worker: cleanup ioreq recycling, correct checking of ioreq validity

before only current I/O handle was tracked for each subrequest, but the
requests may have outlived it (connect request isn't cancelable for
example), if such request terminated after the request was finished,
it checked the address of potentially stale task

Always change results from travis to gitter.im since it doesn't clutter main chat

Added Gitter badge

Call the webhook only on change/change

Enable gitter.im webhook

layer/validate: preliminary implementation of RRSIG validation

travis: changed knot commit because of missing functionality

tests/validate: increased time to roughly match test RRSIG RRSet

layer/validate: implemented checking of RRSIG RR validity (RFC4035 5.3.1)

Merge commit '931d736540012dd8a770650434b3d901434930e3'

daemon/worker: cleanup and fixed early memset

daemon/io: use recvmmsg for master sockets, recvmsg otherwise

this applies for Linux with recvmmsg() support only

daemon/worker: fixed bad memory access with delayed send completion

when the timeout event was fired, it started another step in query
resolution, but there may have been pending events on previous handle
if the events on the previous handle completed, they would check the
memory of their task (which may have been non-existent) and possibly
double-close the handle

layer/validate: added DS to DNSKEY authentication code

lib/validate: merging with zone cut DNSKEY RRSet

lib/validate: compiler complained about mismatching types

crypto: added libdnssec dependency and initialisation

layer/iterate: do DNS 0x20 only for outbound queries

no need to scramble queries satisfied from cache

lib/zonecut: implemented finding of closest trust anchor