Merge branch 'uv-closefail-cache-errors'

lib/pktcache: base ttl (fallback), cache IN only

lib/resolve: clear ‘cached’ flag on requery

if the flag is left on, it prevents further caching

daemon/worker: set ioreq-data early, cancel on timeout

build: added -ldl for some platforms

tests: fixed typo

tests: soamin test is already fixed

tests: moved integration deps

scripts: fixed dockerfile

tests: preload mock calls on Linux

lib/resolve: fixed good cached ns expired, only bad remain

the resolution has to start from the root for zonecut resolution, otherwise it might stall resolution if the only good NS drops out of cache and only the bad remain

tests: added ncache tests, fixed ‘time elapsed’

lib/pktcache: fixed too long cache times

pktcache: adjust ttl in records

tests: use edns=1 for queries

tests: added pktcache

daemon/io: check for bad udp reads

build: update brew

pktcache: maximum time limit, cache only nodata/nxdomain

build: added libtasn1 brew dependency

doc: updated ketcd

doc: added ketcd

doc: documented Lua modules

modules/ketcd: cleanup, added some documentation

modules: fixed install target of Lua modules

doc: daemon doc cleanup

daemon/lua: syntactic sugar for ‘net’

this allows list-like declaration of bound interfaces

e.g. net = { ‘127.0.0.1’, net.eth0 }

daemon/bindings: syntactic sugar for cache

the cache can be setup declaratively with:

cache.size = 10 * MB

the cache storage backend can be changed with:

cache.storage = ‘lmdb://.'

build: fixed build rule for modules

modules/ketcd: added polling

build: Lua modules with multiple source files

daemon/ffimodule: support for main thread/coroutine

modules/ketcd: Etcd module

daemon/bindings: report errors in events

daemon/ffimodule: support for Lua modules (including layers)

build: modules/lua, added clean rule

daemon/engine: support for Lua modules, stub etcd module

lib/modules: layer() api now accept module name

module api can now store userdata, e.g. owner

daemon/bindings: cleanup in formatting

build: slack integration

lib: write debug to stdout (buffered)

daemon/io: fixed corrupted handles with exhausted TCP clients

the TCP allowed parallel processing of multiple requests over
one client socket, however if the client socket disconnected,
it left the running tasks reading from bad handle
now each task takes ownership of the handle until it is finished,
only then it is returned to the loop and closed

lib/resolve: fixed nested NS dependency chains

lib/resolve: response marked as resolved too early

build: experimental slack integration

Merge branch 'cache-backends'

doc: updated documentation for cache backends

daemon: added cache.backends() binding

lib/rrcache: renamed itercache to rrcache

lib/pktcache: packet cache (used for caching negative responses)

the pktcache introduces two cache tags PKT/SEC for
basic/DNSSEC responses and stores negative answers in
the cache

lib/resolve: produce() layers can generate answer, not just query

previously producers in overlay could only generate query or
update the final answer - this required exported callbacks
from iterate.c and specific processing. this wouldn’t work
for negative cache, as it would be required to reimplement
whole iterate layer for cached data

the new workflow allows produce layers to generate answer
instead, this answer is then consumed in the next step
by the iterate module in unified fashion for all caches/generators

lib/iterate: accept other in-bailiwick data to answer

this fixes stripped DNSSEC records in final answer

lib/resolve: correct edns0 handling for clients

the server responds with edns0 if the client requests it,
it also uses DNSSEC for queries if DO=1

the obtained records are not however validated

lib/resolve: increased buflen to accomodate edns0/dnssec

daemon/engine: extensible registry of cache backends

the engine keeps an array of storage backends available
for caching, it is possible to switch the backend on
runtime with standard ‘proto://config' string

the default backend is ‘lmdb://<path>’

lib/cache: open with generic storage options

the api is still a global variable, but it would be the
best if the namedb_t carried the pointer to the api,
so it needs to change in libknot later

lib/cache: relaxed API to allow other assets than RR

each asset is tagged by a byte defining its type and importance
this is a groundwork for negative cache and packet cache
abstracted the code in preparation for different backends

Merge branch 'fix-edns0-badimpl'

daemon/worker: close all handles in worker, pass through errors

do all socket closing in worker to avoid double closes with
timeout timer, also propagate bad messages to discover errors
earlier than timeout

lib: revert to rfc1035 basic dns query on bad reply

if the server doesn’t understand edns0, replies with
notimpl, formerr or sends bad badly formed response,
we try basic dns query (ns0.rbsov.bbc.co.uk)

lib: removed unused headers

daemon/engine: missing prefix

daemon/engine: use MODULEDIR for Lua includes

Merge branch 'events'

daemon/binding: cleanup

daemon/lua: time constants in env

daemon/bindings: introduced 'event' package for timers

daemon/engine: check for bad upvalues in module trampoline

Merge branch 'contrib-csprng'

contrib: created 'contrib' directory with ccan/isaac as csprng

previously cryptolib random function was used to generate message id,
this works well but it is slow especially when the entropy is low,
replaced with cryptographically safe prng ISAAC

the ccan directory is going to be used in the future, as it's include
structure makes it easy to embed C snippets instead of reimplementing
them

Merge branch 'resolve-split-api'

lib/iterate: disable qname m12 on positive answers

the encloser might exist and contain valid data, the resolver would return wrong records in this case

lib/resolve: fixed debug build

daemon/worker: implemented iteration limit

refs #15

Merge branch 'resolve-split-api'

build: cleanup in make rules

modules/hints: fixed memleak on exit

daemon: fixed memleak in network address pack

daemon: fixed memleak in CLI

daemon/net: use REUSEADDR and IPV6ONLY for bound sockets

this disables dual-stack and allows binding to both v4 and v4-in-v6
addresses separately

daemon/worker: timeouts for queries/connections

fixes #22

tests: added reserve test for array

tests: added parameter checks for zonecut

daemon/worker: reworked multiplexed worker

* each query is assigned a task
* each task contains request, some primitives and mempool
* worker can process multiple tasks at once and
  offload I/O to event loop

Not finished:

* it depends on icmp/system timeouts, #22
* tcp reads are going to be bad if the messages
  arrive fragmented #21

lib/resolve: check for non-rd query input

lib/rplan: removed long-lived wr transactions

the reason is that LMDB allows only 1 write transaction
per thread, and this doesn’t work well with multiplexed
requests. there is probably going to be some performance hit,
but now transactions are scoped for each cache operation

daemon/worker: partially implemented multiplexed resolution

the worker now creates a resolution context copy,
and keeps it if the query requires iterative queries.
the worker_exec() is now a reentrant function that gets
called with incoming data until the resolution is done,
and it sends the answer

daemon/io: don’t use handle data for buffers

TODO: per-loop freelists are implemented

lib/resolve: initialize answer from query (if provided)

daemon/lua: use rawget/rawset to avoid metatable evaluation

daemon/engine: unload module if loaded

Merge branch 'resolve-split-api'

doc: updated API doc and examples

lib/resolve: iterative producer-consumer API implementation

lib: cleanup

lib: cleanup

tests: test large arrays

tests: tests for cache removal, time skip

daemon/engine: improved error messages (with input:line)

lib: fixed missing cast