daemon/ffimodule: support for Lua modules (including layers)

build: modules/lua, added clean rule

daemon/engine: support for Lua modules, stub etcd module

lib/modules: layer() api now accept module name

module api can now store userdata, e.g. owner

daemon/bindings: cleanup in formatting

build: slack integration

lib: write debug to stdout (buffered)

daemon/io: fixed corrupted handles with exhausted TCP clients

the TCP allowed parallel processing of multiple requests over
one client socket, however if the client socket disconnected,
it left the running tasks reading from bad handle
now each task takes ownership of the handle until it is finished,
only then it is returned to the loop and closed

lib/resolve: fixed nested NS dependency chains

lib/resolve: response marked as resolved too early

build: experimental slack integration

Merge branch 'cache-backends'

doc: updated documentation for cache backends

daemon: added cache.backends() binding

lib/rrcache: renamed itercache to rrcache

lib/pktcache: packet cache (used for caching negative responses)

the pktcache introduces two cache tags PKT/SEC for
basic/DNSSEC responses and stores negative answers in
the cache

lib/resolve: produce() layers can generate answer, not just query

previously producers in overlay could only generate query or
update the final answer - this required exported callbacks
from iterate.c and specific processing. this wouldn’t work
for negative cache, as it would be required to reimplement
whole iterate layer for cached data

the new workflow allows produce layers to generate answer
instead, this answer is then consumed in the next step
by the iterate module in unified fashion for all caches/generators

lib/iterate: accept other in-bailiwick data to answer

this fixes stripped DNSSEC records in final answer

lib/resolve: correct edns0 handling for clients

the server responds with edns0 if the client requests it,
it also uses DNSSEC for queries if DO=1

the obtained records are not however validated

lib/resolve: increased buflen to accomodate edns0/dnssec

daemon/engine: extensible registry of cache backends

the engine keeps an array of storage backends available
for caching, it is possible to switch the backend on
runtime with standard ‘proto://config' string

the default backend is ‘lmdb://<path>’

lib/cache: open with generic storage options

the api is still a global variable, but it would be the
best if the namedb_t carried the pointer to the api,
so it needs to change in libknot later

lib/cache: relaxed API to allow other assets than RR

each asset is tagged by a byte defining its type and importance
this is a groundwork for negative cache and packet cache
abstracted the code in preparation for different backends

Merge branch 'fix-edns0-badimpl'

daemon/worker: close all handles in worker, pass through errors

do all socket closing in worker to avoid double closes with
timeout timer, also propagate bad messages to discover errors
earlier than timeout

lib: revert to rfc1035 basic dns query on bad reply

if the server doesn’t understand edns0, replies with
notimpl, formerr or sends bad badly formed response,
we try basic dns query (ns0.rbsov.bbc.co.uk)

lib: removed unused headers

daemon/engine: missing prefix

daemon/engine: use MODULEDIR for Lua includes

Merge branch 'events'

daemon/binding: cleanup

daemon/lua: time constants in env

daemon/bindings: introduced 'event' package for timers

daemon/engine: check for bad upvalues in module trampoline

Merge branch 'contrib-csprng'

contrib: created 'contrib' directory with ccan/isaac as csprng

previously cryptolib random function was used to generate message id,
this works well but it is slow especially when the entropy is low,
replaced with cryptographically safe prng ISAAC

the ccan directory is going to be used in the future, as it's include
structure makes it easy to embed C snippets instead of reimplementing
them

Merge branch 'resolve-split-api'

lib/iterate: disable qname m12 on positive answers

the encloser might exist and contain valid data, the resolver would return wrong records in this case

lib/resolve: fixed debug build

daemon/worker: implemented iteration limit

refs #15

Merge branch 'resolve-split-api'

build: cleanup in make rules

modules/hints: fixed memleak on exit

daemon: fixed memleak in network address pack

daemon: fixed memleak in CLI

daemon/net: use REUSEADDR and IPV6ONLY for bound sockets

this disables dual-stack and allows binding to both v4 and v4-in-v6
addresses separately

daemon/worker: timeouts for queries/connections

fixes #22

tests: added reserve test for array

tests: added parameter checks for zonecut

daemon/worker: reworked multiplexed worker

* each query is assigned a task
* each task contains request, some primitives and mempool
* worker can process multiple tasks at once and
  offload I/O to event loop

Not finished:

* it depends on icmp/system timeouts, #22
* tcp reads are going to be bad if the messages
  arrive fragmented #21

lib/resolve: check for non-rd query input

lib/rplan: removed long-lived wr transactions

the reason is that LMDB allows only 1 write transaction
per thread, and this doesn’t work well with multiplexed
requests. there is probably going to be some performance hit,
but now transactions are scoped for each cache operation

daemon/worker: partially implemented multiplexed resolution

the worker now creates a resolution context copy,
and keeps it if the query requires iterative queries.
the worker_exec() is now a reentrant function that gets
called with incoming data until the resolution is done,
and it sends the answer

daemon/io: don’t use handle data for buffers

TODO: per-loop freelists are implemented

lib/resolve: initialize answer from query (if provided)

daemon/lua: use rawget/rawset to avoid metatable evaluation

daemon/engine: unload module if loaded

Merge branch 'resolve-split-api'

doc: updated API doc and examples

lib/resolve: iterative producer-consumer API implementation

lib: cleanup

lib: cleanup

tests: test large arrays

tests: tests for cache removal, time skip

daemon/engine: improved error messages (with input:line)

lib: fixed missing cast

lib: fixed dead code and early dereference

lib: fixed unused return value cid#108843

doc: fixed typo

Merge branch 'hints_reworked'

modules/hints: reworked, configurable and exposed props

* updated documentation
* the props and config api has some workarounds yet

daemon/engine: syntactic sugar for module ‘get’, ‘set’ properties

if the module declares such properties, they can be accessed
by treating module as a table, e.g.

hints[‘localhost’] = ‘127.0.0.1’
hints.hostname = ‘192.168.1.1.
print(hints.localhost)

equals to:
hints.set(‘localhost 127.0.0.1’)
hints.set(‘hostname 192.168.1.1’)
print(hints.get(‘localhost’))

lib/generic: missing include guard, updated doc

lib: implemented deletion for zonecut

Merge branch 'ns_reputation_groundwork'

lib: bail out on irresolvable nameservers

lib: basic nameserver election

nameservers with addresses are preferred, the rest
has same weight

no blacklisting, penalization or rtt scoring yet

lib: implemented new zonecut interface

instead of keeping just random NS and address,
it keeps a map of nameservers => {addresslist}

this allows scoring and correct NS election, fallback
and evaluation

tests: updated mock api for libknot master

lib/generic: documented walk for map, cleanup

lib/generic: implemented deletion for pack

build: removed dead links

Merge branch 'autotools_remove'

build: added executables to .gitignore

build: removed outdated autotools files

doc: updated library doc

tests: added tests for _mm functions

doc: added pack

Merge branch 'generic_pack'

lib/generic: new data structure - packed list

build: added another possible name for lua package

On FreeBSD the lua package was not detected. (Tested on 9.3 and 10.1).

lib/generic: changed map alloc callbacks signature

doc: removed u8 circled numbers

readme: status for master branch

doc: added @cond and updated readme

doc: specific version of breathe, as 4.0 fails to build

readme: added doc badge

Merge branch 'config_documentation'

doc: default template the same as on rtd

doc/modules: updated modules documentation

extracted part about writing layers to lib documentation