modules/policy: chain rules, postrules, mirror, doc

* rules may now be chained if the rule action
  doesn't return next state. in this case, next
  matching rule will be executed. this is useful
  for snooping actions
* rules now may be paused/deleted
* implemented a new action for query mirroring to
  given destination

daemon/worker: track query in BEGIN and dst addr

* in the begin() layer, the incoming query is
  exposed as req->qsource.packet, it is invalidated
  after begin() and should not be modified
* the destination address (local interface) is
  also tracked for filtering purposes

modules/daf: a functional web interface

the interface has a declarative rule builder that
assists in building and validating rules, as well
as seeing how much traffic do they match

modules/http: new bootstrap3 based web interface

this is going to be the building block for visual
ui as it provides many useful semantic objects and
style classes. since we already provide the
snippet system, it's possible to add subpages to
the ui without hacking everything inside

modules/http: added safe stream handler, doc

modules/policy: unique ids for rules, match counter

these are used as a handle to patch/modify rules
later in their lifetime, also added a rule match
counter to find out which rules match inbound
traffic

modules/http: patched h2_stream

daemon/engine: fixed json pack for str-encoded int

string encoded integers are treated as possible
numbers, so a more strict typecheck is needed

modules/daf: support for first firewall rules

the format of rules resembles libpcap filters,
but it also requires action that should be taken
when the filter(s) match.

the action can be anything the policy module
supports, and the filters can be both policy
module or view module based (so it's possible to
filter on source address and packet contents at
the same time)

modules/policy: now can reroute/rewrite responses

* REROUTE action rewrites all addresses in
  final answers matching given subnet to
  addresses in target subnet (or single address)
* REWRITE action rewrites rdata in final answers
  matching given owner and type (only works on
  A/AAAA now)

modules/daf: trivial rule compiler implemented

the fw can now parse simple rules such as:
'qname = *.example.com AND src = 127.0.0.1/8 deny'

and turn it into filter actions.

this is a building block for custom firewall rules
based on query/answer contents that leverage
existing policy/view modules, but turn those into
easier to write (and eventually persistent) rule
sets

modules/stats: stats.upstreams()

the new function returns a list of upstream
authoritative servers that resolver contacted
recently and the RTT information for them,
this is useful for sampling information about
the quality of outbound connections for speculative
keepalive and other purposes

modules/stats: more granular latency measurements

now including <1ms, <50ms, <250ms, <500ms, <1.5s

lib/resolve: store auth addr/rtt in consume() layer

during the consume step, the information about
upstream authoritative (address and current rtt)
is exposed in the request structure, just like
information about current query

daemon/engine: safer json packing with mixed table

daemon/engine: prefer local import path first

modules/http: graphs, prometheus metrics, websocks

* http embeds modified lua-http server code that
  reuses single cqueue for all h2 client sockets,
  this is also because the API in upstream is unstable
* http embeds rickshaw for real-time graphs over
  websockets, it displays latency heatmap by default
  and can show several other metrics
* http shows a world map with pinned recently contacted
  authoritatives, where diameter represents number
  of queries sent and colour its average RTT, so
  you can see where the queries are going
* http now exports several endpoints and websockets:
  /stats for statistics in JSON, and /metrics for
  metrics in Prometheus text format

modules/daf: initial commit

modules/http: doc, auto-tls, cert renewal, ...

added documentation, many fixes in the H2 fallback
code and H2 stream handling, TLS is enabled by
default using ephemeral key and certificate that
is automatically renewed, but custom certificates
are also supported

this also allows other modules to place code
snippets on the webpage

modules/http: stream stats and outbound name freq

modules/http: realtime stats over websockets

daemon/bindings: event.reschedule(ev, timeout)

this allows for efficient variable-interval
running events, so that the timer doesn't have
to be closed and recreated for each iteration

modules/http: initial commit

Merge branch 'prefix-sbindir-changes' into 'master'

Daemons should be in sbin, make destination variables overridable

According to FHS the 'Non-essential system binaries, e.g., daemons for various network-services.' should be installed in /usr/sbin

Also changed `:=` to `?=` to allow variable override without patching `config.mk`.

See merge request !32

lib/cache: fixed incorrect ranking in some places

fixed incorrect tagging in rrmap where secure rank would overflow

found by @gdemidov

Fix bin to sbin in scripts

Daemons should be in sbin, make destination variables overridable

scripts: updated apparmor file

Merge branch 'clean-tests' into 'master'

build: clean tests/mock_cmodule.o

See merge request !30

build: clean tests/mock_cmodule.o

daemon: fixed memleak on exit

fixes #77

lib/pktcache: stricter using TTL for pktcache

* SOA MINTTL always preferred for negative answers
* only SOA used for negative answers

refs #75

lib/iterate: drop minimisation when getting REFUSED

this is required to avoid REFUSED loops if the origin doesn't handle
minimisation well

Merge branch 'rrcache_fix'

layer/rrcache: fix ANSWER section processing

build: bumped version to 1.1.0

daemon: fix serialization of empty nested tables

modules/predict: fixed a typo

daemon/worker: fix outbound TCP queries

previously the buffer for TCP pkt reassembly was
not correctly cleared and fragmented answers
were rejected

lib/utils: fixed full subnet mask length calc

previously, if no subnet was given (127.0.0.0),
it was treated as 127.0.0.0/0. now it is treated
as full address length, e.g. 127.0.0.0/32

daemon,lib: cleanup

modules/predict: fixup

service: remove obsolete dependencies

After=network.target is still needed because we don't have IP_FREEBIND.

Merge branch 'rel_cleanup' into 'master'

Release cleanup

Write a comment or drag your files here...

See merge request !28

synced deckard

lib/resolve: cleanup

lib: sync before clearing, cleanup

daemon/io: freed handle could be touched in libuv

the daemon wrongly freed handle that returned 0,
as in "no more data". this socket is going to be
closed, but it still could be touched by libuv
so it must be freed wit uv_close() handler

daemon/bindings: check if cache is open

lib/cache: fixed reinsert of invalidated record

when opening an empty database, an invalidated key
value was written resulting in possible corruption
of the cache

pre-release cleanup

daemon: fixed socket mempool cleanup on exit

fixes #73 small leak in cleaning up per-socket
mempool on daemon exit

build: unbroken Go build checks

lib/resolve: added synchronous cache option

Merge branch 'test_cache_fix' into 'master'

tests/test_cache: fix broken test

See merge request !27

tests/test_cache: fix broken test

Merge branch 'cname_fix' into 'master'

layer/iterate: CNAME chain unrolling improvement

Write a comment or drag your files here...

See merge request !26

layer/iterate: CNAME chain unrolling improvement

daemon: support event.socket(fd, cb) for I/O events

this allows embedding other event loops or just
asynchronous events triggered by socket activity.
this is required for things like cooperative
HTTP server, monitoring endpoint or remote
configuration daemon/controller

lib/resolve: never read rcode if answer not exists

worker: fixed corruption when follower timeouts, early free

* when enqueued task terminated earlier than leader
  task because of timeout, it wasn't dequeued from
  the waitlist immediately, but it didn't have any
  outstanding outbound queries. when leader task
  terminated, it removed this task and updated its
  outbound query, which didn't exist. this triggered
  a 16B write in undefined location
* fixed timeout timer being scheduled for closing
  without holding reference to parent task

lib: cache api v2, removed dep on libknot db.h

this change introduces new API for cache backends,
that is a subset of knot_db_api_t from libknot
with several cache-specific operations

major changes are:
* merged 'cachectl' module into 'cache' as it is
  99% default-on and it simplifies things
* not transaction oriented, transactions may be
  reused and cached for higher performance
* scatter/gather API, this is important for
  latency and performance of non-local backends
  like Redis
* faster and reliable cache clearing
* cache-specific operations (prefix scan, ...) in
  the API not hacked in
* simpler code for both backends and caller

contrib/lmdb: imported LMDB 0.9.18, built-in

by default, build system attempts to use LMDB
from the system. however if it's not found or
the version is too old, it uses the built-in
snapshot in contrib

Merge branch 'refs' into 'master'

lib/dnssec: nsec, nsec3 (no-optout) referrals to unsigned subzones

See merge request !24

Merge branch 'dups' into 'master'

layer/iterate, layer/pktcache: fix duplicate records in replies

See merge request !25

layer/iterate, layer/pktcache: fix dupplicate records in replies

lib/dnssec: nsec, nsec3 (no-optout) referrals to unsigned subzones

build: more checks for travis builds

daemon/worker: deduplicate inbound queries

many clients do frequent retransmits of the query
to avoid network losses and get better service,
but then fail to work properly when a resolver
answers SERVFAIL to some of them because of the
time limit and some of them NOERROR.
it's also a good idea to avoid wasting time
tracking pending tasks to solve the same thing.

Allow Go modules on more architectures

daemon: do not modify task for outgoing queries

if the upstream TCP query timeouted or the connection
was severed, it would dissociate the handle from
original query, so the query would be solved
but the requestor wouldn't see the answer unless
he requeried

daemon: fix statistics for outgoing TCPs

daemon: renamed is_subreq -> outgoing

Merge branch 'ref_serv' into 'master'

Additional processing for REFUSED & SERVFAIL rcodes

See merge request !22

lib: cleanup servfail soft-fails

* simplified soft-fail per-ns limit to per-query
  limit, each query gets 4 tries at resolving
* instead of locking at single servfailing NS,
  penalise it and run reelection, this may or
  may not try other servers but avoids pathologic
  case when single NS is servfailing while others
  are good but never probed
* added new nsrep update mode (addition)

lib/resolve,layer/iterate: processing for REFUSED & SERVFAIL rcodes

tests/tests.mk: fails if deckard/contrib/libswrap/obj directory already exists

tests/deckard: sync to master

Merge branch 'tcp-ooo'

lib/validate: fixed memory bug

this code used memory pool of source packet instead
of the answer, this could result in invalidated
memory read if the memory occupied by source
packet was rewritten

daemon: out-of-order processing for TCP

* daemon now processes messages over TCP stream
out-of-order and concurrently
* support for TCP_DEFER_ACCEPT
* support for TCP Fast-Open
* there are now deadlines for TCP for idle/slow
streams (to prevent slowloris; pruning)
* there is now per-request limit on timeouts
(each request is allowed 4 timeouts before bailing)
* faster request closing, unified retry/timeout timers
* rare race condition in timer closing fixed

daemon: mode(strict|normal|permissive)

the daemon has now three modes of strictness
checking from strict to permissive.
it reflects the tradeoff between resolving the
query in as few steps as possible and security
for insecure zones

policy: warn when NYI action

engine: clear bad scorers from RTT every 5 minutes

an internal timer walks RTT timer periodically and
clears entries with bad results every 5 minutes.
this means that a timeouted entry penalty is
capped to that interval, making sure that the
bad reputation doesn't last forever

engine: throttle outbound queries only when busy

resolver will always attempt to contact upstreams
known to be bad if it's not busy.
this fixes a problem on low-volume resolvers
where a short connection outage could make
resolvers deny resolving queries even after the
connection is restored

build: no fortify when address sanitizer

updated deckard

Revert "lib/dnssec: nsec, nsec3 (no-optout) referrals to unsigned subzones"

This reverts commit f9ffeca9cc7382b8ed24217bfab1d0f34a51bd7a.

lib/iterate: QUERY_PERMISSIVE mode

in permissive mode, resolver is free to use
(but not cache) non-mandatory glue records even
if they're not resolvable. this is great as a
workaround for broken child-side zones, but
not great for security of, well, insecure
delegations. it's off by default.

tests: cache test fixed

remove asprintf warnings

added surmised C indentation rules for emacs users

fix comment

tests: updated deckard

layer/rrcache: record cache miss avoided for wcard answers

lib/cache: flags field was added to cache entry header

dnssec: wildcard answer proof

lib/layer: CNAME chain construction improvement

lib/dnssec: nsec, nsec3 (no-optout) referrals to unsigned subzones

dnssec/nsec: lookup for rset type withinin nsec3 type bitmap; minor bug fixed