Merge branch 'lua-ffi-structs' into 'master'

lua ffi bindings: fix incorrect structs

Some structures have changed but lua was still using the old ABI.
I think no our lua code used the fields misplaced due to this,
except an example in documentation.

I didn't check much of the ABI in there.  I wish I knew some
(half-)automatic way how to do that.

See merge request !68

Merge branch 'qflags-update' into 'master'

Copy new query flags from lib/rplan.h to lua

See merge request !75

Copy new query flags from lib/rplan.h to lua

Merge branch 'ws_fix' into 'master'

whitespace fixes in daemon/tls.c

See merge request !74

whitespace fixes in daemon/tls.c

Merge branch 'allow_to_set_hostname' into 'master'

Allow to override hostname() with a lua call hostname("example.com")

This changes lua hostname() call to accept optional parameter with new hostname. This is needed to override possibly wrong name used for ephemeral certs.

See merge request !72

Allow to override hostname() with a lua call hostname("example.com")

Merge branch 'osx-sed' into 'master'

Fix osx sed

See merge request !70

travis: don't allow osx to fail anymore

That way we should notice breakages like this before merging.

scripts: fix sed expression on non-GNU systems

\t escape is a non-standard escape sequence. Thanks Marek for reporting!
http://unix.stackexchange.com/a/145385/41413

daemon: removed forgotten debug messages

lua ffi bindings: fix incorrect structs

Some structures have changed but lua was still using the old ABI.
I think no our lua code used the fields misplaced due to this,
except an example in documentation.

I didn't check much of the ABI in there.  I wish I knew some
(half-)automatic way how to do that.

Merge branch 'mod-daf-after-http' into 'master'

modules/daf: document restriction on order of loading

See the slack channel for previous discussion.

See merge request !62

Merge branch 'embed-lua' into 'master'

make: strip *.lua as intended since dcd89700

This saves a few kilobytes in the executable.

Also, the name XXD seemed no longer suitable, as it does lua-specific cleaning.

See merge request !57

Merge branch 'new-root-hints' into 'master'

zonecut: add missing AAAA hints for E and G servers

The other records seem OK. Fixes #100.

See merge request !66

zonecut: add auto-generation of root hints

Fixes #100.
The file with the addresses is in the repo, so people don't have to
regenerate it, but the build system is able to do it.

Merge branch 'osx-uint' into 'master'

cache: avoid missing uint typedef

I don't know why it passed on Linux without any warning.

See merge request !65

cache: avoid missing uint typedef

I don't know why it passed on Linux without any warning.

Merge branch 'gitignore-update' into 'master'

Ignore generated modules/version/version.lua

See merge request !64

Ignore generated modules/version/version.lua

Merge branch 'travis-osx-fix' into 'master'

travis osx build was fixed

See merge request !63

Merge branch 'p/lru-rebased' into 'master'

lru: new implementation and also interface

The implementation is now a hybrid, slightly described at top of `lib/generic/lru.h`.  Also the API is changed a bit, leading to slight simplification of our use patterns. (EDITED)

See merge request !44

daemon: avoid a tiny memory leak

lru_get_new *can* return NULL

... and that doesn't necessarily mean that malloc() failed.
We do *not* want to evict a heavy-hitter by an unfrequent element.

Note: even the implementation currently in master *did* return NULL,
so some parts of the code were just wrongly returning ENOMEM.

lru: new implementation and also interface

The implementation is now similar to set-associative caches
that x86 CPU use.  Also the API is changed a bit, leading to
slight simplification of our use patterns.

bench: make bench, dataset for lru, cleanup

`make bench` now runs a predefined set of
microbenchmarks (right now LRU), it's a start
for comparative microbench of internal structures

add simple LRU benchmarks

The Makefile isn't perfect. I noted it doesn't clean the bench,
but we have the same problem for some other parts, e.g. in deckard.

Merge branch 'p/reorder' into 'master'

add option to reorder cached RRs in answers

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/93.
API of a KR_EXPORT function is changed, so ABIVER is bumped.

See merge request !47

travis.yml was edited

modules/daf: document restriction on order of loading

Merge branch 'improve-version.mk' into 'master'

Improve version.mk

See merge request !61

Improve version.mk a bit to use $(call quiet,,)

add option to reorder cached RRs in answers

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/93.
API of a KR_EXPORT function is changed, so ABIVER is bumped.

Print system/embedded for lmdb instead of yes/no as it is always present

Merge branch 'coverity-fix' into 'master'

daemon: another UINT_MAX -> UINT32_MAX

See merge request !58

daemon: another UINT_MAX -> UINT32_MAX

Merge branch 'coverity-fix' into 'master'

daemon: some minor coverity scan issues were fixed

See merge request !49

daemon: nitpicks about the parent commit

make: strip *.lua as intended since dcd89700

This saves a few kilobytes in the executable.
Also, the name XXD seemed no longer suitable,
as it does lua-specific cleaning.

Merge branch 'gitignore-fix' into 'master'

Remove sandbox.lua from .gitignore

See merge request !56

Remove sandbox.lua from .gitignore

Merge branch 'dynamic-soversion' into 'master'

Resolve libknot and libzscanner SONAME at the build time and fixes to bootstrap-depends.sh script

The OS X build is still failing, but it's unrelated to these changes.

See merge request !55

Disable GnuTLS tools and CXX library

Dynamically resolve SONAME for libknot and libzscanner from Makefile
and set libknot_SONAME and libzscanner_SONAME as lua literals.

Remove now obsolete libpath lua function - use find_soname from
platform.mk to define <arg>_SONAME, add lua_pushliteral to
daemon/engine.c and add -D to daemon/daemon.mk for any new library
loaded from Lua.

Build GnuTLS with --without-p11-kit

Update bootstrap-depends.sh to latest upstream versions

bootstrap-depends.sh will cleanup local directory when changed and BOOTSTRAP_CLEANUP is set

Upgrade pip before using it

Bump libknot to 2.3.1

Merge branch 'early_awareness_notification' into 'master'

Early awareness notification: a new lua module `version`
to periodically check for newer version on server and for CVE.

See merge request !52

modules/version: only report CVE if versions differ

Also avoid that extremely long line.

modules/version: doc details

modules/version: better way of finding own version

build: introduce $(VERSION) to reduce repeating

Added periodicity and fixed status messages.

Fixed typos.

Merge branch 'worker-uninit' into 'master'

worker: avoid uninitialized pointers

The cookie module could segfault due to the `opt` pointer not being initialized when no EDNS was sent in the incoming request.

See merge request !53

worker: avoid uninitialized pointers

The cookie module could segfault due to the `opt` pointer not being
initialized when no EDNS was sent in the incoming request.

Added Lua module version for checking version and CVE.

Merge branch 'resolve_example_in_documentation' into 'master'

Fix documentation example for using resolve() function.

See merge request !51

Fixed example for using resolve() function.

daemon: some minor coverity scan issues were fixed

Tip for running kresd in containers.

Based on [issue 28](https://github.com/CZ-NIC/knot-resolver/issues/28), we were able to boost kresd performance running in a Docker container on DockerCloud by nearly 100% by binding to a single interface:ipaddress. It might be handy for other users to know.

Merge branch 'p/net.listen' into 'master'

net.listen: make it more flexible

As noted in #94, it feels natural to call it like:
``net.listen({net.lo, '192.168.1.1'})``
Also minor fixes were done in that function and corresponding docs.

See merge request !46

doc: fix a typo

daemon/worker: set query source addr for tcp

Various little quirks required to build on FreeBSD

Merge !45: various nitpicks

Assortment of unimportant changes that I created during trying to understand how the whole resolution process works. Best read each commit separately.

net.listen: make it more flexible

As noted in #94, it feels natural to call it like:
``net.listen({net.lo, '192.168.1.1'})``
Also, minor fixes were done in that function and corresponding docs.

daemon/worker: retransmit based on current score

if the score is known (and not glued), the retry
rate is <avg(rtt), 250ms>

if the NS score is unknown or worse than 250ms,
it is always retried at this rate

all other servers in the list use default rate

lib/nsrep: respect -DFAVOUR_IPV6=X

maintainer may wish to choose neutral or even
more favoured server selection of IPv6 servers.

-DFAVOUR_IPV6=0 makes neutral server selection
-DFAVOUR_IPV6=40 gives IPv6 40ms better chance

modules/http: changed wording

build: bumped version requirement to libknot 2.2.0

modules/http: cleanup

build: cleanup, fixes for FreeBSD

modules/daf: support multiple targets in forward

RTT tracking for all targets is also supported,
but no loadbalancing is done based on that yet

daemon/worker.h: drop unused typedef qr_task_send_cb

move worker initialization to daemon/worker.c

Consequently, there's no use for worker_reserve in the header.

daemon/worker.h: move internal stuff to the end

Also break overlong lines.

daemon/main: error handling nitpicks

The last hunk: we'd report worker failure even if we didn't
attempt to start it due to previous failures.

docs nitpicks

don't use kr_crypto_reinit()

We called kr_crypto_init() just before forking and then _reinit() in
all children, but we never did any cryptography in-between - better
initialize after forking.

Note: the function is KR_EXPORT.  It might not be useful anymore, but
its removal would require bumping libkres soname.

fix version number to 1.1.1

Reported: https://gitlab.labs.nic.cz/knot/resolver/issues/92

Update NEWS

Reuse packet_source address when retrying over TCP.  This prevents
timeouts over TCP when <n> first nameservers timeout over UDP as
previously the TCP would connect again to the first and only the
first nameserver in task->addrlist.

This would need to be ultimately fixed in TCP Fast Retransmit.

Add missing curly braces

Add missing %s

Fix querying/optional listing when retrying with different destination

Update NEWS file for 1.1.1 release

lib/resolve: track rtt of all tried servers

when doing fast retransmit, each address may be
contacted 1-N times, but previously only cumulative
RTT was tracked for the NS that sent the answer.

now the approximate query start time is subtracted
from cumulative RTT to give an idea how long it
took since the query was actually sent, and all
the NSs that didn't respond within their retransmit
windows are penalised too

lib/resolve: fixed 0x20 with retransmit

bcf3f4b made query_finalize() to be called on
each outbound query before sending, so each
retransmitted query got different 0x20 case
and the only responses from the latest contacted
NS matched.

reverted back the old behaviour where query case
is randomised when an outbound query is generated,
not before sending

lib/resolve: fixed pass through for stub mode

REFUSED response no longer causes retry in
iterator when operating in stub mode

modules/daf: allow forwarding to custom port

example:

> daf.add 'forward 127.0.0.1@5353'

Print protocol used in verbose mode

Fixed error: added missing struct kr_query entry into Lua wrapper.

The missing entry caused some entries to be dear and written to wrong
positions.

Update script to print all 16 bytes of IPv6 addr

Add last missing byte to IPv6 root hints

lib/zonecut.c: cleanup

Correctly encode IPv6 addresses in root hints to prevent to uint16_t conversion

Fix missing 'else' in hexval2char()