daemon: reuse outbound TCP connections if possible; TLS over outbound TCP connection

Merge !430: Travis fixes and dependency updates

travis: skip Deckard tests

travis: try to fix python modules

bootstrap-depends: update dependencies

Merge branch 'travis_fixes' into 'master'

Do not point to Travis from README

See merge request knot/knot-resolver!429

README: use badges from Gitlab instead of Travis/Coveralls

Makefile: suppress misleadning warning about missing coverage.stats dir

Makefile: remove unused check-config-clean

Merge branch 'vendemiat/extend_kres_lua' into 'master'

Add useful lua functions to handle knot types

See merge request knot/knot-resolver!425

allow access to cache object through context

this surfaces the struct kr_cache through context variable,
it doesn't implement any API or documented interface for it,
so I just added a tests for the struct presence and introspection

added basic tests for cache interface

renamed pkt:clear() to pkt:recycle() and added tests

support text conversion of unknown RR types

added more functions to packet, added tests

add useful lua functions to handle knot types

Merge branch 'vendemiat/track_qsize' into 'master'

daemon: add query packet size to kr_request

See merge request knot/knot-resolver!424

Add query packet size to kr_request

This is useful when we do logging from the finish layer

Merge branch 'publish_master_coverage' into 'master'

CI: publish coverage only for master branch (on web)

See merge request knot/knot-resolver!426

CI: publish coverage only for master branch (on web)

Non-master branches must not overwrite results from master branch.
From now only master branch publishes results on Gitlab Pages.
Results for other branches can be downloaded from artifacts.

Merge branch 'build-coverage-artifacts' into 'master'

CI coverage: build coverage report

See merge request knot/knot-resolver!407

fixup! build: added `make coverage` to compute C and Lua code coverage

Test coverage results for Lua code were off-by-one line.

CI coverage: parallelize Lua code coverage processing

Execution of scripts/luacov_to_info.lua can take quite a long time so it
is now done in paralell.

Beware: This needs proper depedencies on coverage-lua-fix-paths target
and so on to avoid race conditions.

CI coverage: merge test coverage data from parallel runs

We run tests in paralell so have to make sure that coverage tools
do not overwrite results from each run.

This is hacky because lcov tool insists on having gcno and gcda files
in the same place as original source, so we have to copy files
to workaround this.

daemon: gather luacov statistics from early start

If KRESD_COVERAGE_STATS environment variable is set, luacov statistics
are saved to path specified by it.

Beware! Parallel execution needs special handling which is not built-in.

CI coverage: add missing Lua files to the report

Luacov does not know about files which were not loaded at all.
Script luacov_gen_empty.sh generates empty luacov stats for all files
which forces luacov to show all files.

CI coverage: handle Lua code coverage properly

Luacov statistics contained paths to installed files instead of source
files that it was a mess. The stats are now rewritten using hacky
mapping (created from install commands produced by make).

Also, branch and function coverage for Lua was always zero so now it is
turned off not to confuse users.

kresd config for respdiff now enables luacov as well.

fix gitignore

CI coverage: build coverage report and publish to pages

Beware: this version does not handle parallel execution

Merge branch 'ci-transport' into 'master'

CI: test transports

See merge request knot/knot-resolver!423

Docker: update e-mail address

CI: run respdiff over UDP/TCP/TLS

Merge branch 'fix_memcached' into 'master'

fixup! memcached: rename module kmemcached -> memcached

See merge request knot/knot-resolver!421

fixup! memcached: rename module kmemcached -> memcached

Merge branch 'http_doc_fixes' into 'master'

http: error out if GeoIP is requested but mmdblua is not available

See merge request knot/knot-resolver!420

http: error out if GeoIP is requested but mmdblua is not available

Merge !419: release 1.5.1 (and fixup details)

bootstrap-depends.sh: try to fix travis on osx

fix missing include

struct timeval wasn't available, probably depending on libknot version,
breaking e.g. the Docker build.

NEWS and version update for 1.5.1

docs nitpick: fix rendering of "code fragments"

Merge branch 'monotonic-nitpicks' into 'master'

Monotonic nitpicks

See merge request knot/knot-resolver!418

monotonic timestamps: document they are milliseconds

resolve.c: fix verbose logging of RTT after 0abbe1f4

Merge branch 'remove_devel_log' into 'master'

detect_time_jump: remove forgotten debug print

See merge request knot/knot-resolver!417

detect_time_jump: remove forgotten debug print

fixup! module: detect discontinuous jumps in the system time

Merge branch 'monotonic-timer' into 'master'

use monotonic time

Closes #247

See merge request knot/knot-resolver!392

module: detect discontinuous jumps in the system time

Check differences between real and monotonic time.
It clears cache when this diffrence changes since
last cache clear.

use monotonic time

Monotonic time from libuv function uv_now (wrapped in kr_now) is
used for query timeout, stats and RTT in reputation cache.

Cache, DNSSEC Validation and Cookies use real time.

Merge branch 'rrtype_update' into 'master'

daemon: add missing RR type definitions

See merge request knot/knot-resolver!416

daemon: add missing RR type definitions

Some RR type definitions present in IANA DNS parameters registry were
missing in kresd. This commit synchronizes the tables with IANA registry
as of 2017-12-08 13:20 UTC.

At the same time, this commit is
fixup! converted constant tables, support kres.type.TYPE1234
The mentioned commit accidentally removed NULL definition which broke TA
signaling module.

Merge branch 'detect-time-skew' into 'master'

time_skew: Detect time skew during kresd start.

See merge request knot/knot-resolver!414

time_skew: Do not print message if trust anchor for . is not configured

Without this check, the module would print warning for every single run
without root trust anchor.

time_skew: Detect time skew during kresd start.

This module is enabled by default, but disabled in Deckard tests.

rplan: fix kr_qflags_*() to work with more than 32 flags

Originally division around sizeof(uint32_t) caused silent truncation
for struct kr_qflags with sizes not multiple of 4 bytes.

Attempts to optimize using uint32_t blocks could lead to read/write
beyond end of uint32_t so I'm not willing to risk it.

Also, the code was refactored to avoid duplication between _set and _clear.
Quick look into assembly produced by gcc 7.2.1 with -O2 on x86_64 confirms that
all auxiliary functions got inlined so there are not extra function calls.

Unit tests are attached. These fail on the previous version of _set() and
_clear() and work now.

Merge branch 'ci-fixup' into 'master'

CI fixups

Closes #282

See merge request knot/knot-resolver!415

CI: add lua-http package to Docker image for testing

Related: !405

CI: use Knot DNS 2.6 instead of master

Hopefully this will make build more reliable because breakage in Knot
DNS master will not affect us. On the other hand, we must not forget to
update Knot DNS in the image!

Closes: #282

Merge branch 'improve-readability' into 'master'

code-style: replace `-->` in for loops with `i > 0` and `i--`

See merge request knot/knot-resolver!408

code-style: remove special operator (-->) in for loops

Merge branch 'confusing-error-msg' into 'master'

Fix confusing error messages regarding root hints

Closes #278

See merge request knot/knot-resolver!413

trust_anchor: propper error message when file cannot be read

hints: server stop when root hints load failed

If user provides custom hints file with config option hints.root_file('file')
resovler fail with error. Before it just silently pass and may fail
when loading defaults file, which leads to confusing error message.

Merge branch 'cleanup-fixup' into 'master'

fixup! client: move sources into separate directory

See merge request knot/knot-resolver!410

fixup! client: move sources into separate directory

Previous cleanup attempt broke installation on systems without libedit.
client-install has to be defined at least as .PHONY target.
(I want to avoid if spagethi outside of client.mk.)

Merge branch 'cleanup' into 'master'

Pre-2.0 cleanup

See merge request knot/knot-resolver!409

client: add warning that client is highly experimental

client: move sources into separate directory

Let's not mix daemon and client files as client might grow to multiple
files in future. This will also help with upcomming changes to packaging
scripts.

etcd: rename module ketcd -> etcd

The old name was confusing because module name was different than all
other names and references in manual.

memcached: rename module kmemcached -> memcached

The old name was confusing because module name backend name provided by
that modules were different.

scripts: make scripts/inet_pton.py compatible with Python 2 and Python 3

It is 2017 already, so Python 3 is the default.

scripts: remove scripts/supervisor.py

The script did not work under Python 3, and given broad support for
SO_REUSEPORT, it is easier to drop it than to debug it.

Merge branch 'priming' into 'master'

priming: implement priming queries as module

Closes #220

See merge request knot/knot-resolver!391

priming: enable module by default

Also removed priming query from trust anchor module.
Updated deckard repository.

priming: implement priming queries as module

Merge branch 'code-coverage' into 'master'

Updated config tests, fixing code coverage for C and Lua

See merge request knot/knot-resolver!403

build: detect presence of lcov and luacov

scripts: pack all submodules with make-archive.sh

It does not make sense to create "distribution" tarball with dirty
working tree or missing submodules, so this is now forbidden.
make-archive.sh requires clean working tree and all submodules.

Packing all submodules prevents us from releasing incomplete tarball,
especially around release time.

Distributions like Fedora are gradually getting ability to run
integration test suites so it does not hurt to pack everything including
test.

CI: Add coverage CI target to parse code coverage and display it in MRs

fixed issues with newer luacheck

build: removed old check for libknot 2.3.0

The 2.4.0 is required as a minimum.

build: make lint depends on autogenerated Lua files

Lint should always render the .lua from .lua.in files before checking.

build: added `make coverage` to compute C and Lua code coverage

Currently it gathers gcov and luacov code coverage, and merges it
in a single lcov info file. It returns summary at the end which the
CI can parse and interpret. It can build a html report later using
the data.

tests/config: added a TAP-based test environment for modules/configs

I moved the test files to module directories because it allows
vendoring of whole modules including tests etc.

The test environment provides convenience functions and produces
test output in TAP format. Ideally all tests should use a common
format, so that CI can parse it provide better test output on PRs.
It seems like Gitlab CI doesn't support anything yet, but there
are two sort-of standards supported in CI tools - TAP and JUnit.
I chose TAP because it's easier to read for humans, cmocka supports it,
and it should be easier to adapt Deckard. There are also tools to
convert TAP into JUnit XML file.

Also added more tests for global functions and variables, and the
test tool now also tracks coverage (if `luacov` is installed).

Merge branch 'docker-updates' into 'master'

CI: unify Docker images for kresd and Deckard CI

See merge request knot/knot-resolver!404

CI: unify Docker images for kresd and Deckard CI

The Docker image now should work for both projects.
Also, the image was extended with tools to measure code coverage.

Merge branch 'lualint' into 'master'

CI: add Lua lint and installcheck tests

See merge request knot/knot-resolver!402

fixup! tests: fixed config tests locking up on error, added test for predict

/bin/sh in our image does not support "function" keyword

CI: run installcheck tests with and without Valgrind

CI: disable Deckard under Valgrind

The test is useless in its current form because all the information goes
to logs, which are later discarded.

We need to fix issues detected by Valgrind first and then enable strict
mode which will not let the test pass if any problem is detected.

This might require recompiling LuaJIT in a way which is compatible with
Valgrind.

CI: disallow Valgrind failures in unit tests

CI: add Lua lint

Merge branch 'daemon-lua-linter-fixes' into 'master'

Fixed linter issues in `daemon/lua`, added more config tests

See merge request knot/knot-resolver!400

Merge branch 'fix-obvious-linter-problems' into 'daemon-lua-linter-fixes'

fixed obvious linter problems

See merge request knot/knot-resolver!401

fixed obvious linter problems

there are two modules that couldn't work before:

* graphite
* ketcd

daemon/lua: fixed unused variables, whitespace, cleanup

Also fixed improper promotion of `ffi` to global variable.

```
$ luacheck --codes daemon/lua/
Checking daemon/lua/config.lua                    OK
Checking daemon/lua/kres-gen.lua                  OK
Checking daemon/lua/kres.lua                      OK
Checking daemon/lua/sandbox.lua                   OK
Checking daemon/lua/trust_anchors.lua             OK
Checking daemon/lua/zonefile.lua                  OK

Total: 0 warnings / 0 errors in 6 files
```

added basic config test for consts, depend on knot >= 2.4, cleanup

The library now depends on libknot >= 2.4.0 (in Debian stable),
this allows us to remove a dead code and sed-ing of the kres.lua

Added a basic config tests to check that constants still work,
and basic interface to rrsets still works after the change.

Merge branch 'fix-predict-module' into 'master'

Fixed predict module, config tests, cleanup

See merge request knot/knot-resolver!399

modules/predict: added test for prediction process

this tests that:
* sampling frequent queries works
* the code to find periodic appearences of the same name and type
* resolving predicted queries works

it doesn't test pessimistic cases or failure modes

tests/config: added basic assert support (compatible with busted)

There is no dependency on a testing library yet, so I added a
basic interface for mocking and asserting test values to get
something to start with. I'll probably replace it with busted
or telescope later on to get nicer testing output.