make: fix Fedora problems with symbols

make: CFLAGS cleanup

Readability, and don't -I embedded lmdb if not using it.

make: use -fvisibility=hidden by default

Symbols not marked by KR_EXPORT shouldn't be visible outside
the same output binary (e.g. sbin/kresd or lib/kdns_modules/hints.so)
Also mark `engine_hint_root_file`.

security release 1.5.2

validator nitpick: remove a useless dead store

Discovered by clang scan.

validator: fix NSEC* + delegation -> NXDOMAIN

validator: fix NSEC* -> NODATA

Merge branch 'fix_memcached' into 'master'

fixup! memcached: rename module kmemcached -> memcached

See merge request knot/knot-resolver!421

fixup! memcached: rename module kmemcached -> memcached

Merge branch 'http_doc_fixes' into 'master'

http: error out if GeoIP is requested but mmdblua is not available

See merge request knot/knot-resolver!420

http: error out if GeoIP is requested but mmdblua is not available

Merge !419: release 1.5.1 (and fixup details)

bootstrap-depends.sh: try to fix travis on osx

fix missing include

struct timeval wasn't available, probably depending on libknot version,
breaking e.g. the Docker build.

NEWS and version update for 1.5.1

docs nitpick: fix rendering of "code fragments"

Merge branch 'monotonic-nitpicks' into 'master'

Monotonic nitpicks

See merge request knot/knot-resolver!418

monotonic timestamps: document they are milliseconds

resolve.c: fix verbose logging of RTT after 0abbe1f4

Merge branch 'remove_devel_log' into 'master'

detect_time_jump: remove forgotten debug print

See merge request knot/knot-resolver!417

detect_time_jump: remove forgotten debug print

fixup! module: detect discontinuous jumps in the system time

Merge branch 'monotonic-timer' into 'master'

use monotonic time

Closes #247

See merge request knot/knot-resolver!392

module: detect discontinuous jumps in the system time

Check differences between real and monotonic time.
It clears cache when this diffrence changes since
last cache clear.

use monotonic time

Monotonic time from libuv function uv_now (wrapped in kr_now) is
used for query timeout, stats and RTT in reputation cache.

Cache, DNSSEC Validation and Cookies use real time.

Merge branch 'rrtype_update' into 'master'

daemon: add missing RR type definitions

See merge request knot/knot-resolver!416

daemon: add missing RR type definitions

Some RR type definitions present in IANA DNS parameters registry were
missing in kresd. This commit synchronizes the tables with IANA registry
as of 2017-12-08 13:20 UTC.

At the same time, this commit is
fixup! converted constant tables, support kres.type.TYPE1234
The mentioned commit accidentally removed NULL definition which broke TA
signaling module.

Merge branch 'detect-time-skew' into 'master'

time_skew: Detect time skew during kresd start.

See merge request knot/knot-resolver!414

time_skew: Do not print message if trust anchor for . is not configured

Without this check, the module would print warning for every single run
without root trust anchor.

time_skew: Detect time skew during kresd start.

This module is enabled by default, but disabled in Deckard tests.

rplan: fix kr_qflags_*() to work with more than 32 flags

Originally division around sizeof(uint32_t) caused silent truncation
for struct kr_qflags with sizes not multiple of 4 bytes.

Attempts to optimize using uint32_t blocks could lead to read/write
beyond end of uint32_t so I'm not willing to risk it.

Also, the code was refactored to avoid duplication between _set and _clear.
Quick look into assembly produced by gcc 7.2.1 with -O2 on x86_64 confirms that
all auxiliary functions got inlined so there are not extra function calls.

Unit tests are attached. These fail on the previous version of _set() and
_clear() and work now.

Merge branch 'ci-fixup' into 'master'

CI fixups

Closes #282

See merge request knot/knot-resolver!415

CI: add lua-http package to Docker image for testing

Related: !405

CI: use Knot DNS 2.6 instead of master

Hopefully this will make build more reliable because breakage in Knot
DNS master will not affect us. On the other hand, we must not forget to
update Knot DNS in the image!

Closes: #282

Merge branch 'improve-readability' into 'master'

code-style: replace `-->` in for loops with `i > 0` and `i--`

See merge request knot/knot-resolver!408

code-style: remove special operator (-->) in for loops

Merge branch 'confusing-error-msg' into 'master'

Fix confusing error messages regarding root hints

Closes #278

See merge request knot/knot-resolver!413

trust_anchor: propper error message when file cannot be read

hints: server stop when root hints load failed

If user provides custom hints file with config option hints.root_file('file')
resovler fail with error. Before it just silently pass and may fail
when loading defaults file, which leads to confusing error message.

Merge branch 'cleanup-fixup' into 'master'

fixup! client: move sources into separate directory

See merge request knot/knot-resolver!410

fixup! client: move sources into separate directory

Previous cleanup attempt broke installation on systems without libedit.
client-install has to be defined at least as .PHONY target.
(I want to avoid if spagethi outside of client.mk.)

Merge branch 'cleanup' into 'master'

Pre-2.0 cleanup

See merge request knot/knot-resolver!409

client: add warning that client is highly experimental

client: move sources into separate directory

Let's not mix daemon and client files as client might grow to multiple
files in future. This will also help with upcomming changes to packaging
scripts.

etcd: rename module ketcd -> etcd

The old name was confusing because module name was different than all
other names and references in manual.

memcached: rename module kmemcached -> memcached

The old name was confusing because module name backend name provided by
that modules were different.

scripts: make scripts/inet_pton.py compatible with Python 2 and Python 3

It is 2017 already, so Python 3 is the default.

scripts: remove scripts/supervisor.py

The script did not work under Python 3, and given broad support for
SO_REUSEPORT, it is easier to drop it than to debug it.

Merge branch 'priming' into 'master'

priming: implement priming queries as module

Closes #220

See merge request knot/knot-resolver!391

priming: enable module by default

Also removed priming query from trust anchor module.
Updated deckard repository.

priming: implement priming queries as module

Merge branch 'code-coverage' into 'master'

Updated config tests, fixing code coverage for C and Lua

See merge request knot/knot-resolver!403

build: detect presence of lcov and luacov

scripts: pack all submodules with make-archive.sh

It does not make sense to create "distribution" tarball with dirty
working tree or missing submodules, so this is now forbidden.
make-archive.sh requires clean working tree and all submodules.

Packing all submodules prevents us from releasing incomplete tarball,
especially around release time.

Distributions like Fedora are gradually getting ability to run
integration test suites so it does not hurt to pack everything including
test.

CI: Add coverage CI target to parse code coverage and display it in MRs

fixed issues with newer luacheck

build: removed old check for libknot 2.3.0

The 2.4.0 is required as a minimum.

build: make lint depends on autogenerated Lua files

Lint should always render the .lua from .lua.in files before checking.

build: added `make coverage` to compute C and Lua code coverage

Currently it gathers gcov and luacov code coverage, and merges it
in a single lcov info file. It returns summary at the end which the
CI can parse and interpret. It can build a html report later using
the data.

tests/config: added a TAP-based test environment for modules/configs

I moved the test files to module directories because it allows
vendoring of whole modules including tests etc.

The test environment provides convenience functions and produces
test output in TAP format. Ideally all tests should use a common
format, so that CI can parse it provide better test output on PRs.
It seems like Gitlab CI doesn't support anything yet, but there
are two sort-of standards supported in CI tools - TAP and JUnit.
I chose TAP because it's easier to read for humans, cmocka supports it,
and it should be easier to adapt Deckard. There are also tools to
convert TAP into JUnit XML file.

Also added more tests for global functions and variables, and the
test tool now also tracks coverage (if `luacov` is installed).

Merge branch 'docker-updates' into 'master'

CI: unify Docker images for kresd and Deckard CI

See merge request knot/knot-resolver!404

CI: unify Docker images for kresd and Deckard CI

The Docker image now should work for both projects.
Also, the image was extended with tools to measure code coverage.

Merge branch 'lualint' into 'master'

CI: add Lua lint and installcheck tests

See merge request knot/knot-resolver!402

fixup! tests: fixed config tests locking up on error, added test for predict

/bin/sh in our image does not support "function" keyword

CI: run installcheck tests with and without Valgrind

CI: disable Deckard under Valgrind

The test is useless in its current form because all the information goes
to logs, which are later discarded.

We need to fix issues detected by Valgrind first and then enable strict
mode which will not let the test pass if any problem is detected.

This might require recompiling LuaJIT in a way which is compatible with
Valgrind.

CI: disallow Valgrind failures in unit tests

CI: add Lua lint

Merge branch 'daemon-lua-linter-fixes' into 'master'

Fixed linter issues in `daemon/lua`, added more config tests

See merge request knot/knot-resolver!400

Merge branch 'fix-obvious-linter-problems' into 'daemon-lua-linter-fixes'

fixed obvious linter problems

See merge request knot/knot-resolver!401

fixed obvious linter problems

there are two modules that couldn't work before:

* graphite
* ketcd

daemon/lua: fixed unused variables, whitespace, cleanup

Also fixed improper promotion of `ffi` to global variable.

```
$ luacheck --codes daemon/lua/
Checking daemon/lua/config.lua                    OK
Checking daemon/lua/kres-gen.lua                  OK
Checking daemon/lua/kres.lua                      OK
Checking daemon/lua/sandbox.lua                   OK
Checking daemon/lua/trust_anchors.lua             OK
Checking daemon/lua/zonefile.lua                  OK

Total: 0 warnings / 0 errors in 6 files
```

added basic config test for consts, depend on knot >= 2.4, cleanup

The library now depends on libknot >= 2.4.0 (in Debian stable),
this allows us to remove a dead code and sed-ing of the kres.lua

Added a basic config tests to check that constants still work,
and basic interface to rrsets still works after the change.

Merge branch 'fix-predict-module' into 'master'

Fixed predict module, config tests, cleanup

See merge request knot/knot-resolver!399

modules/predict: added test for prediction process

this tests that:
* sampling frequent queries works
* the code to find periodic appearences of the same name and type
* resolving predicted queries works

it doesn't test pessimistic cases or failure modes

tests/config: added basic assert support (compatible with busted)

There is no dependency on a testing library yet, so I added a
basic interface for mocking and asserting test values to get
something to start with. I'll probably replace it with busted
or telescope later on to get nicer testing output.

renamed TEST env variable to KRESD_NO_LISTEN

converted constant tables, support kres.type.TYPE1234

The difficulty with using structs as constant tables is that access
to non-existent fields throws an error. This is difficult to handle
without wrapping every access in a pcall, for example in predict module:

```
error: /usr/local/lib/kdns_modules/predict.lua:34: 'struct rr_type' has no member named 'TYPE65535'
```

So I converted the constant tables into regular Lua tables,
and added a metatable for RR types to allow looking up unnamed types,
in the TYPE%d format. Looking up non-existent fields will now
return nil instead of throwing an error.

modules/predict: cleaned up unused function, variables, trailing whitespace

The `stats` module is now also included if not exists.

```
$ luacheck modules/predict
Checking modules/predict/predict.lua              OK

Total: 0 warnings / 0 errors in 1 file
```

tests: fixed config tests locking up on error, added test for predict

The config tests locked up on error as if error was raised from the
event callback, it would never reach the `quit()` statement, so
server would never close on error.

Added a script to make running these types of tests a little bit nicer
and to allow concurrent execution of config tests.

Added a test for the predict module, that fails on prediction
of unknown types:

```
error: /usr/local/lib/kdns_modules/predict.lua:34: 'struct rr_type' has no member named 'TYPE65535'
```

Merge branch 'add-lua-linter' into 'master'

Added luacheck for linting Lua files and static analysis

See merge request knot/knot-resolver!398

Added luacheck for linting Lua files and static analysis

This is super useful for checking things like misusing undefined
variables or modifying globals, especially in modules when it's
not immediately visible which variables are in the global
namespace and which are not.

I added several exceptions for files in daemon/lua and tests,
as for example sandbox module needs to legitimately modify
global namespace.

There's a lot of things failing, so I didn't make it part of the
standard `make check`, but we should eventually enable it to
improve code quality and spot problems with CI.

Merge branch 'deckard_fail_artifacts' into 'master'

CI optimization

Closes #270

See merge request knot/knot-resolver!397

CI: enable QTRACE logging for kresd

CI: run non-interactive kresd to avoid false positives

See Deckard MR!85 for details.

CI: archive Deckard artifacts on failure

CI: optimize Deckard-under-Valgrind

Packages are already present in the image so we do not need to spend
time on package maintenance.

Merge !396: lua: fixup making the bindings bogus

lua: fixup making the bindings bogus

For now I didn't touch the generator to be correct on this line,
as we will probably want to change it after bumping minimal libknot
version.

Merge !395: minor fixes (see commits)

lua: fix mistakes in bindings (forgotten regeneration)

daemon: fix a typo in SIGPIPE blocking

I'm sorry. Buggy commit: 2ba2a5e8

Merge !394: util: fix policy.QTRACE for QDCOUNT != 1

util: fix policy.QTRACE for QDCOUNT != 1

Merge !393: lua resolve(): make DNSSEC_WANT imply +dnssec

lua resolve(): make DNSSEC_WANT imply +dnssec

Merge !390: utils kr_strcatdup: deal with overflow

utils kr_strcatdup: deal with overflowing size_t

It's very unlikely to happen - sum of string lengths overflowing -
even on a 32-bit platform, and the input seems not controllable by
adversaries, but let's fix it anyway.

Merge branch 'fix-check-config' into 'master'

Fix check target (check-config requires installed version of kresd)

Closes #272

See merge request knot/knot-resolver!389

tests: check-config and check-integration require installed version

Path to module directory gets hardcoded into binaries so check-config
and check-integration cannot work prior installation.

To indicate this depedency, the target check-config was moved from
"check" target to "installcheck".

Deckard requires additional libraries so it is not included in
installcheck.

fixes: #272

unit tests: always use libraries from build directory

Previously it might happen that installed libraries
had higher priority over libraries in build directory.