allow generating most cdefs for lua

Motivation: maintaining these by hand in kres.lua is tricky, as just
inserting or reordering the structures can do anything and isn't
detected in general.  For example, `rr_array_t::at` has always
"missed a star".

A couple libknot structure fields have apparently changed name since
the old definitions were written; in most cases I renamed them in *.lua.

The file daemon/lua/kres-gen.lua will be regenerated only if explicitly
deleted.  That requires building with debug symbols and gdb on $PATH.

Merge branch 'remove-bashisms' into 'master'

Remove bashism in gen-root-hints.sh script

See merge request !101

Merge branch 'lua-http-0.1' into 'master'

Lua http 0.1

Update module/http to use lua-http 0.1

See merge request !102

Specify lua-http (>= 0.1) in documentations

rename lua-http imports to start with 'http_'

Actually close http servers on deinit

Use coroutine friendly pcall

Update to be compatible with lua-http 0.1 release

Use newer lua-http derived ephemeralcert generation

Remove bashism in gen-root-hints.sh script

Merge !97: use SOVERSION when compiling to unfail the tests

platform.mk: nitpick comment

Merge !99: lru_create: cast on a better place

... fixing a warning.  The addresses are the same,
but it wasn't completely correct.

lru_create: cast on a better place

... fixing a warning.  The addresses are the same,
but it wasn't completely correct.

Merge branch '1.2.0-dev' into 'master'

Move the version to 1.2.0-dev

Just marking this as 1.2.0-dev

See merge request !98

Move the version to 1.2.0-dev

Use SOVERSION when compiling to unfail the tests

Merge branch 'rrcache-fix' into 'master'

layer/rrcache: ds cache rank was fixed

See merge request !95

layer/rrcache: ds cache rank was fixed

Merge branch 'news' into 'master'

news: mention the most important stuff since 1.1.1

In future I hope we'll be adding these items at once with the features.

See merge request !94

news: mention the most important stuff since 1.1.1

In future I hope we'll be adding these items at once with the features.

Merge !88: support +cd

nitpicks in comments

Merge !93: fixup the previous merge

fixup the previous merge

Merge branch 'master' into cd_processing

and fixup with DEBUG -> VERBOSE renames.

Merge !92: Change NDEBUG to verbose logging

As requested in !90, I have renamed all *_debug_* and *DEBUG* to verbose
(where it made sense), and renamed NLOGDEBUG to NOVERBOSELOG.

The logic is simple - most usually we want to have verbose logging
compiled in and `assert()` not compiled in (`-DNDEBUG`).

rename: kr_verbose_do_log -> kr_verbose_status

Now that we renamed "debug" to "verbose", the old name didn't seem very
suitable anymore; this new identifier haven't got to master yet.

Split NDEBUG to NDEBUG (asserts) and NOVERBOSELOG (verbose logging); rename all related symbols to use VERBOSE instead of DEBUG

Merge !91: layer/validate: additional processing for cached insecure data

layer/iterate: cname chain processing with +cd was fixed

layer/validate: additional processing for cached insecure data

--verbose: warn when having no effect

... but don't raise any kind of error.
The lua function `verbose()` behaved reasonably already.
It doesn't warn, but docs for the function do mention `NLOGDEBUG`.

build docs: mention -DNDEBUG, to be sure

--verbose: make it more efficient when not --verbose

In particular, don't require to call an externally defined function to
find if in --verbose mode or not.  Now it's just an extern bool.
I'm confident the performance impact of not using -DNLOGDEBUG should be
negligible now.

This comes with a small incompatible API+ABI change, but that shouldn't
matter as we've had a couple of those already since the last release.

Rename NDEBUG to NLOGDEBUG to allow disabling assert()s while keeping logging enabled

validate: support +cd

Merge !83: Revert "lua: embed bytecode instead of stripped source"

This reverts commit 64f80706fbe428e4a93ac92f22cf6f5905a1e977.
TL;DR: it brought almost no benefits AFAIK and potential for problems.

Merge !82: hints: allow removing hints and listing all of them

See commits for details.

Merge branch 'fix-pktcache' into 'master'

layer/pktcache: additional checking for cache entry rank was added

See merge request !86

layer/pktcache: additional checking for cache entry rank was added

Merge !84: lua: add missing declaration for kr_rplan_pop

lua: add missing declaration for kr_rplan_pop

Fixes https://github.com/CZ-NIC/knot-resolver/issues/35.

Revert "lua: embed bytecode instead of stripped source"

This reverts commit 64f80706fbe428e4a93ac92f22cf6f5905a1e977.
TL;DR: it brought almost no benefits AFAIK and potential for problems.

The "portable bytecode" produced by luajit isn't compatible when
(lib)luajit version changes or when some build-time configuration of it
changes.  If you mix these up, kresd fails to start.

hints: allow hints.get() to list all hints

hints: allow removing hints

Fixes #111.

Compatibility: it needs a new libkres.so function.  If a wrong version
combination is attempted, the module just cleanly fails to load, though
it writes a slightly confusing message "no such file or directory".

Merge !81: travis: fix pip bootstrap

travis: try to fix pip bootstrap

Merge !76: add EDNS(0) padding support

RFC7830 padding support on client->resolver DNSoverTLS communication.
Adds new `net.tls_padding([padding])` option that will cause the answers
to be aligned at *padding* boundaries.

EDNS(0) padding: fixup nitpicks and minor issues

Merge !71: layer/validate: additional processing for chained DS queries

Merge !80: lua cache.count(): return nil on error

... and avoid returning a negative number.

lua cache.count(): return nil on error

... and avoid returning a negative number.

Merge !77: lua: embed bytecode instead of stripped source

It seems a bit cleaner, though impact on size and load speed should not
be noticeable.  We simply install most of the lua code, as before, and I
assume that we *do* want to keep that visibility, at least by default.
Suggested on !57.

Merge branch 'root-hints-regeneration' into 'master'

lib/root-hints.inc: improve regeneration safeguards

- Drop all make dependencies, so it's only generated when the file
  goes missing (i.e. was explicitly deleted).
- Add checks into the generator to avoid producing empty strings on
  failures.  It compiled correctly and wasn't easy to debug.

See merge request !79

lib/root-hints.inc: improve regeneration safeguards

- Drop all make dependencies, so it's only generated when the file
  goes missing (i.e. was explicitly deleted).
- Add checks into the generator to avoid producing empty strings on
  failures.  It compiled correctly and wasn't easy to debug.

Merge: layer: refactor and better describe the API

See the commit messages for details and merge request !67

bootstrap: fix missing the luajit binary (on travis)

Makefile: reorganize and check for required deps

root hints: avoid regeneration due to timestamps

We only want this when deleted explicitly.

lua: embed bytecode instead of stripped source

It seems a bit cleaner, though impact on size and load speed should not
be noticeable.  We simply install most of the lua code, as before, and I
assume that we *do* want to keep that visibility, at least by default.
Suggested on !57.

Merge branch 'lua-ffi-structs' into 'master'

lua ffi bindings: fix incorrect structs

Some structures have changed but lua was still using the old ABI.
I think no our lua code used the fields misplaced due to this,
except an example in documentation.

I didn't check much of the ABI in there.  I wish I knew some
(half-)automatic way how to do that.

See merge request !68

Add EDNS(0) padding support

Merge branch 'qflags-update' into 'master'

Copy new query flags from lib/rplan.h to lua

See merge request !75

Copy new query flags from lib/rplan.h to lua

Merge branch 'ws_fix' into 'master'

whitespace fixes in daemon/tls.c

See merge request !74

whitespace fixes in daemon/tls.c

Merge branch 'allow_to_set_hostname' into 'master'

Allow to override hostname() with a lua call hostname("example.com")

This changes lua hostname() call to accept optional parameter with new hostname. This is needed to override possibly wrong name used for ephemeral certs.

See merge request !72

Allow to override hostname() with a lua call hostname("example.com")

layer/validate: additional processing for chained DS queries

Merge branch 'osx-sed' into 'master'

Fix osx sed

See merge request !70

travis: don't allow osx to fail anymore

That way we should notice breakages like this before merging.

scripts: fix sed expression on non-GNU systems

\t escape is a non-standard escape sequence. Thanks Marek for reporting!
http://unix.stackexchange.com/a/145385/41413

daemon: removed forgotten debug messages

lua ffi bindings: fix incorrect structs

Some structures have changed but lua was still using the old ABI.
I think no our lua code used the fields misplaced due to this,
except an example in documentation.

I didn't check much of the ABI in there.  I wish I knew some
(half-)automatic way how to do that.

layer: refactor and better describe the API

- The API and ABI for modules changes slightly (details below).
  KR_MODULE_API is bumped to avoid loading incompatible code.
  We have bumped libkres ABIVER since the last release 1.1.1,
  so leaving that one intact.

- Make KR_STATE_YIELD not reuse 0 value anymore.
  It's easy to e.g. return kr_ok() by mistake.
- struct kr_layer_t:
  * ::mm was unused, uninitialized, etc.
  * Make ::state an int, as it was everywhere else.
  * void *data was ugly and always containing struct kr_request *
- struct kr_layer_api:
  * Drop the void* parameter from ::begin, as it was only used
    for the request which is available as ctx->req anyway
    (formerly ctx->data).
  * Drop ::fail.  It wasn't even called.  Modules can watch for
    KR_STATE_FAIL in ::finish.
- Document the apparent meaning of the layer interface, deduced mainly
  from the way it's used in the code.  Caveats:
  * enum knot_layer_state handling seems to assume that it holds exactly
    one of the possibilities at a time.  The cookie module does NOT
    follow that (intentionally), apparently depending on the exact
    implementation of the handling at that moment.  It feels fragile.
  * I was unable to deduce a plausible description of when ::reset is
    called.  It's practically unused in modules, too.

layer: rename knot_ identifiers that are private now

It causes lots of line changes, but it would be confusing to keep the
current state over long term.

Merge branch 'mod-daf-after-http' into 'master'

modules/daf: document restriction on order of loading

See the slack channel for previous discussion.

See merge request !62

Merge branch 'embed-lua' into 'master'

make: strip *.lua as intended since dcd89700

This saves a few kilobytes in the executable.

Also, the name XXD seemed no longer suitable, as it does lua-specific cleaning.

See merge request !57

Merge branch 'new-root-hints' into 'master'

zonecut: add missing AAAA hints for E and G servers

The other records seem OK. Fixes #100.

See merge request !66

zonecut: add auto-generation of root hints

Fixes #100.
The file with the addresses is in the repo, so people don't have to
regenerate it, but the build system is able to do it.

Merge branch 'osx-uint' into 'master'

cache: avoid missing uint typedef

I don't know why it passed on Linux without any warning.

See merge request !65

cache: avoid missing uint typedef

I don't know why it passed on Linux without any warning.

Merge branch 'gitignore-update' into 'master'

Ignore generated modules/version/version.lua

See merge request !64

Ignore generated modules/version/version.lua

Merge branch 'travis-osx-fix' into 'master'

travis osx build was fixed

See merge request !63

Merge branch 'p/lru-rebased' into 'master'

lru: new implementation and also interface

The implementation is now a hybrid, slightly described at top of `lib/generic/lru.h`.  Also the API is changed a bit, leading to slight simplification of our use patterns. (EDITED)

See merge request !44

daemon: avoid a tiny memory leak

lru_get_new *can* return NULL

... and that doesn't necessarily mean that malloc() failed.
We do *not* want to evict a heavy-hitter by an unfrequent element.

Note: even the implementation currently in master *did* return NULL,
so some parts of the code were just wrongly returning ENOMEM.

lru: new implementation and also interface

The implementation is now similar to set-associative caches
that x86 CPU use.  Also the API is changed a bit, leading to
slight simplification of our use patterns.

bench: make bench, dataset for lru, cleanup

`make bench` now runs a predefined set of
microbenchmarks (right now LRU), it's a start
for comparative microbench of internal structures

add simple LRU benchmarks

The Makefile isn't perfect. I noted it doesn't clean the bench,
but we have the same problem for some other parts, e.g. in deckard.

Merge branch 'p/reorder' into 'master'

add option to reorder cached RRs in answers

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/93.
API of a KR_EXPORT function is changed, so ABIVER is bumped.

See merge request !47

travis.yml was edited

modules/daf: document restriction on order of loading

Merge branch 'improve-version.mk' into 'master'

Improve version.mk

See merge request !61

Improve version.mk a bit to use $(call quiet,,)

add option to reorder cached RRs in answers

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/93.
API of a KR_EXPORT function is changed, so ABIVER is bumped.

Print system/embedded for lmdb instead of yes/no as it is always present

Merge branch 'coverity-fix' into 'master'

daemon: another UINT_MAX -> UINT32_MAX

See merge request !58