Merge branch 'ci-fixes' into 'master'

ci: fixes

See merge request knot/knot-resolver!918

tests/pytests: create and collect html report

The report has been previously removed, most likely by a mistake.

ci: re-run valgrind test on failure

Merge !911: daemon/main: decrease suggested nofile hard limit to 512k

Closes #476

daemon/main: decrease suggested nofile hard limit to 512k

512k (or more) seems to be hard limit valued used by multiple distros
(fedora, arch, ubuntu, debian).

Closes #476

Merge branch 'https_client_improvemens' into 'master'

HTTPS client improvemens

See merge request knot/knot-resolver!913

utils: add human-readable text to HTTP client library errors

prefill: retry download immendiatelly if cached data cannot be imported

Retry will typically happen if data on disk are corrupted, and in that
case it does not make sense to wait full retry interval.

prefill: remove zone file from disk on failure

Empty zone file was causing errors after restart and user had to wait to
retry interval before re-download. Let's not polute filesystem with
incomplete files.

prefill: allow to use system-wide CA store

It also improves error reporting from store:add() call.
Sometimes the error message from lua-ossl is incomplete. This is fixed
by https://github.com/wahern/luaossl/pull/176.

utils: log errors from HTTPS client library

Previous code inconsistently thrown some errors and returned as string
other ones, so we now return all errors as strings in classic Lua-style.

Merge branch 'ta-test-update-cert' into 'master'

daemon/trust_anchors.test: Turn off expiration date in certificates

See merge request knot/knot-resolver!916

daemon/trust_anchors.test: Turn off expiration date in certificates

Merge branch 'doc-quickstart' into 'master'

Quick start documentation

Closes #500, #499, and #498

See merge request knot/knot-resolver!867

docs: quick start guide: final polish

docs: quick start documentation third draft corrections

docs: quick start documentation third draft

docs: apply suggestion to doc/startguide.rst

docs: quick start documentation second draft

docs: quick start documentation first draft

Merge branch 'freebind' into 'master'

daemon/network: add freebind support

See merge request knot/knot-resolver!898

tests: sanity check for net.listen() and net.list()

modules/http: fix net.listen in config tests

tests/config: add freebind test

bindings/net: throw lua error ofr net.listen() failures

To avoid configuration errors, throw a lua error and crash
if it's not possible to bind as specified in net.listen().

For special use-cases, freebind=true should be used instead.

daemon/io: rename to family_to_freebind_option()

doc: document freebind option for net.listen()

daemon/bindings: add freebind option to net.list()

daemon/network: add freebind support

Merge branch '521-replace-lua-socket-depedency-with-lua-http' into 'master'

replace lua-socket depedency with lua-http

Closes #512 and #521

See merge request knot/knot-resolver!894

prefill: fix timer restart

event.reschedule() is not a good idea for long-running downloads and in
general I have a bad feeling that it did not work as intended even for
retries after errors.

daemon/lua/kluautil.lua: remove from global namespace

modules/prefill and TA: Move https_fetch to daemon/lua/kluautil.lua

packages: fix dependencies

CI ASAN: switch from gcc to clang

Trying to avoid https://github.com/google/sanitizers/issues/1010

Update NEWS and doc

packages: remove lua-socket

modules/graphite: Use module 'cqueues.socket' instead 'socket'

modules/policy: Use module 'cqueues.socket' instead 'socket'

daemon/lua: add kluautil.lua file for helpers functions

packages: remove lua-sec and add lua-http

daemon/lua/trust_anchors: Use module 'http.request' instead 'ssl.https'

modules/prefill: support large zone file

modules/prefill: Add the functionality to specify a custom CA file

modules/prefill: Remove unused ltn12

modules/prefill: Fetch root zone file asynchronously

modules/prefill: Use module 'http.request' instead 'ssl.https'

Merge branch 'multiple-config-files' into 'master'

daemon/main: support multiple config files

See merge request knot/knot-resolver!909

clarify errors from luaL_dofile while loading configs

daemon/main: remove "-" from config array

daemon/main: log config path and workdir

lib/utils: create get_workdir() utility function

daemon/main: use engine_loadconf() for default config

daemon/main: remove useless l_dosandboxfile macro

The exact same function is implemented as luaL_dofile() in Lua 5.1,
there seems to be no reason to use our project-specific macro for it.

https://www.lua.org/manual/5.1/manual.html#luaL_dofile

daemon/main: support multiple config files

Merge branch '520-prefill-remove-depedency-on-lua-filesystem-lfs' into 'master'

prefill: remove depedency on lua-filesystem (lfs)

Closes #520

See merge request knot/knot-resolver!912

prefill: remove depedency on lua-filesystem (lfs)

Merge branch 'ci-obs-buildall' into 'master'

ci: allow failure of obs:build:all

See merge request knot/knot-resolver!910

ci: allow failure of obs:build:all

This job tends to fail very often, but very frequently due to issues
with OBS itself - outside of our control. The output of the job can
still be useful to check manually, e.g. before releases.

ci: document confusing allow_failure: false

This value seems to be the default, but it is important to have
it set explicitly, otherwise when: manual actions could be skipped

https://docs.gitlab.com/ee/ci/yaml/#whenmanual

Merge branch 'lua_gc' into 'master'

lua: stop trying to tweak lua's GC

See merge request knot/knot-resolver!201

lua: stop trying to tweak lua's GC

cherry-picked from f0ca89ac, original author Vlada Cunat

TL;DR: I believe all lua_gc() calls stemmed from misunderstanding lua
documentation, and the current settings seem potentially dangerous.

First, let me rely on lua 5.1 docs, as luajit 2 is documented to have
done only minor changes in the GC.
http://www.lua.org/manual/5.1/manual.html#lua_gc
http://wiki.luajit.org/New-Garbage-Collector#rationale

Commit 5a709411 claims to have increased the speed of GC to 400 % of
speed of allocation, but LUA_GCSETSTEPMUL is the parameter that
controls that, and that one was lowered to 99 % and later in
0ee2d1d7 even to 50 %.  Documentation explicitly says that setting
the value under 100 % may cause problems.

The default values seem perfectly sane to me and currently I can't see
any particular reason to change them.  It's 200 % relative GC speed,
and waiting for allocated size to double before starting another cycle.

I assume the resulting possibility of GC being too slow caused the need
to explicitly force a non-incremental GC cycle once in a while, but
that seems not useful anymore and not good for latency.

Merge branch 'reuseport-freebsd' into 'master'

daemon/io: use SO_REUSEPORT_LB if available (FreeBSD 12.0+)

See merge request knot/knot-resolver!907

daemon/io: use SO_REUSEPORT_LB if available (FreeBSD 12.0+)

and don't use SO_REUSEPORT on non-Linux.  (Free)BSD has a different
meaning for it, which only brings confusion - only the last instance
would be getting packets.

Merge branch 'tty-logging' into 'master'

daemon/ tty commands: don't log unless --verbose

Closes #528

See merge request knot/knot-resolver!908

daemon/ tty commands: don't log unless --verbose

It's minimalistic: no change if in interactive or --verbose mode.

Merge branch 'systemd-instance' into 'master'

systemd: add env variable SYSTEMD_INSTANCE

See merge request knot/knot-resolver!906

systemd: add env variable SYSTEMD_INSTANCE

Merge branch 'ci-update' into 'master'

ci: updates

See merge request knot/knot-resolver!905

ci: update respdiff jobs

ci: allow odvr release in tag pipelines

Merge branch 'release-4-3-0' into 'master'

update NEWS, bump to 4.3.0

See merge request knot/knot-resolver!904

update NEWS, bump to 4.3.0

Merge branch '518-confidential-issue' into 'master'

Resolve "RRset merge operation is too slow for big RRsets"

Closes #518

See merge request knot/knot-resolver!903

NEWS: update

doc: clarify upgrade instructions for modules

lib/utils kr_ranked_rrarray_add(): clarify merging RRs

ci: skip MacOS tests in security repo

iterate: better efficiency on huge RRsets

- written relatively defensively - act OK even if the API
  isn't used in an ideal way
- CI lint:scan-build: bump the error count;
  It's only another instance of the mis-detected array_push().
- the removed stale note in modules/meson.build isn't really related

Merge branch 'cname-limit' into 'master'

iterate: fix limit on CNAME chain length

See merge request knot/knot-resolver!899

ci: skip Travis build for security repo

iterate: clarify error messages about CNAME chains

iterate: tests for CNAME chain restrictions

iterate: reduce CNAME length limit: 40 -> 13

Unbound has limit 10, and practically useful numbers are way lower.

iterate: fix limit on CNAME chain length

The accounting was just broken and overly messy anyway.

Merge !896: daemon: support dropping capabilities

NEWS: mention dropping capabilities

distro/*: add libcap-ng dependency

systemd/nosocket: use capabilities

daemon/main: add libcap-ng support to drop capabilities

Merge branch 'perf-lua-ffi_cleaned' into 'master'

performance: lua-related improvements

See merge request knot/knot-resolver!874

modules/ta_signal_query: optimize

Basically the same as the parent commit (just much simpler).

modules/ta_sentinel: optimize

When all lua modules get unloaded, this change makes the module's
contribution to QPS unmeasurable (for me), saving a few percent.
The point is to almost always return very cheaply, in particular without
creating any lua GC object (like FFI for kr_query).

Note: some checks didn't make much sense, so I improved those as well.

modules/policy: optimize special domain processing

Running the full special-domain checks is relatively expensive.

modules/policy: optimize postrules

I've never seen anyone use postrules.

lua FFI: avoid frequent usage of lua_pushpointer()

The new way of transitioning to layer callbacks - done because of
portability (mainly to aarch64) - is a bit expensive.  This is a simple
way of recovering that cost.  Merge 603a24f regressed speed a bit.

Merge branch 'packaging-fixes' into 'master'

Packaging fixes

See merge request knot/knot-resolver!895

systemd: add proper User/Group

The Group= settings was ommited and default group of User= was
implicitly used. Now the group set at build time is respected.

GC didn't respect the user/group set at build time at all.

distro/*: http module requires the same knot-resolver version

Previously, it was possible to update just "knot-resolver" even
when the "knot-resolver-module-http" package was installed, or the
other way around.

Merge branch 'ci-timeout' into 'master'

ci: increase test timeout

See merge request knot/knot-resolver!897