knotd: EDNS cookies - fix missing server cookie over TCP connection

Knot.includes: add all source directories

Merge branch 'kzonesign_verify' into 'master'

kzonesign: implemented zone verify

See merge request knot/knot-dns!1199

kzonesign: implemented zone verify

tests-extra: ctl/basic -- call zone-purge in the blocking mode

Merge branch 'geoip-checks' into 'master'

Geoip checks

Closes #778

See merge request knot/knot-dns!1407

tests: test pre-check of mod-geoip configuration

knotc: conf-check checks also configuration database

geoip: check the module configuration file during the general configuration checks

geoip: move geodb-key checks to geoip_conf_check()

ctl/purge: add a simple error logging

libdnssec: fix memleak when pkcs8_import_key() fails

Merge branch 'rrsig_refresh2' into 'master'

Rrsig-refresh2

See merge request knot/knot-dns!1404

dnssec: warn when rrsig-refresh configured explicitly

dnssec: enforce safe rrsig-refresh

Merge branch 'unit_test_segfault' into 'master'

tests: fail if some test segfaults or killed

See merge request knot/knot-dns!1406

tests: fail if some test segfaults or killed

Merge branch 'conf_groups_fix' into 'master'

Replace defective conf_mix_iter() with conf_mix_iter_init()

See merge request knot/knot-dns!1405

Merge branch 'unreachables' into 'master'

Unreachable remotes

Closes #383

See merge request knot/knot-dns!1395

conf: replace defective conf_mix_iter() with conf_mix_iter_init()

Merge branch 'conf_groups' into 'master'

Remote groups

See merge request knot/knot-dns!1403

knotd: add 'remotes' section and allow mixed references of remotes

conf: add support for mixed references

kdig: fix empty server in program arguments

knot: change server.remote-retry-delay units from seconds to milliseconds

unreachables: use list_t and unlimited number of remotes

unreachables: also consider local 'via' address

requestor: return proper errcode when send fails

implemented tracking of unreachable remotes

conn-pool: ignore source port in conn_pool_get() in case if set

doc: update key log order during key rollovers

Merge branch 'rrsig_refresh1' into 'master'

dnssec: rrsig-refresh: warn if too low

See merge request knot/knot-dns!1402

dnssec: rrsig-refresh: warn if too low

Merge branch 'ds_push_ttl' into 'master'

DS push: use DNSKEY TTL for parent DS

See merge request knot/knot-dns!1401

DS push: use DNSKEY TTL for parent DS

Merge branch 'nsec3_iters_check' into 'master'

NSEC3 iterations defaults to 0

See merge request knot/knot-dns!1400

conf: change the default number of NSEC3 iterations to 0

conf: add check on using the default number of NSEC3 iterations

Merge branch 'offline_ksk_alg_roll' into 'master'

tests: scenario of alg roll with offline KSK

See merge request knot/knot-dns!1399

tests-extra: enable ldns-verify-zone for alg rollovers (it works with new versions)

tests: scenario of alg roll with offline KSK

libknot/dname: improve knot_dname_lf() output description

mod-dnstap: Fix corner case in "Restore the original query QNAME case"

Previously, after "mod-dnstap: Restore the original query QNAME case",
the dnstap module would copy the original QNAME into the query packet
buffer passed to the dnstap module, so that the originally cased query
message would be written out to the dnstap logging stream.

However, there are error conditions that can result in the query
packet's 'qname_size' field being updated to a non-zero value (the
question section was successfully parsed), but the packet was ultimately
rejected.

In the prepare_answer() function in src/knot/nameserver/process_query.c,
there are several error return paths that prevent the 'orig_qname' field
from being written by the call to memcpy(). In this case, the
'orig_qname' field in the corresponding knotd_qdata_extra_t object will
remain at an initialized (zeroed out) value.

Before this patch, in some cases (e.g. in responses to some queries that
return FORMERR), mod-dnstap would overwrite the QNAME in the query
packet buffer with 'qname_size' bytes from the 'orig_qname' field. With
'qname_size' set to a non-zero value (due to successful parsing of the
QNAME) but with 'orig_qname' set to its original initialized (zeroed
out) value, this would result in zeroing out the QNAME in the query
packet buffer. This would then result in writing a corrupted query
message into the dnstap logging stream.

Since mod-dnstap writes directly to the query packet buffer rather than
making a copy, this corruption would also be visible to modules
executing after mod-dnstap as well as the rest of knotd.

This patch updates mod-dnstap's msg_query_qname_restore() so that it
avoids copying the original QNAME into the query packet buffer if the
'orig_qname' field has been left in its initialized (zeroed out) value.

fixes #777

Merge branch 'ctl_zones_log' into 'master'

Log the control command for all zones specified (not just the first one)

Closes #776

See merge request knot/knot-dns!1397

ctl: log the command for all zones specified (not just the first one)

keymgr: set brief mode by default and add verbose mode for disabling

Option --brief is now deprecated.

dnsproxy: add optional source address match option

Merge branch 'sign_pipeline_refactor' into 'master'

Sign pipeline refactor

See merge request knot/knot-dns!1396

dnssec: implemented re-salt option on every ZSK roll occasion

tests: test of incremental signing when re-sign is pending

dnssec: simplified incremental sign

dnssec: signing pipeline code refactoring

Merge branch 'ubuntu2110' into 'master'

tests: compatibility with new Bind

See merge request knot/knot-dns!1393

conn-pool: add missing pthread_join() to conn_pool_deinit()

tests: compatibility with new Bind

Knot.includes: keep just the 'src' directory

Merge branch 'conn_pool' into 'master'

Outgoing connection pool

See merge request knot/knot-dns!1382

conn-pool: add remote-pool-limit reconfiguration check

conn-pool: hide conn_pool_get_old()

conn-pool: replace conn_pool_put_force() with conn_pool_put()

conn-pool: only keep conn when request finished and ok

conn-pool: dont reuse conns that have pending data

implemented pool of opened outgoing conenctions

spelling

Signed-off-by: Josh Soref <jsoref@users.noreply.github.com>

scripts: add probe_dump.py

python: various probe improvements

scripts: extend Makefile.docker

- Enabled fastparser
- Temporarily disabled unittests (dthreads test fails on armhf)
- Added release tag

Dockerfile: add options and improve building

- New option FASTPARSER=disable|enable
- New option CHECK=disable|enable for unittests execution
- Explicit CFLAGS="-g -O2 -DNDEBUG -D_FORTIFY_SOURCE=2 -fstack-protector-strong"
- Added --enable-dnstap

kzonesign: refactoring, add support for confdb and auto detection

utils: unify error logging

utils: unify and refactor error processing

doc: hightlight impact on XFR for tcp-io-timeout

tcp-handler: improve debug message when tcp-io-timeout is reached

load: add zone file name to info/error log message

Merge branch 'xfr_failovers' into 'master'

Xfr failovers

See merge request knot/knot-dns!1385

zone: don't log remote not usable if local error

fixed minor memleak when zone-in-journal serialization fails

fixed minor memleak when full update fails writing journal

refresh: carefully decide axfr/address/remote failover

Merge branch 'dynarray_changes' into 'master'

dynarray: remove even duplicate items

See merge request knot/knot-dns!1392

tests: dynarray -- test removal of duplicate items

dynarray: when removing an item by replacing it with the last one, check that item too

This prevents a situtation when the deleted item may repeat in the array.
This solution is based on the assumption that the duplicate entries are rather rare.

Merge branch 'kdig_nitpicks' into 'master'

Kdig nitpicks

See merge request knot/knot-dns!1389

kdig: +noretry means zero retries

kdig: interpret zero timeout as infinity

kdig: fix documented default EDNS bufsize

Merge branch 'ci-new-distros' into 'master'

ci/distrotests: add new fedora,ubuntu

See merge request knot/knot-dns!1391

ci/distrotests: add new fedora,ubuntu

Merge branch 'unittest_ed448' into 'master'

tests: added unit tests of libdnssec with ed448 alg

See merge request knot/knot-dns!1390

tests: added unit tests of libdnssec with ed448 alg

Merge branch 'zonemd_remove' into 'master'

zonemd: option to systematicly remove

Closes #760

See merge request knot/knot-dns!1386

zonemd: option to systematicly remove

Merge branch 'ds_push_cname' into 'master'

DS push: fix querying parent SOA if CNAME present at non-terminal

See merge request knot/knot-dns!1387

DS push: fix querying parent SOA if CNAME present at non-terminal

conf: prefetch server.nsid value

fixes #774

conf: update hostname from conf_new() only

This avoids problems with future changes and reduces overhead of conf_clone()

configure: get the absolute path to modules without use of readlink

configure: use the readlink command in a way compatible with macOS

While there, fix the use of space containing paths in this operation.

dnstap: add missing include

mod-dnstap: Restore the original query QNAME case

Previously, mod-dnstap would log query messages with downcased QNAMEs,
because knotd had already downcased the QNAME in the query packet buffer
passed to the dnstap module. This is not necessarily the same as the
original DNS wire query message if any uppercase letters were used in
the QNAME.

The knotd_qdata_t object already stores the original QNAME before
downcasing in the 'extra' field, which is inaccessible to query modules.
This commit introduces a new 'knotd_qdata_orig_qname()' function that
query modules can call to access the original QNAME.

This commit updates the mod-dnstap message logging code to patch the
buffer used for the wire message behind the 'query_message' field in the
dnstap protobuf message by copying the original QNAME back into the
query packet buffer, and then re-downcasing the QNAME in the query
packet buffer after the dnstap protobuf message has been serialized.
(This avoids the overhead of allocating space for a copy of the query
packet, making a copy of the packet, and performing the QNAME
restoration on the copy.)

fixes #773