dnsdist: Prevent copies when updating the State Holder

Use move semantics when updating the content of the StateHolder

dnsdist: adjust lmdb usage for shared_ptr

auth api: after a db lookup, always finish the get cycle

Merge pull request #8524 from rgacogne/ddist-lowercase-dynblocksmt

dnsdist: Lowercase the name blocked by a SMT dynamic block

lmdbbackend: use nested transaction in list() when possible/needed

pdnsutil add/replace record: do not end transaction before we are done with it

lmdbbackend: use nested transaction in lookup() when possible/needed

consistent spelling

qname metrics

LMDB: Update lmdb-safe and make the backend compile

This updates lmdb-safe to
https://github.com/ahupowerdns/lmdb-safe/pull/6 at
7ce9a821412480c699ce73e85d8bbafa2a9535e5

Merge pull request #8531 from phonedph1/patch-18

dnsdist: Update dnsdist-console.cc

Auth: Remove local-ipv6 setting

Treat listen address as equally as possible. This removes a bunch of
duplicate code.

Update dnsdist-console.cc

dnsdist: Add the number of received bytes to StatNode entries

Merge pull request #8521 from omoerbeek/rec-quit-nicely-8347-retry

rec: Make threads run until asked to stop.

Explicitly initialize RecursorControlChannel::stop

ednsmap might be cleared while yielding; so reassign pointer.

Switch away from a ref to a pointer because of above and use modern
init for EDNSStatus.

Merge pull request #8522 from rgacogne/ddist-statnode-noerrors-drops

dnsdist: Add bindings for the noerrors and drops members of StatNode

Merge pull request #8526 from rgacogne/ddist-prefer-server-order

dnsdist: Prefer the cipher suite from the server by default (DoH, DoT)

If modeSetAt is zero, we never updated the entry and it can go.

Also purge t_sstorage.ednsstatus and include edns size in the periodic report.

dnsdist: Prefer the cipher suite from the server by default (DoH, DoT)

This setting should only be set when all ciphers offered by the server
are considered secure, and our default suite still has a few options
offered for compatibility reasons, which might not be as secure as
other alternatives.
Apparently this also causes issue for some clients, even though it
should not matter.

man page bits

Purge map of failed auths periodically by keeping a last changed timestamp.

SyncRes thread local storage includes a map of failed auths which was
only cleaned if a specific IP was contacted again and that contact
succeeded. Persistent failing auths or auths that are never tried
again remained in the map.

While here add code to dump the failed servers map. Might (partially?)
solve #7771.

dnsdist: Lowercase the name blocked by a SMT dynamic block

This does not change the existing behavior since we are doing a
case-insensitive comparison but it's nicer when generating metrics
about the dynamic block rules.

dnsdist: Use env toggles to disable some regression tests in Travis

dnsdist: Add env toggles to disable some regression tests

dnsdist: check-config now warns about DoH in plain HTTP mode as well

dnsdist: check-config now parses newServer's options, update our tests

dnsdist: Separate the check-config and client modes

In client (and single command) mode we do not care too much about
parsing the syntax of commands that do not relate to the console
itself, and we do not want to create sockets and touch files on the
local filesystem while parsing the configuration.
In check-config mode, however, we want to parse as much configuration
directives as possible, and we to generate some files that might be
required to validate the rest of the configuration (DNSCrypt
certificates and keys, OCSP responses..).

This PR separates the two modes and tries to skip only the following
parts when in check-config mode, compared to 'normal' configuration
parsing:
- we still parse and create objects when processing 'add*Local()'
  and 'set*Local()' directives, since the actual binding is delayed
  anyway ;
- we do not connect the outgoing sockets toward our backends ;
- we do not create Protocol Buffer or DNSTap outgoing connections ;
- we do not start the console, SNMP or webserver threads.

dnsdist: Implement parallel health checks

dnsdist: Add bindings for the noerrors and drops members of StatNode

dnsdist: Correctly account actively discovered timeouts in StatNode

Cleanup some global resources.

With this (on a short run):

==13452== HEAP SUMMARY:
==13452==     in use at exit: 0 bytes in 0 blocks
==13452==   total heap usage: 54,657 allocs, 54,657 frees, 14,008,997 bytes allocated

Make threads run until asked to stop.

This is safer since the atexit handler is not ran while threads are
still active. Also, when using valgrind we get more clean leak reports.

Retry if the accidentally merged #8518 that was reverted.

Merge pull request #8520 from omoerbeek/rec-8020-docs-fix-retry

rec: markup fix

Markup fix

Merge pull request #8519 from PowerDNS/revert-8518-rec-8020-docs-fix

Revert "Rec 8020 docs fix"

Revert "Rec 8020 docs fix"

Merge pull request #8518 from omoerbeek/rec-8020-docs-fix

Rec 8020 docs fix

Fix markup

Deb: Remove Ubuntu Trusty build files

Trusty is End of Standard support since April 2019.

Merge pull request #8425 from Habbie/pdnsutil-ed448

pdnsutil: correctly report ed* algo availability

Merge pull request #8436 from mind04/pdns-remove-lua

auth: remove lua backend

Merge pull request #8440 from cmouse/shadow

Fix -WShadow warnings

Merge pull request #8477 from omoerbeek/rec-enable-qname-min

rec: enable qname minimization

Join the worker thread in the unthreaded case as well, there is actually 1 thread plus
the main thread in that case.

sig_atomic_t is defined in signal.h

Make threads run until asked to stop.

This is safer since the atexit handler is not ran while threads are
still active. Also, when using valgrind we get more clean leak reports.

Typos in comments

Enable qname minimization by default.

To be able to do that, make sure that qnames that are forwarded or
in and authzone are handled without QM.  Also, some tests are dependent
on specific queries or responses, disable QM for them.

Merge pull request #8511 from omoerbeek/rec-8020-dnssec

Rec: do RFC 8020 only if cache entry is dnssec validated

Zap unsued code in test

Doc tweaks

Test case for 8020 with dnssec enabled

Merge pull request #8510 from omoerbeek/rec-rootnszones-mthread-safe

rec: Avoid mthread race when using the set of rootNSZones.

Avoid mthread race when using the set of rootNSZones.

Merge pull request #8509 from zeha/typos

Fix typo: settting to setting

Fix typo: settting to setting

Found by Debians lintian.

Even for HardenNXD::Yes we don't want to believe Bogus NXDOMAINs.

Updated docs for nothing-below-nxdomain

Less aggressive 8020: by default only cut at NXDOMAIN if the entry is Secure.
We might want to explicitly validate Inderminate records if needed.
That code is not written yet.

Merge pull request #8289 from Habbie/pdnsutil-increase-serial-inception-epoch

 pdnsutil increase-serial: under SOA-EDIT=INCEPTION-EPOCH, bump as if it is EPOCH

Merge pull request #8235 from Habbie/dyn-dup-ptr

rfc2136, pdnsutil: somewhat improve duplicate record handling

don't apply /zones dnssec=false test to recursor

add test for dnssec=false

document /zones dnssec parameter

Support optional ?dnssec=false flag on listing zones

Defaults to true, so the behaviour is unchanged in 4.x.

API: do not return dnssec info in domain list

Merge pull request #8492 from rgacogne/max-generate-steps

Add a parameter to limit the number of '$GENERATE' steps

docs: s/RedHat/Red Hat/

auth: api: do not run soaedit or rectify for disabled zones

rec: Disable '$GENERATE' when loading trust anchors files

rec: Enforce max-generate-steps when loading RPZ files

auth: Disable '$GENERATE' in comfun, ixfrdist, ixplore

auth: Fix compilation of comfun (ambiguous make_unique call)

Allow disabling '$GENERATE' in ZoneParserTNG

Add a parameter to limit the number of '$GENERATE' steps

auth: api: patchZone() was ignoring the default-api-rectify setting

auth: api: purge the entire zone from the cache after a patch operation.

casemix test: ignore SOA content because it changes every day

Merge pull request #8457 from mind04/pdns-api

auth: api: avoid a large number of new database connections

Merge pull request #8418 from pieterlexis/deb-load-keys-from-disk

Deb: Load DNSSEC Keys from disk by default

improve code readability

document INCEPTION-EPOCH exception

Merge pull request #8488 from rgacogne/ddist-140-rc5-changelog-secpoll

dnsdist: Update secpoll zone and ChangeLog for 1.4.0-rc5

pdnsutil increase-serial: under SOA-EDIT=INCEPTION-EPOCH, bump as if it is EPOCH, fixes #8218

add clarifying comment

Do not log SKIP on each packet when PC is disabled.

Merge pull request #8482 from rgacogne/rec-dnstap-clean

rec: Add generated dnstap.pb.{cc,h} to the 'clean' target

Merge pull request #8472 from rgacogne/remote-deprecated-floating_point_comparison

Remove deprecated floating_point_comparison.hpp header

Merge pull request #8489 from Habbie/circleci-small

circleci: use small resource class where possible

add hugettl test

2 lines of hotness to fix extra long ttls

circleci: use small resource class where possible

dnsdist: Update secpoll zone and ChangeLog for 1.4.0-rc5

pdnsutil: correctly report ed* algo availability

Merge pull request #8483 from omoerbeek/regress-tests-pip-no-progressbar

Pipe the output of pip to cat, so it produces no progress bar

auth: on luaSynth exception, drain db output. Fixes #8299