dnsdist: Support the NXDomain action with dynamic blocks

rec: automatically reload trust anchors from file

This allows external processec to update TA's without having to restart
the recursor.

pdns-recursor: properly handle exceptions thrown from lua-recursor4

directResolve function is used by lua-recursor4 in various callbacks. As
a result an exception thrown from this function is caught in generic
exception handlers at the end of startDoResolve (pdns_recursor).
Specifically, ImmediateServFailException is caught in the catch-all
exception handler, which obscures the origin of the error.

This commit adds handling of all exceptions inside directResolve and
converts them to error code (-1). This way, an exception in this
function is handled properly in startDoResolve and ServFail is sent
downstream.

To clarify, in case of exception the return DNSRecord vector is cleared
to make sure that old behavior is preserved, when in case of exception
the vector was not referenced in any way.

auth: Print the content of pdns.log when the regression tests fail

Merge pull request #7070 from r-bk/fix_memory_leak_in_catch_all_block

pdns-recursor: avoid a memory leak in catch-all exception handler

dnsdist: Retry CI

dnsdist: Confirm presentation of valid UTF-8 in trailing data as individual octets

dnsdist: Add tests for unsafe and/or non-ASCII trailing data

dnsdist: Expose trailing data as a Lua string

dnsdist: Try to appease CI

dnsdist: Duplicate new DNSQuestion Lua bindings on DNSResponse

dnsdist: Document new Lua methods

dnsdist: Add lua binding for setting trailing data

dnsdist: Add test for setting trailing data

dnsdist: Add lua binding for reading trailing data

dnsdist: Add test for reading trailing data

dnsdist: Refactor trailing data tests

dnsdist: Clarify that DynBlock's warning rates can't be used alone

Merge pull request #7062 from rgacogne/dnsdist-tls-stored-sessions

dnsdist: Add a setting to control the number of stored sessions

pdns-recursor: avoid a memory leak in catch-all exception handler

This commit prevents a leak of DNSComboWriter in the catch-all exception
handler.

Use unique pointers in the OpenSSL signer

Do the edns dumping harder.

dnsdist: Check 'numberOfStoredSessions' >= 0, dismiss otherwise

dnsdist: Add a setting to control the number of stored sessions

Merge pull request #7064 from rgacogne/dnsdist-tls-accept-leak-smart

 dnsdist: Wrap GnuTLS and OpenSSL pointers in smart pointers

dnsdist: Wrap GnuTLS and OpenSSL pointers in smart pointers

Merge pull request #7060 from rgacogne/dnsdist-tls-accept-leak

dnsdist: Release memory on DNS over TLS handshake failure

Merge pull request #7054 from mind04/doc-warnings2

auth: fix all warnings in the docs

Merge pull request #7057 from mind04/sd-scopemask

auth: scopeMask in the SOAData structure is unused after #5512

rec: Add `ReadTrustAnchorsFromFile` function

This allows the recursor to read the output file from `unbound-anchor`
and use these kind of files for trust anchors. This will enable
distributions to ship DNSSEC anchors with their system and use them.

dnsdist: Remove potential double-free in GnuTLS session tickets error handling

during SOA-check response processing make sure to only accept SOA records
if their label is identical to the requested domain.

reject NXDOMAIN response during SOA-check

Without this patch PowerDNS even parses NXDOMAIN responses and falsely uses
wrong SOA records, i.e. the SOA record of a parent zone in authority section
when answering with NXDOMAIN.

dnsdist: Also catch exceptions not derived from std::exception

dnsdist: Release memory on DNS over TLS handshake failure

rec: document `clearNTA`, `clearDS` and `clearNTA`.

rec: add `addTA` and `clearTA` for Lua config

These will replace `addDS` and `clearDS` in the future.

Merge pull request #7055 from phonedph1/rpz-log

rec: RPZ - Include zone name in loading and indexed message

rec: remove the old dnssec root key, goodbye 19036 ....

provide some context as to which zone

geoipbackend: Handle read error for config file

Merge pull request #7053 from mind04/doc-warnings

rec: fix all warnings in the docs

auth: scopeMask in the SOAData structure is unused after #5512

auth: fix a warining in the docs

auth: remove duplicate dns update section from the backend-writers-guide

rec: fix some warnings in the docs

Merge pull request #7050 from mind04/el6-boost

auth: fix el6 build with default boost

Merge pull request #7025 from Habbie/remove-api-logfile

remove api-logfile flag and grep API endpoint

Merge pull request #7046 from ahupowerdns/dynupdate-log-improv

slightly improve rfc2136 error message on failed prerequisite: what name

Merge pull request #7040 from Habbie/builder-el6

make auth builder work on el6

Merge pull request #7028 from jsoref/travis-dangling-symlinks

Travis dangling symlinks

auth: fix el6 build, histograms are too sophisticated for boost 1.41

package tools now supported due to boost upgrade

switch to devtoolset-7

slightly improve rfc2136 error message on failed prerequisite: what name

Merge pull request #7042 from ahupowerdns/multi-rpz-doc

document how multiple RPZs are consulted

Merge pull request #7044 from rgacogne/rec-test-syncres-conflict-fix

rec: Fix a compilation issue in the SyncRes unit tests

rec: Fix a compilation issue in the SyncRes unit tests

Introduced by a conflict between #6708 and #6979.

leave the default boost for el7

document how multiple RPZs are consulted

remove -std=gnu++0x

make auth builder work on el6

Merge pull request #6979 from rgacogne/rec-cname-authority

rec: Authority records in AA=1 CNAME answer are authoritative

Ensure all the bits in a generated TSIG key are filled

Merge remote-tracking branch 'origin/master' into api-tsig-keys

Merge pull request #6962 from rgacogne/nmt-faster-removal

Store NetmaskTree nodes in a set for faster removal

Merge pull request #7034 from pieterlexis/doc-fix

Fix several sphinx warnings in the dnsdist docs.

Merge pull request #7032 from pieterlexis/rm-delaypipe-from-auth

Move delaypipe tests from auth to dnsdist

Merge pull request #6969 from ahupowerdns/loglog2018

a clean re-do of an earlier PR to add the glorious log-log histograms

Merge pull request #7015 from rgacogne/dnsdist-protobuf-serverid

 dnsdist: Add support for exporting a server ID in protobuf

Merge pull request #7027 from jsoref/readme-debian-9

Update readme for debian 9

Merge pull request #7030 from ahupowerdns/dnsdist-tcp-speedup

dnsdist did not set TCP_NODELAY, causing needless latency

Merge pull request #7017 from ahupowerdns/txt-escape-127

Make sure we escape 127 in TXT records

Merge pull request #7029 from pieterlexis/pdns-builder-version

pdnsbuilder: Make the version number even better

Fix several sphinx warnings

Enable unit tests for dnsdist in EL builds

Remove delaypipe testing from auth

Move it to dnsdist, this is the only place where it is used.

use already available function in misc.cc instead of setsockopt

Merge pull request #4598 from zilopbg/soa-fix

auth: Add support for "NONE" SOA-EDIT kind

dnsdist did not set TCP_NODELAY, causing needless latency
Winfried and others noted that our TLS responses were super slow. This turned out to be caused by the Nagle
algorithm which we failed to disable. https://en.wikipedia.org/wiki/Nagle%27s_algorithm

fix up reallylate count problem as spotted by @ph1

Add Ubuntu Cosmic Cuttlefish build target

travis: complain about dangling symlinks

Update readme for debian 9

configure: enable-dnstap

remove a bit less

remove more

nit

nit

remove api-logfile flag and grep API endpoint

Merge pull request #7023 from ahupowerdns/dnsdist-metrics-docs

Clarify meaning of dnsdist statistics

Merge branch 'master' into loglog2018

Clarify meaning of dnsdist statistics
The various statistics kept by dnsdist do add up to a coherent picture, this PR documents how.

Merge pull request #6708 from rgacogne/rec-pb-types

rec: Support exporting more record types via protobuf

Merge pull request #6997 from pieterlexis/thread-names

Name threads in the programs

Merge pull request #6727 from pieterlexis/alias-servfail-on-nxd

ALIAS: Respond SERVFAIL on non-NOERRORs from resolver

Merge pull request #6910 from pieterlexis/openssl-eddsa

Add support for OpenSSL 1.1.1's ed25519 and ed448 for signing and verifying

configure: with-re2

configure: with-libssl

configure: with-libsodium