Add key check on `pdnsutils hsm assign`

Rename `DNSCryptoKeyEngine` `checkKeys()` method to `checkKey()`

auth: Move key validity check out of `fromISCMap()`

It doesn't make a lot of sense to check the key validity at every
call of `fromISCMap()`, and it hurts performance a lot when keys
are not cached.

* Add separate `DNSSECKeeper::checkKeys()` and
`DNSCryptoKeyEngine::checkKeys()` methods
* Key validity is checked on import-zone-key, check-zone and
test-algorithm(s)

auth: Add TTL settings for DNSSECKeeper's caches (key, medatada)

Merge pull request #3805 from ahupowerdns/depurl

remove purl.js: outdated & unused

Merge pull request #3797 from pieterlexis/issue-270-Version-for-tools

Add --version and --help to all the tools

outdated & unused

Merge pull request #3803 from ahupowerdns/logger-fixes

Logger fixes

Merge pull request #3804 from rgacogne/rec-leak-validate

rec: Fix a memory leak in DNSSEC validation

rec: Fix a memory leak in DNSSEC validation

`DNSCryptoKeyEngine::makeFromPublicKeyString()` returns a naked
pointer to a new object.

Merge pull request #3801 from rgacogne/rec-lua-rcodes

rec: Add missing Lua rcodes bindings

further logging silencing

this wins no prizes - our protobuf logger is used both in dnsdist and recursor and sometimes needs to log. We previously did that to cerr since dnsdist and recursor have different logging promitives. This adds #ifdef based support for both. It works, is the best I can say about it.

rename a bunch of things

move stub code into stubresolver.cc/hh

honor qtype

rec: Add missing Lua rcodes bindings

Closes #3717.

Merge pull request #3798 from Habbie/requests-version

specify requests 2.9.2 to work around a bug in linkchecker

specify requests 2.9.2 to work around a bug in linkchecker

Merge pull request #3794 from pieterlexis/rm-validDNSName

Remove the ancient validDNSName function

Add sdig manpage to pdns-tools deb

Add --help and --version to sdig

Add ixplore manpage to docs website

Add --version to zone2sql

Add --version to zone2ldap

Add --version to zone2json

pdns_recursor: Exit friendly on --version

Add --help and --version to nsec3dig

Add nproxy manpage, ship nproxy in pdns-tools deb

Add --version to nproxy

Add --help and --version to ixplore

Add notify manpage

Add --help and --version to notify

Add dumresp manpages and add dumresp to pdns-tools

Add --help and --version to dumresp

Add --help and --version to dnswasher

Add --version to dnstcpbench

Add --version to dnsscope

Add --help and --version to dnsscan

Add --version to dnsreplay

Add --version and --help to dnsgram

make dnspcap spit out the filename on error

Add --help and --version to dnsbulktest

Add calidns manpage and add to pdns-tools

Merge pull request #3795 from kaosdrachen/patch-1

Fixed a typo

Add --help and --version to calidns

Fixed a typo

Line 284: unset-pushish-cds --> unset-publish-cds

Add --version to pdnsutil

Add --version to rec_control

Merge pull request #3752 from pieterlexis/issue-3682-DNSSEC-processing

recursor: DNSSEC related query flag processing

Merge pull request #3662 from klaus3000/soa_serial_0

handle SOAs with serial 0 correctly in incoming AXFR

Merge pull request #3754 from rgacogne/dnsdist-custom-headers

dnsdist: Allow the use of custom headers in the web server

Merge pull request #3772 from pieterlexis/issue-3738-cap-servfail-ttl

Cap packetcache-servfail-ttl to packetcache-ttl

Remove the ancient validDNSName function

It was unused anyway, closes #213.

Merge pull request #3789 from rgacogne/dnsname-negative-labellen-ispartof

Add consistency checks to segmentDNSNameRaw()

Merge pull request #3792 from pieterlexis/dnssec-regression-part-3

More DNSSEC tests and a RRSIG validation fix for wildcards

Add DNSSEC tests for cnames to/from (in)secure

Add simple NODATA tests

Add 2 wildcard CNAME tests

recursor: Correctly validate wildcard RRSIGs

Add DNSSEC wilcard test

Add 2 tests with subtrees inside a secure zone

To test if the recursor actually validates RRSIGs with a signer name
that is not directly a parent of the name to validate. i.e. validates
signer name = 'domain.example' and record owner name =
'some.sub.domain.example'

Merge pull request #3784 from mind04/soa-cache-master

fix SOA caching with multiple backends

Merge pull request #3788 from mind04/mysql-timeout

make mysql timeout configurable

Add consistency checks to segmentDNSNameRaw()

This fixes most issues found by fuzzing loadRPZFromFile() with
American Fuzzy Lop.

Throw on negative label length in `DNSName::isPartOf()`

Found with American Fuzzy Lop and Address Sanitizer.

Merge pull request #3765 from pieterlexis/update-yahttp

Update yahttp

Merge pull request #3766 from rgacogne/packetparser-min-offset

Add a minimum offset parameter to DNSName

Merge pull request #3768 from rgacogne/afl-crash-fixes

Fix various crashes

Merge pull request #3773 from rgacogne/dnsdist-web-req-resp

dnsdist: Stop copying the request headers to the response

Merge pull request #3786 from pieterlexis/recursor-dnssec-part-2

More DNSSEC tests

Add basic NSEC and NSEC3 tests

Add a zone with NSEC3-optout for the NSEC3 tests

Add timing based DNSSEC tests

Note: the `faketime` program does not clean up its childprocesses
properly (possibly in combination with authbind), hence we LD_PRELOAD it
and supply the faketime through the environment.

non opt-out nsec3

make mysql timeout configurable

Merge pull request #3767 from ahupowerdns/dnsdist-yaks

Please ponder: nodelay, console newlines, print out json, silence some trivia, move to 'return' for Lua statements

Merge pull request #3783 from rgacogne/type-conversion-fixes

Fix type conversions, add some checks

Merge pull request #3779 from rgacogne/dnsname-afl-crash-unsigned

Use unsigned char* in getRawLabels() and countLabels()

Merge pull request #3785 from ahupowerdns/nsec3fix

process nsec3 insecure delegation

process NSEC3 insecure delegation, closes #3675

enable function to hash qnames w/o having the NSEC3PARAM ready

fix SOA caching with multiple backends

Fix type conversions, add some checks

There is no known bug involved, only hardening.

Use unsigned char* in getRawLabels() and countLabels()

Otherwise we treat values larger than INT8_MAX as negatives
in pointer arithmetic.
Found with American Fuzzy Lop and Address Sanitizer.

Merge pull request #3707 from brynjare/patch-1

Increase MySQL client timeouts from 10 seconds

dnsdist: Stop copying the request headers to the response

cap packetcache-servfail-ttl to packetcache-ttl

This prevents surprises when packetcache-ttl is set to 0, but servfails
are still served from the cache. Closes #3738.

fix up newlines in console mode, move to 'return *line*' and if that is a syntax error, execute '*line*', also print out simple Lua tables as JSON

silence where we read the config file from except in verbose mode

Add a minimum offset parameter to DNSName

PacketReader does not copy the header part of the DNS message,
therefore DNSName needs to be aware of the minimum valid offset
in order not to follow a pointer to an offset < sizeof(dnsheader),
as other callers expect every non-negative offset to be valid.
Found with American Fuzzy Lop and Address Sanitizer.

Update yahttp, closes #3723

hook up nodelay, silence output 'connecting to..' unless --verbose

setTCPNoDelay() for dnsdist console. Yak.

getAction(n) for n >= number of rules now properly returns nil instead of crashing

Add AD flag to queries in the simple tests

Only process CD flags in a dnssec mode

Treat AD bit in query header correctly

Stop skipping tests

correctly test for cd absense with dnssec=off

recursor: Add DNSSEC testing infrastructure and tests (#3741)

* Add rec dnssec test infra and initial tests

* Allow running an auth server

during the recursor regression tests.

Also add some boilerplate code so we can add DS records and root hints

* wip

* Add more infra to secure zones etc. wellKnown test passes, simple needs work

* Add own assertions, fix tests (all pass!)

* Hookup recursor DNSSEC tests to travis

* Add separate teardown classes

* Add a bogus zone

* Add tests for flag handling of the recursor

In preparation for #3682

And some new assertions

* Add flags test for bogus domains

* Lower startup delay

* refactor zones and keys

* Make pylint happy

* fix travis

* Disable WellKnown tests, they fail on travis

* WIP

* Add flag tests for insecure zone

* Change domain names to documentation names