dnsdist: Split DNSCrypt encryption from sendResponse. Fix flags.

Splitting DNSCrypt encryption from the sendResponse functions to
avoid the ugly #ifdef'ed definitions.
Flags were not correctly restored for self-generated responses.

dnsdist: Refactor duplicated query handling code (UDP/TCP)

Merge the UDP/TCP code handling:

* dynamic blocks
* blockfilter
* rules

This fixes an issue with DNSCrypt, where cached responses were not
being encrypted.

dnsdist: Refactor duplicated response handling code (UDP/TCP)

Merge pull request #3564 from rgacogne/dnsdist-readn2-eagain

dnsdist: Add more information when readn2 fails because of EAGAIN

dnsdist: Add more information when readn2 fails because of EAGAIN

make sure ednsoptions.hh gets distributed, fixing build on our builder infrastructure, which builds from make dist

Merge pull request #3557 from rubenk/pdns-fix-building-on-osx

pdns: Fix build on OSX

nits

we lied in our description of secure-zone: we no longer add all those keys

pdns: Fix build on OSX

Using OpenSSL from Homebrew, by doing
./configure --with-openssl=/Users/ruben/homebrew/Cellar/openssl/1.0.2g

Results in:

Making all in pdns
/Library/Developer/CommandLineTools/usr/bin/make  all-am
  CXX      base64.o
base64.cc:7:10: fatal error: 'openssl/bio.h' file not found
         ^
1 error generated.

Merge pull request #3556 from rgacogne/dnsdist-tcp-max-queued

dnsdist: Add an option to limit the number of queued TCP connections

Merge pull request #3537 from rgacogne/rec-gettag-ecs

rec: Handle multiple EDNS0 Options in gettag

Merge pull request #3548 from rubenk/bump-copyright-year

Bump copyright year

Merge pull request #3551 from rubenk/include-endian-h-on-freebsd

Dnsdist: include <sys/endian.h> on FreeBSD

Merge pull request #3550 from rubenk/fix-build-failure-on-freebsd

Dnsdist: Fix build failure on FreeBSD

Merge pull request #3538 from rgacogne/dnsdist-api-tests

dnsdist: Add API regression tests

Merge pull request #3539 from rgacogne/dnsdist-fix-printing-empty-cache

dnsdist: Don't crash when calling cache functions with nil on the console

dnsdist: Add an option to limit the number of queued TCP connections

By default, if all TCP threads are busy we will queue incoming TCP
connections until the communication pipes are full.
In some setup, we might run out of file descriptors quickly,
causing new TCP connections but also health checks, web requests,
console connections to fail.
This new `setMaxTCPQueuedConnections()` option limits the number of
queued connections, dropping new ones when the threshold is
reached.

Merge pull request #3553 from ahupowerdns/fixbits

get number of key bits for presigned zone show-zone properly

get number of key bits for presigned zone show-zone properly

Dnsdist: include <sys/endian.h> on FreeBSD

Fixes:
In file included from dnsdist.hh:6:0,
                 from dnsdist.cc:23:
iputils.hh: In member function 'NetmaskTree<T>::node_type& NetmaskTree<T>::insert(const key_type&)':
iputils.hh:532:73: error: there are no arguments to 'be32toh' that depend on a template parameter, so a declaration of 'be32toh' must be available [-fpermissive]
       std::bitset<32> addr(be32toh(key.getNetwork().sin4.sin_addr.s_addr));
                                                                         ^

When building with g++

Dnsdist: Fix build failure on FreeBSD

YaHTTP needs Boost headers, and those are in /usr/local/include on FreeBSD.

Append BOOST_CPPFLAGS to AM_CPPFLAGS in configure.ac, so every Makefile uses them.
Also set the compiler flags globally, so that we compile yahttp with the same settings.

Fixes "/reqresp.hpp:7:10: fatal error: 'boost/function.hpp' file not found"

Bump copyright year

Merge pull request #3544 from pieterlexis/secpoll-rec-40-a2

Recursor 4.0.0 Alpha 2 secpoll

Recursor 4.0.0 Alpha 2 secpoll

rec: Handle multiple EDNS0 Options in gettag

Refactor the handling of EDNS0 Options parsing to use the same code
in dnsdist and the recursor (packet cache and gettag).
Closes #3516.

dnsdist: Don't crash when calling cache functions with nil on the console

Fix some minor issues in the README.

Merge pull request #3509 from rgacogne/dnsdist-tcp-cache

dnsdist: Check response validity over TCP, more cache fixes

Merge pull request #3524 from zeha/cleanup

Remove unused function simpleExpandTo - contuing the quest to have only one dns name parser in all of powerdns!

Merge pull request #3529 from pieterlexis/dnssec-off

Recursor: dnssec=off by default for now plus changelog update

Recursor: disable dnssec in the default config

This will be set to process after the dnssec implementation is more
bug-free.

Update recursor changelog

Properly print version in autoconf for releases

Merge pull request #3520 from janeczku/rec-stats-loglevel

pdns-rec: reduce log level of periodic statistics to notice

Merge pull request #3527 from ahupowerdns/atomic

make the recursor counters atomic, closes #1747

Merge pull request #3519 from ahupowerdns/ednssubnetblind

make sure our recursor cache is blind for edns subnet - THIS CODE NEE…

dnsdist: Add API regression tests

So we'll notice if we break the web server or the API.
This commit also cleans up the responses counter usage.
Because the counters are written to by the responder threads,
they are updated at the class level. We do not want to alter
them at the instance level, because that would create a new variable
at this level, disconnected from the other one, but we can still
read them from the instance level using 'self'.

Remove unused function simpleExpandTo

Merge pull request #20 from rgacogne/ednssubnetblind

rec: Handle more than EDNS option in our packet cache hashing

make the recursor counters atomic, closes #1747

fix up compilation for non-lua recursor

rec: Handle more than EDNS option in our packet cache hashing

We now skip an ECS option regardless of whether there are others
EDNS options before or after the ECS one, keeping the others
untouched.

Reduce log level of periodic statistics to Notice

astoundingly enough, our function based statistics counters were... 32 bits?!

improve error message on errors emanating from gettag

improve sdig error reporting (was an ABORT), closes #3517

make sure our recursor cache is blind for edns subnet - THIS CODE NEEDS TO BE IMPROVED @rgacogne

clarify a deficiency in our packet hashing in the presence of EDNS subnet options

only deal with (1) EDNS record

Merge pull request #3514 from ahupowerdns/propotag

propagate calculated packet cache tag to preresolve (the other hooks …

propogate calculated packet cache tag to preresolve (the other hooks could get it with a typing exercise)

Merge pull request #3513 from ahupowerdns/ednssubnetgettag

give gettag the ednssubnetmask too. Fix up logger to actualy log our …

Merge pull request #3512 from ahupowerdns/unlabel

wow yet another misnamed function attempting to encode DNS strings!

give gettag the ednssubnetmask too. Fix up logger to actualy log our enum.

wow yet another misnamed function attempting to encode DNS strings!

Merge pull request #3502 from tfarina/fix-3487

make second argument to pdnslog optional

Merge pull request #3510 from rgacogne/dnsdist-api-frontends

dnsdist: Add frontends to API

make second argument to pdnslog optional

This patch makes the |loglevel| parameter for pdnslog in Lua, optional.
If not specified the default log level will be Warning.

Fixes #3487

dnsdist: Add frontends to API

dnsdist: Check response validity over TCP, more cache fixes

- Add `unsetCache()` to remove the cache from a pool
- Check the response size before caching it, and make no
assumption when getting it from the cache
- Check that the response is larger than sizeof(dnsheader) over
TCP too
- Check that the response matches the query over TCP too, because
we reuse downstream connections

when pre-parsing qname for gettag in lua, catch exception and set tag to 0

Merge pull request #3508 from rgacogne/dnsdist-api-config-stats

dnsdist: Add statistics and config to API to make pdnscontrol happy

Merge pull request #3505 from PowerDNS/terrorobe-patch-1

minor nits in dnsdist webserver() documentation

dnsdist: Add statistics and config to API to make pdnscontrol happy

This is a very rough implementation to unify dnsdist with auth and
rec as far as pdnscontrol is concerned, by adding:
- /api/v1/servers/localhost/config
- /api/v1/servers/localhost/statistics

We'll need to refactor this at some point, maybe by merging with
ws-api.

minor nits in dnsdist webserver() documentation

Merge pull request #3504 from rgacogne/dnsdist-api-key

dnsdist: Allow accessing the API with an optional API key

Merge pull request #3500 from rgacogne/dnsdist-intro

dnsdist: Fix addServer() -> newServer() in introduction.md

Merge pull request #3501 from rgacogne/dnsdist-enhance-cache

dnsdist: packet cache enhancements

dnsdist: Allow accessing the API with an optional API key

The API key can be specified as an additional, optional parameter
to `webserver()`. If present in a X-API-Key header, it allows
access to the API URLs:
- /api/v1/servers/localhost
- /jsonstat

Others URLs are still only allowed through basic authentication.

dnsdist: Fix addServer() -> newServer() in introduction.md

Merge pull request #3498 from rgacogne/dnsdist-labellen

Fix parsing of invalid DNS names

Merge pull request #3499 from rgacogne/dnsdist-multi-carbon

dnsdist: Add support for multiple carbon servers

dnsdist: Allow the use of stale cache entries if no backend are available

And add more documentation and regression tests.

Merge pull request #3496 from ahupowerdns/do-3490

fix up #3478 - rhel6 compat

Merge pull request #3497 from ahupowerdns/more-cleanups

More cleanups - silence some common warnings, make servfail cache ttl explicit, deal better with 'responses with no question'

dnsdist: Add support for multiple carbon servers

Fix end computation in DNSName::packetParser

end was computed by

end = qpos + offset + len

but the offset is already included in len, as seen in the way
label compression is handled, by calling packetParser with the
same original position and len but an updated offset.

dnsdist: Fix a crash when adding an invalid packet to the cache

Reported by @rygl.

Merge pull request #3440 from pieterlexis/dnsdist-client-improvements

Client operation improvements for dnsdist

fix up #3478 - rhel6 compat

reinstate old behaviour that we do process authoritative responses that are header only to hasten the timeout

silence some common errors with log-common-errors=off

make it explicit that servfail packets get stored for servfail-packetcache-ttl seconds

please don't just replace atoi with pdns_stou - it does something different

Merge pull request #3494 from ahupowerdns/various-fixes

Various fixes: ignore unrequested EDNS Subnet, count DNSSEC queries, add recursor packet cache dumping & make it sequential in order

hook up recursor packet cache dumping to rec_control dump-cache

add a 'wants DNSSEC' metric to recursor

teach recursor packet cache to dump itself too for dump-cache

if you send us EDNS subnet information we did not ask for, ignore it. Increases cache hitrate for a popular CDN.

dump recursor cache in sequential ordering, which allows us to debug our deletion queue

Merge pull request #3493 from celevra/patch-1

Update README.md

Merge pull request #3491 from rgacogne/dnsdist-cache-response-crash

dnsdist: Don't parse DNS names when caching responses

Update README.md

we prevent an authoritative server to keep its nameservers alive even though they had changed the parent, but this code had a bug which set the TTL of nameserver entries to negative numbers, leading to overly frequent requerying. Closes #3489.

dnsdist: Don't parse DNS names when caching responses

Fix a crash reported by @rygl:

terminate called after throwing an instance of 'std::out_of_range'
what():  dnsname issue: Found a forward reference during label decompression

dnsdist: Add a specific TTL for ServFail responses

Before this commit we used the maxTTL for Server Failure responses
as well, and it might not be a good idea.

Fixes #3469.

dnsdist: Add a regression tests for skipCache from Lua

dnsdist: Add/fix cache cleaning options

The function to remove expired entries was broken, and we were
missing a way to nuke a lot of valid entries at once.
We can now:
- remove entries by qname and qtype
- remove n expired entries
- remove n entries

Fix #3468.

Merge pull request #3485 from ahupowerdns/multimetrorec

expand 'carbon-server' to also support multiple , separated servers f…

Merge pull request #3483 from ahupowerdns/ednssubnet-recursor-lua

implement exposing edns subnet in preresolve() - other hooks would re…