dnsdist: Send a latency of 0 over carbon, null over API for down servers

Merge pull request #4539 from pieterlexis/remove-unused-var

Remove 'kind' param in DNSBackend::getDomainKeys

Merge pull request #4744 from rgacogne/handle-closesocket-excp

Handle exceptions raised by `closesocket()`

Merge pull request #4584 from tuxis-ie/pdnsutil-account

Allow setting the account of a zone via pdnsutil

Merge pull request #4627 from tuxis-ie/clearify-soa-edit-api-doc

Add link to options of SOA-EDIT-API

Merge pull request #4767 from Habbie/rpz-hidettl

hide ttl in RPZ tests to avoid random failures

Merge pull request #4772 from pieterlexis/dnsdist-contrib-init

Fix dnsdist initscript config check

Fix dnsdist initscript config check

Merge pull request #4769 from rgacogne/rec-init-rcode-before-preresolve

rec: Set the result to NoError before calling `preresolve`

Merge pull request #4759 from rgacogne/dnsdist-110-beta2-changelog

dnsdist: Update ChangeLog for 1.1.0-beta2

dnsdist: Add #4748 to the ChangeLog

Merge pull request #4748 from rgacogne/dnsdist-cache-cleaning-percentage

dnsdist: Add `setCacheCleaningPercentage()`

dnsdist: Add #4764 and #4765 to the beta2 ChangeLog

Merge pull request #4764 from rgacogne/dnsdist-tcp-workers-vect-race

dnsdist: Prevent race while creating new TCP worker threads

Merge pull request #4765 from pieterlexis/dnsdist-improvements

DNSDist: some service improvements

rec: Set the result to NoError before calling `preresolve`

Otherwise `rq.rcode` needs to be set explicitly when handling the
query from `preresolve`, which is not documented and wasn't the case
before.

hide ttl in RPZ tests to avoid random failures

Merge pull request #4751 from zeha/api-decline-mixed-ns

API: prevent sending nameservers list and zone-level NS in rrsets

Merge pull request #4763 from desec-io/master

Extended pdns_control man page: pdns_control notify *

dnsdist: check config before starting

dnsdist: Ignore file created by autoreconf

Extended pdns_control man page

dnsdist: Check the vector capacity before creating the TCP worker thread

dnsdist: document --check-config in --help

Merge pull request #4760 from rgacogne/remote-logger-set-invalid-on-close

Set `RemoteLogger::d_socket` to -1 after closing it

dnsdist: Add #4541 to the ChangeLog

Merge pull request #4541 from rgacogne/fix-suffix-match-tree

dnsdist: Fix insertion issues in SuffixMatchTree, move it to dnsname.hh

dnsdist: Prevent race while creating new TCP worker threads

We try very hard to avoid using locks, but we need to prevent two
threads inserting into the TCP workers vector concurrently. While
this can't happen at runtime since the healthcheck thread is the
only one calling `g_tcpclientthreads->addTCPClientThread()`, this
might happen at startup time because we start the TCP acceptor
threads one after another and they all call it once.
This might result, for example, in one vector entry being overwritten
and another one remaining value-initialized to zero.

Set `RemoteLogger::d_socket` to -1 after closing it

Otherwise, in the unlikely case `SSocket()` throws an exception
we might end up with a stale file descriptor in `RemoteLogger::reconnect()`.

dnsdist: Update ChangeLog for 1.1.0-beta2

Merge pull request #4753 from rgacogne/dnsdist-tcp-fixes

dnsdist: Fix FD leak on TCP connection failure, handle TCP worker creation failure

dnsdist: Don't leak a FD if the TCP connection to the backend fails

dnsdist: Better handling of failures during TCP worker thread creation

Remove 'kind' param in DNSBackend::getDomainKeys

It was unused anyway. Closes #4493

Merge pull request #4566 from pieterlexis/dnsheader-in-dnsquestion

DNS Header and EDNS Flag access for Lua

Fix indenting in recursor scripting docs

Expose EDNS Flags to Lua

Closes #4531

Lua: Give access to the dnsheader

Merge pull request #4638 from rgacogne/auth-bindbackend-zoneid-lookup

auth: In `Bind2Backend::lookup()`, use the `zoneId` when we have it

Merge pull request #4684 from hlindqvist/clarify-activate-tsig

Clarify pdnsutil activate-tsig-key description

Merge pull request #4686 from rgacogne/calidns-not-enough-queries-crash

calidns: Don't crash if we don't have enough 'unknown' queries remaining

Merge pull request #4715 from rgacogne/dnsmessage-proto-set-version-2

Specify that dnsmessage.proto uses protobuf version 2

Merge pull request #4724 from rgacogne/rec-lua-thread-id

rec: Add `getRecursorThreadId()` to Lua, identifying the current thread

API: prevent sending nameservers list and zone-level NS in rrsets

Add documentation in the manpage

Remove useless 'meta'

Allow setting the account of a zone via pdnsutil

Merge pull request #4564 from rgacogne/rec-public-dnsquestion

rec: Pass a `DNSQuestion` object to Lua hooks

Merge pull request #4749 from Habbie/test-counters-latency

remove unreliable `latency` variable from counters test

Merge pull request #4746 from rgacogne/auth-pdnsutil-coverity-1366826

auth: Fix coverity warning in `pdnsutil show-zone`

Merge pull request #4535 from rgacogne/dnsdist-lua-do

dnsdist: Add `DNSQuestion:getDO()`

Merge pull request #4702 from rgacogne/dnsdist-udp-timeout

dnsdist: Add `setUDPTimeout(n)`

Merge pull request #4726 from rgacogne/dnsdist-servfail-no-server

dnsdist: Add an option to return ServFail when no server is available

Merge pull request #4743 from rgacogne/dnsdist-client-bpf

dnsdist: Ignore newBPFFilter() and newDynBPFFilter() in client mode

remove unreliable `latency` variable from counters test

Merge pull request #4745 from Habbie/showrule-plural

add missing letter, plus format

add missing letter, plus format

Merge pull request #4742 from rgacogne/dnsdist-tcp-queued-counter

dnsdist: Decrement the queued TCP conn count if writing to the pipe fails

auth: Fix coverity warning in `pdnsutil show-zone`

dnsdist: Decrement the queued TCP conn count if writing to the pipe fails

Otherwise we might end up refusing every new TCP connection until
we are restarted.

dnsdist: Add an option to return ServFail when no server is available

dnsdist: Ignore newBPFFilter() and newDynBPFFilter() in client mode

Merge pull request #4740 from Habbie/fix-show-zone-ds

avoid undefined behaviour in clang vs. gcc

Handle exceptions raised by `closesocket()`

This was not very well handled, and could cause the PowerDNS process
to terminate. This is especially nasty when `closesocket()` is called
from a destructor, as we could already be dealing with an exception.

avoid undefined behaviour in clang vs. gcc

Merge pull request #4696 from ju5t/doc-rectify-secure-all-zones

Add rectify- and secure-all-zones documentation

Make export-zone-ds output similar to export-zone-dnskey

Merge branch 'horazont-feature/pdnsutil-export-zone-ds-showZone'

Merge branch 'feature/pdnsutil-export-zone-ds-showZone' of https://github.com/horazont/pdns into horazont-feature/pdnsutil-export-zone-ds-showZone

Merge pull request #4734 from rgacogne/dnsdist-tcp-ssocket-exception

dnsdist: Add the TCP socket to the map only if the connection succeeds. Closes #4733.

rec: Add `getRecursorThreadId()` to Lua, identifying the current thread

dnsdist: Add the TCP socket to the map only if the connection succeeds

Otherwise we create a value-initialized (to 0) entry in the map and
try to use it later.

Merge pull request #4722 from rgacogne/dnsname-4718

Fix incorrect length check in `DNSName` when extracting qtype or qclass

Merge pull request #4725 from Habbie/travis-update

conform to updated travis image

MySQL 5.6 is now installed by default in travis images

See https://github.com/travis-ci/travis-ci/issues/6961

stop auto-started pdns with 0.0.0.0 bind, to allow individual binds

Merge pull request #4721 from rgacogne/dnsdist-exceptions-responder-thread

dnsdist: Handle exceptions in the UDP responder thread

Fix incorrect length check in `DNSName` when extracting qtype or qclass

In `DNSName::packetParser()`, the length check might have been incorrect
when the caller asked for the `qtype` and/or the `qclass` to be extracted.
The `pos + labellen + 2 > end` check was wrong because `pos` might have already
been incremented by `labellen`. There are 3 ways to exit the main loop:

* `labellen` is 0, the most common case, and in that case the check is valid
* `pos >= end`, meaning that `pos + labellen + 2 > end` will be true regardless
of the value of `labellen` since it cannot be negative
* if `uncompress` is set and a compressed label is found, the main loop is
broken out of, and `labellen` still holds a now irrelevant, possibly non-zero value
corresponding to the first byte of the compressed label length & ~0xc0.

In that last case, if the compressed label points to a position > 255 the check
is wrong and might have rejected a valid packet.
A quick look throught the code didn't show any place where we request decompression
and ask for `qtype` and/or `qclass` in a response, but I might have missed one.

Reported by Houssam El Hajoui (thanks!).

dnsdist: Handle exceptions in the UDP responder thread

Since we now have response rules, it makes sense to gracefully handle
exceptions in the UDP responder thread as well.

Merge pull request #4720 from Habbie/stalettl

doc nit

nit

Merge pull request #4622 from tuxis-ie/no.more.dots.ever

According to IRC, this should fix #4621

dnsdist: Add `DNSQuestion:getDO()`

Merge pull request #4716 from rgacogne/remove-debug-dq-setrecords

rec: Remove leftover debug msg in `RecursorLua4::DNSQuestion::setRecords()`

rec: Remove leftover debug msg in `RecursorLua4::DNSQuestion::setRecords()`

Specify that dnsmessage.proto uses protobuf version 2

Recent proto-c versions are complaining loudly otherwise.

dnsdist: Add `setUDPTimeout(n)`

dnsdist: Fix a typo in the dynamic blocks regression tests

Add rectify- and secure-all-zones documentation

Merge pull request #4578 from rgacogne/dnsdist-protobuf-fix-dest-addr

dnsdist: Fix destination address reporting

Merge pull request #4693 from rgacogne/dnsdist-flexible-dynblocks-tests

dnsdist: Be more flexible in the DynBlocks regression tests

Merge pull request #4658 from rgacogne/dnsdist-set-acl

dnsdist: Allow editing the ACL via the API

dnsdist: Allow editing the ACL via the API

Merge pull request #4694 from rgacogne/dnsdist-no-const-iterator-erase

dnsdist: Don't use a const_iterator for erasing

Merge pull request #4691 from rgacogne/rec-lua-conf-daemon

rec: Wait until after daemonizing to start the RPZ and protobuf threads

dnsdist: Don't use a const_iterator for erasing

Some versions of gcc don't support that, even though it's required by
C++11. See https://gcc.gnu.org/bugzilla/show_bug.cgi?id=57158

dnsdist: Be more flexible in the DynBlocks regression tests

We might get blocked earlier than I initially expected if the
maintenance function runs while we are sending our queries.

rec: Wait until after daemonizing to start the RPZ and protobuf threads

Otherwise they are killed when we call `fork()`.
We still want to actually parse the configuration to check for syntax
errors before daemonizing to be able to report any error, so when
`daemon` is set to `yes`, we parse the Lua configuration early
without starting any threads, and then again, starting the threads
that time, after daemonizing.

calidns: Don't crash if we don't have enough 'unknown' queries remaining

Clarify pdnsutil activate-tsig-key description

This clarifies the description of pdnsutil {de,}activate-tsig-key.
The command enables TSIG authenticated AXFR for a given zone + key,
which was not clear from the previous description.