Merge pull request #6671 from mnordhoff/6130-dnsdist-1.2.x

Backport 6130 to dnsdist-1.2.x: Update copyright years to 2018

Update copyright years to 2018

Also update several years to match the data in pdns/version.cc

Merge pull request #6651 from pieterlexis/backport-6641

backport #6641: dnsdist: fix RPM scriptlets

dnsdist: fix RPM scriptlets

We used the non-existing `%elif` rpm macro ¯\_(ツ)_/¯.

(cherry picked from commit 3e27601f900aa91c4f17ae4d24b48564fab157e4)

Merge pull request #6386 from rgacogne/dnsdist-12-ebpf

dnsdist: Unbreak addBPFFilterDynBlocks()

dnsdist: Unbreak addBPFFilterDynBlocks()

The `exceed*()` functions return a different kind of map since
2e32ba8d17631d3c32f6a29922fba0dfd724ba3a and I forgot to update
`addBPFFilterDynBlocks()` accordingly.

Merge pull request #6351 from rgacogne/backport-6350

dnsdist: Backport speed improvements for large ring buffers (6350)

Merge pull request #6353 from rgacogne/backport-6317

dnsdist: Add an option to use several source ports toward a backend

dnsdist: Reserve space for the content of the rings in exceed*

dnsdist: Add an option to use several source ports toward a backend

This is very useful if the backend is distributing queries based
only on (source IP, source port, destination IP, destination port),
which is for example the case of PowerDNS Recursor with several
threads, reuseport set and pdns-distribute-queries not set.

(cherry picked from commit 150105a20eaebc8e0041b1a41b81fd90d7dbaba3)
(cherry picked from commit e998def2a9007aab462c90ff5badc2eab7253ee8)
(cherry picked from commit 38069e7ea3ad11b1cc055469cf3378531f2e7239)
(cherry picked from commit cd73ceebff1b805de167ad23198def0c8a59d786)
(cherry picked from commit 5bdbb83d3b2a6aabb9a4f36f7b0a2ee0acca2f15)

dnsdist: Backport speed improvements for large ring buffers (6350)

Merge pull request #6316 from pieterlexis/backport-6180

backport #6180: fix dnsdist problems with large AXFR: it checked first record of 2nd envelope against the original qname

dnsdist had problems with large AXFR as it checked first record of second envelope against the original qname.
With this commit, the check against spoofing is only performed against the first message, and not against subsequent ones.
Thanks to Janne for help debugging this issue.

(cherry picked from commit 5af7506d106b85773d0b157e025fe5ac31d983b6)

Merge pull request #6272 from rgacogne/dnsdist-1.2.x-norecauth

dnsdist: Only run dnsdist's tests on rel/dnsdist-1.2.x

dnsdist: Only run dnsdist's tests on rel/dnsdist-1.2.x

Merge pull request #6266 from rgacogne/dnsdist-1.2.1-backports

dnsdist: Backports for 1.2.1

Backport #6073

Backport #6057

Backport #6041

Backport #5880

Backport #5858

Update ipBindAddrNoPort documentation to include default value.

(cherry picked from commit c0e7123d06f04c9cdd89a856a29edd4fa37b8c70)

Add configuration option to disable IP_BIND_ADDRESS_NO_PORT.

(cherry picked from commit 5602f131f16a933a6c298e35bff859d0b91d1cc3)

Use libsodium's CFLAGS, we might need them to find the includes

(cherry picked from commit 917db12a0d101de56e03dfd612ca5ddac5bce6c1)

Add the missing <sys/time.h> include to mplexer.hh for struct timeval

(cherry picked from commit f1d51ff73fe0cf9d370e51a2aef7ba38c990e17f)

Drop useless if branch

(cherry picked from commit ed2ff96ed209bb455d5fcef73798e7dfb1b90fcc)

Handle bracketed IPv6 addresses without ports

dnsdist's newServer source parameter is documented to take values
of those forms (plus some more):
  - v4 address ("192.0.2.1")
  - v6 address ("2001:DB8::1")

For consistency, bracketed addresses should work too, and all of them
should have a test.

(cherry picked from commit 0047d7343bfb6e1ddd3b8fb5894f283b0f0a7343)

Quiet unused variable warning on macOS

(cherry picked from commit 18f8e49381e3ce9a8ed88600d7678e6acdb5a393)

make travis happy

(cherry picked from commit 664135769af13364a4de0ed9e3efc6cd281a52b2)
(cherry picked from commit 86a48c825e5defd97f6994b8a81fb6970ff1e877)

Backport #5647

Backport #5686

Backport #5847

Backport #6043

Backport #6012

Backport #6094

Backport #6164

make sure stats get updated in all the right places, plus factor out the updating to a function

(cherry picked from commit 701f690b7661dbf0899bf71e103db1b10fa08355)

enhance test so it also covers non-truncation over TCP/IP for dnsdist dynamic truncation

(cherry picked from commit e2e59d2deaded19a994746c18202cf66f387f6f7)

Make dnsdist dynamic truncate do right thing on TCP/IP

Winfried noted that our new dynamic truncation rule worked fine on UDP, but on TCP/IP a truncate would be converted into a drop, which was not the intended effect.
This commit makes dynamic truncate a NOOP on TCP.

(cherry picked from commit 8477236d0a4ee4b7454485c4e6c5870e58317b86)

dnsdist: Add missing QPSAction

In 1.2.0 we deprecated the `addQPSLimit()` function, suggesting the
use of `QPSAction()` as a replacement, but the Lua binding for
`QPSAction()` was missing. In addition the documenration was referring
to `QPSLimitAction()` instead of `QPSAction()`.

(cherry picked from commit 8499caafb7eeedd63e0e7db6c79dbbcbe1def320)

dnsdist: Don't create a Remote Logger in client mode

(cherry picked from commit b8f933295b268d7c59462c2d1893c29ae706082d)

dnsdist: Sort the servers based on their 'order' after it has been set

We keep the servers ordered inside their pools because it's easier
for the policies that way, so we sort them whenever a new one is
added. However we were doing the sorting _before_ the order of the
new server had been set, resulting in the last added server to be
sorted based on an order of 0, regardless of its actual order.
Reported by Frank Even (thanks!).

(cherry picked from commit 8c82c02db52398907377ea02f84527e5f29158ee)

dnsdist: Keep the TCP connection open on cache hit, generated answers

We used to close the TCP connection right away on cases where that did
not make sense:
- on a cache hit
- on a self-generated answer
- on a servfail answer caused by the lack of usable downstream servers

We still close the TCP connections on drops, dynamic blocks, lack of
usable downstream servers without `setServFailWhenNoServer()` set,
invalid queries, network errors..

(cherry picked from commit dcacff179cc046fa40982bfe22eca36e1b39b665)

dnsdist: Fix a typo in the IDS outstanding counter comment

(cherry picked from commit fe0b6bbade6c20704760bbde252f0b61a625633b)

dnsdist: Fix the oustanding counter when an exception is raised

If an exception is raised in the responder thread after the outstanding
queries counter has been decremented, but before we could mark the
state as processed, the same state would be processed again and the
counter decremented a second time, either because of a duplicate
answer or more likely by the timeout handler.
This commit simply increase back the outstanding counter when such
an exception occurs.

(cherry picked from commit df560083763da68488f09ed385c479c10eedf750)

do not connect the snmpAgent from a dnsdist client. Fixes #6163

(cherry picked from commit cd4bb56b5269fdfc7f180e01b078bcc4cca673af)

Merge pull request #5632 from rgacogne/dnsdist-1.2.0-changelog

dnsdist: Update the ChangeLog for 1.2.0

Merge pull request #5631 from rgacogne/dnsdist-api-key-only

dnsdist: Make the API available with an API key only

Merge pull request #5630 from rgacogne/dnsdist-h1-168297

dnsdist: Fix potential pointer wrap-around on 32 bits

Merge pull request #5633 from mind04/axfr-soa

auth: first and last SOA in an AXFR must be identical

dnsdist: Update the ChangeLog for 1.2.0

Merge pull request #5614 from ahupowerdns/dnssec-better-logging

fix typo in logging of dnssec validation, add some fields

Merge pull request #5610 from ahupowerdns/edit-zone-auth

fix that pdnsutil edit-zone complains about auth=1 problems on all data

Merge pull request #5611 from mind04/notimp

NOTIMP is only appropriate for an unsupported opcode

dnsdist: Fix potential pointer wrap-around on 32 bits

This can lead to a DoS on 32 bits if a backend server sends a
crafted response and we happen to be working with a buffer allocated to
a very high virtual address.

Reported by Guido Vranken (many thanks!).

Merge pull request #5626 from rgacogne/dnsdist-doc-dynblocks-tc

dnsdist: Document the Truncate option to `setDynBlocksAction()`

dnsdist: Document the Truncate option to `setDynBlocksAction()`

Merge pull request #5615 from ahupowerdns/sortorder-cname

Fix sortlist in the presence of CNAME

Merge pull request #5612 from pieterlexis/auth-docs-dnsdist-link

Fix dnsdist install link in auth docs

add sortlist test

allow overriding of from_wire parameters

auth: first and last SOA in an AXFR must be identical

two non-address records sort equal

Fix sortlist in the presence of CNAME
In #5357 @killerwhile discovered we were missorting CNAME records when using sortlist.
With this commit, we should get it right by moving to stable_sort and being more careful about type equivalence.

fix typo in logging of dnssec validation, add some fields

Merge pull request #5519 from mind04/ds

lookups one level (or more) below apex did confuse getAuth() for qytpe DS

Fix dnsdist install link in auth docs

pdnsutil edit-zone checks with auth=1, but the test is run on data not from the database, but straight from the zonefile just edited, which can't yet be rectified.
This commit removes the auth=1 check in case of data that is supplied straight to checkZone not from the database

Merge pull request #5548 from cmouse/geoip-fix

geoipbackend: Service for apex record

Merge pull request #5518 from mind04/schemas

Collection of schema changes

Merge pull request #5556 from zilopbg/luabackend-getsoa

Fix getSOA() in luabackend

Merge pull request #5526 from rgacogne/dnsdist-deprecate

dnsdist: Deprecate syntactic sugar functions in 1.2.0

Merge pull request #5598 from pieterlexis/issue-5524-systemd-detect-default

Add help text on autodetecting systemd support

Merge pull request #5589 from rgacogne/auth-cryptokeys-ro

auth: Check if the API is read-only on crypto keys methods

Merge pull request #5590 from Habbie/env-no-v6

skip v6-dependent test when PDNS_TEST_NO_IPV6 is set in environment

dnsdist: State that functions deprecated in 1.2.0 will be removed in 1.3.0

Merge pull request #5579 from rgacogne/dnsdist-carbon-ip

dnsdist: Don't use square brackets for IPv6 in Carbon metrics

Merge pull request #5600 from pieterlexis/deb-build-scripts-mv-t-correct-pwd

Buildscripts: move deb files to correct dir

Merge pull request #5577 from rgacogne/dist-doc-tags

dnsdist: Document the tag features

Merge pull request #5588 from rgacogne/webserver-doc-acls

Switch the default webserver's ACL to "127.0.0.1, ::1"

Merge pull request #5599 from pieterlexis/libatomic-hopefully-last-time-ever

Fix libatomic detection on ppc64

Merge pull request #5605 from cmouse/mydns-be

mydnsbackend: Initialize d_query_stmt

mydnsbackend: Initialize d_query_stmt

Fixes CID 1030066

Merge pull request #4692 from cmouse/ssql-unique-ptr

SSql: Use unique_ptr for statements

Fix libatomic detection on ppc64

Thanks @tjikkun!

Closes #5456

Buildscripts: move deb files to correct dir

Add help text on autodetecting systemd support

Closes #5524

Switch the default webserver's ACL to "127.0.0.1, ::1"

Merge pull request #5586 from Habbie/docnits

auth documentation nits

Merge pull request #5593 from pieterlexis/issue-5585-debian-build-deps

Fix two issues with the build scripts

Merge pull request #5587 from pieterlexis/fix-builder-errors

Fix errors with our build scripts

Merge pull request #5581 from rgacogne/ddist-console-con-logging

dnsdist: Add setConsoleConnectionsLogging()

Merge pull request #5591 from Habbie/packetcache-slow-test

increase TTL in packet cache test to avoid failure on slow testing runs

Merge pull request #5580 from rgacogne/ddist-dnscrypt-ringbuffer-dnsheader

dnsdist: Copy the DNS header before encrypting it in place

Make the buildscripts use tarballs and more consistent

dnsdist: Make the API available with an API key only

Add curl to auth build deps

skip v6-dependent test when PDNS_TEST_NO_IPV6 is set in environment

increase TTL in packet cache test to avoid failure on slow testing runs

Merge pull request #5592 from rgacogne/rec-fix-syncres-unit-tests

rec: Fix the tests added in #5569 and #5570, DNSSEC modes changed in #5557