make sure stats get updated in all the right places, plus factor out the updating to a function

enhance test so it also covers non-truncation over TCP/IP for dnsdist dynamic truncation

Add requestorId and deviceId to summary log

Make dnsdist dynamic truncate do right thing on TCP/IP

Winfried noted that our new dynamic truncation rule worked fine on UDP, but on TCP/IP a truncate would be converted into a drop, which was not the intended effect.
This commit makes dynamic truncate a NOOP on TCP.

Merge pull request #5328 from rgacogne/snmp-reconnect

SNMP: Handle SNMP alarms so we can reconnect to the master

Merge pull request #5620 from rgacogne/rec-dump-rpz

rec: Add support for dumping the in-memory RPZ zones to a file

Document deviceId in DNSQuestion

Remove duplicate d_kind declaration.

Document gettag returning optional deviceId

Merge pull request #5642 from pieterlexis/issue-5329-gsql-doc-fixes

Assorted documentation fixes

Merge branch 'master' into rec-dump-rpz

Support for identifying devices by id such as mac address

Merge pull request #5637 from Habbie/sortlist-comboaddress

remove unused SortList compare operator for ComboAddress

Merge pull request #5515 from rgacogne/rec-ecs-source-0

rec: Fix cache handling of ECS queries with a source length of 0

Merge pull request #5567 from rgacogne/rec-register-all-stats

rec: Guard `registerAllStats()` with an atomic flag instead of a bool

Merge pull request #5621 from rgacogne/rec-protobuf-rpz-type

rec: Log the policy type (QName, Client IP, NS IP...) over protobuf

Merge pull request #5622 from rgacogne/rec-log-rpz-changes

rec: Add `log-rpz-changes` to log RPZ additions and removals

Merge pull request #5583 from tcely/issue-2835

listen on 127.0.0.1 during regression tests

Merge pull request #5641 from pieterlexis/issue-5520-catch-DNSName-error-when-parsing-zones

Catch DNSName exception in the Zoneparser

remove unused g_sortlist

Merge pull request #5639 from paddg/patch-6

Otherwise the issues are dead links.

Merge pull request #5640 from paddg/patch-7

Otherwise the issues are dead links.

doc: add upgrade info on the priority field

Closes #4151

docs: Add EOL statements

doc: Add missing Zone properties and SOA-EDIT-API

Closes #3895
Closes #4129

doc: mention the PDF docs (+link)

Closes #2165

docs: Fix order of fields returned in gsql query

Closes #5329

Catch DNSName exception in the Zoneparser

This wraps all calls to `toCanonic` in try/catch and rethrows it as a
PDNSException with more information.

Closes #5520.

Otherwise the issues are dead links.

Maybe that's rather a Github bug because pull(s) and commit(s) works this way. But at least it is now as in /pdns/docs/conf.py

Otherwise the issues are dead links.

Maybe that's rather a Github bug because pull(s) and commit(s) works this way. But at least it is now as in /pdns/docs/conf.py

rec: Fix cache handling of ECS queries with a source length of 0

The current behavior is to send a query without ECS information
and to cache it as a non ECS-specific entry. Unfortunately doing
so meant that we wouldn't send any further ECS-specific queries for
this (qname,qtype) since we could fallback to the non ECS-specific
cached answer.
This commit adds a new parameter, `ecs-scope-zero-addr`, allowing
to specify the address sent to ECS-whitelisted authoritative servers
in that case. If unset, the default is to take the first usable
(non-any) address in `query-local-address` then in `query-local-address6`,
and finally to use `127.0.0.1` as a last resort.

Merge pull request #5613 from rgacogne/rec-display-testrunner-logs

rec: Display the content of the testrunner logs in case of failure

remove unused SortList compare operator for ComboAddress

auth: hook up luabackend test

auth: fix luabackend test2

Merge pull request #5634 from rgacogne/dnsdist-advisories

dnsdist: Add advisories 2017-01 and 2017-02

Merge pull request #4195 from zeha/api-nameservers-or-ns-rrset

API: prevent duplicate records in single RRset

dnsdist: Add advisories 2017-01 and 2017-02

Merge pull request #5632 from rgacogne/dnsdist-1.2.0-changelog

dnsdist: Update the ChangeLog for 1.2.0

Merge pull request #5631 from rgacogne/dnsdist-api-key-only

dnsdist: Make the API available with an API key only

Merge pull request #5630 from rgacogne/dnsdist-h1-168297

dnsdist: Fix potential pointer wrap-around on 32 bits

Merge pull request #5633 from mind04/axfr-soa

auth: first and last SOA in an AXFR must be identical

dnsdist: Update the ChangeLog for 1.2.0

Merge pull request #5614 from ahupowerdns/dnssec-better-logging

fix typo in logging of dnssec validation, add some fields

Merge pull request #5610 from ahupowerdns/edit-zone-auth

fix that pdnsutil edit-zone complains about auth=1 problems on all data

Merge pull request #5611 from mind04/notimp

NOTIMP is only appropriate for an unsupported opcode

dnsdist: Fix potential pointer wrap-around on 32 bits

This can lead to a DoS on 32 bits if a backend server sends a
crafted response and we happen to be working with a buffer allocated to
a very high virtual address.

Reported by Guido Vranken (many thanks!).

Merge pull request #5626 from rgacogne/dnsdist-doc-dynblocks-tc

dnsdist: Document the Truncate option to `setDynBlocksAction()`

dnsdist: Document the Truncate option to `setDynBlocksAction()`

dnsdist: Add an optional `status` parameter to `setAuto()`

If the parameter is present, its value is used to set the initial
state of the DownstreamServer until a health check is performed,
instead of using the previous known state.
It's useful if one wants to restore the automatic status detection
but knows that the server is either currently down but was previously
up (queries sent until the health check is performed will be lost);
or currently up but was previously down, so it process queries immediately.

rec: Add `log-rpz-changes` to log RPZ additions and removals

rec: Log the policy type (QName, Client IP, NS IP...) over protobuf

rec: Add support for dumping the in-memory RPZ zones to a file

Merge pull request #5615 from ahupowerdns/sortorder-cname

Fix sortlist in the presence of CNAME

Merge pull request #5612 from pieterlexis/auth-docs-dnsdist-link

Fix dnsdist install link in auth docs

add sortlist test

allow overriding of from_wire parameters

auth: first and last SOA in an AXFR must be identical

Better support for deleting entries in NetmaskTree and NetmaskGroup

- NetmaskTree erase() method now has optional cleanup parameter
  - cleanup_tree() method will remove "hanging" branches of the tree
- NetmaskGroup now has deleteMask() methods that use NetmaskTree:erase()

Grabbed from the weakforced tree:
- https://github.com/PowerDNS/weakforced/commit/d5c916a2d00ec3bec3a09055de5709976e184c95
- https://github.com/PowerDNS/weakforced/commit/1170d8da692c0033e0a80c22447d0c00fb0cb7b2

two non-address records sort equal

Fix sortlist in the presence of CNAME
In #5357 @killerwhile discovered we were missorting CNAME records when using sortlist.
With this commit, we should get it right by moving to stable_sort and being more careful about type equivalence.

fix typo in logging of dnssec validation, add some fields

Merge pull request #5519 from mind04/ds

lookups one level (or more) below apex did confuse getAuth() for qytpe DS

Fix dnsdist install link in auth docs

pdnsutil edit-zone checks with auth=1, but the test is run on data not from the database, but straight from the zonefile just edited, which can't yet be rectified.
This commit removes the auth=1 check in case of data that is supplied straight to checkZone not from the database

Merge pull request #5548 from cmouse/geoip-fix

geoipbackend: Service for apex record

Merge pull request #5518 from mind04/schemas

Collection of schema changes

Merge pull request #5556 from zilopbg/luabackend-getsoa

Fix getSOA() in luabackend

Merge pull request #5526 from rgacogne/dnsdist-deprecate

dnsdist: Deprecate syntactic sugar functions in 1.2.0

Merge pull request #5598 from pieterlexis/issue-5524-systemd-detect-default

Add help text on autodetecting systemd support

Merge pull request #5589 from rgacogne/auth-cryptokeys-ro

auth: Check if the API is read-only on crypto keys methods

Merge pull request #5590 from Habbie/env-no-v6

skip v6-dependent test when PDNS_TEST_NO_IPV6 is set in environment

Fix a signed/unsigned comparison warning on ARM

dnsdist: State that functions deprecated in 1.2.0 will be removed in 1.3.0

Merge pull request #5579 from rgacogne/dnsdist-carbon-ip

dnsdist: Don't use square brackets for IPv6 in Carbon metrics

Merge pull request #5600 from pieterlexis/deb-build-scripts-mv-t-correct-pwd

Buildscripts: move deb files to correct dir

Merge pull request #5577 from rgacogne/dist-doc-tags

dnsdist: Document the tag features

Merge pull request #5588 from rgacogne/webserver-doc-acls

Switch the default webserver's ACL to "127.0.0.1, ::1"

Merge pull request #5599 from pieterlexis/libatomic-hopefully-last-time-ever

Fix libatomic detection on ppc64

Merge pull request #5605 from cmouse/mydns-be

mydnsbackend: Initialize d_query_stmt

mydnsbackend: Initialize d_query_stmt

Fixes CID 1030066

rec: Display the content of the testrunner logs in case of failure

Merge pull request #4692 from cmouse/ssql-unique-ptr

SSql: Use unique_ptr for statements

Fix libatomic detection on ppc64

Thanks @tjikkun!

Closes #5456

Buildscripts: move deb files to correct dir

Convert timestamps in TimedIPSetRule to time_t

This would lead to signed/unsigned comparison warnings on ARM.

Add help text on autodetecting systemd support

Closes #5524

Switch the default webserver's ACL to "127.0.0.1, ::1"

Merge pull request #5586 from Habbie/docnits

auth documentation nits

Merge pull request #5593 from pieterlexis/issue-5585-debian-build-deps

Fix two issues with the build scripts

Merge pull request #5587 from pieterlexis/fix-builder-errors

Fix errors with our build scripts

Merge pull request #5581 from rgacogne/ddist-console-con-logging

dnsdist: Add setConsoleConnectionsLogging()

Merge pull request #5591 from Habbie/packetcache-slow-test

increase TTL in packet cache test to avoid failure on slow testing runs

Merge pull request #5580 from rgacogne/ddist-dnscrypt-ringbuffer-dnsheader

dnsdist: Copy the DNS header before encrypting it in place

Make the buildscripts use tarballs and more consistent

dnsdist: Make the API available with an API key only

Add curl to auth build deps

skip v6-dependent test when PDNS_TEST_NO_IPV6 is set in environment

increase TTL in packet cache test to avoid failure on slow testing runs

Merge pull request #5592 from rgacogne/rec-fix-syncres-unit-tests

rec: Fix the tests added in #5569 and #5570, DNSSEC modes changed in #5557