Merge pull request #9500 from Habbie/auth-4.1.x-2020-05

 auth-4.1.x: raise an exception on invalid content in unknown records #9499

Raise an exception on invalid first part (!= \#) in unknown records

Raise an exception on invalid hex content in unknown records

Otherwise we can end up reading uninitialised memory from the stack,
possibly leaking information.
This is only an issue if the content is read from an untrusted source
and can be passed back to an attacker.

Merge pull request #9148 from rgacogne/auth41-no-spellcheck

auth-4.1.x: Suppress PR based spell check

Suppress PR based spell check

(cherry picked from commit 16f3f8060ece690049dbf8059cf2f5a2bcc21bc2)

Merge pull request #9097 from Habbie/backport-8577-to-auth-4.1.x

auth 4.1.x root zone tests: do not ask the internet about domain.net

auth root zone tests: do not ask the internet about domain.net

(cherry picked from commit 2631b61dfb888934a28212230b32a2dbbcb2a2f0)

Merge pull request #8810 from Habbie/rel-auth-4.1.x-pydeps

auth-4.1.x: limit python deps to stuff that still works on py2

limit python deps to stuff that still works on py2

Merge pull request #8500 from Habbie/backport-8445-to-auth-4.1.x

auth 4.1.x: ds-at-apex-noerror test: do not run unbound-host

auth ds-at-apex-noerror test: do not run unbound-host

(cherry picked from commit bfc7b0274b157803ed572f4e7dbd0bd690b25647)

Merge pull request #8174 from Habbie/4.1.x-ship-schemas

4.1.x packages: ship all mysql/postgres/sqlite schemas

4.1.x packages: ship all mysql/postgres/sqlite schemas

Merge pull request #8162 from Habbie/backport-8149-to-auth-4.1.x

auth 4.1.x: stop using select() in places where FDs can be >1023

Merge pull request #8157 from tcely/patch-4

gpgsqlbackend: add missing schema file to Makefile

remotebackend pipeconnector: stop using select()

(cherry picked from commit 24cc241457124f986e6ab35f2530c8b633408c9c)

pipebackend coprocess: stop using select()

(cherry picked from commit 445ec75038e068e5bb1afc8ebe43f7ea1e104a54)

gpgsqlbackend: add missing schema file to Makefile

Merge pull request #8144 from Habbie/auth-4.1.x-pg32bit

auth 4.1.x: adjust gpgsql schema for advisory 2019-06

adjust gpgsql schema for advisory 2019-06

Merge pull request #7964 from Habbie/auth-4.1.x-7662-redux

catch name & IP parse errors during outgoing notify preparations

catch name & IP parse errors during outgoing notify preparations

Revert "Fix fatal exception on unparseable slave addresses."

This reverts commit 2c75693e72abe792e0bf9b55c5f8f443fa220160.

Merge pull request #7922 from Habbie/auth-4.1.x-backport-superslave

backport superslave setting to 4.1.x, but default to yes

Merge pull request #7921 from Habbie/backport-7706

backport: No longer filter DNSSEC metadata when DNSSEC is enabled in gsql

Merge pull request #7913 from Habbie/backport-7899

backport #7899: switch circleci mssql image

backport superslave setting to 4.1.x, but default to yes

No longer filter DNSSEC metadata when DNSSEC is enabled in gsql

As noted in #7705, gsql getAllDomainMetadata() did not return all domain
metadata.  This function would always filter DNSSEC related metadata, even
if a backend was configured to support DNSSEC.

(cherry picked from commit d97e1ae1430a1e66893e8156bdf1c7232d3d0331)

backport #7899: switch circleci mssql image

Merge pull request #7663 from omoerbeek/backport-7662

auth 4.1.x: backport 7662 Do not exit on exception resolving addresses to notify

Merge pull request #7829 from omoerbeek/backport-7790

auth backport 7790 to 4.1.x: Minimal fix to avoid busy looping on lots of notifies.

Fix fatal exception on unparseable slave addresses.
Backport of https://github.com/PowerDNS/pdns/pull/7662

Minimal fix to avoid busy looping. The condition_variable varant showed
spurious failures on travis so go for the minimial fix.

Merge pull request #7613 from Habbie/circleci-auth-4.1.x

auth-4.1.x: set up circleCI testing for auth+godbc+mssql

set up circleCI testing for auth+godbc+mssql

(cherry picked from commit fbd89850013536ecad8da2368d136f092d355388)

Merge pull request #7604 from rgacogne/auth41-backport-7494

[backport to auth-4.1.x] Correctly interpret an empty AXFR response to an IXFR query

Merge pull request #7610 from aerique/backport/7341-ipv4-any-check

[backport to auth-4.1.x] Fix replying from ANY address for non-standard port

Merge pull request #7609 from aerique/backport/7580-narrow-rectify

[backport to auth-4.1.x] Rectify for ent records in narrow zones was slightly wrong

Merge pull request #7607 from aerique/backport/7472-do-not-compress-root

[backport to auth-4.1.x] Do not compress the root

Merge pull request #7608 from aerique/backport/7459-fix-dot-strip-setcontent

[backport to auth-4.1.x] fix dot stripping in setContent()

Fix replying from ANY address for non-standard port
Previously, we would not recognize 0.0.0.0:5300 or even 0.0.0.0:53 as the 'any' address, leading us to answer from the wrong address.

(cherry picked from commit 36025a51ed16e31e5d186b2c126ef1178a39a569)

auth: small optimization in the rectify code for optout narrow zones

(cherry picked from commit 2885750af64e945ba475fd02f7f3cd5194052202)

auth: Rectify for ent records in narrow zones was slightly wrong.

(cherry picked from commit 666c721173d00d55953b86941099874867bae2c3)

Merge pull request #7605 from rgacogne/auth41-backport-7496

[backport to auth-4.1.x] Catch exception when parsing a zone's SOA in getUnfreshSlaveInfos()

auth: fix dot stripping in setContent()

(cherry picked from commit 0583946ff70d73b5da579db1d81c9c374adf2cc3)

Do not compress the root

(cherry picked from commit 2d6c4fcb18ec7ae1ef689656ce6d52b399cc26a9)

Merge pull request #7603 from aerique/backport/7294-patch-tcp-close-fd

[backport to auth-4.1.x] prevent leak of file descriptor if running out of ports for incoming AXFR

Merge pull request #7602 from aerique/backport/7546-fix-search-query

[backport to auth-4.1.x] gsqlbackend: Reset correct query in searchComments

auth: Catch exception when parsing a zone's SOA in getUnfreshSlaveInfos()

(cherry picked from commit a6037f784da39d9cd784226fcc1a278383eb99a1)

Correctly interpret an empty AXFR response to an IXFR query

(cherry picked from commit 98b3317609b2783d1bfd5da99edc81af28f4e1d6)

prevent leak of file descriptor if running out of ports for incoming AXFR

(cherry picked from commit f852aff670c19b7dac9a0cef2c3912ebd8946201)

gsqlbackend: Reset correct query in searchComments

(cherry picked from commit b7309408d65edc2365392bb4c24f7a39696a880b)

Merge pull request #7509 from Habbie/4.1.x-mysqlthreadcloser

plug mysql_thread_init memory leak, fixes #6231

Merge pull request #7567 from pieterlexis/41-el6-compiler-optimizations

EL6: fix CXXFLAGS to build with compiler optimizations

Merge pull request #7577 from rgacogne/auth41-remotebackend

auth-4.1.x: remotebackend: http connector - Properly escape parameters

auth: Parse the HTTP URL when the remote backend is initialized

(cherry picked from commit a11a87c8eacb146b2c4a036f9a0817d704c8e925)

remotebackend: http connector - Properly escape parameters

(cherry picked from commit 6de3be832cbab7805ab5215dce503d11d8769414)

EL6: fix CXXFLAGS to build with compiler optimizations

plug mysql_thread_init memory leak

Merge pull request #7325 from rgacogne/auth41-travis-rubygems-issue

auth-4.1.x: Update rubygems in travis (for bundler)

Update rubygems in travis (for bundler)

(cherry picked from commit 2a5c0b379f0bc256cb92920e3be56139f5bcdc29)

Merge pull request #7279 from rgacogne/auth41-multiple-cnames-rrset

 auth-4.1.x: Prevent more than one CNAME/SOA record in the same RRset

Merge pull request #7280 from rgacogne/auth41-fix-rsa-key-size-api-test

auth-4.1.x: Use a realistic RSA key size for testing rsasha256 via the API

auth: Use a realistic RSA key size for testing rsasha256 via the API

We used to request the creation of a 256-bit RSA key, which OpenSSL
refuses from 1.1.1 onward. 1.1.0 used to accept everything larger
than 16 bits (!) but in 1.1.1 512 (RSA_MIN_MODULUS_BITS) is the
minimum.

auth: Add a whitespace before the last type and '}'

(cherry picked from commit 5089d622acf70da9ca6f8877d400f05b40cc23c1)

auth: Prevent more than one CNAME/SOA record in the same RRset

(cherry picked from commit 7f20132510ca9088304004504d34a2f9db5e0336)

auth: Add an API test for multiple CNAME records in the same RRset

(cherry picked from commit 8b1fa85de2f5cd33ce84f78de3a700bc5d2fb512)

Merge pull request #7213 from Habbie/backport-7212

upgrade to jdnssec-tools 0.14

upgrade to jdnssec-tools 0.14

(cherry picked from commit 20445e6958184a6ca1e1eb7339434f6e77a8bb45)

Merge pull request #7149 from aerique/auth41-sec-201810

PowerDNS Authoritative Server 4.1.5

Merge pull request #7121 from rgacogne/auth415-backports

Authoritative 4.1.5 backports

Merge pull request #7118 from pieterlexis/auth-41-el6-fix

auth 4.1 build: Switch to devtoolset 7 for el6

Backport #6913

Backport #6948

Backport #6917

actually truncate truncated responses; fixes #6912

(cherry picked from commit cdc8ccd71098ee679de85bf0a8e0ada017ed45a4)

Fix compilation with LibreSSL 2.7.0+

(cherry picked from commit 1648b8ff39c705fdee526cd73bf2652982b80087)

Release memory in case of error in the OpenSSL ECDSA constructor

The current code will only fail to release the allocated memory if
called with an invalid algorithm, which won't happen, or if a
memory allocation fails in which case this might not matter much.
Still, it's cleaner to release the memory properly and might avoid
mistakes later if we look at this code while implementing a new
crypto backend.

(cherry picked from commit b141d89b27e52c3a8e76ca79ec5201d001f4fce9)

auth 4.1 build: Switch to devtoolset 7 for el6

Fixed on master by #7040

auth: Add missing ednscookies.hh dependency to the Makefile

(cherry picked from commit edb705fbe5476617b524fe05e98ee8d41485c07c)

Do full packet comparison in the packet caches in addition to the hash

(cherry picked from commit aab08a02344a66e14572cf63129d157d6e7ba8c9)
(cherry picked from commit b9062eae2599aee60802d90ef91afcb9fac49fe5)

Allocate DNSRecord objects as smart pointers right away

(cherry picked from commit 1339125af5afe6d6ecfe0a500c5fdc76d790459d)
(cherry picked from commit ab553ca2c28d72e1031fae1ebac88c7fbc74a6b1)

Merge pull request #6976 from pieterlexis/backport-6811

apply ALIAS scopemask after chasing

apply ALIAS scopemask after chasing

(cherry picked from commit 0abea1ca19249f9028e85dec3cf7535d0598fede)

Merge pull request #6972 from rgacogne/auth41-unfck-sphinx

auth-4.1.x: Sphinx 1.8.0 seems broken, use any other version available instead

Sphinx 1.8.0 seems broken, use any other version available instead

(cherry picked from commit 424a5ee31cd82870da5e1df4b908735967e2912a)

Merge pull request #6866 from pieterlexis/auth-414-backports

Authoritative server 4.1.4 backports

Backport #6590

Fix warnings reported by GCC 8.1.0

- polymorphic exceptions caught by value
- ComboAddress objects manipulated via `memset()`

(cherry picked from commit d38e2ba97a78aa9dfc894fc4e13a6f3a410dd31a)

Backport #6857

Backport #6858

Delete a zone from the list of failed slave-checks on incoming NOTIFY and fix d_lock handling

- If the master is not available, PDNS uses an incrmental backoff for SOA-checks to avoid
constant SOA checks on the failed master server. If the master server comes back to life
and sends a NOTIFY, the NOTIFY is ignored due to the backoff. This patch removes the zone
from the list of failed slave-checks to allow immediate checking.

- Debug-Log if a slave-check was skipped due to incremental backoff feature

- Fix d_lock handling according to comments on https://github.com/PowerDNS/pdns/pull/6819

- Be more verbose about the consequences of a failed SOA check

(cherry picked from commit f1a7ff7ab183fd6e92b21cff30ecddef22b666d2)

change 0 to nullptr

(cherry picked from commit 3abd2f75e3af499f2c46d9af9b413196ae18a1a2)

rfc2136: do lookups in the right zone

(cherry picked from commit f1e5fdc732aca18205108e7a2d2e6c5200e3b896)

add test for parent/child confusion

(cherry picked from commit c9ff6ee5b6c8cb1263c4fc726cfc781e3b8e0064)

add sub.test.dyndns zone, add occluded record to parent

(cherry picked from commit ebca4e78fef89de4d32fa4cde01c69395c3e2de6)

use gsort when available, because sort -V is a GNU extension

(cherry picked from commit da25a468e4cc99af89da4730d32ea0ed3b8643a5)

after a db lookup, always finish the get cycle

(cherry picked from commit e2136c35b317c408434eaec8c0f9ee288d9b9f38)

Backport #6738

Backport #6691