Merge pull request #9943 from Habbie/backport-9831-to-auth-4.2.x

auth-4.2.x el8: PowerTools is now powertools

el8: PowerTools is now powertools

(cherry picked from commit 26fe120)

Merge pull request #9499 from Habbie/auth-4.2.x-2020-05

auth-4.2.x: raise an exception on invalid content in unknown records

Raise an exception on invalid first part (!= \#) in unknown records

Raise an exception on invalid hex content in unknown records

Otherwise we can end up reading uninitialised memory from the stack,
possibly leaking information.
This is only an issue if the content is read from an untrusted source
and can be passed back to an attacker.

Merge pull request #9191 from Habbie/auth-4.2.x-mydns-migrate

auth mydns: add SOA to list() output, fixes #9181

initialise variable

Update modules/mydnsbackend/mydnsbackend.cc

Co-authored-by: Josh Soref <jsoref@users.noreply.github.com>

auth mydns: add SOA to list() output, fixes #9181

Merge pull request #9149 from rgacogne/auth42-no-spellcheck

auth-4.2.x: Suppress PR based spell check

Suppress PR based spell check

(cherry picked from commit 16f3f8060ece690049dbf8059cf2f5a2bcc21bc2)

Merge pull request #9038 from Habbie/backport-8640-to-auth-4.2.x

auth-4.2.x: Fix build with gcc-10

Fix build with gcc-10

From an e-mail from Jeff Law <law@redhat.com>:

Subject: Minor problem in pdns, dnsdist and pdns-recursor packages in Fedora

[ All three packages have embedded copies of the same problematic code
and the same patch fixes all three. ]

Red Hat's compiler team continues to try and be proactive in identifying
issues that will arise as a result of the introduction of a new GCC
release into Fedora each spring.

You're being contacted because a package you maintain in Fedora is going
to fail to build with gcc-10 in the spring.  Yes, I know that's a few
months away, but it's far easier to fix this stuff proactively now than
wait.

Fixing it now also means that your package will continue to be built
with testing versions of gcc-10 as we proceed through the development
process thus allowing additional issues to be caught early.

Your particular package will fail due to an uninstantiated template for
AsyncLoader<Request>.  These kinds of problems are relatively common due to
changes in the tuning of the inliner for gcc-10:

> BUILDSTDERR: /usr/bin/ld: webserver.o: in function `WebServer::serveConnection(std::shared_ptr<Socket>) const':
> BUILDSTDERR: /builddir/build/BUILD/pdns-4.2.1/pdns/webserver.cc:373: undefined reference to `YaHTTP::AsyncLoader<YaHTTP::Request>::feed(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)'
> BUILDSTDERR: collect2: error: ld returned 1 exit status
> BUILDSTDERR: make[3]: *** [Makefile:2751: ixfrdist] Error 1
>

The attached patch arranges for an instance to be instantiated when
compiling reqresp.cpp and is sufficient to fix this problem.  The
choice of reqresp.cpp fairly arbitrary IIRC.

Ideally you'll with upstream to get this fixed, but a Fedora patch is
clearly OK as well.   I'll install the attached fix into Fedora in a
week or so if I haven't heard from you.

Jeff

(cherry picked from commit ffb885e937c27bb1c62dee8f18c58ae0d5d52d39)

Merge pull request #9010 from Habbie/backport-8628-to-auth-4.2.x

auth 4.2: make sure get() is always returning the default value for d_place

auth: make sure get() is always returning the default value for d_place

(cherry picked from commit 2ac9fd56ae88c90bf3c0b858cd1fb5b90e9f1f0b)

Merge pull request #9003 from Habbie/backport-8924-to-auth-4.2.x

auth-4.2: make sure we look at 10% of all cached items during cleanup

Merge pull request #9001 from Habbie/backport-8977-to-auth-4.2.x

auth 4.2: fix IXFR-in record duplication issue by avoiding the query cache

auth: make sure we look at 10% of all cached items during cleanup

(cherry picked from commit 0859f17603dc68a0f1dfa8b0fe5112d833e61994)

fix IXFR-in record duplication issue by avoiding the query cache

(cherry picked from commit fce7ba570569aa6e9d5a21e0c4525a50b73789ef)

Merge pull request #8834 from Habbie/backport-8833-to-auth-4.2.x

auth-4.2.x: Allow all connections to the PG server in Circle CI

Allow all connections to the PG server in Circle CI

(cherry picked from commit fed8314d910dbd61f3f3abfbf51f8a316b93001c)

Merge pull request #8736 from Habbie/auth-4.2.x-backport-8713

auth-4.2.x: Enforce a strict maximum size for the packet and records caches

auth: Enforce a strict maximum size for the packet and records caches

Before this change, both the query and packet caches in the authoritative
server can exceed their maximum size by a lot, until the next cleaning
cycle.
This is particularly nasty since the current cleaning algorithm will
never remove entries from the cache until they expire, as opposed to
what we do in the recursor, for example, where we nuke the least-recently
used entries, even if they are still valid, when the cache is full.
This commit changes that by removing the least recently inserted or
updated entry from the cache after inserting a new one when the cache
is full, thus enforcing the maximum size more strictly.

Note that this is really the least recently inserted/updated and not
the least recently used one, as is done in the recursor. Having a
proper LRU in the auth would require acquering a write lock for a
simple lookup, instead of a potentially concurrent read-lock at the
moment. We might want to consider changing that at some point, as
a LRU might be fairer and the lock contention might be very small
since the caches are sharded.

(cherry picked from commit d2814f81c77709d628a3fc036aff96ccc8a74c64)

Avoid having to use numbered indexes by given all indexes a tag
and specifying them in the call if needed.

(cherry picked from commit 94306029ae0d112d931e38780591297ec0635423)
(changes in rec skipped)

Merge pull request #8817 from Habbie/backport-8737-to-auth-4.2.x

auth-4.2.x: avoid 'git show -s' from starting a pager in CircleCI

backport of #8737: avoid 'git show -s' from starting a pager in CircleCI

Merge pull request #8786 from Habbie/backport-8784-to-auth-4.2.x

auth 4.2.x api: add includerings option to statistics endpoint

auth api: add includerings option to statistics endpoint

(cherry picked from commit c65b5e12832ac38259f215f084a33b214b117fa8)

Merge pull request #8612 from mind04/pdns-42-unserialize

Backport fix out-of-bound access for zero length "serialized" string.

Fix out-of-bound access for zero length "serialized" string.

Merge pull request #8602 from Habbie/backport-8350-to-auth-4.2.x

auth 4.2x: bind backend: pthread_mutex_t should be inited and destroyed and not be copied

bind backend: pthread_mutex_t should be inited and destroyed and not be copied

To make our live easier, use a native C++ mutex.
Fixes #8161

(cherry picked from commit 7fff09acbd57c41b28d6dfba7a55e561167ace1a)

Merge pull request #8578 from Habbie/backport-8577-to-auth-4.2.x

auth 4.2.x: root zone tests: do not ask the internet about domain.net

Merge pull request #8589 from Habbie/backport-8575-to-auth-4.2.x

auth-4.2.x: LUA view: do not crash on empty IP list, fixes #8572

LUA view: do not crash on empty IP list, fixes #8572

(cherry picked from commit 28beeb0f76f2ba0dcea0def88fe46dbce51d06eb)

Merge pull request #8576 from pieterlexis/backport-8562-to-auth-4.2.x

auth 4.2.x: YAHTTP: Accept headers without spaces

auth root zone tests: do not ask the internet about domain.net

(cherry picked from commit 2631b61dfb888934a28212230b32a2dbbcb2a2f0)

YAHTTP: Accept headers without spaces

(cherry picked from commit 48180b07ee949a9ddda1063815ce1da403d63e8a)

Merge pull request #8570 from Habbie/backport-8301-to-auth-4.2.x

auth-4.2.x: on luaSynth exception, drain db output

manual backport of #8301

Merge pull request #8568 from mind04/pdns-lmdb-backport

Backport lmdb backend from 780ae3f to 4.2.x

auth api: after a db lookup, always finish the get cycle

pdnsutil add/replace record: do not end transaction before we are done with it

auth: lmdbbackend sync with 780ae3f

Merge pull request #8503 from mind04/pdns-42-api

Backport #8457 and #8497

auth: api: do not run soaedit or rectify for disabled zones

auth: api: patchZone() was ignoring the default-api-rectify setting

auth: api: purge the entire zone from the cache after a patch operation.

auth: api: avoid a large number of new database connections

Merge pull request #8546 from Habbie/backport-8095-to-auth-4.2.x

auth 4.2.x: register a few known types and remove an unknown one

Merge pull request #8549 from Habbie/backport-7984-to-auth-4.2.x

auth 4.2.x: Add SLAVE-RENOTIFY zone metadata support

Merge pull request #8507 from Habbie/backport-8235-to-auth-4.2.x

auth-4.2.x: rfc2136, pdnsutil: somewhat improve duplicate record handling

Merge pull request #8548 from Habbie/backport-7989-to-auth-4.2.x

auth 4.2.x: bindbackend: use metadata for also-notifies as well

Merge pull request #8508 from Habbie/backport-8289-to-auth-4.2.x

auth-4.2.x: pdnsutil increase-serial: under SOA-EDIT=INCEPTION-EPOCH, bump as if it is EPOCH

casemix test: ignore SOA content because it changes every day

(cherry picked from commit 1a171faaeb0a2a60aed5198d00344585740c98b4)

improve code readability

(cherry picked from commit 85caeb97256121f58b34fcfaff5dea986050da35)

rfc2136: ignore case when checking PTR/MX/SRV content for duplicates

(cherry picked from commit bcdf6537ea957f2928e5cfc929cee9ecb1c7146e)

pdnsutil: don't lowercase TXT in comparisons

(cherry picked from commit d9b0dad4fe3c5eecf32e383e314118d08fdac27c)

Merge pull request #8547 from Habbie/backport-8271-to-auth-4.2.x

auth 4.2.x: add configurable timeout for inbound AXFR

Merge pull request #8541 from Habbie/backport-4628-to-auth-4.2.x

auth 4.2.x: API: do not return dnssec info in domain list

auth: allow SLAVE-RENOTIFY in API too

(cherry picked from commit c750c26ee83867250fd24b1184898a321e55347b)

auth: SLAVE-RENOTIFY zone metadata support

auth: bindbackend: use metadata for also-notifies as well

(cherry picked from commit 97ed14cd4efebd044ae824aac73fdc76aa6b9ed6)

auth: add configurable timeout for inbound AXFR

(cherry picked from commit e3619f5766c37598579fd6d8d58d7160d31db34f)

auth: register a few known types and remove an unknown one

(cherry picked from commit fa23972a8cadfd648ae75c0a47f7a514b30293c8)

don't apply /zones dnssec=false test to recursor

(cherry picked from commit a25bc5e9110261443978c60798c11755cf0de0d9)

add test for dnssec=false

(cherry picked from commit 80e9a5179e8e944af46c48048449c0698b3fc9b0)

document /zones dnssec parameter

(cherry picked from commit 4a3ce69b9c530abb5e73a256867ca446c6cf453b)

Support optional ?dnssec=false flag on listing zones

Defaults to true, so the behaviour is unchanged in 4.x.

(cherry picked from commit 07a32d18e7df4cdfa43e88e774f3123415ddff35)

API: do not return dnssec info in domain list

(cherry picked from commit 0ce25a64688b83ef636e0dc8d87453596c55e9e7)

document INCEPTION-EPOCH exception

(cherry picked from commit 98d7e4c8416732e72be3cec1bf529ca42d99dd1a)

pdnsutil increase-serial: under SOA-EDIT=INCEPTION-EPOCH, bump as if it is EPOCH, fixes #8218

(cherry picked from commit 865d5504f6cf1aeb317765f15d0fc3cfe0ca76df)

add clarifying comment

(cherry picked from commit 38bc3466bc550a66b0df0cd995d80375e7bccdc5)

Merge pull request #8501 from Habbie/backport-8445-to-auth-4.2.x

auth 4.2.x: ds-at-apex-noerror test: do not run unbound-host

auth ds-at-apex-noerror test: do not run unbound-host

(cherry picked from commit bfc7b0274b157803ed572f4e7dbd0bd690b25647)

Merge pull request #8454 from omoerbeek/backport-8451-to-auth-4.2.x

auth: Backport 8451 to auth 4.2.x: Basic validation of $GENERATE parameters

Basic validation of $GENERATE parameters

(cherry picked from commit 775a673a1798d01e5e259a00cff7a757f5350f40)

Merge pull request #8428 from pieterlexis/backport-8400

Auth 42: Add CentOS 8 as builder target

Add CentOS 8 as builder target

(cherry picked from commit 19293f266cf7bb719bd6975b3e06994f49e0e583)

Merge pull request #8341 from mind04/pdns-mysql-ssl-42

auth: backport of #8328

auth: gmysql backend, add an option to send the SSL capability flag to the server

Merge pull request #8229 from Habbie/backport-8219-to-auth-4.2.x

auth backport: bind getAllDomains: ignore per-zone exceptions

bind getAllDomains: ignore per-zone exceptions

(cherry picked from commit 4d6afd412afd1999fba810ab2b2dabbbf3eb9258)

Merge pull request #8168 from Habbie/backport-8071-to-auth-4.2.x

auth 4.2.x: packethandler: Compare TSIG key name using DNSName

Merge pull request #8172 from Habbie/backport-7951-to-auth-4.2.x

auth-4.2.x: update boost.m4

Merge pull request #8173 from Habbie/backport-8081-to-auth-4.2.x

auth-4.2.x: m4/systemd.m4: Fail when systemctl is not available

m4/systemd.m4: Fail when systemctl is not available

We use systemctl to determine the version as to find out what features
to enable in the unit file.

(cherry picked from commit 1f988403108ef7454006fcd995574d89f83aef7f)

Merge pull request #8169 from Habbie/backport-8067-to-auth-4.2.x

auth-4.2.x:  Make sure we always compile with BOOST_CB_ENABLE_DEBUG set to 0

Use the boost.m4 boost::context detection

(cherry picked from commit 4c75f0296b691362cc8e706a83a21460269e0ef7)

Update boost.m4 to serial 30

(cherry picked from commit 1b88fc23226902839a58f7627a02134e48b53622)

Update boost.m4

(cherry picked from commit d7a2a52fbf76361a33d73ce1b0e394882ee4a17f)

BOOST_CB_ENABLE_DEBUG is overridden before 1.62, set BOOST_CB_DISABLE_DEBUG instead

(cherry picked from commit 7fa225c362a6e009775a1978d54adfe383b29ab8)

Make sure we always compile with BOOST_CB_ENABLE_DEBUG set to 0

(cherry picked from commit 9f6a31fffe1f4bd77fd402f997a5f37a58f72fc5)

packethandler: Compare TSIG key name using DNSName

Fixes #8070

(cherry picked from commit 6da24c839a957f0f9866d8025a6bf35256b2e451)

Merge pull request #8166 from Habbie/backport-8164-to-auth-4.2.x

auth 4.2.x: pdnsutil increase-serial: set right ordername

pdnsutil increase-serial: set right ordername

(cherry picked from commit 970badd2b07b50e6103570f0ed91a834ac40cb15)

Merge pull request #8163 from Habbie/backport-8149-to-auth-4.2.x

auth 4.2.x: stop using select() in places where FDs can be >1023

Merge pull request #8138 from Habbie/backport-8135-to-auth-4.2.x

auth-4.2.x: ext/ipcrypt: Ship LICENSE in tarballs

Merge pull request #8165 from Habbie/backport-8129-to-auth-4.2.x

auth 4.2.x lmdb: add schema versioning

auth lmdb: add schema versioning

(cherry picked from commit 370ae1cd4cd8869e2ba6d6525ac2dd6da5127b78)