Allow all connections to the PG server in Circle CI

(cherry picked from commit fed8314d910dbd61f3f3abfbf51f8a316b93001c)

Merge pull request #8736 from Habbie/auth-4.2.x-backport-8713

auth-4.2.x: Enforce a strict maximum size for the packet and records caches

auth: Enforce a strict maximum size for the packet and records caches

Before this change, both the query and packet caches in the authoritative
server can exceed their maximum size by a lot, until the next cleaning
cycle.
This is particularly nasty since the current cleaning algorithm will
never remove entries from the cache until they expire, as opposed to
what we do in the recursor, for example, where we nuke the least-recently
used entries, even if they are still valid, when the cache is full.
This commit changes that by removing the least recently inserted or
updated entry from the cache after inserting a new one when the cache
is full, thus enforcing the maximum size more strictly.

Note that this is really the least recently inserted/updated and not
the least recently used one, as is done in the recursor. Having a
proper LRU in the auth would require acquering a write lock for a
simple lookup, instead of a potentially concurrent read-lock at the
moment. We might want to consider changing that at some point, as
a LRU might be fairer and the lock contention might be very small
since the caches are sharded.

(cherry picked from commit d2814f81c77709d628a3fc036aff96ccc8a74c64)

Avoid having to use numbered indexes by given all indexes a tag
and specifying them in the call if needed.

(cherry picked from commit 94306029ae0d112d931e38780591297ec0635423)
(changes in rec skipped)

Merge pull request #8817 from Habbie/backport-8737-to-auth-4.2.x

auth-4.2.x: avoid 'git show -s' from starting a pager in CircleCI

backport of #8737: avoid 'git show -s' from starting a pager in CircleCI

Merge pull request #8786 from Habbie/backport-8784-to-auth-4.2.x

auth 4.2.x api: add includerings option to statistics endpoint

auth api: add includerings option to statistics endpoint

(cherry picked from commit c65b5e12832ac38259f215f084a33b214b117fa8)

Merge pull request #8612 from mind04/pdns-42-unserialize

Backport fix out-of-bound access for zero length "serialized" string.

Fix out-of-bound access for zero length "serialized" string.

Merge pull request #8602 from Habbie/backport-8350-to-auth-4.2.x

auth 4.2x: bind backend: pthread_mutex_t should be inited and destroyed and not be copied

bind backend: pthread_mutex_t should be inited and destroyed and not be copied

To make our live easier, use a native C++ mutex.
Fixes #8161

(cherry picked from commit 7fff09acbd57c41b28d6dfba7a55e561167ace1a)

Merge pull request #8578 from Habbie/backport-8577-to-auth-4.2.x

auth 4.2.x: root zone tests: do not ask the internet about domain.net

Merge pull request #8589 from Habbie/backport-8575-to-auth-4.2.x

auth-4.2.x: LUA view: do not crash on empty IP list, fixes #8572

LUA view: do not crash on empty IP list, fixes #8572

(cherry picked from commit 28beeb0f76f2ba0dcea0def88fe46dbce51d06eb)

Merge pull request #8576 from pieterlexis/backport-8562-to-auth-4.2.x

auth 4.2.x: YAHTTP: Accept headers without spaces

auth root zone tests: do not ask the internet about domain.net

(cherry picked from commit 2631b61dfb888934a28212230b32a2dbbcb2a2f0)

YAHTTP: Accept headers without spaces

(cherry picked from commit 48180b07ee949a9ddda1063815ce1da403d63e8a)

Merge pull request #8570 from Habbie/backport-8301-to-auth-4.2.x

auth-4.2.x: on luaSynth exception, drain db output

manual backport of #8301

Merge pull request #8568 from mind04/pdns-lmdb-backport

Backport lmdb backend from 780ae3f to 4.2.x

auth api: after a db lookup, always finish the get cycle

pdnsutil add/replace record: do not end transaction before we are done with it

auth: lmdbbackend sync with 780ae3f

Merge pull request #8503 from mind04/pdns-42-api

Backport #8457 and #8497

auth: api: do not run soaedit or rectify for disabled zones

auth: api: patchZone() was ignoring the default-api-rectify setting

auth: api: purge the entire zone from the cache after a patch operation.

auth: api: avoid a large number of new database connections

Merge pull request #8546 from Habbie/backport-8095-to-auth-4.2.x

auth 4.2.x: register a few known types and remove an unknown one

Merge pull request #8549 from Habbie/backport-7984-to-auth-4.2.x

auth 4.2.x: Add SLAVE-RENOTIFY zone metadata support

Merge pull request #8507 from Habbie/backport-8235-to-auth-4.2.x

auth-4.2.x: rfc2136, pdnsutil: somewhat improve duplicate record handling

Merge pull request #8548 from Habbie/backport-7989-to-auth-4.2.x

auth 4.2.x: bindbackend: use metadata for also-notifies as well

Merge pull request #8508 from Habbie/backport-8289-to-auth-4.2.x

auth-4.2.x: pdnsutil increase-serial: under SOA-EDIT=INCEPTION-EPOCH, bump as if it is EPOCH

casemix test: ignore SOA content because it changes every day

(cherry picked from commit 1a171faaeb0a2a60aed5198d00344585740c98b4)

improve code readability

(cherry picked from commit 85caeb97256121f58b34fcfaff5dea986050da35)

rfc2136: ignore case when checking PTR/MX/SRV content for duplicates

(cherry picked from commit bcdf6537ea957f2928e5cfc929cee9ecb1c7146e)

pdnsutil: don't lowercase TXT in comparisons

(cherry picked from commit d9b0dad4fe3c5eecf32e383e314118d08fdac27c)

Merge pull request #8547 from Habbie/backport-8271-to-auth-4.2.x

auth 4.2.x: add configurable timeout for inbound AXFR

Merge pull request #8541 from Habbie/backport-4628-to-auth-4.2.x

auth 4.2.x: API: do not return dnssec info in domain list

auth: allow SLAVE-RENOTIFY in API too

(cherry picked from commit c750c26ee83867250fd24b1184898a321e55347b)

auth: SLAVE-RENOTIFY zone metadata support

auth: bindbackend: use metadata for also-notifies as well

(cherry picked from commit 97ed14cd4efebd044ae824aac73fdc76aa6b9ed6)

auth: add configurable timeout for inbound AXFR

(cherry picked from commit e3619f5766c37598579fd6d8d58d7160d31db34f)

auth: register a few known types and remove an unknown one

(cherry picked from commit fa23972a8cadfd648ae75c0a47f7a514b30293c8)

don't apply /zones dnssec=false test to recursor

(cherry picked from commit a25bc5e9110261443978c60798c11755cf0de0d9)

add test for dnssec=false

(cherry picked from commit 80e9a5179e8e944af46c48048449c0698b3fc9b0)

document /zones dnssec parameter

(cherry picked from commit 4a3ce69b9c530abb5e73a256867ca446c6cf453b)

Support optional ?dnssec=false flag on listing zones

Defaults to true, so the behaviour is unchanged in 4.x.

(cherry picked from commit 07a32d18e7df4cdfa43e88e774f3123415ddff35)

API: do not return dnssec info in domain list

(cherry picked from commit 0ce25a64688b83ef636e0dc8d87453596c55e9e7)

document INCEPTION-EPOCH exception

(cherry picked from commit 98d7e4c8416732e72be3cec1bf529ca42d99dd1a)

pdnsutil increase-serial: under SOA-EDIT=INCEPTION-EPOCH, bump as if it is EPOCH, fixes #8218

(cherry picked from commit 865d5504f6cf1aeb317765f15d0fc3cfe0ca76df)

add clarifying comment

(cherry picked from commit 38bc3466bc550a66b0df0cd995d80375e7bccdc5)

Merge pull request #8501 from Habbie/backport-8445-to-auth-4.2.x

auth 4.2.x: ds-at-apex-noerror test: do not run unbound-host

auth ds-at-apex-noerror test: do not run unbound-host

(cherry picked from commit bfc7b0274b157803ed572f4e7dbd0bd690b25647)

Merge pull request #8454 from omoerbeek/backport-8451-to-auth-4.2.x

auth: Backport 8451 to auth 4.2.x: Basic validation of $GENERATE parameters

Basic validation of $GENERATE parameters

(cherry picked from commit 775a673a1798d01e5e259a00cff7a757f5350f40)

Merge pull request #8428 from pieterlexis/backport-8400

Auth 42: Add CentOS 8 as builder target

Add CentOS 8 as builder target

(cherry picked from commit 19293f266cf7bb719bd6975b3e06994f49e0e583)

Merge pull request #8341 from mind04/pdns-mysql-ssl-42

auth: backport of #8328

auth: gmysql backend, add an option to send the SSL capability flag to the server

Merge pull request #8229 from Habbie/backport-8219-to-auth-4.2.x

auth backport: bind getAllDomains: ignore per-zone exceptions

bind getAllDomains: ignore per-zone exceptions

(cherry picked from commit 4d6afd412afd1999fba810ab2b2dabbbf3eb9258)

Merge pull request #8168 from Habbie/backport-8071-to-auth-4.2.x

auth 4.2.x: packethandler: Compare TSIG key name using DNSName

Merge pull request #8172 from Habbie/backport-7951-to-auth-4.2.x

auth-4.2.x: update boost.m4

Merge pull request #8173 from Habbie/backport-8081-to-auth-4.2.x

auth-4.2.x: m4/systemd.m4: Fail when systemctl is not available

m4/systemd.m4: Fail when systemctl is not available

We use systemctl to determine the version as to find out what features
to enable in the unit file.

(cherry picked from commit 1f988403108ef7454006fcd995574d89f83aef7f)

Merge pull request #8169 from Habbie/backport-8067-to-auth-4.2.x

auth-4.2.x:  Make sure we always compile with BOOST_CB_ENABLE_DEBUG set to 0

Use the boost.m4 boost::context detection

(cherry picked from commit 4c75f0296b691362cc8e706a83a21460269e0ef7)

Update boost.m4 to serial 30

(cherry picked from commit 1b88fc23226902839a58f7627a02134e48b53622)

Update boost.m4

(cherry picked from commit d7a2a52fbf76361a33d73ce1b0e394882ee4a17f)

BOOST_CB_ENABLE_DEBUG is overridden before 1.62, set BOOST_CB_DISABLE_DEBUG instead

(cherry picked from commit 7fa225c362a6e009775a1978d54adfe383b29ab8)

Make sure we always compile with BOOST_CB_ENABLE_DEBUG set to 0

(cherry picked from commit 9f6a31fffe1f4bd77fd402f997a5f37a58f72fc5)

packethandler: Compare TSIG key name using DNSName

Fixes #8070

(cherry picked from commit 6da24c839a957f0f9866d8025a6bf35256b2e451)

Merge pull request #8166 from Habbie/backport-8164-to-auth-4.2.x

auth 4.2.x: pdnsutil increase-serial: set right ordername

pdnsutil increase-serial: set right ordername

(cherry picked from commit 970badd2b07b50e6103570f0ed91a834ac40cb15)

Merge pull request #8163 from Habbie/backport-8149-to-auth-4.2.x

auth 4.2.x: stop using select() in places where FDs can be >1023

Merge pull request #8138 from Habbie/backport-8135-to-auth-4.2.x

auth-4.2.x: ext/ipcrypt: Ship LICENSE in tarballs

Merge pull request #8165 from Habbie/backport-8129-to-auth-4.2.x

auth 4.2.x lmdb: add schema versioning

auth lmdb: add schema versioning

(cherry picked from commit 370ae1cd4cd8869e2ba6d6525ac2dd6da5127b78)

remotebackend pipeconnector: stop using select()

(cherry picked from commit 24cc241457124f986e6ab35f2530c8b633408c9c)

pipebackend coprocess: stop using select()

(cherry picked from commit 445ec75038e068e5bb1afc8ebe43f7ea1e104a54)

ext/ipcrypt: Ship LICENSE in tarballs

(cherry picked from commit ca80aa424b89b43cbc3ce11e6f5be5a901c3e2d7)

Merge pull request #8085 from Habbie/backport-8075-to-auth-4.2.x

builder: add raspbian-buster target

Merge pull request #8126 from Habbie/backport-8125-to-auth-4.2.x

backport: auth: add metric for open TCP connections

Merge pull request #8058 from Habbie/backport-8054-to-auth-4.2.x

auth 4.2: Fix SERVFAIL when backend returns empty DNSName

Merge pull request #8128 from Habbie/backport-8097-to-auth-4.2.x

auth 4.2: use BIGINT for notified_serial in pg schema

make test-schema exit(1) on failure; catch setNotified exception

(cherry picked from commit 2b172ef99afcb661978b589ddc2ebaa930aae71d)

add notified_serial range test to pdnsutil test-schema

(cherry picked from commit afdeeff28bfdcbed5ce6fb19190e94ba4b10ccbd)

use BIGINT for notified_serial in pg schema; fixes #6815

(cherry picked from commit 1953ba21c91a8569250f72a3de0efe57eabd7482)

Merge pull request #8092 from mind04/nochop-bp

Auth: backport #8050

auth: add metric for open TCP connections

(cherry picked from commit d322f9312dda0603b0c3bddaa4e2e124990f524e)

Merge pull request #8099 from Habbie/backport-8093-to-auth-4.2.x

add whatis description to nproxy man page

add whatis description to nproxy man page

(cherry picked from commit bc91fbab1a599671a9f05e332dd78afe6fe53851)

auth: improve the handling of duplicate id's in bindbackend
duplicate id's are not allowed in powerdns and will still result in undefined behavior

auth: bind-backend, improve the domain_id check in lookup()
zone_id was not checked for a root zone and finding the right zone for a specific zone_id was super slow
With this commit, the uncached output of bind backen will increase by approximately 10%

auth: silence 'mastercommunicator.cc:223:104 warning: ‘id’ may be used uninitialized in this function' warning
id was set in getOne()

auth: pdnsutil show zone, make sure the DNSKEY is from the right zone

auth: prevent new database connections while sending notifies

auth: send notifies only to the nameservers in the zone