Merge branch 'master' into postgres-stmt-name-collision

Merge pull request #5115 from pieterlexis/issue-1284

BIND backend: support "native" zones

Merge pull request #5127 from rgacogne/rec-init-qhash-coverity

Fix minor issues reported by coverity

auth: Remove leftover `PacketHandler::doRecursion` member

Reported by Coverity.

rec: Initialize `qhash` to 0 to make coverity happy

Coverity reports that `qhash` might be used initialized if the packet
cache is disabled. It's indeed used to initialize `dc->d_qhash`, which
will not be used if the packet cache is disabled so there is no real
issue. Still, let's just initialize `qhash` since other tools like Valgrind
are very likely to complain about this too.

Merge pull request #5123 from RobinGeuze/fixFreeBSDBuildNetSNMP

dnsdist, rec: Replace net-snmp-includes.h with hand picked headers

Merge pull request #5125 from ahupowerdns/create-slave-zone

for create-slave-zone, actually add all slaves, and not only first n times

for create-slave-zone, actually look at subsequent arguments, and not keep on adding the first one. Closes #5124.

Replace net-snmp-includes.h with hand picked headers so it no longer breaks compile on FreeBSD

Merge pull request #5101 from rgacogne/cppcheck-rec-auth

Fix minor issues reported by `cppcheck`

Merge pull request #5120 from rgacogne/auth-reuseport-setuid

auth: Create additional `reuseport` sockets before dropping privileges

Merge pull request #5105 from rgacogne/auth-tinydns-leak

auth: Don't leak a CDB object in case of bogus data

Merge pull request #5116 from ahupowerdns/web-auth-digits

Close #1844: we report 1200 qps as 1.2e3 qps in auth webserver.

Merge pull request #5117 from ahupowerdns/qthread-error

Turn PDNSException in qthread into an error & exit instead of crash.

Merge pull request #5113 from RobinGeuze/addPerPoolPolicy

dnsdist: Add support for setting the server selection policy on a per pool basis

Merge pull request #5102 from rgacogne/rec-packetcache-perf

rec: Packet cache speedup / cleanup

Merge pull request #5106 from rgacogne/rec-resolveat-split

rec: Split SyncRes::doResolveAt, add const and static whenever possible

auth: Create additional `reuseport` sockets before dropping privileges

with this change, a crash because of a PDNSException in qthread gets turned into an error message and an exit. Closes #3830.

Fix comments from rgacogne
Use nullptr instead of NULL
Statically initialize policy to nullptr in Pool object
Actually set the global state for the pools after setting a new
server selection policy on a pool.

BIND backend: support "native" zones

Allow the use of `type native;` for zones in BIND config files. We also
assume the type is native if no type is specified.

Closes #1284

Also update showPools to display the used server selection policy

Add support for setting the server selection policy on a per pool basis

Close #1844: we report 1200 qps as 1.1e3 qps in auth webserver.

Merge pull request #4752 from mind04/norec

Remove recursion from auth

Merge pull request #4958 from paddg/patch-5

Tuning unit file for medium sized setups

Merge pull request #4966 from pari-/master

rec: enhance documentation

Merge pull request #5087 from Habbie/escape

escape markdown formatting chars

Merge pull request #5096 from pieterlexis/docs-howto-modernize

Docs: modernize the 'database' howto somewhat

Merge pull request #5100 from rgacogne/auth-docs-packet-cache-ttl

auth: Document that the cache respect the answer's TTL

Merge pull request #5089 from pieterlexis/dnsdist-api-404

dnsdist: Send a 404 on unknown API path

Merge pull request #5070 from pieterlexis/dnsdist-addAction-accept-DNSName

dnsdist addAction: Also DNSName(s)

Merge pull request #5094 from ahupowerdns/rfc2308

make our zone parser adhere to RFC2308 wrt implicit TTLs and add test. Adds note to release notes, plus some documentation to nobackend regression tests.

More sles dnsdist builder things

auth: Don't leak a CDB object in case of bogus data

Merge pull request #5104 from pieterlexis/sles-dnsdist-pkg

Add SLES support to dnsdist build-script

Merge pull request #5098 from shantikulkarni/patch-1

SOA object is required for all reverse zones

document the breaking change in zonefile parsing for the release notes.

make our zone parser adhere to RFC2308 wrt implicit TTLs and add test

make rfc2308 test less fragile by using jq

and a README to help the user get up to speed with these tests

make our zone parser adhere to RFC2308 wrt implicit TTLs and add test

rec: Mark pdns_recursor.cc functions/globals as static whenever possible

This might allow the compiler to do some optimizations, and also
make it easier to see where functions and globals are used when
reading the code.

rec: Constify SyncRes methods whenever possible

Add SLES support to dnsdist build-script

rec: Split SyncRes::doResolveAt()

rec: enhance documentation by adding/correcting 'Available
since'-tags for the diversity of available options

rec: Don't parse the QName in the packet cache if we already have it

When `gettag()` or protobuf are enabled, we have already parsed the
qname, qtype and qclass so pass them to the Packet Cache instead of
parsing them again.
Don't parse them several times if we have more than one match from
the cache either.

rec: Clean up time_t / uint32_t mix for the packet cache's TTD

Fix minor issues reported by `cppcheck`

auth: Document that the cache respect the answer's TTL

dnsdist addAction: Also DNSName(s)

escape markdown formatting chars

rec: Clean up the signedness of the packet cache's tag

rec: Speed up the packet cache

* Don't parse the response's qname for every call to
`getResponsePacket()`, this leads to a ~15% speed up on pure retrieval
* Only hash once, keep the hash result around, leading to a ~40%
speed up on insertion

SOA object is required for all reverse zones

As of 4.0.3, an reverse lookups in LDAP strict mode will not work without there being an object with an SOA entry for the reverse lookup zone.  This requirement is a change from 3.3.3. (Issue #5086)

Merge pull request #5097 from baloo/baloo/bugfixes/pysnmp

dnsdist: pysnmp4.3.4 fix compatibility problems with pyasn1

dnsdist: pysnmp4.3.3 fix compatibility problems with pyasn1

Signed-off-by: Arthur Gautier <baloo@gandi.net>

Revert "Fix pysnmp test error."

This reverts commit 9f512fd73afe7c2bceb8e42d7ff7eba527300408.

Docs: modernize the 'database' howto somewhat

Merge pull request #5092 from Habbie/unknown-types-jdnssec

map CDS and CDNSKEY to TYPExxx for jdnssec-verifyzone

dnsdist: Send a 404 on unknown API path

Before, a 401 would be sent for unknown API paths due to the strict
checking.

map CDS and CDNSKEY to TYPExxx for jdnssec-verifyzone

correct RPZ attribution

Merge pull request #5090 from baloo/baloo/bugfixes/pysnmp-fix

dnsdist: Fix pysnmp test error.

Fix pysnmp test error.

Should be reverted once https://github.com/etingof/pysnmp/issues/40 is
fixed and released (and pysnmp bumped to the newest version).

Signed-off-by: Arthur Gautier <baloo@gandi.net>

Merge pull request #5043 from cmouse/mydns

mydnsbackend: Add getAllDomains

Merge pull request #5063 from ahupowerdns/recwcardcname

Implement CNAME wildcards in recursor authoritative component

Merge pull request #5064 from pieterlexis/issue-554-generated-source

Indicate that dnslabeltext.cc is generated

Merge pull request #5078 from pieterlexis/issue-4939-error-on-non-existing-lua-conf

Throw an error when lua-conf-file can't be loaded

Merge pull request #5085 from rgacogne/calidns-ipv6

calidns: Use the correct socket family (IPv4 / IPv6)

add actual wildcard cname to test zone

calidns: Use the correct socket family (IPv4 / IPv6)

add a regression test for wildcard cnames recursor auth

Merge pull request #4920 from plzz/chopoff

Register DNSName::chopOff in lua

With this commit, the recursor authoritative server can deal with CNAME wildcards. This closes #2818.

Document return value of chopOff

Merge pull request #4549 from zeha/dnsrr

Remove d_place from DNSResourceRecord

FindNS lookup should actually look at an UeberBackend. This solves mind04's concerns. It also makes the code compile again.

Merge branch 'master' into dnsrr

Throw an error when lua-conf-file can't be loaded

This ensures we cannot start up if the file is unreadable.
Closes #4939

Merge pull request #5003 from rgacogne/tsig-tests

Refactoring of the TSIG handling

Indicate that dnslabeltext.cc is generated

Closes #554

Merge pull request #4988 from rgacogne/rec-incoming-ecs

rec: Add `use-incoming-edns-subnet` to process and pass along ECS

Document minimal version for metadata through the API

Merge pull request #4712 from cmouse/patch-1

Update version number for Lua updatePolicy

Merge pull request #4922 from Habbie/ldap-ptr-fix

fix ldap-strict autoptr feature, including a test

Merge pull request #4950 from rgacogne/suffix-match-node-merge

Refactor SuffixMatchNode using a SuffixMatchTree

Merge pull request #4953 from pieterlexis/issue-349-602-slave-checking-backoff

Auth: Incremental backoff for failed slave checks

Merge pull request #4990 from rgacogne/rec-snmp-clean

rec: Add SNMP support

Merge pull request #4989 from rgacogne/dnsdist-snmp-clean

dnsdist: Add SNMP support

Merge pull request #5036 from rgacogne/dnsdist-delay-cache-hit

dnsdist: Apply delay to cache hits, locally generated responses

Merge pull request #5037 from rgacogne/dnsdist-dont-cache-servfail

dnsdist: Don't cache ServFail / Refused if the TTL is set to 0

Merge pull request #5056 from rgacogne/dnsdist-no-shadow

dnsdist: Don't shadow variables

Merge pull request #5058 from rgacogne/rec-fast-rpz-update

Rec: Store the RPZ policies in an unordered_map instead of a map

dnsdist: Set TasksMax to 8192, recent distros default to more than 4k

rec: Add `use-incoming-edns-subnet` to process and pass along ECS

If set, the recusor will process and pass along a received EDNS
Client Subnet to authoritative servers.
The ECS information will only be sent for netmasks and domains listed
in `edns-subnet-whitelist`, and will be truncated if the received scope
exceeds `ecs-ipv4-bits` for IPv4 or `ecs-ipv6-bits` for IPv6.
An incoming ECS source prefix-length of 0 can also be used to
request that no ECS value be sent to the authoritative servers,
in accordance with RFC7871.

Correctly parse ECS with a source prefix-length value of 0

It means there is no address there, but the family and source
prefix-length values are still relevant. rfc7871 explicitly says
that the family SHOULD be set to the transport over which the query
is sent if source prefix-length is 0.
It also states that a source prefix-length means the client is
asking that no ECS value be sent.

Merge pull request #5042 from rgacogne/state-holder-allocate-and-copy-before-lock

StateHolder: Allocate (and copy if needed) before taking the lock

Rec: Store the RPZ policies in an unordered_map instead of a map

This speeds up the loading of huge zones a bit (~20%) while also nicely
improving the lookup speed.
Also adds a `zoneSizeHint` parameter to `rpzFile()` and `rpzMaster()` to be
able to reserve space before loading the zone, to prevent reallocation
and rehashing when possible.