Merge pull request #5094 from ahupowerdns/rfc2308

make our zone parser adhere to RFC2308 wrt implicit TTLs and add test. Adds note to release notes, plus some documentation to nobackend regression tests.

More sles dnsdist builder things

auth: Don't leak a CDB object in case of bogus data

Merge pull request #5104 from pieterlexis/sles-dnsdist-pkg

Add SLES support to dnsdist build-script

Merge pull request #5098 from shantikulkarni/patch-1

SOA object is required for all reverse zones

document the breaking change in zonefile parsing for the release notes.

make our zone parser adhere to RFC2308 wrt implicit TTLs and add test

make rfc2308 test less fragile by using jq

and a README to help the user get up to speed with these tests

make our zone parser adhere to RFC2308 wrt implicit TTLs and add test

rec: Mark pdns_recursor.cc functions/globals as static whenever possible

This might allow the compiler to do some optimizations, and also
make it easier to see where functions and globals are used when
reading the code.

rec: Constify SyncRes methods whenever possible

Add SLES support to dnsdist build-script

rec: Split SyncRes::doResolveAt()

rec: enhance documentation by adding/correcting 'Available
since'-tags for the diversity of available options

rec: Don't parse the QName in the packet cache if we already have it

When `gettag()` or protobuf are enabled, we have already parsed the
qname, qtype and qclass so pass them to the Packet Cache instead of
parsing them again.
Don't parse them several times if we have more than one match from
the cache either.

rec: Clean up time_t / uint32_t mix for the packet cache's TTD

Fix minor issues reported by `cppcheck`

auth: Document that the cache respect the answer's TTL

dnsdist addAction: Also DNSName(s)

escape markdown formatting chars

rec: Clean up the signedness of the packet cache's tag

rec: Speed up the packet cache

* Don't parse the response's qname for every call to
`getResponsePacket()`, this leads to a ~15% speed up on pure retrieval
* Only hash once, keep the hash result around, leading to a ~40%
speed up on insertion

SOA object is required for all reverse zones

As of 4.0.3, an reverse lookups in LDAP strict mode will not work without there being an object with an SOA entry for the reverse lookup zone.  This requirement is a change from 3.3.3. (Issue #5086)

Merge pull request #5097 from baloo/baloo/bugfixes/pysnmp

dnsdist: pysnmp4.3.4 fix compatibility problems with pyasn1

dnsdist: pysnmp4.3.3 fix compatibility problems with pyasn1

Signed-off-by: Arthur Gautier <baloo@gandi.net>

Revert "Fix pysnmp test error."

This reverts commit 9f512fd73afe7c2bceb8e42d7ff7eba527300408.

Docs: modernize the 'database' howto somewhat

LDAP GSSAPI log improvements

Add master support and document it.

Add a modify() method to PowerLDAP

Re-indent

Export KRB5CCNAME from the ldap backend

Add missing documentation for 'ldap-timeout'

Try to reconnect to LDAP when connection is lost

Actually this will only work for initial lookup()
and list() calls. If the connection is dropped
between one of those and get() the request will
fail.

New LDAP exception class

Don't throw an exception in ldapWaitResult()

Add LDAP GSSAPI authenticator.

Also add in the LDAP backend docs the new configuration settings
to use it.

Add the LDAP simple authenticator.

All authentication work will be delegated to an implementation of
the LdapAuthenticator pure abstract class. The first authenticator
is here to support the classical password bind.

Refactor the LDAP backend.

This prepares the future work on this backend.

Merge pull request #5092 from Habbie/unknown-types-jdnssec

map CDS and CDNSKEY to TYPExxx for jdnssec-verifyzone

Check for valid hostnames in SRV, NS and MX records

Fixes #512

dnsdist: Send a 404 on unknown API path

Before, a 401 would be sent for unknown API paths due to the strict
checking.

map CDS and CDNSKEY to TYPExxx for jdnssec-verifyzone

correct RPZ attribution

Merge pull request #5090 from baloo/baloo/bugfixes/pysnmp-fix

dnsdist: Fix pysnmp test error.

Fix pysnmp test error.

Should be reverted once https://github.com/etingof/pysnmp/issues/40 is
fixed and released (and pysnmp bumped to the newest version).

Signed-off-by: Arthur Gautier <baloo@gandi.net>

Merge pull request #5043 from cmouse/mydns

mydnsbackend: Add getAllDomains

Merge pull request #5063 from ahupowerdns/recwcardcname

Implement CNAME wildcards in recursor authoritative component

Merge pull request #5064 from pieterlexis/issue-554-generated-source

Indicate that dnslabeltext.cc is generated

Merge pull request #5078 from pieterlexis/issue-4939-error-on-non-existing-lua-conf

Throw an error when lua-conf-file can't be loaded

Merge pull request #5085 from rgacogne/calidns-ipv6

calidns: Use the correct socket family (IPv4 / IPv6)

add actual wildcard cname to test zone

calidns: Use the correct socket family (IPv4 / IPv6)

add a regression test for wildcard cnames recursor auth

Merge pull request #4920 from plzz/chopoff

Register DNSName::chopOff in lua

With this commit, the recursor authoritative server can deal with CNAME wildcards. This closes #2818.

Document return value of chopOff

Merge pull request #4549 from zeha/dnsrr

Remove d_place from DNSResourceRecord

FindNS lookup should actually look at an UeberBackend. This solves mind04's concerns. It also makes the code compile again.

Merge branch 'master' into dnsrr

Throw an error when lua-conf-file can't be loaded

This ensures we cannot start up if the file is unreadable.
Closes #4939

Add notes for building on FreeBSD.

Import string: Needed for clang compilation.

Merge pull request #5003 from rgacogne/tsig-tests

Refactoring of the TSIG handling

Indicate that dnslabeltext.cc is generated

Closes #554

Merge pull request #4988 from rgacogne/rec-incoming-ecs

rec: Add `use-incoming-edns-subnet` to process and pass along ECS

Document minimal version for metadata through the API

rec: Fix TTLs in existing RPZ regression tests, add new ones

rec: Ignore unsupported RPZ entries

rec: Fix tab/whitespace mix in `rpzFile()` and `rpzMaster()`

rec: Use the RPZ zone's TTL and add a new `maxTTL` setting

Merge pull request #4712 from cmouse/patch-1

Update version number for Lua updatePolicy

Merge pull request #4922 from Habbie/ldap-ptr-fix

fix ldap-strict autoptr feature, including a test

Merge pull request #4950 from rgacogne/suffix-match-node-merge

Refactor SuffixMatchNode using a SuffixMatchTree

Merge pull request #4953 from pieterlexis/issue-349-602-slave-checking-backoff

Auth: Incremental backoff for failed slave checks

Merge pull request #4990 from rgacogne/rec-snmp-clean

rec: Add SNMP support

Merge pull request #4989 from rgacogne/dnsdist-snmp-clean

dnsdist: Add SNMP support

Merge pull request #5036 from rgacogne/dnsdist-delay-cache-hit

dnsdist: Apply delay to cache hits, locally generated responses

Merge pull request #5037 from rgacogne/dnsdist-dont-cache-servfail

dnsdist: Don't cache ServFail / Refused if the TTL is set to 0

Merge pull request #5056 from rgacogne/dnsdist-no-shadow

dnsdist: Don't shadow variables

Merge pull request #5058 from rgacogne/rec-fast-rpz-update

Rec: Store the RPZ policies in an unordered_map instead of a map

dnsdist: Set TasksMax to 8192, recent distros default to more than 4k

rec: Add `use-incoming-edns-subnet` to process and pass along ECS

If set, the recusor will process and pass along a received EDNS
Client Subnet to authoritative servers.
The ECS information will only be sent for netmasks and domains listed
in `edns-subnet-whitelist`, and will be truncated if the received scope
exceeds `ecs-ipv4-bits` for IPv4 or `ecs-ipv6-bits` for IPv6.
An incoming ECS source prefix-length of 0 can also be used to
request that no ECS value be sent to the authoritative servers,
in accordance with RFC7871.

Correctly parse ECS with a source prefix-length value of 0

It means there is no address there, but the family and source
prefix-length values are still relevant. rfc7871 explicitly says
that the family SHOULD be set to the transport over which the query
is sent if source prefix-length is 0.
It also states that a source prefix-length means the client is
asking that no ECS value be sent.

Merge pull request #5042 from rgacogne/state-holder-allocate-and-copy-before-lock

StateHolder: Allocate (and copy if needed) before taking the lock

Rec: Store the RPZ policies in an unordered_map instead of a map

This speeds up the loading of huge zones a bit (~20%) while also nicely
improving the lookup speed.
Also adds a `zoneSizeHint` parameter to `rpzFile()` and `rpzMaster()` to be
able to reserve space before loading the zone, to prevent reallocation
and rehashing when possible.

Merge pull request #4982 from rgacogne/rec-gettag-data

rec: Allow returning the `DNSQuestion`'s `data` table from `gettag()`

Merge pull request #4997 from cmouse/fix-remotebackend-params

Fix remotebackend params

Merge pull request #5006 from peterthomassen/master

docs: improve documentation of MySQL foreign keys

Merge pull request #5038 from pieterlexis/API-allow-X-metadata

API: Allow setting extra domain metadata

Merge pull request #5041 from pieterlexis/boost-m4-update

Add GCC 6.3 to boost.m4

Merge pull request #5049 from rgacogne/ox-coverity-fixes

Minor fixes based on Coverity's report

Merge pull request #5051 from Habbie/odbc-query-logging

fix godbc query logging

docs: improve documentation of MySQL foreign keys

So far, the docs mentioned the foreign key for the records table only.
However, if foreign keys are used, they also make sense for the
domainmetadata, cryptokeys, and comments tables.

Corresponding SQL is already in an .sql file in the repository. This
commit replaces the incomplete information with these statements.

dnsdist: Don't shadow variables

Fix shadowed variables reported by `-Wshadow`.

LuaWrapper: Don't shadow variables

Fix shadowed variables reported by `-Wshadow`.

YaHTTP: Don't shadow variables

Merged upstream in 2fb4d972176d25e0de4875141e3f28a4b12bba6b.

fix godbc query logging

Merge pull request #5050 from pieterlexis/update-copyright-year

Update copyright for several files