Merge pull request #7482 from hnsk/fix-pdnsutil-add-record-output-order

pdnsutil: Fix output order of pdnsutil add-record

Merge pull request #7352 from Habbie/packet-too-big

respect packet size limits, even with ECS and TSIG

dnsdist: Preserve configuration and log files in regression tests

rec: Add a small regression test for 'max-cache-bogus-ttl'

pdnsutil: Fix output order of pdnsutil add-record

There was also unnecessary whitespace at the end of the line which was
removed. Since it only affected the same line it's included in this single
commit.

Merge pull request #7451 from rgacogne/systemd-deps

Make sure that the systemd binaries are available during the build

Merge pull request #7459 from mind04/dotstrip

auth: fix dot stripping in setContent()

Merge pull request #7477 from Habbie/resolver-lmdb

also use dnsmasq during lmdb testing

Merge pull request #7463 from zeha/auth-api-validate

Auth. API: improve RRset validation

Document addRecord

also use dnsmasq during lmdb testing

rec: Add a new 'max-cache-bogus-ttl' option

rec: Add an option to not override custom RPZ types with the default policy

Merge pull request #7475 from omoerbeek/mydns-no-infinite-loop

Avoid infinite loop in mydnsbackend.

Avoid infinite loop in mydnsbackend.

Merge pull request #7472 from mind04/compress

Do not compress the root

Merge pull request #7470 from mind04/lmdb-missing

auth: lmdb-backend avoid duplicate NSEC3 records in presigned zones

Merge pull request #7142 from 1848/checkinterval

dnsdist: Add option to set interval between health checks

Merge pull request #7467 from Habbie/pdnsutil-compare

pdnsutil: fix signed/unsigned comparison, closes #7465

Do not compress the root

Merge pull request #7432 from mikedamm/master

Clarify documentation to reflect actual behavior of includeDirectory

auth: lmdb-backend avoid duplicate NSEC3 records in presigned zones

pdnsutil: fix signed/unsigned comparison, closes #7465

Merge pull request #7421 from aerique/feature/support-for-github-access-tokens

Hack in support for GitHub access tokens.

Merge pull request #7464 from robinmulder/default-webserver-port

Fix default webserver port in documentation

Fix default webserver port in documentation

Rename type to object_type

Auth. API: improve RRset validation

Refuse to load RRset arrays that contain more than one of CNAME or
DNAME. Expand refusal to load CNAMEs to pre-existing RRsets also to
DNAMEs, and vice versa. Refuse to load zones given in BIND format
for the same reasons. Apply hostname correctness check also to
BIND format zones.

Merge pull request #7457 from omoerbeek/fix-openbsd-warnings

sprintf, strcpy and const method case

Merge pull request #7433 from zeha/update-yahttp

Resync yahttp code to cmouse/yahttp@11be77a1fc4032

auth: fix dot stripping in setContent()

Merge pull request #7453 from ahupowerdns/pdns-lmdb-2

Authortitative LMDB backend.

hook up lmdbbackend to configure, regression tests & travis

add builder files and regression tests for lmdb

expand pdnsutil load-zone so it can load multiple zone/filename pairs in one go

speed up pdnsutil list-zone significantly, plus load up the lmdbbackend files

Merge pull request #7450 from omoerbeek/avoid-unaligned-access

Avoid unaligned access, it hurts on e.g. sparc64

Merge pull request #7438 from Habbie/travis-alias

travis auth: install dnsmasq, configure it on 127.0.0.53

sprintf, strcpy and const method case

remotebackend: Implement getUpdatedMasters

Merge remote-tracking branch 'origin/master' into avoid-unaligned-access

Avoid unaligned access, it hurts on e.g. sparc64

Make sure that the systemd binaries are available during the build

Otherwise the detection of systemd's sandboxing features does not
work properly, since it uses `systemctl` to determine the version
of systemd.

Merge pull request #7441 from dol/fix/dnsdist-docs

[dnsdist] Fix wrong version numbering of new features

Merge pull request #7440 from aerique/feature/rec-4.1.11-changelog-and-secpoll

Update changelog and secpol for rec-4.1.11 and rec-4.2.0-alpha1.

Fix wrong version numbering of new features

travis auth: install dnsmasq, configure it on 127.0.0.53

Merge pull request #7435 from aerique/feature/auth-4.1.6-changelog-and-secpoll

Update changelog and secpoll for auth-4.1.6 release.

Add docs and changelog for statistics API endpoint

Add secpoll for auth-4.1.6.

Update changelog for auth-4.1.6.

Merge pull request #7400 from pieterlexis/5900-and-other-doc-fixes

Several documentation fixes and a small fix for the NOD `configure.ac`

Resync yahttp code to cmouse/yahttp@11be77a1fc4032ed268cb5a80eb2aa1d14ce849d

Merge pull request #7428 from ahupowerdns/redo-remotelogger

Reduce systemcall usage in protobuf logging

Clarify documentation to reflect actual behavior

includeDirectory will only include *.conf files, this was not mentioned in the documentation

pass empty response

Merge remote-tracking branch 'upstream/master'

Reduce systemcall usage in protobuf logging

Since Spectre/Meltdown, system calls have become more expensive.  In
addition, relevant versions of glibc turn out to implement pthread_cond_wait
and pthread_cond_signal in such a way that they use multiple system calls always.
There is an optimization in glibc to improve this but it is disabled.

This new setup changes our protobuf logging so it amortizes system calls so we perform
far less than one call per message.

Note that our previous RemoteLogger was configured in terms of how many
*messages* it would buffer. Our new code is configured in terms of how many
*bytes*. I have multiplied the configured numbers by 100 elsewhere (recursor
config, dnsdist config) to sort of maintain parity.

In addition, the old RemoteLogger would buffer messages while there was no
connection available. We no longer do this.

Finally new, every 'reconnectTimeout' seconds we will flush our buffers
opportunistically to not keep people waiting.

Merge pull request #7350 from sjvs/patch-2

Remove Flake8 from lgtm.yml

Merge pull request #7422 from Habbie/luarec-unnest-exception

LUA: report nested exception

Add Rcode response statistics on API
- Add new statistic variable about rcode responses
- Add metrics about RCode on statistics API entrypoint
- Update regression tests

Merge pull request #7426 from Habbie/mvrule-off-by-one

fix off-by-one in mvRule counting

Merge remote-tracking branch 'origin/master' into 5900-and-other-doc-fixes

fix off-by-one in mvRule counting

this makes mvRule(0,x) work where x is the highest rule number

auth: geoip, check weight only on matching QTypes

This is a micro-optimization to avoid storing & computing probabilities
of non matching QTypes.

auth: geoip, compute weight per QType

As seen in #7051 the former behavior of the geoip backend in mixed
weighted QType cases, was erroneous.
Having per QType weights allows proper static lookup.
It also enables to question with ANY and retrieve one record per QType.

Closes #7051

auth: geoip, add regression test for issue #7051

The added test does not validate that the weight system is working in
a pseudo-random way. It use a single entry per QType to ensure that
they are all queryable individually or via a ANY question.

The ANY test is done using TCP to avoid test failure due to exceeded
buffer size.

LUA: report nested exception

Merge pull request #7416 from rgacogne/perl-instead-of-sed-makefile

Use perl instead of sed to conditionally remove lines from Makefiles

Merge pull request #7417 from ahupowerdns/begone-spellcheck

While we all enjoy grate spelling, this was just to much hassle

further cleanup

While we all enjoy grate spelling, this was just to much hassle

Use perl instead of sed to conditionally remove lines from Makefiles

Merge pull request #7414 from aerique/feature/update-changelog-for-rec-4.1.10

Update changelog and secpoll for rec-4.1.10.

Merge pull request #7413 from Habbie/epoch-not-deprecated

fix 4.0 changelog that wrongly said SOA-EDIT=EPOCH was deprecated

Merge pull request #7404 from rgacogne/rec-answers-aa

rec: Sanitize records received before doing anything else

Fix broken grammar.

Update changelog and secpoll for rec-4.1.10.

Merge pull request #7412 from ahupowerdns/smart-whitespace

Be smarter about trimming whitespace when creating records from ASCII

fix 4.0 changelog that wrongly said SOA-EDIT=EPOCH was deprecated

closes #7384

replace RCODE=BADVERS response on version >0 with a rule to match on the
highest implementation level of EDNS version and action to return the
ERCode.

use a consistent space predicate

Be smarter about trimming whitespace when creating records from ASCII

In ff7ac440afdae4370e12a1b9eb21d4b1389a861f we added trimming of whitespace,
so you could turn " 1.2.3.4 " into an A record 0x01020304. This commit made us more flexible
but also six times slower in some microbenchmarks.

This commit restores the old performance which shaves double digits percentages of time from many
benchmarks in 'speedtest', while making "make-a record" six times faster again.

respond with RCODE=BADVERS on EDNS version >0 (rfc6891)

Merge pull request #6634 from rgacogne/more-systemd-sandboxing

More sandboxing using systemd's features

Merge pull request #7353 from ahupowerdns/narrow-additional-lookup

Fix attempt to restrict/speed-up additional processing to auth zone

Merge pull request #7401 from rgacogne/rec-hooks-tcp

rec: Fix our Lua hooks not being called over TCP when distributing

Whitelist the 'tcpaaaa' variable name..

Merge pull request #7402 from ahupowerdns/oracle-warning

note in docs that oracle gets no free support

Whitelist NXQ

rec: Fix SyncRes unit test since unrelated additional records are now scrubbed

rec: Don't cache non-AA records that we won't use

rec: Fix broken (bad AA bit, missing RRSIG) SyncRes unit tests

rec: Scrub SOA records in authority for AA=0 answers

rec: Be more permissive with CNAME in AA=0 answers

rec: Fix nits (trailing whitespaces, useless return statement)

rec: Add unit tests for the records sanitization in SyncRes

rec: Sanitize records received before doing anything else

rec: Refuse records in the answer section of AA=0 responses

note that oracle gets no free support