Merge pull request #7912 from omoerbeek/backport-7589

lua-recursor4: Add missing getregisteredname Lua function

lua-recursor4: Add missing getregisteredname Lua function

It was drooped in 4b9a4e966257eb08d4803633f5726b5a144a8e99 and
forgotten in a3e7b73528a96a3642adb42dc1e729ea2e8765f4

(cherry picked from commit c2d0a26fecf13a40fa5a74a4cc13d9faef8b1669)

Merge pull request #7906 from omoerbeek/backport-7298

rec backport to 4.1.x: Add counters for incoming AD and CD queries

Mention correct "version added" for the two new counters.

rec: Add counters for incoming AD and CD queries

(cherry picked from commit 88c33dca92f68d3c4a0a9dc8cb3c9838f034b94b)

Merge pull request #7816 from rgacogne/rec41-backport-7714

rec-4.1.x: Backport of 7714: Fix DNSSEC validation of wildcards expanded onto themselves

rec: Fix DNSSEC validation of wildcards expanded onto themselves

(cherry picked from commit 78cdf5200924d327911345e1053e6e7de26dc34b)

rec: Add a 'query for a wildcard-like expanded from a wildcard' test

(cherry picked from commit 3f675ceb96804190951f2bfda1e67b9dfdaab10e)

rec: Add a DNSSEC validation unit test for non-expanded wildcards

(cherry picked from commit eb7a2b0bb57a99eabaad99f1814505b766060e6e)

Merge pull request #7675 from omoerbeek/disable-smap-switch

Fix versionadded line

Fix versionadded line

Merge pull request #7673 from omoerbeek/disable-smap-switch

Disable smap switch

Add versionadded

Document disable-real-memory-usage.

Add a switch to disable the expense smap based mem stat.

Merge pull request #7651 from omoerbeek/backport-7631

Backport Rec ecs cache limit with tt (7631)

Move the setQuerySource() method to a wrapper in the syncres test code.

Fix do not cache condition (merge error spotted by rcagogne)

Make unit test work.

Resolve merge errors

Reformulate condition and comment to make it more clear.

(cherry picked from commit 73d9bf3ad13de7031a71700d00fb4efbab8ca938)

Only apply "do not cache" if both limits are set and satisfied.  Doc tweaks.

(cherry picked from commit 42f418044c137ae2835f7f6550da093cb8b6ce7c)

New approach. I spelled out the logic to make it more clear.
Points to keep in mind: > vs >=
What do we do if s_ecscachelimitttl is not set? I chose to let the scope determine
cacheability.

(cherry picked from commit e7861cc408a4984d7c3e2a430825beb22ecf2a6d)

Add tests for ecs-cache-limit-ttl

(cherry picked from commit 2cbe6a45ec0699f5ced3eb45945ce77b3a7fa343)

Initial code for ecs-cache-limit-ttl.

(cherry picked from commit ed9019c97a4f81c42c2e45ab4353022540afdf08)

rec: Set ecs-ipv4-cache-bits and ecs-ipv6-cache-bits in the tests

(cherry picked from commit 0cd27a313133139947e6e1b97fe7f1c0164ad40f)
(cherry picked from commit 30974eccedbe5fc90a24762f17b588750926ca2b)

rec: Document 'ecs-ipv4-cache-bits' and 'ecs-ipv6-cache-bits'

(cherry picked from commit 4d8c05df7a8fd6045061325693dcf8b17dbd364d)
(cherry picked from commit 216dc60aab0a7ea1a2385d85706bd41721e6ed16)

rec: Add unit tests for the ECS cache limit feature

(cherry picked from commit a87929c0fdb1675661a9f2fbea46e79530e4157e)

rec: Move the ECS cache limit check to the SyncRes

(cherry picked from commit bdceeb7e8c0e25dfe86f0300fb83d1cdaee3422c)

implement a configurable ECS cache limit, defaulting to /24 and /56 of IPv6. So a /25 response will not get cached.

(cherry picked from commit 1dab554571edc88ae625c3997294dbcfb1c3507e)
(cherry picked from commit fd8898fbb51d8068127ff2fffd6a5f2e9f60be33)

Merge pull request #7634 from rgacogne/rec41-bounded-load-balancing

rec-4.1.x: Use a bounded load-balancing algo to distribute queries

Merge pull request #7647 from ahupowerdns/per-thread-stats

This provides CPU usage statistics per thread (worker & distributor).

add comments

This provides CPU usage statistics per thread (worker & distributor).

rec: Clarify that the server load should be >= to the pondered avg

rec: Keep track of the number of MTasks in a dedicated variable

rec: Make sure that distribution-load-factor is >= 1.0 if set

(cherry picked from commit 078be17f3c150abed2ae87dfe771ef479f3137ef)

rec: Add a 'rebalanced-queries' metric

(cherry picked from commit 596bf48219cb82379bf872e746dd7f626b582342)

rec: Use a bounded load-balancing algo to distribute queries

(cherry picked from commit 144040bef0b1f65abfb4634f65b1445a84393a1b)

Merge pull request #7495 from rgacogne/rec41-ixfr-empty-axfr

rec-4.1.x: Correctly interpret an empty AXFR response to an IXFR query

Correctly interpret an empty AXFR response to an IXFR query

Merge pull request #7434 from rgacogne/rec41-protobuf-responses-only

rec-4.1.x: Add an option to export only responses over protobuf

rec: Add an option to export only responses over protobuf

Merge pull request #7430 from rgacogne/rec41-redo-remotelogger

rec-4.1.x: Reduce systemcall usage in protobuf logging

rec-4.1.x: Backport some protobuf regression tests

Reduce systemcall usage in protobuf logging

Since Spectre/Meltdown, system calls have become more expensive.  In
addition, relevant versions of glibc turn out to implement pthread_cond_wait
and pthread_cond_signal in such a way that they use multiple system calls always.
There is an optimization in glibc to improve this but it is disabled.

This new setup changes our protobuf logging so it amortizes system calls so we perform
far less than one call per message.

Note that our previous RemoteLogger was configured in terms of how many
*messages* it would buffer. Our new code is configured in terms of how many
*bytes*. I have multiplied the configured numbers by 100 elsewhere (recursor
config, dnsdist config) to sort of maintain parity.

In addition, the old RemoteLogger would buffer messages while there was no
connection available. We no longer do this.

Finally new, every 'reconnectTimeout' seconds we will flush our buffers
opportunistically to not keep people waiting.

Merge pull request #7415 from zeha/backport-7327

Backport #7327: rec: Fix a possible timing issue w/ RRSIGs in the SyncRes unit tests

Backport #7327: rec: Fix a possible timing issue w/ RRSIGs in the SyncRes unit tests

On Debians mipsel builders this has caused test failures a number of
times in a row, so this is not just a possible issue.

Merge pull request #7403 from rgacogne/rec41-dh-no-protobuf

rec-4.1.x: Fix compilation in handleRunningTCPQuestion without protobuf support

rec: Fix compilation in handleRunningTCPQuestion without protobuf support

Merge pull request #7397 from rgacogne/rec41-sec-20190121

rec-4.1.x: Load the Lua script in the distributor thread, check signature for AA=0 answers

Merge pull request #7377 from rgacogne/rec41-retry-on-full-pipe

rec-4.1.x: Try another worker before failing if the first pipe was full

rec: Try another worker before failing if the first pipe was full

rec: Always check signature for records in ANSWER, even with AA=0

Except for a small exception with chains of CNAMEs.

rec: Add missing cookiesoption.py for the python regression tests

rec: Call the ipfilter hook if any over TCP as well

rec: Test our Lua hooks

rec: Load the Lua script in the distributor threads, for TCP

Merge pull request #7303 from rgacogne/rec41-ghost

rec-4.1.x: Enable the ghost tests again, add a corresponding unit test

rec: Enable the ghost tests again, add a corresponding unit test

(cherry picked from commit 97ab616efd0c8387978360a9eebb3a83f23fffe5)

Merge pull request #7240 from rgacogne/rec41-syncres-test-negcache-rrsig

rec-4.1.x: Use the SyncRes time when computing the RRSIG validity time

rec: Use the SyncRes time when computing the RRSIG validity time

Otherwise we get random test failures when the RRSIG is generated
after the number of seconds since epoch increased.

(cherry picked from commit 1e2e06f1fd4a29702eaa297456dca72714ac1fe0)

Merge pull request #7221 from aerique/rec41-canhash-oob

rec-4.1.x: Fix an out-of-bounds read in the packet cache

Merge pull request #7172 from rgacogne/rec41-revert-formerr-with-edns

rec: Revert 'Keep the EDNS status of a server on FormErr with EDNS'

Merge pull request #7174 from rgacogne/rec41-ban-more-types

rec-4.1.x: Refuse queries for all meta-types

rec: Refuse queries for all meta-types

(cherry picked from commit 25e654f7f9725c474d96c7eca57cb34fe41c4669)

rec: Revert 'Keep the EDNS status of a server on FormErr with EDNS'

rec: Fix an out-of-bounds read in the packet cache

Merge pull request #7159 from rgacogne/rec41-revert-6980

rec-4.1.x: Revert "rec: Authority records in AA=1 CNAME answer are authoritative"

Revert "rec: Authority records in AA=1 CNAME answer are authoritative"

This reverts commit 4caae205f06cb989c415a9c1e0f4c5ec667236a2.

It turns out that authority records in AA=1 CNAME answer may, or may
not, be authoritative, and that in some cases considering them as
authoritative causes DNSSEC validation failures.

Merge pull request #7151 from aerique/rec41-sec-201810

PowerDNS Recursor 4.1.5

Merge pull request #7120 from rgacogne/rec415-backports

Recursor 4.1.5 backports

Merge pull request #7125 from mind04/inception-skew

rec: allow the signture inception to be off by a number of seconds.

rec: allow the signture inception to be off by a number of seconds.

Merge pull request #7122 from pieterlexis/rec-41-el6-pkg-fix

rec 4.1 el6: switch to devtoolset-7

rec 4.1 el6: switch to devtoolset-7

See #7040

Backport #7004

Backport #6951

Backport #6945

Backport #6925

Backport #6917

Backport #6948

Backport #6741

ProtobufLogger: Add support for the ServerIdentity field

(cherry picked from commit c5ffc56c587c792aa6f8aca69d7d45f0a67c0f60)

rec: Export the server ID in protobuf messages

(cherry picked from commit c165308b66fcaf6bd2517afa165a27027e5919ad)

rec: Export the outgoing ECS value if any in our protobuf messages

(cherry picked from commit 0ff13512cb8a48f668d841e5f33ba1b48fb99a2a)

Be consistent with reload-zones and clear all caches on (N)TA changes.

(cherry picked from commit 8302d4cb1db346198ae9698f489b956abf0f0d32)

realign ucontext stack after #6719

(cherry picked from commit 43c3c21ed15b52b43d69972985e8cc7f8240c1f5)

Print possibly empty dnsnames safer

(cherry picked from commit d3ca14b2ee0d1cfd66a64424dcfb9d03884c0ef0)

Release memory in case of error in the OpenSSL ECDSA constructor

The current code will only fail to release the allocated memory if
called with an invalid algorithm, which won't happen, or if a
memory allocation fails in which case this might not matter much.
Still, it's cleaner to release the memory properly and might avoid
mistakes later if we look at this code while implementing a new
crypto backend.

(cherry picked from commit b141d89b27e52c3a8e76ca79ec5201d001f4fce9)

Fix compilation with LibreSSL 2.7.0+

(cherry picked from commit 1648b8ff39c705fdee526cd73bf2652982b80087)

rec: Don't require authoritative answers for forward-recurse zones

(cherry picked from commit ad797d945527040202105b6a775ab6df94b103c6)

Merge pull request #7073 from rgacogne/rec41-backport-7070

rec-4.1.x: avoid a memory leak in catch-all exception handler

pdns-recursor: avoid a memory leak in catch-all exception handler

This commit prevents a leak of DNSComboWriter in the catch-all exception
handler.

(cherry picked from commit cbb097d8581dbb27d81be3a3022a96b8ad08e295)

rec: Keep the EDNS status of a server on FormErr with EDNS

Note that the choice of DNAME in the unit test is an arbitrary
choice, we could even have used A here.

(cherry picked from commit 6fb756b6cd49d61eacf7865ce48d0edb62730710)
(cherry picked from commit d8b9d57103f1e1496767d9fac3955b1973e04302)

rec: Refuse queries for rfc6895 section 3.1 meta types

(cherry picked from commit ab1b5574d15a62e67a133828fc98502de830842c)
(cherry picked from commit 6bf06d65b9c9b9c2c41351ca4b56d54e7619d925)

Do full packet comparison in the packet caches in addition to the hash

(cherry picked from commit aab08a02344a66e14572cf63129d157d6e7ba8c9)
(cherry picked from commit f48315332c4542d09b58a14dafadc90d04f54abd)

Allocate DNSRecord objects as smart pointers right away

(cherry picked from commit 1339125af5afe6d6ecfe0a500c5fdc76d790459d)
(cherry picked from commit 7c87cee4b257a68cabf789b2f003fee969c812b7)

Merge pull request #6980 from rgacogne/rec41-cname-authority

rec-4.1.x: Authority records in AA=1 CNAME answer are authoritative

Merge pull request #6984 from Habbie/backport-6792

rec: Delay the creation of RPZ threads until we have dropped privileges