rec: Cleanup the netmask trees used for the ECS index on removals

Merge pull request #6919 from zeha/pdnslog-lua

recursor 4.1: Add pdnslog to Lua configuration scripts

recursor: Allow pdnslog to Lua configuration files

Merge pull request #6867 from pieterlexis/rec-414-backports

Recursor 4.1.4 backports

Backport #6873

Purge all auth/forward zone data including subtree.

Previously this would miss purging out removed entries/data.

(cherry picked from commit b68af3ee48054ebce87aec3df89abf75a71f8c49)

Backport #6804

Backport #6465

skip recursor SNMP testing in buildbot

(cherry picked from commit e204f700718a7a502bc98c8b65e6848e1c419975)

rec: Don't account chained queries more than once

(cherry picked from commit deca7d8f719397ce553383372ec5f80a2b94b414)

Backport #6812

Backport #6809

Backport #6557

Backport #6518

Backport #6436

Merge pull request #6851 from rgacogne/rec41-disable-tcp-sockets-reuseport

rec-4.1.x: Backport #6850: Disable only our own TCP listening socket when reuseport is enabled

do not load Lua in the distributor thread

(cherry picked from commit 3fe38b4b10f1e3208eac806eb4889730f0115c90)

only load the Lua script in worker threads

(cherry picked from commit 5b388d28aef0346f1d51e39e0d3ebe3f440cdebe)

correct type for getRecursorThreadId

(cherry picked from commit 30da2030cf0cc0c5f9d59b6e30560c381a847432)

Fix greediness issue

(cherry picked from commit 86bb687cc54a3949bea7f0984b81bb1e25064003)

recursor tests: replace awk command by perl

(cherry picked from commit 1bd2b0d8c94eec1a5908256110c5396296646065)

make rec_control respect include-dir; closes #6536

(cherry picked from commit 14cd977426717d549120404b29f13e66c3acc044)

rec: Clarify a bit what an incomning UDP queries processing round is

(cherry picked from commit 78227847a6c17d890b405b057fc87e651de31604)

rec: Add a new max-udp-queries-per-round setting

This new setting limits the number of UDP queries we attempt to
handle after being woken up by the multiplexer and before returning
back to process other events.
Before this, we could end up trying to process queries after queries
and almost never return from handleNewUDPQuestion() to process new
events, meaning we could eventually end up never scheduling new
mthreads or handle responses from authoritative servers for a long
time, only sending responses for packetcache hits and creating new
mthreads.

(cherry picked from commit a5886e6adad3c19e3490fba1dc7e580defb83eee)

Split PDNS_ENABLE_UNIT_TESTS so recursor, dnsdist dont have meaningless --enable-backend-unit-tests

(cherry picked from commit 662d9972039d4bf32f70479b0139c1ecfe7d108e)

rec: Every thread listen on all TCP sockets without reuseport/distributes

rec: Disable only our own TCP listening socket when reuseport is enabled

(cherry picked from commit adb6cd72c33eadaa60db7abdddea5ff1d29cf51b)

Merge pull request #6793 from rgacogne/rec41-gcc-8-warnings

Backport rec-4.1.x: Fix warnings reported by GCC 8.1.0

Merge pull request #6794 from rgacogne/rec41-mtasker-container-bounds

Backport rec-4.1.x: Allocate one more stack byte to make _GLIBCXX_ASSERTIONS happy

Fix warnings reported by GCC 8.1.0

- polymorphic exceptions caught by value
- ComboAddress objects manipulated via `memset()`

(cherry picked from commit d38e2ba97a78aa9dfc894fc4e13a6f3a410dd31a)

rec: Allocate one more stack byte to make _GLIBCXX_ASSERTIONS happy

(cherry picked from commit 5529b1b183a2b2a51784fe6ee292bdf9032e8834)

Merge pull request #6772 from rgacogne/rec41-rec-snmp-broadcast

Backport #6720: rec-4.1.x: Allow the SNMP thread to retrieve statistics

Merge pull request #6771 from rgacogne/rec41-unit-tests-thel

rec: Reorder more headers to be able to build with Boost 1.67+

rec: Reorder more headers to be able to build with Boost 1.67+

rec: Add regression tests for SNMP

(cherry picked from commit aa7a54c910f03af7c71a9bec0e4f8afda320aeb3)

rec: Allow the SNMP thread to retrieve statistics

(cherry picked from commit 788eeb4c3318f5f6827943e4953941f48b2dc22a)

Merge pull request #6642 from rgacogne/rec41-fix-error-string

rec-4.1.x: Fix 'adding an integer to a string does not append to it' error

Merge pull request #6646 from Habbie/backport-6630

-rdynamic is for the linker

-rdynamic is for the linker

(cherry picked from commit f1f504545f6165b794e8fe5ddd29812610c63db9)

rec: Fix 'adding an integer to a string does not append to it' error

(cherry picked from commit 1763442754e6a30dd0fc0c6a37316c2b30b9a3b8)

Merge pull request #6595 from Habbie/rec-4.1.x-boost-L

reorder includes to avoid Boost L conflict

Merge pull request #6611 from mnordhoff/6130-rec-4.1.x

Backport 6130 to rec-4.1.x: Update copyright years to 2018

Merge pull request #6612 from rgacogne/backports-4.1.3

rec: backport #6562, #6566, #6567 and #6588 to 4.1.x

Backport #6469

Backport #6467

Backport #6313

rec: Fix the logged delay in the RPZ retriever thread

(cherry picked from commit 7a4bed25f45636f1ef23c99093ac432ec412ddc4)

rec: Respect the AXFR timeout while connecting to the server

(cherry picked from commit e07c3801fa248c5976799e5ed3bf40479173d0e6)

add comment

(cherry picked from commit d04ac1081f9157bdc7a6c2fa630c4c50bef77515)

aj reported that we increase "dnssec-validations" counter even when running
with process-no-validate.  This can be caused by us receiving queries for
special names ('localhost', 'version.bind') which we explicitly mark as
Insecure. This led our statistics to conclude a validation attempt had taken place.
This commit puts the update check behind 'shouldValidate()'.

(cherry picked from commit 3b54c577c8ba3a46cc4e9b7bf281b9e6eff7fb44)

rec: Add the auth-zone-queries metric counting queries to hosted zones

(cherry picked from commit e9a628a297f8bd2953d42ef4d898aeba1c371ae3)

rec: Initialize SyncRes::d_authzonequeries

(cherry picked from commit 14d9aade0192562fd42009a533a9b8d714a2ac68)

rec: Count a lookup into an internal auth zone as a cache miss

We only considered a query a cache miss if we had to do at least
one outgoing query, but having to look up into one of the internally
hosted zone (auth-zones) should count as a cache miss too.

(cherry picked from commit f7b8cffae1ff94c2e78ac6f3b3ee494735a0c23c)

Backport #6588

Backport #6567

Backport #6566

Backport #6562

check if parameter has been submitted before accessing it

(cherry picked from commit 46d03ec1bde4eb3241f510f300e2a302dcfe65d0)

details version the subtree parameters has been added

(cherry picked from commit b3cccb9d3d61161c026ff2225582dcc685d4894a)

Skip subtree option tests against auth

(cherry picked from commit 921442337d81d1e9a4fa0e1f70f140e1f3ccf472)

rec api: add subtree option to the cache flush endpoint

(cherry picked from commit d19c22a15f8e75ebc6ff22665ba8e8c2152957db)

rec: Move doStats out of houseKeeping()

(cherry picked from commit 5b05b92fde73d19f8b1c5edffa359b6065f96fd2)

rec: Remove extra new line

(cherry picked from commit 46b2604070c76cabd27fda3257b7f1539d3c64c4)

rec: Replace yet another 0 with s_distributorThreadID

(cherry picked from commit 08cb9fd69a0c0df570b81a2cc1a64e15f7ac97ac)

rec: Don't call the broadcast function twice in the handler thread

Also add some comments to clarify how the threads work.

(cherry picked from commit d27edfeb252a2d7745cb8353a7145967b686cc1d)

rec: Set pointers to nullptr after delete in the broadcast functions

(cherry picked from commit e15b5d5d00040985d5e150ab0641ca77b358d36a)

rec: Fix ACL and domain map updates in the handler thread

(cherry picked from commit b6904a9f1581fe5d9b9024748d34e999cf694d37)

rec: Use constants for the handler and distributor thread ids

(cherry picked from commit badb05fe4c358ab8f206f4a7842368d87bd90415)

rec: Move carbon/webserver/control/stats handling to a separate thread

This makes sure that no worker or distributor thread will get blocked
while waiting for a response from another thread, for example while
gathering stats or executing a command coming from the control
channel.

(cherry picked from commit b8dc631ae02733f35130af7b27ccb9342069e2d8)

rec: Delay RPZ threads creation until the Lua config has been parsed

Otherwise if the parsing of the remaining Lua directives takes longer
than the AXFR, our zone content will be replaced by an empty zone
once the parsing finishes.

(cherry picked from commit 1bf8d12ac362eadfc88567e050cc0ef3805ef355)

Update copyright years to 2018

Also update several years to match the data in pdns/version.cc

rec: Load RPZ safely from the RPZIXFRTracker

(cherry picked from commit ed517a9a2c00814b81655d2ae518fdaafb7f063d)

rec: Fix the description of several metrics in the SNMP MIB

(cherry picked from commit b958640c49d95f6953a0bd1c5635802db883fa2a)

rec: Check that the query distribution pipe has been set non-blocking

(cherry picked from commit d10307c547c0a4178f71dac10e86428c2877b5f6)

rec: Use a separate, non-blocking pipe to distribute queries

This allows us to drop queries when a pipe goes full, thus still
distributing queries to other threads instead of blocking. It also
adds a new metric to keep track of queries dropped because the pipe
was full.

(cherry picked from commit cf8cda180674c58d7a56b528d379aceaf9641746)

Merge pull request #6596 from Habbie/backport-6478

Fix a warning on botan >= 2.5.0

Fix a warning on botan >= 2.5.0

(cherry picked from commit 7d9895fe11d5371f5d775d9f13a8b52f494021b1)

reorder includes to avoid Boost L conflict

Merge pull request #6583 from rgacogne/backport-6574

Backport 6574 to 4.1.x: rec: Add _raw versions for qname / ComboAddresses to the FFI API

Merge pull request #6586 from rgacogne/rec41-ecs-index-canon

 rec: Use canonical ordering in the ECS index

rec: Use canonical ordering in the ECS index

The recursor's ECS index used the `DNSName`'s case insensitive
reverse lexicographical ordering (default) instead of the canonical
ordering one.
While quite faster, it isn't exactly right.

rec: Add unit tests for wiping the cache

(cherry picked from commit ce3697ad69dd79be40fbe1f2b00a480c84a8f17a)

rec: Add _raw versions for qname / ComboAddresses to the FFI API

(cherry picked from commit aedec560c6494e838d92e9a8106d5ff87367eb83)

Merge pull request #6514 from rgacogne/rec41-backport-6511

rec-4.1.x: Add -rdynamic to C{,XX}FLAGS when we build with LuaJIT

rec: Add -rdynamic to C{,XX}FLAGS when we build with LuaJIT

Merge pull request #6418 from zeha/backport-6179

Backport of #6179

Merge pull request #6419 from zeha/backport-6086

Backport of #6086

rec: Use the SyncRes time in our unit tests when checking cache validity

This might not fix our apparently random failures, but it will at least
remove on possible cause.

Increase MTasker stacksize

Throwing an exception uses libgcc's stack unwinder. On mips64el
the unwinder will overflow the default stack size of 8K. In turn
the return ucontext gets overwritten, resulting in a jump into
garbage.

Merge pull request #6410 from Habbie/rec-4.1.x-json-sorting

backport jq/sorting fixes from #6304 to rec 4.1

make travis happy about new json sorting?

(cherry picked from commit c91df3a1425e507b08c5410196833eb80672eab6)

test: fix comments-in-forward-zones-file sorting?

(cherry picked from commit ffc999e4a6feb44e8a558049e313b9d676e2c71a)

Merge pull request #6387 from pieterlexis/rec-4.1.2-backports

Recursor 4.1.2 backports

Merge pull request #6385 from rgacogne/backport-6344

Backport 6344 to rec 4.1.x: Add a new Lua FFI hook, gettag-ffi

Backport #6172

Backport #6055

Backport #6300

Backport #6320

Backport #6379

rec: Set the visibility of FFI functions to 'default' (external)

This makes the symbols usable across shared object boundary (Lua FFI)
even if the default visibility is set to hidden.

(cherry picked from commit 4d9be0eba19ee15ed2b9c45b508086b9fd31d68a)