rec: Reorder more headers to be able to build with Boost 1.67+

Merge pull request #6642 from rgacogne/rec41-fix-error-string

rec-4.1.x: Fix 'adding an integer to a string does not append to it' error

Merge pull request #6646 from Habbie/backport-6630

-rdynamic is for the linker

-rdynamic is for the linker

(cherry picked from commit f1f504545f6165b794e8fe5ddd29812610c63db9)

rec: Fix 'adding an integer to a string does not append to it' error

(cherry picked from commit 1763442754e6a30dd0fc0c6a37316c2b30b9a3b8)

Merge pull request #6595 from Habbie/rec-4.1.x-boost-L

reorder includes to avoid Boost L conflict

Merge pull request #6611 from mnordhoff/6130-rec-4.1.x

Backport 6130 to rec-4.1.x: Update copyright years to 2018

Merge pull request #6612 from rgacogne/backports-4.1.3

rec: backport #6562, #6566, #6567 and #6588 to 4.1.x

Backport #6469

Backport #6467

Backport #6313

rec: Fix the logged delay in the RPZ retriever thread

(cherry picked from commit 7a4bed25f45636f1ef23c99093ac432ec412ddc4)

rec: Respect the AXFR timeout while connecting to the server

(cherry picked from commit e07c3801fa248c5976799e5ed3bf40479173d0e6)

add comment

(cherry picked from commit d04ac1081f9157bdc7a6c2fa630c4c50bef77515)

aj reported that we increase "dnssec-validations" counter even when running
with process-no-validate.  This can be caused by us receiving queries for
special names ('localhost', 'version.bind') which we explicitly mark as
Insecure. This led our statistics to conclude a validation attempt had taken place.
This commit puts the update check behind 'shouldValidate()'.

(cherry picked from commit 3b54c577c8ba3a46cc4e9b7bf281b9e6eff7fb44)

rec: Add the auth-zone-queries metric counting queries to hosted zones

(cherry picked from commit e9a628a297f8bd2953d42ef4d898aeba1c371ae3)

rec: Initialize SyncRes::d_authzonequeries

(cherry picked from commit 14d9aade0192562fd42009a533a9b8d714a2ac68)

rec: Count a lookup into an internal auth zone as a cache miss

We only considered a query a cache miss if we had to do at least
one outgoing query, but having to look up into one of the internally
hosted zone (auth-zones) should count as a cache miss too.

(cherry picked from commit f7b8cffae1ff94c2e78ac6f3b3ee494735a0c23c)

Backport #6588

Backport #6567

Backport #6566

Backport #6562

check if parameter has been submitted before accessing it

(cherry picked from commit 46d03ec1bde4eb3241f510f300e2a302dcfe65d0)

details version the subtree parameters has been added

(cherry picked from commit b3cccb9d3d61161c026ff2225582dcc685d4894a)

Skip subtree option tests against auth

(cherry picked from commit 921442337d81d1e9a4fa0e1f70f140e1f3ccf472)

rec api: add subtree option to the cache flush endpoint

(cherry picked from commit d19c22a15f8e75ebc6ff22665ba8e8c2152957db)

rec: Move doStats out of houseKeeping()

(cherry picked from commit 5b05b92fde73d19f8b1c5edffa359b6065f96fd2)

rec: Remove extra new line

(cherry picked from commit 46b2604070c76cabd27fda3257b7f1539d3c64c4)

rec: Replace yet another 0 with s_distributorThreadID

(cherry picked from commit 08cb9fd69a0c0df570b81a2cc1a64e15f7ac97ac)

rec: Don't call the broadcast function twice in the handler thread

Also add some comments to clarify how the threads work.

(cherry picked from commit d27edfeb252a2d7745cb8353a7145967b686cc1d)

rec: Set pointers to nullptr after delete in the broadcast functions

(cherry picked from commit e15b5d5d00040985d5e150ab0641ca77b358d36a)

rec: Fix ACL and domain map updates in the handler thread

(cherry picked from commit b6904a9f1581fe5d9b9024748d34e999cf694d37)

rec: Use constants for the handler and distributor thread ids

(cherry picked from commit badb05fe4c358ab8f206f4a7842368d87bd90415)

rec: Move carbon/webserver/control/stats handling to a separate thread

This makes sure that no worker or distributor thread will get blocked
while waiting for a response from another thread, for example while
gathering stats or executing a command coming from the control
channel.

(cherry picked from commit b8dc631ae02733f35130af7b27ccb9342069e2d8)

rec: Delay RPZ threads creation until the Lua config has been parsed

Otherwise if the parsing of the remaining Lua directives takes longer
than the AXFR, our zone content will be replaced by an empty zone
once the parsing finishes.

(cherry picked from commit 1bf8d12ac362eadfc88567e050cc0ef3805ef355)

Update copyright years to 2018

Also update several years to match the data in pdns/version.cc

rec: Load RPZ safely from the RPZIXFRTracker

(cherry picked from commit ed517a9a2c00814b81655d2ae518fdaafb7f063d)

rec: Fix the description of several metrics in the SNMP MIB

(cherry picked from commit b958640c49d95f6953a0bd1c5635802db883fa2a)

rec: Check that the query distribution pipe has been set non-blocking

(cherry picked from commit d10307c547c0a4178f71dac10e86428c2877b5f6)

rec: Use a separate, non-blocking pipe to distribute queries

This allows us to drop queries when a pipe goes full, thus still
distributing queries to other threads instead of blocking. It also
adds a new metric to keep track of queries dropped because the pipe
was full.

(cherry picked from commit cf8cda180674c58d7a56b528d379aceaf9641746)

Merge pull request #6596 from Habbie/backport-6478

Fix a warning on botan >= 2.5.0

Fix a warning on botan >= 2.5.0

(cherry picked from commit 7d9895fe11d5371f5d775d9f13a8b52f494021b1)

reorder includes to avoid Boost L conflict

Merge pull request #6583 from rgacogne/backport-6574

Backport 6574 to 4.1.x: rec: Add _raw versions for qname / ComboAddresses to the FFI API

Merge pull request #6586 from rgacogne/rec41-ecs-index-canon

 rec: Use canonical ordering in the ECS index

rec: Use canonical ordering in the ECS index

The recursor's ECS index used the `DNSName`'s case insensitive
reverse lexicographical ordering (default) instead of the canonical
ordering one.
While quite faster, it isn't exactly right.

rec: Add unit tests for wiping the cache

(cherry picked from commit ce3697ad69dd79be40fbe1f2b00a480c84a8f17a)

rec: Add _raw versions for qname / ComboAddresses to the FFI API

(cherry picked from commit aedec560c6494e838d92e9a8106d5ff87367eb83)

Merge pull request #6514 from rgacogne/rec41-backport-6511

rec-4.1.x: Add -rdynamic to C{,XX}FLAGS when we build with LuaJIT

rec: Add -rdynamic to C{,XX}FLAGS when we build with LuaJIT

Merge pull request #6418 from zeha/backport-6179

Backport of #6179

Merge pull request #6419 from zeha/backport-6086

Backport of #6086

rec: Use the SyncRes time in our unit tests when checking cache validity

This might not fix our apparently random failures, but it will at least
remove on possible cause.

Increase MTasker stacksize

Throwing an exception uses libgcc's stack unwinder. On mips64el
the unwinder will overflow the default stack size of 8K. In turn
the return ucontext gets overwritten, resulting in a jump into
garbage.

Merge pull request #6410 from Habbie/rec-4.1.x-json-sorting

backport jq/sorting fixes from #6304 to rec 4.1

make travis happy about new json sorting?

(cherry picked from commit c91df3a1425e507b08c5410196833eb80672eab6)

test: fix comments-in-forward-zones-file sorting?

(cherry picked from commit ffc999e4a6feb44e8a558049e313b9d676e2c71a)

Merge pull request #6387 from pieterlexis/rec-4.1.2-backports

Recursor 4.1.2 backports

Merge pull request #6385 from rgacogne/backport-6344

Backport 6344 to rec 4.1.x: Add a new Lua FFI hook, gettag-ffi

Backport #6172

Backport #6055

Backport #6300

Backport #6320

Backport #6379

rec: Set the visibility of FFI functions to 'default' (external)

This makes the symbols usable across shared object boundary (Lua FFI)
even if the default visibility is set to hidden.

(cherry picked from commit 4d9be0eba19ee15ed2b9c45b508086b9fd31d68a)

rec: Constify the methods of RecursorLua4 when possible

(cherry picked from commit 5899ee547f3772a9eac3d37c6c6995056ee74ab9)

rec: Instruct LuaWrapper to stay away from our FFI pdns_ffi_param struct

(cherry picked from commit 4a639c365df629466e4a2916360a41d8a4302144)

rec: Add a new Lua FFI hook, gettag-ffi

(cherry picked from commit 70fb28d91018e174998a024f6bc71f9963d4cd7e)

Merge pull request #6383 from rgacogne/rec41-backport-6376

rec-4.1.x: Backport tests: lower dnsbulktest threshold in travis

tests: lower dnsbulktest threshold in travis

(cherry picked from commit 280c2f89caaa1726fd02e6315e26f7b683ed6781)

import test for IXFR ending

(cherry picked from commit 4f5cde492575eb62d8252df6ec413753f750e977)

speed up IXFR transcation

IXFR client actively close connection to server once IXFR is done

(cherry picked from commit 397ed71dedda21effaaad2578b27fd316c00451d)

IXFR shouldn't remove RRs which aren't in deleted list

(cherry picked from commit 668624c8c617a40482a28b3c168701abed55aef0)

rec: Work around a RRSIG year-2038 issue in the negcache unit tests

On 32-bit OS with a signed 32-bit `time_t`, we have a known issue with
dates later than 2038 in `RecordTextWriter::xfrTime()`. For now we will
just use an earlier date than 2038 in these tests since the date has no
relevance there.

(cherry picked from commit 08d99e35da19dc35a966418f888222fbd598f269)

Fix ECS-based cache entry refresh code

This would lead to us not refreshing ECS-varying answers in the cache, and therefore an even more depressed cache rate.

Thanks to @liordot who found the issue & provided a fix in #6241.

(cherry picked from commit f9c681bf96bae3be671bb086efbfc99b09f3031b)

rec: Fix ECS-specific NS AAAA not being returned from the cache

Reported by Andreas Jakum (thanks!).

(cherry picked from commit 4474afe14deb3f34088f14c1abbada723458bdf8)

rec: Add RPZ statistics docs

(cherry picked from commit 4fe8a79ffcc2e3eec7b5e30f43adf0e2d71ccc1e)

rec: move the rpz stats to a different url

(cherry picked from commit 64c9da8c1b373bc55ceb30b4d97c57fded2a43f0)

rec: save rpzStats as a shared_ptr

(cherry picked from commit 20c37deceb8a969580fcc8dda531de6c9f019a1c)

rec: update the number of records in the RPZ stats

(cherry picked from commit 03f752a0df9e39c504cf5542331e55a4258bc820)

Expose rpz stats in the web-interface

(cherry picked from commit 2278ffdab2c5a3ff47c56021892926d7b47a811c)

[WIP] rec: Add metrics for RPZ zones

[ci skip]

(cherry picked from commit 4ba9d5dc1db6ecd48c36d840e3302e86179b6477)

Merge pull request #6336 from pieterlexis/rec-41-backport-rpz-retry

rec: Backport RPZ retry patches

rec: Ensure we don't hammer the RPZ master server

Before, if the `refresh` was not set in the lua-config file's
`rpzMaster` statement, we would keep trying to get delta's the whole
time. This commit ensures we update the zone's refresh config to the
value from the AXFR'd zone (if not set in the config).

(cherry picked from commit 2c68abe75d908b4a32a7de229c75af137dc3ec5a)

Move loading of RPZ zone to RPZIXFRTracker.

(cherry picked from commit bb8ffe202776f44722fa6333dbfc24c36c1d395e)

Fix failure to start RPZIXFRTracker tracker thread.

This is an initial commit and needs more work (but it's 17:07 on a
Friday, so yeah...).

(cherry picked from commit e9112b46b9d972aed25e1f1f9ec46253b6718d5c)

Merge pull request #6303 from rgacogne/backport-6302

Backport 6302: ixfrdist: Also respect the AXFR timeout for the chunk's length

ixfrdist: Also respect the AXFR timeout for the chunk's length

We used to apply the default timeout of 10s to retrieve the chunk's
length even if we were passed a different one.

(cherry picked from commit b726c12720f31a6cdd94a06ccb3a427a96f19669)

Merge pull request #6298 from pieterlexis/rec-41-axfr-timeout

Backport: rec: Implement settable AXFR timeout for RPZ

rec: Fix AXFR timeout nits

(cherry picked from commit cb6218d2b539eb225c5d1ec88227fa7136dbcc94)

rec: Implement settable AXFR timeout for RPZ

(cherry picked from commit ea448a77fd2c664893e961b21d26408879e20360)

resolver.{cc,hh}: Allow setting the inbound AXFR timeout

(cherry picked from commit 99bea744a47e6de2ec399e78c0e43cd1b54537b3)

Merge pull request #6215 from aerique/bugfix/rec-4.1.x-ancestor-delegation-below

rec: Correctly handle ancestor delegation NSEC{,3} for children

rec: Add unit tests for ancestor delegation check in denial

(cherry picked from commit af37c3062fe016121867e68693d7b9e1ca9f60f2)

rec: Correctly handle ancestor delegation NSEC{,3} for children

(cherry picked from commit c943eb59dacc1ea2b178a8dcd28d1ecbe160cb7c)

Merge pull request #6212 from pieterlexis/backport-6209

Backport 6209 - Make `primeHints` threadsafe

Fix copied code

(cherry picked from commit e4f772ceb545a883d4683d34dff0a38e023f98ee)

Minimal fix to make primeHints threadsafe

(cherry picked from commit e863a05ab7566450710f8cdc2c08750f00bcde33)

Merge pull request #6202 from aerique/bugfix/backport-6167

rec: Initialize the result var before calling the preoutquery hook

Merge pull request #6201 from aerique/bugfix/backport-6137

rec: Don't validate signature for "glue" CNAME