when (re)priming the root, we do so with auth=0. We'll only set auth=1 after we have an answer from the roots. This however opens up a small race condition in which the root is expired (ttl=0), but still auth=1 in the cache. Our attempt to replace it with auth=0 dta fails at that point. This is probably due to some fencepost error somewhere. To not be subtle about this, explicitly nuke the root when we reprime.

Merge pull request #5313 from ahupowerdns/no-root-age

don't age the root - this was a mistranslation from 3.x to 4.x

Merge pull request #5312 from ahupowerdns/proto-empty-log

we would attempt to protobuf log DNS questions without a set question…

don't age the root - this was a mistranslation from 3.x to 4.x

we would attempt to protobuf log DNS questions without a set question and get exceptions over that

Merge pull request #5307 from rgacogne/rec-rpz-clear-nsip-bis

rec: Clear the RPZ NS IP table when clearing the policy (bis)

rec: Clear the RPZ NS IP table when clearing the policy (bis)

Merge pull request #4569 from rgacogne/rec-protobuf-requestor-id

rec: Pass `tcp` to `gettag()`, allow setting the requestor ID from hooks

Merge pull request #5252 from rgacogne/rec-soa-root-nx-trust

rec: Only apply root-nx-trust if the received SOA is "."

Merge pull request #5270 from cmouse/geoip-test

geoipbackend: Add test for city database

Merge pull request #5275 from rgacogne/rec-rpz-fast-updates

rec: RPZ updates are done zone by zone, zones are now shared pointers

Merge pull request #5278 from rgacogne/dnscryptokeyengine-sharedptr

Always wrap DNSCryptoKeyEngine objects in a shared pointer

Merge pull request #5283 from rgacogne/dnssec-cache-auth-issue

rec: Skip DNSSEC validation for cache hits from authoritative zones

Merge pull request #5290 from mind04/master-nsec

auth: add test to make sure NSEC(3) generation is case insensitive

Merge pull request #5296 from mind04/boost

detect gcc/g++ 5.4, 7.0 and 7.1 in boost.m4

Merge pull request #5303 from Habbie/packetlimit

fix off-by-one in dnsreplay --packet-limit

fix off-by-one in dnsreplay --packet-limit

detect gcc/g++ 5.4, 7.0 and 7.1 in boost.m4

rec: Allow setting the protobuf `requestorId` from Lua hooks

rec: Add a `tcp` parameter to `gettag()` since it's now called for TCP

auth: add test to make sure NSEC(3) generation is case insensitive

test result before fix (auth-4.0.3):

--- ./tests/nsecx-upcase/expected_result        2017-05-03 21:17:26.000000000 +0200
+++ ./tests/nsecx-upcase/real_result    2017-05-03 21:29:10.231994921 +0200
@@ -2,8 +2,10 @@
 0      Z1234567890.wtest.com.  IN      RRSIG   3600    CNAME 13 2 3600 [expiry] [inception] [keytag] wtest.com. ...
 0      server1.wtest.com.      IN      A       3600    1.2.3.4
 0      server1.wtest.com.      IN      RRSIG   3600    A 13 3 3600 [expiry] [inception] [keytag] wtest.com. ...
-1      a.something.wtest.com.  IN      NSEC    86400   wtest.com. A RRSIG NSEC
-1      a.something.wtest.com.  IN      RRSIG   86400   NSEC 13 4 86400 [expiry] [inception] [keytag] wtest.com. ...
+1      *.wtest.com.    IN      NSEC    86400   e.wtest.com. CNAME RRSIG NSEC
+1      *.wtest.com.    IN      RRSIG   86400   NSEC 13 2 86400 [expiry] [inception] [keytag] wtest.com. ...
 2      .       IN      OPT     32768
 Rcode: 0 (No Error), RD: 0, QR: 1, TC: 0, AA: 1, opcode: 0
 Reply to question for qname='Z1234567890.wtest.com.', qtype=A
./tests/nsecx-upcase/unbound-host.out:Z1234567890.wtest.com is an alias for server1.wtest.com. (BOGUS (security failure))
./tests/nsecx-upcase/unbound-host.out:server1.wtest.com has address 1.2.3.4 (BOGUS (security failure))

Merge pull request #5273 from cmouse/geoip-random

geoipbackend: Use dns_random

Merge pull request #5277 from rgacogne/sdig-edns-usage

sdig: Clarify that the `ednssubnet` option takes "subnet/mask"

Merge pull request #5281 from pieterlexis/zone2json-in-tests

Tell the tests where to find zone2json

rec: Add a unit test for the OOB flag on a auth zone cache hit

rec: Skip DNSSEC validation for cache hits from authoritative zones

Tell the tests where to find zone2json

Merge pull request #5280 from rgacogne/dnsdist-poolrule-from-mask

dnsdist: Clarify that addPoolRule() applies to source addresses

dnsdist: Clarify that addPoolRule() applies to source addresses

Always wrap DNSCryptoKeyEngine objects in a shared pointer

It's done almost everywhere, but not quite, and some of the paths
where it's not could leak if an exception is raised.
Also mark the overridden virtual methods with `override` to prevent
future mistakes.

changelog thinks recent 4 releases happened in 2016

sdig: Clarify that the `ednssubnet` option takes "subnet/mask"

The `mask` part is actually optional but it's probably better to
provide it explicitely anyway.

rec: RPZ updates are done zone by zone, zones are now shared pointers

This prevents having to copy and update all the zones even though
the RPZ IXFR tracker only works on one of them at a time.
Also prevents race conditions if two RPZ IXFR tracker threads
update the state at the same time by using `GlobalStateHolder::modify()`
instead of `GlobalStateHolder::setState()`.

geoipbackend: Use dns_random

Closes coverity CID#1374548

geoipbackend: Add test for city database

Merge pull request #5266 from cmouse/geoip-fixes

geoipbackend: Support city databases in region lookup

Merge pull request #5267 from cmouse/geoip-weights

geoipbackend: Move static record lookup to separate method

Merge pull request #5269 from cmouse/geoip-cc

geoipbackend: Add support for %cc modifier

geoipbackend: Support city databases in region lookup

City database contains region information as well.

Fixes #5255 and #4122

geoipbackend: Move static record lookup to separate method

Fixes #4704 by applying weights consistently on all lookups.

geoipbackend: Document %cc modifier

Merge pull request #5261 from percipient/json-stat-fix

get-remote-ring's "other" report should only have two items.

geoipbackend: Add support for %cc modifier

Fixes #4122

get-remote-ring's "other" report should only have two items.

Merge pull request #5250 from cmouse/axfrfilter

Implement axfrfilter with LuaContext

Merge pull request #5258 from mind04/query-cache-stats

query cache hit/miss statistics

query cache hit/miss statistics

rec: Make sure the received SOA comes from a "." auth

Merge pull request #5254 from pieterlexis/pkg-snmp-support

Packages: Build with net-snmp support and against LuaJIT

Merge pull request #5249 from tfarina/dns-ascii

move two other functions into ascii.hh

Merge pull request #5235 from ahupowerdns/dnsdist-qnamerule

Dnsdist qnamerule

Allow building the Lua backend with luajit

Merge pull request #5248 from Habbie/gitignore-protobuf

ignore file created by runtests

Merge pull request #5253 from ahupowerdns/dnsdist-verbosepro

add some better dnsdist -v logging on queries that get dropped, timed out or received

Merge pull request #5185 from rgacogne/dnsdist-nmg-add-masks

dnsdist: Add `NetmaskGroup::addMasks()` to fill a NMG from `exceeds*` results

add some better -v logging on queries that get dropped, time out or received

No net-snmp nor luajit on SLES

Build pkgs against LuaJit (where available)

Add the protobuf pkgs as build-dep to EL6

Add net-snmp support to recursor and dnsdist pkgs

rec: Only apply root-nx-trust if the received SOA is "."

If `root-nx-trust` is enabled and we got a NX answer from the root, check that the received SOA is for the root before negatively caching the entire TLD. This might happen if "." is forwarded, for example.

lua-auth: Drop axfrfilter

It's no longer needed.

doc: Update documentation for axfr filter

communicator: Use new version of AXFR filter

lua-auth4: Implement axfrfilter

move two other functions into ascii.hh

dns_isspace() and dns_toupper() are all functions operating upon ASCII
characters. So lets move them into ascii.hh and keep them together with
dns_tolower().

ignore file created by runtests

Merge pull request #5247 from Habbie/requires-nit

nit

nit

Merge pull request #5244 from rgacogne/dnsdist-stop-on-dynblock

dnsdist: Stop sending queries as soon as we are dyn-blocked in tests

dnsdist: Fix a typo in the DynBlocks tests comment

Thanks Habbie for noticing!

dnsdist: Stop sending queries as soon as we are dyn-blocked in tests

Otherwise we might take too much time to finish sending our queries
(2s timeout per query), ending up with the dynamic block rule gone
by the time we finish.

Merge pull request #5239 from rgacogne/dnsdist-debug-dynblocks-failures

dnsdist: Add some debug to the DynBlocks regression tests

dnsdist: Add some debug to the DynBlocks regression tests

Merge pull request #5230 from Habbie/dnsdist-unnest-error

unnest Lua exceptions when they get all the way back to main()

Merge pull request #5199 from ahupowerdns/dnsdistrekey

setKey() was actually "appendKey()". In addition, '-k' would not override for server configuration

Merge pull request #5234 from aerique/bugfix/5054-dnsdist-query-counters-integer-overflows

Bugfix/5054 dnsdist query counters integer overflows

check new key before replacing old one.

Merge pull request #5228 from mind04/order

signpipe stumbles over interrupted rrsets

add a test for QNameRule

Fix "queries" overflow in dnsdist API.

The way it is currently fixed means that matches can still overflow
in the web interface because JavaScript has a 2^53 number limit.

However, this fix is in line with how earlier cases have been fixed.

This fixes issue #5054.

Fix matches overflow in dnsdist API.

The way it is currently fixed means that matches can still overflow
in the web interface because JavaScript has a 2^53 number limit.

However, this fix is in line with how earlier cases have been fixed.

add & document QNameRule

Merge pull request #5209 from ahupowerdns/lock-touches

make our Lock classes uncopyable, make ReadLock and WriteLock moveable.

update tinydns data files

Merge pull request #5226 from pieterlexis/syncres-refactor-mv-negcache

rec: Refactor the negative cache into a class

signpipe stumbles over interrupted rrsets

Merge pull request #5231 from rgacogne/rec-rpz-clear-nsip

rec: Clear the RPZ NS IP table when clearing the policy

Merge pull request #5212 from tfarina/dns2-tolower

pdns: remove duplicated dns2_tolower() function

Merge pull request #5229 from Habbie/sort-tinydns-data

sort tinydns data to reduce size of future diffs

rec: Clear the RPZ NS IP table when clearing the policy

Be it the entire policy object or a single zone.

rec NegCache: expired test for getRootNXTrust

rec NegCache: Add count() for QNAME|QTYPE

unnest Lua exceptions when they get all the way back to main()

Merge pull request #4477 from KamagoNet/ldap-backend-update

Ldap backend update

sort tinydns data to reduce size of future diffs

Merge pull request #5200 from Habbie/luawrapper-downstream

downstream luawrapper changes

Merge pull request #5204 from rgacogne/snmp-thread-move

SNMP: Let the compiler elide copy instead of calling the move ctor

rec: Add tests for NegCache::getRootNXTrust

rec negcache: check retval in test_add_updated_entry