Merge pull request #11708 from Habbie/backport-11449-to-dnsdist-1.5.x

dnsdist-1.5.x docs: Pin jinja2 to < 3.1.0

docs: Pin jinja2 to < 3.1.0

Jinja2 3.1.0 removed deprecated code that is still used by sphinx
1.8.x, and it looks like our custom sphinx extensions are not working
with more recent versions of sphinx..

See:
- https://github.com/pallets/jinja/issues/1631
- https://github.com/readthedocs/readthedocs.org/issues/9037

and

- https://github.com/PowerDNS/pdns/pull/7712

The exact error is:
```
Extension error:
Could not import extension sphinx.builders.latex (exception: cannot import name 'contextfunction' from 'jinja2' (/dnsdist/pdns/dnsdistdist/.venv/lib/python3.7/site-packages/jinja2/__init__.py))
```

(cherry picked from commit 92ad29702011ac7cbd0d7d118ba612e7e07cedbe)

Merge pull request #11703 from Habbie/backport-11658-to-dnsdist-1.5.x

dnsdist-1.5.x: protobuf: use python implementation during tests

protobuf: use python implementation during tests

(cherry picked from commit 2dd4d60b8103a64c796296647ad7b45226d5a5bd)

Merge pull request #11280 from Habbie/backport-11262-to-dnsdist-1.5.x

dnsdist-1.5.x:  builder: migrate EL8 builds to oraclelinux, rename centos8 to el8 where possible

builder: archs for oraclelinux-8; el-8 symlinks

(cherry picked from commit dee53cf16161a6c45560475b647de420842532ef)

builder: add el-7 alias for centos-7

(cherry picked from commit 6bd3c9bb23f5dfc385a66647ab175ec2812d6617)

builder: add oraclelinux-8 target

Merge pull request #11286 from Habbie/backport-10902-to-dnsdist-1.5.x

dnsdist-1.5.x: Pin docutils to < 0.18 for now

Pin docutils to < 0.18 for now

We will have to deal with that pain later, but let's unbreak our
CI first.

(cherry picked from commit 2503af018b72112a2422ce895d9e7418155cbc9f)

Merge pull request #10356 from rgacogne/ddist15-disable-fuzzing

dnsdist: Disable CIFuzz for rel/dnsdist-1.5.x

Merge pull request #10355 from rgacogne/ddist15-10267

dnsdist-1.5.x: Add missing getEDNSOptions and getDO bindings for DNSResponse

dnsdist: Disable CIFuzz for rel/dnsdist-1.5.x

It's broken because we don't have the seed corpus for
fuzz_target_dnslabeltext_parseRFC1035CharString anyway.

dnsdist: Add missing getEDNSOptions and getDO bindings for DNSResponse

(cherry picked from commit e292b91b89827450ca116a8fe7dbca146705ba3b)

Merge pull request #10162 from rgacogne/ddist15-backports

dnsdist-1.5.x: Backports fixes

dnsdist: Prevent a crash with DynBPF objects in client mode

(cherry picked from commit 22189743415af130b0e32a5a13aca1a26f800ead)

dnsdist: Fix EDNS in ServFail generated when no server is available

(cherry picked from commit c8a94fb04d65cea7927b96a579c5c947f967a4ff)

dnsdist: Fix a hang when removing a server with more than one socket

There was a lock starvation issue when removing a server with more
than one socket in use (`sockets` greater than 1 on the corresponding
`newServer` directive), because the mutex protecting the sockets array
would never be released long enough by the responder thread to allow
the thread stopping the server to acquire it.
This commit fixes that by marking the server as stopped right away,
before acquiring the lock, and also making sure that the responder
thread is woken up regularly (every second, even without any query
to process) and that it checks whether the server has been stopped
just after that.

The issue was introduced in be55a20ce9bb7140071279d70bcb460f1f2b7b7d,
and backported to 1.5.1 in f0d48318cce0dd80ae73c529362bdb2921d8c5c9.

(cherry picked from commit 0ac246e2e848bf244506b7d6a7031fb7d0de335b)

Fix the DNSName move assignement operator

A misplaced 'const' prevented it from being called, making every
move of a DNSName into a full copy.
Introduced in d720eb8add5ebda11867e8b404125e0b68ed2911.

(cherry picked from commit 8d1bb300460d5cc97b4599ea8eddeb7b6d35decf)

fix typo #9728

(cherry picked from commit 515b8bb7fb1c8ca8b4c47a35d70d63e2febf8a91)

dnsdist make: two fixes

* make sure dnsdist-lua-ffi-interface.inc is built before dnsdist-lua-ffi.o
* cleaner output while building that .inc

by Pieter Lexis

(cherry picked from commit 71411593536c64f4bbfc5e1e3982232f80af830a)

Merge pull request #9980 from rgacogne/ddist15-fix-dynamic-blocks

dnsdist: Fix Dynamic Block RCode rules messing up the queries count

dnsdist: Fix the Dynamic Block ratio regression test

We now properly skip the too old entries when scanning responses,
so we need to set a long enough period so that the responses are
still valids when we compute the ratio.

(cherry picked from commit dcc50bde3ada3ed35fd1b3ac420040fd8a81ac88)

dnsdist: Fix SMT dynamic block insertion of sub-domains

dnsdist: Only count responses in the right time range for ratio

dnsdist: Fix Dynamic Block RCode rules messing up the queries count

Merge pull request #9936 from rgacogne/ddist15-fix-crash-doh-responses-map

dnsdist-1.5.x: Fix a crash when a DoH responses map is updated at runtime

Merge pull request #9941 from Habbie/backport-9831-to-dnsdist-1.5.x

dnsdist 1.5.x el8: PowerTools is now powertools

el8: PowerTools is now powertools

(cherry picked from commit 26fe12046566da83844f1163134ba722a603e911)

dnsdist: Fix a crash when a DoH responses map is updated at runtime

(cherry picked from commit 312baf27f5357fae66582a8bbe937abff3c8d4fc)

Merge pull request #9922 from rgacogne/ddist15-sni-resumption

dnsdist-1.5.x: Fix SNI on resumed sessions by acknowledging the name sent by the client

dnsdist: Travis' Python 2 does not handle TLS sessions at all

dnsdist: Travis' Python 2 does not have ssl.session_resumed

dnsdist: Re-order hostname check directives, Python 2's ssl cares

dnsdist: Add a unit test for SNI routing after session resumption

(cherry picked from commit 5f4156bec07615ab15994bc44c30a1df39d4f1f6)

dnsdist: Fix SNI on resumed sessions by acknowledging the name sent by the client

Otherwise `SSL_get_servername()` only returns true when the session
has been freshly established, and will return `nullptr` when it is
resumed.

(cherry picked from commit 767a9d3a727a4a3b4073f01fab4b2c1d7c55d73e)

Merge pull request #9717 from rgacogne/ddist15-fix-ebpf-long-names

dnsdist-1.5.x: Fix eBPF filtering of long qnames

dnsdist: Fix eBPF filtering of long qnames

This commit switches to the use of eBPF positive offsets to access
the content of the transport and application layers, since using
negative offsets (needed to access the other layers) led to issues
with long qnames.
This is cleaner anyway :-)

(cherry picked from commit abbc72876eabc7a1745f50e7a9ff4c41b4bbef62)

Merge pull request #9555 from rgacogne/ddist15-edns-negative-additional-soa

dnsdist-1.5.x: Only add EDNS on negative answers if the query had EDNS

dnsdist: Update regression tests for dnspython 2.0.0

(cherry picked from commit 6e1f856ff8e7f2018ef53cdc1bb5364854128d58)

dnsdist: Fix Cookie and ECS implementations for dnspython 2.0.0

(cherry picked from commit a41603bfb402211c7ae131419d13f5dadbd13df9)

dnsdist: Only add EDNS on negative answers if the query had EDNS

(cherry picked from commit 2f67e0d445a55e675278f02a68e5f453f9a1f015)

Merge pull request #9542 from rgacogne/ddist15-fix-parse-edns-options

dnsdist-1.5.x: Fix getEDNSOptions() for {AN,NS}COUNT != 0 and ARCOUNT = 0

Merge pull request #9540 from rgacogne/ddist15-clear-console-history

dnsdist-1.5.x: Add the 'clearConsoleHistory' command

Merge pull request #9541 from rgacogne/ddist15-stop-backend-thread-on-removal

dnsdist-1.5.x: Stop the related responder thread when a backend is removed

Merge pull request #9543 from rgacogne/ddist15-fix-building-llvm-11

dnsdist-1.5.x: Fix building with LLVM11

dnsdist: Dcocument the new 'clearConsoleHistory()' command

(cherry picked from commit 7e9f283759afc3afaa0a3945001fdff379e6efee)

dnsdist: Add the 'clearConsoleHistory' command

It removes the history items and delta() data from memory.

(cherry picked from commit 87e6359691e1bca47123510eb1da7755178096bc)

dnsdist: Stop the related responder thread when a backend is removed

(cherry picked from commit be55a20ce9bb7140071279d70bcb460f1f2b7b7d)

dnsdist: Fix getEDNSOptions() for {AN,NS}COUNT != 0 and ARCOUNT = 0

Since 1.5.0, calling getEDNSOptions() from Lua would result in a
ServFail for queries that had no records in additional but at least
one record in either the answer or authority section, such as a
NOTIFY, because of a bug in parseEDNSOptions(). That last function
incorrectly called slowParseEDNSOptions() in that case, triggering
an exception to be raised because slowParseEDNSOptions() does not
expect to be called for a packet with no record in the additional
section.
parseEDNSOptions() now returns `false` for packets that have no
record in the additional section.

(cherry picked from commit 38af359d79bccc500deaa598957a1b0d1ce11fd4)

Fix building with LLVM11

There's a typo on line 529, where it says "true", but the double quotes cause a type cast error on LLVM11.

dnsdist-console.cc:529:32: error: type 'const char [5]' cannot be narrowed to 'bool' in initializer list [-Wc++11-narrowing]
  { "SetNegativeAndSOAAction", "true", "nxd, zone, ttl, mname, rname, serial, refresh, retry, expire, minimum [, options]", "Turn a query into a NXDomain or NoData answer and sets a SOA record in the additional section" },
                               ^~~~~~
dnsdist-console.cc:529:32: note: insert an explicit cast to silence this issue
  { "SetNegativeAndSOAAction", "true", "nxd, zone, ttl, mname, rname, serial, refresh, retry, expire, minimum [, options]", "Turn a query into a NXDomain or NoData answer and sets a SOA record in the additional section" },
                               ^~~~~~
                               static_cast<bool>( )
1 error generated.

(cherry picked from commit e7c6996eb650d17372548899408160bb2d712511)

Merge pull request #9539 from rgacogne/ddist15-disable-tests

dnsdist-1.5.x: Disable non-dnsdist tests

Merge pull request #9546 from rgacogne/ddist15-install-patch

dnsdist-1.5.x: Install 'patch', required to install py-lmdb

dnsdist: Install 'patch', required to install py-lmdb

(cherry picked from commit c17a2921a6096535bbaac837ed2d2db369091e58)

dnsdist-1.5.x: Disable non-dnsdist tests

Merge pull request #9360 from rgacogne/ddist-prevent-backends-copy

dnsdist: Prevent a copy of a pool's backends when selecting a server

dnsdist: Prevent a copy of a pool's backends when selecting a server

Merge pull request #9356 from rgacogne/ddist-check-cache-ptr

dnsdist: Handle calling PacketCache methods on a nil object

Merge pull request #9359 from Habbie/mysql-both-typo

auth tests gmysql2: fix env var name typo

auth tests gmysql2: fix env var name typo

Merge pull request #9355 from rgacogne/ddist-proxy-protocol-large

dnsdist: Improve reporting of possible overflow via large Proxy Protocol values

dnsdist: Handle calling PacketCache methods on a nil object

dnsdist: Improve reporting of possible overflow via large Proxy Protocol values

Merge pull request #9354 from PowerDNS/dependabot/bundler/modules/remotebackend/json-2.3.0

build(deps): bump json from 1.8.5 to 2.3.0 in /modules/remotebackend

Merge pull request #9353 from PowerDNS/dependabot/bundler/modules/remotebackend/regression-tests/json-2.3.0

build(deps): bump json from 1.8.2 to 2.3.0 in /modules/remotebackend/regression-tests

Merge pull request #9343 from cmouse/hostname-fix

misc.cc: Resize hostname to final size in getCarbonHostname()

Merge pull request #9344 from rgacogne/ddist-fix-doh-sni

dnsdist: Fix compilation with h2o_socket_get_ssl_server_name

Merge pull request #9346 from omoerbeek/dnsdist-openbsd-clang-std

dnsdist: Fix compilation on OpenBSD/amd64

build(deps): bump json from 1.8.5 to 2.3.0 in /modules/remotebackend

Bumps [json](https://github.com/flori/json) from 1.8.5 to 2.3.0.
- [Release notes](https://github.com/flori/json/releases)
- [Changelog](https://github.com/flori/json/blob/master/CHANGES.md)
- [Commits](https://github.com/flori/json/compare/v1.8.5...v2.3.0)

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump json in /modules/remotebackend/regression-tests

Bumps [json](https://github.com/flori/json) from 1.8.2 to 2.3.0.
- [Release notes](https://github.com/flori/json/releases)
- [Changelog](https://github.com/flori/json/blob/master/CHANGES.md)
- [Commits](https://github.com/flori/json/compare/v1.8.2...v2.3.0)

Signed-off-by: dependabot[bot] <support@github.com>

test-misc_hh: Add test for getCarbonHostname

misc.cc: Resize hostname to final size in getCarbonHostname()

In 5c21b47fbc35ddcb8d939eb8541c6c3bad1080a8 we change how
hostname is allocated. We allocate getMaxHostNameSize for string,
then give the raw buffer for gethostname function, but forget to
resize the string into actual result length, causing the carbon
output to include trailing NUL bytes after hostname.

Fix compilation on OpenBSD/amd64

The readline lib on OpenBSD redefines __attribute__ to empty if __STRICT_ANSI__...

Merge pull request #9348 from omoerbeek/solaris-name-clashes

Avoid name clashes on Solaris derived systems.

Avoid name clashes on Solaris derived systems.

Fixes #9279

Merge pull request #9342 from omoerbeek/rec-prep-4.4.0-alpha2

rec: prep for rec-4.4.0-alpha2

Prep for rec 4.4.0-alpha2

dnsdist: Fix compilation with h2o_socket_get_ssl_server_name

Create Ubuntu Focal Dockerfile for rec-43+.

Only add `--nobest` for CentOS 8.

Merge pull request #9338 from omoerbeek/rec-prep-20200717

rec: Prep for upcoming July 17th 2020 release.

Merge pull request #9320 from ihsinme/patch-2

Update proxy-protocol.cc

Merge pull request #9336 from Habbie/auth-metrics-new-in-4.4

auth docs: note that /metrics is new in 4.4; closes #9325

Add tags and tidy.

Merge pull request #9308 from rgacogne/rec-check-zone-key-flag

rec: Check that DNSKEYs have the zone flag set

Merge pull request #9314 from zeha/no-tologstring

Remove redundant toLogString() calls

Merge pull request #9339 from phonedph1/patch-22

dnsdist: Update config.rst

Update config.rst

Prep for upcoming July 17th 2020 release.

auth docs: note that /metrics is new in 4.4; closes #9325

Merge pull request #9315 from zeha/bind-zoneid

bindbackend: fix zoneId in log statement

Merge pull request #9280 from zeha/domain-create

auth: immediately fill account, kind, masters on zone create

rec: Check that DNSKEYs have the 'zone' flag set, 'revoked' one cleared

rec: Check that DNSKEYs have the zone flag set

As required by rfc4034 Section 5.2.

Merge pull request #9312 from rgacogne/rec-class-enum-validation-states

rec: Stop cluttering the global namespace with validation states

Merge pull request #9231 from omoerbeek/explicit-cxx-version

Use explicit flag for the specific version of c++ wer'e targeting.

Update proxy-protocol.cc

get rid of integer overflow

Merge pull request #9316 from zeha/dbnullptr

auth: 0 as nullptr cleanup

auth: 0 as nullptr cleanup

bindbackend: fix zoneId in log statement

The existing message was confusing me because it showed invalid/not
initialized data.

Remove redundant toLogString() calls

Already handled by Logger.