regen v9_12

Merge branch '899-remove-unspec-v9_12' into 'v9_12'

Remove UNSPEC rrtype

See merge request isc-projects/bind9!1933

Remove UNSPEC rrtype

(cherry picked from commit a8e2ca6f7d956324911766fd8e83ee6461b8056e)

Merge branch '834-fix-races-in-socket-code-v2-v9_12' into 'v9_12'

Resolve "named can crash under udp load on macos"

See merge request isc-projects/bind9!1916

Fix race in unix socket code when closing a socket that has
already sent a recv/send event.

When doing isc_socket_cancel we need to purge the event that might
already be in flight. If it has been launched already we need
to inform it that it has to bail.

(cherry picked from commit 1286d74c7d26200bf1cda11ef76343e9180be177)

Merge branch 'each-sync-v9_12' into 'v9_12'

synchronize 9.12.4-P1 documentation into v9_12

See merge request isc-projects/bind9!1914

doc rebuild

prep 9.12.4-P1

Merge branch '999-tcp-client-crash-v9_11-locks-v9_12' into 'v9_12'

Replace atomic operations in bin/named/client.c with isc_refcount reference counting

See merge request isc-projects/bind9!1879

Replace atomic operations in bin/named/client.c with isc_refcount reference counting

(cherry picked from commit ef49780d30d3ddc5735cfc32561b678a634fa72f)

Merge branch '615-tcp-client-crash-v9_12-v9_12_4_patch-v9_12' into 'v9_12'

Resolve "tcp-clients mostly ineffective"

See merge request isc-projects/bind9!1873

CHANGES, release note

(cherry picked from commit ef15f7360784c5ec7341f3e4856a759cf1e2aedb)
(cherry picked from commit 802600b19d9adf9733e6577682c4ddaf3613e961)

restore allowance for tcp-clients < interfaces

in the "refactor tcpquota and pipeline refs" commit, the counting
of active interfaces was tightened in such a way that named could
fail to listen on an interface if there were more interfaces than
tcp-clients. when checking the quota to start accepting on an
interface, if the number of active clients was above zero, then
it was presumed that some other client was able to handle accepting
new connections. this, however, ignored the fact that the current client
could be included in that count, so if the quota was already exceeded
before all the interfaces were listening, some interfaces would never
listen.

we now check whether the current client has been marked active; if so,
then the number of active clients on the interface must be greater
than 1, not 0.

(cherry picked from commit 71fead4c3e03b178d6e6e3ff7592b45cf5f94069)
(cherry picked from commit 785658728ad29ef497fb6770d0688d07f55ab5c5)

refactor tcpquota and pipeline refs; allow special-case overrun in isc_quota

- if the TCP quota has been exceeded but there are no clients listening
  for new connections on the interface, we can now force attachment to the
  quota using isc_quota_force(), instead of carrying on with the quota not
  attached.
- the TCP client quota is now referenced via a reference-counted
  'ns_tcpconn' object, one of which is created whenever a client begins
  listening for new connections, and attached to by members of that
  client's pipeline group. when the last reference to the tcpconn
  object is detached, it is freed and the TCP quota slot is released.
- reduce code duplication by adding mark_tcp_active() function
- convert counters to atomic

(cherry picked from commit 7e8222378ca24f1302a0c1c638565050ab04681b)
(cherry picked from commit 86a7d4c175ea394b03f0fb6e36b36a0af711e680)

better tcpquota accounting and client mortality checks

- ensure that tcpactive is cleaned up correctly when accept() fails.
- set 'client->tcpattached' when the client is attached to the tcpquota.
  carry this value on to new clients sharing the same pipeline group.
  don't call isc_quota_detach() on the tcpquota unless tcpattached is
  set.  this way clients that were allowed to accept TCP connections
  despite being over quota (and therefore, were never attached to the
  quota) will not inadvertently detach from it and mess up the
  accounting.
- simplify the code for tcpquota disconnection by using a new function
  tcpquota_disconnect().
- before deciding whether to reject a new connection due to quota
  exhaustion, check to see whether there are at least two active
  clients. previously, this was "at least one", but that could be
  insufficient if there was one other client in READING state (waiting
  for messages on an open connection) but none in READY (listening
  for new connections).
- before deciding whether a TCP client object can to go inactive, we
  must ensure there are enough other clients to maintain service
  afterward -- both accepting new connections and reading/processing new
  queries.  A TCP client can't shut down unless at least one
  client is accepting new connections and (in the case of pipelined
  clients) at least one additional client is waiting to read.

(cherry picked from commit c7394738b2445c16f728a88394864dd61baad900)
(cherry picked from commit 7d6518aa9c3577e1ae79e8e1358e3215a70780b3)

use reference counter for pipeline groups (v3)

Track pipeline groups using a shared reference counter
instead of a linked list.

(cherry picked from commit 72eb9275ab8f97364c18abbc79671795f9cc1f23)
(cherry picked from commit 890dbb8200765c8e9a517750a29be29b993bf7fe)

tcp-clients could still be exceeded (v2)

the TCP client quota could still be ineffective under some
circumstances.  this change:

- improves quota accounting to ensure that TCP clients are
  properly limited, while still guaranteeing that at least one client
  is always available to serve TCP connections on each interface.
- uses more descriptive names and removes one (ntcptarget) that
  was no longer needed
- adds comments

(cherry picked from commit a43fe7cd3f051f12bb544b6fa364135b1719c587)
(cherry picked from commit 7278b66cdf2e9e3ec79f0c7586091c2fc96317d0)

fix enforcement of tcp-clients (v1)

tcp-clients settings could be exceeded in some cases by
creating more and more active TCP clients that are over
the set quota limit, which in the end could lead to a
DoS attack by e.g. exhaustion of file descriptors.

If TCP client we're closing went over the quota (so it's
not attached to a quota) mark it as mortal - so that it
will be destroyed and not set up to listen for new
connections - unless it's the last client for a specific
interface.

(cherry picked from commit 9ef6eb4c37ed909c8e2a5508c3b3e510b7b13b85)
(cherry picked from commit 264384fbb9e722dff2d78d48bb00b4f6290bc51c)

Merge branch '880-secure-asdfasdfasdf-abacadabra-crash-v9_12_4_patch-v9_12' into 'v9_12'

Resolve "CVE-2019-6467: lib/ns/query.c:9176: INSIST(!qctx->is_zone) failed, back trace"

See merge request isc-projects/bind9!1869

CHANGES, release note

(cherry picked from commit 82b03ce2326a644e037ff9cfbadade715a78dc9f)

Fix nxdomain-redirect assertion failure

- Always set is_zonep in query_getdb; previously it was only set if
  result was ISC_R_SUCCESS or ISC_R_NOTFOUND.
- Don't reset is_zone for redirect.
- Style cleanup.

(cherry picked from commit 3352270bdbbb39b167072aa282c6b310ffd96a7d)
(cherry picked from commit e2500c60a0a764f35116e57b8d22f3109e97f75b)
(cherry picked from commit 4f00c86ece0ee0f46bd1aff4e531459dd6307f6d)

Add test for nxdomain-redirect ncachenxdomain

(cherry picked from commit 8dc43bc9fe934a0b4729cb1c467e62a73a11ebad)
(cherry picked from commit 6093cc063bfe06066c59fd4b84ae7c68cf683215)
(cherry picked from commit 21c7c65b05e2a66a2cff59110ac7b95b8bb5638f)

Merge branch '892-fix-redirect-name-v9_12_4_patch-v9_12' into 'v9_12'

Resolve "pass the correct name to redirect and redirect2"

See merge request isc-projects/bind9!1866

add CHANGES

(cherry picked from commit 29b792a1a5e541b3901f898c232ada6099a964d4)

use client->query.qname

(cherry picked from commit 8758d36a5e0461fb3aee8f0dc5b35ddca98e00af)
(cherry picked from commit e7826648272b341a84e497a1e17756d359b64444)
(cherry picked from commit 7c94f4b8f005f30ea59783cad59ccc078e531ab1)

Merge branch 'ondrej/refactor-DNS_RDATASET_FIXED-code-flow-v9_12' into 'v9_12'

(v9_12) Refactor the DNS_RDATASET_FIXED code to use macros instead of ifdefs

See merge request isc-projects/bind9!1819

Refactor the DNS_RDATASET_FIXED code to use constants instead of ifdefs

(cherry picked from commit 4edbb773a172a7811d7af7a53a29841f23151b31)

Merge branch '946-enable-fips-mode-option-breaks-build-of-hmacmd5-c-and-md5-c-v9_12' into 'v9_12'

Resolve "--enable-fips-mode option breaks build of  hmacmd5.c and md5.c"

See merge request isc-projects/bind9!1733

add CHANGES

(cherry picked from commit d3976fe4cc8236e315214938936d583c3c69f604)

add #include <isc/util.h>

(cherry picked from commit 98a37c9aba90052424a2629667edf344fd9d786c)

Merge branch '4-update-gitignore-for-future-automake-v9_12' into 'v9_12'

(v9_12) Update and sort the top level .gitignore to ignore automake files

See merge request isc-projects/bind9!1729

Sort the top level .gitignore file

(cherry picked from commit b9d524ed7e4e31fd926ccef70a3948d78074a82e)

Update top level .gitignore to ignore automake files

(cherry picked from commit 5c67d1d12021e87639f16d55a56782acc4b22327)

Merge branch 'prep-release' into v9_12

prep 9.12.4

Merge branch 'prep-release' into v9_12

rebuild configure

Merge branch 'broken-test' into v9_12

fixed an error in the mkeys system test

Merge branch 'prep-release' into v9_12

doc rebuild

prep 9.12.4rc1

Merge branch 'security-dlz-axfr-deny-broken-security-v9_12' into 'security-v9_12'

denied axfr requests were not effective for writable DLZ zones

See merge request isc-private/bind9!57

add CHANGES and release notes entries

(cherry picked from commit 354ad18a12e84e5c660ce8e08e56382e529d8b2c)

Merge 'keytag-memleak' into security-v9_12

denied axfr requests were not effective for writable DLZ zones

(cherry picked from commit d9077cd0038e59726e1956de18b4b7872038a283)

add CHANGES and release note entries

(cherry picked from commit 8134c9a3f3bf46455ce4d16f2bf01e086d20f69b)

check that multiple KEY-TAG trust-anchor-telemetry options don't leak memory

(cherry picked from commit 4b1dc4a5445e9561f2208f9388cf9f9e2cfcbe51)

Merge 'managed-key-assert' into security-v9_12

silently ignore additional keytag options

(cherry picked from commit 36158e6c96e982768bd33d4090cbe563718534f2)

use algorithm 255 for both unsupported keys

CHANGES, notes

(cherry picked from commit f0eefb06d488cc99e8b4a4b7238e4a556afb7586)

Update keyfetch_done compute_tag check

If in keyfetch_done the compute_tag fails (because for example the
algorithm is not supported), don't crash, but instead ignore the
key.

(cherry picked from commit b1d5411569ae10830b63f07560091193646cc739)

Add tests for mkeys with unsupported algorithm

These tests check if a key with an unsupported algorithm in
managed-keys is ignored and when seeing an algorithm rollover to
an unsupported algorithm, the new key will be ignored too.

(cherry picked from commit 144cb53d0ae3aa5e6e3123720b603f9ab2bd1fa9)

Don't free key in compute_tag in case of failure

If `dns_dnssec_keyfromrdata` failed we don't need to call
`dst_key_free` because no `dstkey` was created.  Doing so
nevertheless will result in an assertion failure.

This can happen if the key uses an unsupported algorithm.

(cherry picked from commit 7a1ca39b950b7d5230b605ac60f15a1cb94e3d69)

Merge branch '823-masterformat-test-fix-v9_12' into 'v9_12'

fix broken masterformat test

See merge request isc-projects/bind9!1554

fix broken masterformat test

- dig command had the @ parameter in the wrong place
- private-dnskey and private-cdnskey are queried in a separate
  loop, which strips 'private-' from the name to determine the qtype

(cherry picked from commit bc7b34d6ef4e9a539da5f09795f130d4c392104b)

Merge branch 'each-enable-threads' into 'v9_12'

enable threads by default on openbsd 6.2 and higher

See merge request isc-projects/bind9!1548

CHANGES

enable threads by default on openbsd 6.2 and higher

Merge branch 'each-fix-timer-test' into 'v9_12'

timer_test failed to compile if cmocka was enabled but threads were not

See merge request isc-projects/bind9!1547

timer_test failed to compile if cmocka was enabled but threads were not

Merge branch '884-patches-to-review-v9_12' into 'v9_12'

Correct errno to result translation

See merge request isc-projects/bind9!1540

add CHANGES

(cherry picked from commit a0c0d760297db57bcc0c3cbdcb332214e6936d86)

correct errno to result translation

(cherry picked from commit 218ce34e7d692cd12c5cf3bf94a675ec9e28fefb)

Merge branch '836-building-fails-in-build-subdirectory-when-dnstap-is-enabled-v9_12' into 'v9_12'

Resolve "Building fails in build subdirectory when dnstap is enabled"

See merge request isc-projects/bind9!1538

add CHANGES

(cherry picked from commit 3a21fdf88470d81567e2a0f36b57afec3da03301)

teach proto_c to look in the source directory for out of tree builds

(cherry picked from commit c0d4ff57961edfaf0713d9a215750cfa26f42548)

Merge branch '877-clang-scan-build-redundant-assignments-detected-v9_12' into 'v9_12'

Remove redundant assignments

See merge request isc-projects/bind9!1536

remove redundant assignment

(cherry picked from commit f475dc75b1e2d3745e3c5d056339330b4a274aa9)

silence clang

(cherry picked from commit 7b60f6832e702507f2cec23f22ab9cf4abacc1e4)

don't overwrite result

(cherry picked from commit 70fab477b11b63642e05e6e9ce1c998fe2a83add)

remove seen_dname

(cherry picked from commit 63c03cdb2d5ea425dd34c77c5d3291228b4dfffc)

Merge branch '877-clang-scan-build-redundant-assignments-detected-2-v9_12' into 'v9_12'

decode_NegTokenInit failed to cleanup allocated memory on error.

See merge request isc-projects/bind9!1529

fix memory leak

(cherry picked from commit 7114d16098b0cf4910e06490fa70758f1c2c62a3)

Merge branch '877-clang-scan-build-redundant-assignments-detected-2-v9_12' into 'v9_12'

Add missing asserts to socket_test.c and dnstest.c

See merge request isc-projects/bind9!1524

assert result is ISC_R_SUCCESS

(cherry picked from commit 76a1c1531af92e11eb5cfe150d9a8a3d02b64cd2)

Merge branch 'u/fanf2/dnssec-keymgr-man-v9_12' into 'v9_12'

Improve dnssec-keymgr manual

See merge request isc-projects/bind9!1520

Improve dnssec-keymgr manual

Illustrate the syntax for the policy options, with semicolons.

Explicitly mention the "default" policy.

Fix a few typos and remove some redundant wording.

(cherry picked from commit 7ee56e2abdf8bad7c3b0f7f3d52f8f5f44b13f2c)

Merge branch '879-dnssec-checkds-help-v9_12' into 'v9_12'

Correct path in dnssec-checkds help

See merge request isc-projects/bind9!1516

Correct path in dnssec-checkds help

(cherry picked from commit 7bd544e795c6edb4a11cef692543a98dfc87eb8c)

Merge branch '871-add-a-ci-check-for-missing-prereq.sh-scripts-v9_12' into 'v9_12'

Add a CI check for missing prereq.sh scripts

See merge request isc-projects/bind9!1508

add util/check-ans-prereq to precheck

(cherry picked from commit 74c1c375631ed787488832238b0d45db36d842cc)

add check-ans-prereq

(cherry picked from commit ec2ecffef137da5635235330ce05b601f6d3a658)

Merge branch '872-dlz-ldap-dname-v9_12' into 'v9_12'

added DNAME support to DLZ LDAP schema, and fixed a DLZ compile error

See merge request isc-projects/bind9!1503

added DNAME support to DLZ LDAP schema, and fixed a DLZ compile error

Thanks to Roland Gruber for the schema contribution.

(cherry picked from commit 2e3b5db195baf6edfd2fb83094c2a603a28cec70)

Merge branch 'u/fanf2/zonemd-v9_12' into 'v9_12'

Correct ZONEMD expansion in ARM

See merge request isc-projects/bind9!1499

Correct ZONEMD expansion in ARM

(cherry picked from commit af74f185369a85ffff110b11fe249b430a6b7bfb)

Merge branch '869-prereq-sh-needed-in-forward-test-v9_12' into 'v9_12'

[v9_12] Resolve "prereq.sh needed in forward test"

See merge request isc-projects/bind9!1495

added prereq.sh to forward test to detect perl Net::DNS

(cherry picked from commit 8c929bd7c5058a264076ed069efe6acc428c9a16)

Merge branch '867-rrtypes-missing-from-named-v9_12' into 'v9_12'

Resolve "rrtypes missing from named"

See merge request isc-projects/bind9!1491

add AMTRELAY and ZONEMD to ARM

(cherry picked from commit b06c5f8cfd3e449942f6020f054d167ea3e00b6f)

fix AMTRELAY name

(cherry picked from commit a9fadafecd6470ea0795561f1d7ea66ee3c8dd2a)

Merge branch 'each-dnssec-coverage-dots-v9_12' into 'v9_12'

dnssec-coverage was improperly ignoring some zones

See merge request isc-projects/bind9!1488

CHANGES

(cherry picked from commit a242c704f5aed9c8e8a42e2c975c70d37d882f67)

adjust style, match test to other tests

(cherry picked from commit 9949163936e22adabf94ea05a9dfed76527cf1a5)

dnssec-coverage: fix handling of zones without trailing dots

After change 5143, zones listed on the command line without trailing
dots were ignored.

(cherry picked from commit a159675f448130daf29670c2b2bbc9edb5e20c09)

Merge branch '867-rrtypes-missing-from-named-v9_12' into 'v9_12'

Resolve "rrtypes missing from named"

See merge request isc-projects/bind9!1485

add top of range checks

(cherry picked from commit 8d69e15988d160a8214d9003d0bfcdfb296bd6fe)

Merge branch '867-rrtypes-missing-from-named-v9_12' into 'v9_12'

Resolve "rrtypes missing from named"

See merge request isc-projects/bind9!1481