lib/dns/adb.c: Use atomics for adb quota values and reference counting

Use integer fast type for mutexatomic shim type

Merge branch '1383-kasp-test-fails-with-unexpected-cds-record' into 'master'

kasp: Fix the reading of CDS keys to use stricter awk

Closes #1383

See merge request isc-projects/bind9!2608

kasp: Employ awk to make CDS checks stricter

Merge branch '1403-when-configuration-loading-fails-named-could-assert' into 'master'

Request exclusive access when crashing via fatal()

Closes #1403

See merge request isc-projects/bind9!2635

Request exclusive access when crashing via fatal()

When loading the configuration fails, there might be already other tasks
running and calling OpenSSL library functions.  The OpenSSL on_exit
handler is called when exiting the main process and there's a timing
race between the on_exit function that destroys OpenSSL allocated
resources (threads, locks, ...) and other tasks accessing the very same
resources leading to a crash in the system threading library. Therefore,
the fatal() function needs to request exlusive access to the task
manager to finish the already running tasks and exit only when no other
tasks are running.

Merge branch 'ondrej/detect-cores-in-system-tests-on-FreeBSD' into 'master'

Detect cores on FreeBSD

See merge request isc-projects/bind9!2634

Detect cores on FreeBSD

Merge branch '1380-autosign-jitter-test-fails-with-no-nsec3param-found-in-axfr' into 'master'

Tune the performance of the autosign test

Closes #1385, #1384, and #1380

See merge request isc-projects/bind9!2601

Reduce the minimal numbers of days in jitter test to 5

Tune the performance of CDS/CDNSKEY deletion test

Tune the performance of oldsigs test

The oldsigs test was checking only for the validity of the A
a.oldsigs.example. resource record and associated DNSSEC signature while
the zone might not have been fully signed yet leading to validation
failures because of bogus signatures on the validation path.

This commit changes the test to test that all old signatures in the
oldsigs.example. zone were replaced and the zone is fully resigned
before running the main check.

Tune the performance of the jitter test

Merge branch 'ondrej/add-retry_quiet-function-to-conf.sh.common' into 'master'

Add retry_quiet() function to retry quietly for an event to occur

See merge request isc-projects/bind9!2630

Add retry_quiet() function to retry quietly for an event to occur

Merge branch '1367-threadsanitizer-data-race-dispatch-c-901-in-free_buffer' into 'master'

Resolve "ThreadSanitizer: data race dispatch.c:901 in free_buffer"

Closes #1367

See merge request isc-projects/bind9!2613

move maxbuffers test to allocate_udp_buffer

Lock dispatch manager buffer_lock before accessing buffers;
Only test buffers for UDP dispatches.

lock disp->mgr before reading disp->mgr->buffers

Merge branch '1397-install-isc-python-module' into 'master'

Resolve "Install ISC python module"

Closes #1397

See merge request isc-projects/bind9!2620

add CHANGES and note in README.md

check for 'distutils.core setup'

Merge branch 'each-notes' into 'master'

cleanup release notes text

See merge request isc-projects/bind9!2622

cleanup release notes text

Merge branch 'ondrej/add-missing-header-guards' into 'master'

Add missing header guard to new header files

See merge request isc-projects/bind9!2621

Add missing header guard to new header files

Merge branch '1373-threadsanitizer-data-race-rbtdb-c-5193-in-detachnode' into 'master'

Resolve "ThreadSanitizer: data race rbtdb.c:5193 in detachnode"

Closes #1373

See merge request isc-projects/bind9!2598

remove DNS_RBT_REFLENGTH as it is no longer needed

Split access to wild and dirty from locknum to silence TSAN warnings.

Merge branch '1312-netmgr-tcp-fixes' into 'master'

Resolve "netmgr hangs on shutdown when TCP connections are still active"

Closes #1312

See merge request isc-projects/bind9!2617

CHANGES

improve system tests

- increase prefetch test timing tolerance.
- remove five-second pause and explicit connection closing in tcp test
  as they are no longer necessary.

netmgr: add shutdown function

- new function isc_nm_shutdown() shuts down all active TCP connections,
  but does not destroy the netmgr.

netmgr: actively close all sockets when shutting down server

without this change, named could sometimes lag for a while on shutdown
while it waited for open TCP connections to time out.

netmgr: fix TCP backlog and client quota count

 - add support for TCP backlog, using the value provided by config.
 - don't attach to TCP client quota for listening sockets, only
   connected sockets.

netmgr: log TCP connection errors

netmgr: performance improvement

- use memory pools for ievent and uvreq objects.

netmgr: make TCP timeouts configurable

- restore support for tcp-initial-timeout, tcp-idle-timeout,
  tcp-keepalive-timeout and tcp-advertised-timeout configuration
  options, which were ineffective previously.

netmgr: TCP improvements

- add timeout support for TCP and TCPDNS connections to protect against
  slowloris style attacks. currently, all timeouts are hard-coded.
- rework and simplify the TCPDNS state machine.

Merge branch '1334-threadsanitizer-data-race-dispatch-c-1339-in-tcp_recv' into 'master'

Resolve "ThreadSanitizer: data race dispatch.c:1339 in tcp_recv"

Closes #1334

See merge request isc-projects/bind9!2612

lock dispatch before reporting state

Merge branch '1394-incoming-zone-transfer-messages-logged-to-wrong-category' into 'master'

Resolve "Incoming zone transfer messages logged to wrong category"

Closes #1394

See merge request isc-projects/bind9!2611

add CHANGES

change log category of some messages to DNS_LOGCATEGORY_XFER_IN

Merge branch '1315-yaml-is-not-listed-in-the-man-page-or-the-h-listing-for-either-dig-or-delv' into 'master'

Resolve "+yaml is not listed in the man page or the -h listing for either dig or delv"

Closes #1315

See merge request isc-projects/bind9!2560

add +[no]yaml to usage()

Merge branch '1317-alphabetise-delv-s-usage' into 'master'

Resolve "alphabetise delv's usage."

Closes #1317

See merge request isc-projects/bind9!2561

alphabetise delv's usage.

Merge branch 'wpk/fix-mkeys-bug' into 'master'

Fix a bug in trust anchors verification.

See merge request isc-projects/bind9!2609

CHANGES note

Fix a bug in trust anchors verification.

We were not reseting the keynode value when iterating over DNSKEYs in
RRSET, so we weren't checking all DNSKEYs against all trust anchors. This
commit fixes the issue by resetting keynode with every loop.

Merge branch 'merge-v9_15_6' into 'master'

merge 9.15.6 into master branch

See merge request isc-projects/bind9!2604

Merge tag 'v9_15_6' into merge-v9_15_6

Merge branch 'ondrej/get-the-backtraces-out-of-system-test-coredumps' into 'master'

Get the backtraces out of system test coredumps

See merge request isc-projects/bind9!2602

Get better stack traces

Dump the backtrace to stdout when core is found in systest directory

Merge branch 'mnowak/537_Add_CI_step_to_test_named_-u' into 'master'

Verifying that named switches UID

Closes #537

See merge request isc-projects/bind9!2374

Verifying that named switches UID

This test runs only under root, which is required for the user-switch
`-u` option to work.

Closes #537.

Merge branch 'marka-placeholder' into 'master'

placeholder

See merge request isc-projects/bind9!2597

placeholder

Merge branch '1341-threadsanitizer-data-race-rbtdb-c-5756-in-add32' into 'master'

Resolve "ThreadSanitizer: data race rbtdb.c:5756 in add32"

Closes #1341

See merge request isc-projects/bind9!2577

add CHANGES

use update_recordsandbytes in rbt_datafixer

always obtain write lock when updating version->{records,bytes}

Merge branch '1308-fail-the-tcp-system-test-when-ans6-fails' into 'master'

Fail the "tcp" system test when ans6 fails

Closes #1308

See merge request isc-projects/bind9!2566

Fail the "tcp" system test when ans6 fails

Make the "tcp" system test fail if the Python tool used for establishing
TCP connections (ans6) logs a result different than "OK" after
processing a command sent to it (as that means the tool was unable to
successfully perform the requested action), with the exception of
cleanup errors at the end of the test which can be safely ignored.  Note
that the tool not returning any result at all in 10 seconds is still a
fatal error in all cases.

Merge branch '1377-threadsanitizer-data-race-astack-c-64-in-isc_astack_pop' into 'master'

Fix missing lock around pos and destroy mutex in isc_astack_destroy

Closes #1377

See merge request isc-projects/bind9!2588

Merge branch '1299-parse-commandline-code-should-be-done-in-alphabetical-order' into 'master'

Resolve "Parse commandline code should be done in alphabetical order"

Closes #1299

See merge request isc-projects/bind9!2559

Fix missing lock around pos and destroy mutex in isc_astack_destroy

alphabetize command line switch

Merge branch '1344-threadsanitizer-data-race-rbtdb-c-2987-in-bind_rdataset' into 'master'

Resolve "ThreadSanitizer: data race rbtdb.c:2987 in bind_rdataset"

Closes #1344

See merge request isc-projects/bind9!2587

add CHANGES

make header->count atomic

Merge branch 'ondrej/dont-call-dns_adb_endupdfetch-for-TCP-queries' into 'master'

lib/dns/resolver.c: Call dns_adb_endudpfetch() only for UDP queries

See merge request isc-projects/bind9!2580

lib/dns/resolver.c: Call dns_adb_endudpfetch() only for UDP queries

The dns_adb_beginudpfetch() is called only for UDP queries, but
the dns_adb_endudpfetch() is called for all queries, including
TCP.  This messages the quota counting in adb.c.

Merge branch 'ondrej/switch-coccinelle-job-to-buster' into 'master'

Switch coccinelle job to buster

See merge request isc-projects/bind9!2582

Installing coccinelle on Debian sid is broken, switch to Debian buster

Merge branch '1368-threadsanitizer-can-t-handle-more-than-64-mutexes' into 'master'

lib/dns/adb.c:

Closes #1368

See merge request isc-projects/bind9!2579

lib/dns/adb.c: don't use more than 64 lock simultaneously when run under TSAN

 - TSAN can't handle more than 64 locks in one thread, lock ADB bucket-by-bucket
   in TSAN mode. This means that the dump won't be consistent but it's good
   enough for testing

 - Use proper order when unlocking adb->namelocks and adb->entrylocks when
   dumping ADB.

Merge branch 'prep-release' into security-master

Merge branch 'security-client-connection-limit' into security-master

prep 9.15.6

CHANGES, release note.

clean up comments

fix a problem with the mem_test unit test

isc_mem_traceflag_test messes with stdout/stderr, which can cause
problems with subsequent tests (no output, libuv problems).  Moving that
test case to the end ensures there are no side effects.

netmgr: close uv_loop properly

close the uv_handle for the worker async channel, and call
uv_loop_close() on shutdown to ensure that the event loop's
internal resources are properly freed.

ensure isc_queue_t is aligned to double-cacheline size

place a limit on pipelined queries that can be processed simultaneously

when the TCPDNS_CLIENTS_PER_CONN limit has been exceeded for a TCP
DNS connection, switch to sequential mode to ensure that memory cannot
be exhausted by too many simultaneous queries.

Merge branch 'each-ds-anchor-mirror-zones' into 'master'

add support for DS trust anchors in mirror zone verification

See merge request isc-projects/bind9!2576

add support for DS trust anchors in mirror zone verification

Merge branch '1119-make-lib/ns-thread-sanitizer-clean' into 'master'

Make lib/ns Thread Sanitizer clean

See merge request isc-projects/bind9!2366

Make lib/ns Thread Sanitizer clean

Merge branch '1119-tsan-lib/dns/tests/zt_test.c' into 'master'

Use atomic_bool for variables shared among threads to make zt_test.c thread-safe

See merge request isc-projects/bind9!2361

Use atomic_bool for variables shared among threads to make zt_test.c thread-safe

Merge branch '1119-tsan-lib/isc/tests/socket_test.c' into 'master'

Change the shared completion->done variable to atomic_bool in socket_test.c

See merge request isc-projects/bind9!2362

Change the shared completion->done variable to atomic_bool in socket_test.c

Merge branch '1313-master-failing-to-build-on-macos-high-sierra' into 'master'

Resolve "master failing to build on MacOS High Sierra"

Closes #1313

See merge request isc-projects/bind9!2562

conditionally test based on USE_LIBTOOL or LD_WRAP

specify the install name when building libwrap

MacOS portability

-Wl,-z,interpose is not supported.
-Wl,rpath=<path> is not supported use -Wl,rpath,<path> instead.
Use @SO@ for loadable extension.
Use -L <path> -l libwrap instead of libwrap.sa.