Revert "Skip the runtime ellipsis test"

This reverts commit 161e02845f548321e5e4bcfdf9d97a86539cbdde.

fixed a test failure, some other shell cleanup

Detect cores on FreeBSD

Request exclusive access when crashing via fatal()

When loading the configuration fails, there might be already other tasks
running and calling OpenSSL library functions.  The OpenSSL on_exit
handler is called when exiting the main process and there's a timing
race between the on_exit function that destroys OpenSSL allocated
resources (threads, locks, ...) and other tasks accessing the very same
resources leading to a crash in the system threading library. Therefore,
the fatal() function needs to request exlusive access to the task
manager to finish the already running tasks and exit only when no other
tasks are running.

Instead of sleeping for a fixed time, wait for named to log specific message in a loop

Use pre-prepared long command line for better portability

Make runtime/tests.sh shellcheck and set -e clean

This mostly comprises of:

* using $(...) instead of `...`
* changing the directories in subshell and not ignoring `cd` return code
* handling every error gracefully instead of ignoring the return code

Further improve the runtime tests to look for a specific instead of generic error

The PATH_MAX on macOS is 1024, we can't override conffile path to test for ellipsis

Fix couple of no-op tests to actually test something (configuration files were missing)

Skip the runtime ellipsis test

runtime test: make the pidfiles match the names of configuration files

runtime test: use helper function that kills named and waits for the finish

Merge branch 'ondrej/add-retry_quiet-function-to-conf.sh.common' into 'master'

Add retry_quiet() function to retry quietly for an event to occur

See merge request isc-projects/bind9!2630

Add retry_quiet() function to retry quietly for an event to occur

Merge branch '1367-threadsanitizer-data-race-dispatch-c-901-in-free_buffer' into 'master'

Resolve "ThreadSanitizer: data race dispatch.c:901 in free_buffer"

Closes #1367

See merge request isc-projects/bind9!2613

move maxbuffers test to allocate_udp_buffer

Lock dispatch manager buffer_lock before accessing buffers;
Only test buffers for UDP dispatches.

lock disp->mgr before reading disp->mgr->buffers

Merge branch '1397-install-isc-python-module' into 'master'

Resolve "Install ISC python module"

Closes #1397

See merge request isc-projects/bind9!2620

add CHANGES and note in README.md

check for 'distutils.core setup'

Merge branch 'each-notes' into 'master'

cleanup release notes text

See merge request isc-projects/bind9!2622

cleanup release notes text

Merge branch 'ondrej/add-missing-header-guards' into 'master'

Add missing header guard to new header files

See merge request isc-projects/bind9!2621

Add missing header guard to new header files

Merge branch '1373-threadsanitizer-data-race-rbtdb-c-5193-in-detachnode' into 'master'

Resolve "ThreadSanitizer: data race rbtdb.c:5193 in detachnode"

Closes #1373

See merge request isc-projects/bind9!2598

remove DNS_RBT_REFLENGTH as it is no longer needed

Split access to wild and dirty from locknum to silence TSAN warnings.

Merge branch '1312-netmgr-tcp-fixes' into 'master'

Resolve "netmgr hangs on shutdown when TCP connections are still active"

Closes #1312

See merge request isc-projects/bind9!2617

CHANGES

improve system tests

- increase prefetch test timing tolerance.
- remove five-second pause and explicit connection closing in tcp test
  as they are no longer necessary.

netmgr: add shutdown function

- new function isc_nm_shutdown() shuts down all active TCP connections,
  but does not destroy the netmgr.

netmgr: actively close all sockets when shutting down server

without this change, named could sometimes lag for a while on shutdown
while it waited for open TCP connections to time out.

netmgr: fix TCP backlog and client quota count

 - add support for TCP backlog, using the value provided by config.
 - don't attach to TCP client quota for listening sockets, only
   connected sockets.

netmgr: log TCP connection errors

netmgr: performance improvement

- use memory pools for ievent and uvreq objects.

netmgr: make TCP timeouts configurable

- restore support for tcp-initial-timeout, tcp-idle-timeout,
  tcp-keepalive-timeout and tcp-advertised-timeout configuration
  options, which were ineffective previously.

netmgr: TCP improvements

- add timeout support for TCP and TCPDNS connections to protect against
  slowloris style attacks. currently, all timeouts are hard-coded.
- rework and simplify the TCPDNS state machine.

Merge branch '1334-threadsanitizer-data-race-dispatch-c-1339-in-tcp_recv' into 'master'

Resolve "ThreadSanitizer: data race dispatch.c:1339 in tcp_recv"

Closes #1334

See merge request isc-projects/bind9!2612

lock dispatch before reporting state

Merge branch '1394-incoming-zone-transfer-messages-logged-to-wrong-category' into 'master'

Resolve "Incoming zone transfer messages logged to wrong category"

Closes #1394

See merge request isc-projects/bind9!2611

add CHANGES

change log category of some messages to DNS_LOGCATEGORY_XFER_IN

Merge branch '1315-yaml-is-not-listed-in-the-man-page-or-the-h-listing-for-either-dig-or-delv' into 'master'

Resolve "+yaml is not listed in the man page or the -h listing for either dig or delv"

Closes #1315

See merge request isc-projects/bind9!2560

add +[no]yaml to usage()

Merge branch '1317-alphabetise-delv-s-usage' into 'master'

Resolve "alphabetise delv's usage."

Closes #1317

See merge request isc-projects/bind9!2561

alphabetise delv's usage.

Merge branch 'wpk/fix-mkeys-bug' into 'master'

Fix a bug in trust anchors verification.

See merge request isc-projects/bind9!2609

CHANGES note

Fix a bug in trust anchors verification.

We were not reseting the keynode value when iterating over DNSKEYs in
RRSET, so we weren't checking all DNSKEYs against all trust anchors. This
commit fixes the issue by resetting keynode with every loop.

Merge branch 'merge-v9_15_6' into 'master'

merge 9.15.6 into master branch

See merge request isc-projects/bind9!2604

Merge tag 'v9_15_6' into merge-v9_15_6

Merge branch 'ondrej/get-the-backtraces-out-of-system-test-coredumps' into 'master'

Get the backtraces out of system test coredumps

See merge request isc-projects/bind9!2602

Get better stack traces

Dump the backtrace to stdout when core is found in systest directory

Merge branch 'mnowak/537_Add_CI_step_to_test_named_-u' into 'master'

Verifying that named switches UID

Closes #537

See merge request isc-projects/bind9!2374

Verifying that named switches UID

This test runs only under root, which is required for the user-switch
`-u` option to work.

Closes #537.

Merge branch 'marka-placeholder' into 'master'

placeholder

See merge request isc-projects/bind9!2597

placeholder

Merge branch '1341-threadsanitizer-data-race-rbtdb-c-5756-in-add32' into 'master'

Resolve "ThreadSanitizer: data race rbtdb.c:5756 in add32"

Closes #1341

See merge request isc-projects/bind9!2577

add CHANGES

use update_recordsandbytes in rbt_datafixer

always obtain write lock when updating version->{records,bytes}

Merge branch '1308-fail-the-tcp-system-test-when-ans6-fails' into 'master'

Fail the "tcp" system test when ans6 fails

Closes #1308

See merge request isc-projects/bind9!2566

Fail the "tcp" system test when ans6 fails

Make the "tcp" system test fail if the Python tool used for establishing
TCP connections (ans6) logs a result different than "OK" after
processing a command sent to it (as that means the tool was unable to
successfully perform the requested action), with the exception of
cleanup errors at the end of the test which can be safely ignored.  Note
that the tool not returning any result at all in 10 seconds is still a
fatal error in all cases.

Merge branch '1377-threadsanitizer-data-race-astack-c-64-in-isc_astack_pop' into 'master'

Fix missing lock around pos and destroy mutex in isc_astack_destroy

Closes #1377

See merge request isc-projects/bind9!2588

Merge branch '1299-parse-commandline-code-should-be-done-in-alphabetical-order' into 'master'

Resolve "Parse commandline code should be done in alphabetical order"

Closes #1299

See merge request isc-projects/bind9!2559

Fix missing lock around pos and destroy mutex in isc_astack_destroy

alphabetize command line switch

Merge branch '1344-threadsanitizer-data-race-rbtdb-c-2987-in-bind_rdataset' into 'master'

Resolve "ThreadSanitizer: data race rbtdb.c:2987 in bind_rdataset"

Closes #1344

See merge request isc-projects/bind9!2587

add CHANGES

make header->count atomic

Merge branch 'ondrej/dont-call-dns_adb_endupdfetch-for-TCP-queries' into 'master'

lib/dns/resolver.c: Call dns_adb_endudpfetch() only for UDP queries

See merge request isc-projects/bind9!2580

lib/dns/resolver.c: Call dns_adb_endudpfetch() only for UDP queries

The dns_adb_beginudpfetch() is called only for UDP queries, but
the dns_adb_endudpfetch() is called for all queries, including
TCP.  This messages the quota counting in adb.c.

Merge branch 'ondrej/switch-coccinelle-job-to-buster' into 'master'

Switch coccinelle job to buster

See merge request isc-projects/bind9!2582

Installing coccinelle on Debian sid is broken, switch to Debian buster

Merge branch '1368-threadsanitizer-can-t-handle-more-than-64-mutexes' into 'master'

lib/dns/adb.c:

Closes #1368

See merge request isc-projects/bind9!2579

lib/dns/adb.c: don't use more than 64 lock simultaneously when run under TSAN

 - TSAN can't handle more than 64 locks in one thread, lock ADB bucket-by-bucket
   in TSAN mode. This means that the dump won't be consistent but it's good
   enough for testing

 - Use proper order when unlocking adb->namelocks and adb->entrylocks when
   dumping ADB.

Merge branch 'prep-release' into security-master

Merge branch 'security-client-connection-limit' into security-master

prep 9.15.6

CHANGES, release note.

clean up comments

fix a problem with the mem_test unit test

isc_mem_traceflag_test messes with stdout/stderr, which can cause
problems with subsequent tests (no output, libuv problems).  Moving that
test case to the end ensures there are no side effects.

netmgr: close uv_loop properly

close the uv_handle for the worker async channel, and call
uv_loop_close() on shutdown to ensure that the event loop's
internal resources are properly freed.

ensure isc_queue_t is aligned to double-cacheline size

place a limit on pipelined queries that can be processed simultaneously

when the TCPDNS_CLIENTS_PER_CONN limit has been exceeded for a TCP
DNS connection, switch to sequential mode to ensure that memory cannot
be exhausted by too many simultaneous queries.

Merge branch 'each-ds-anchor-mirror-zones' into 'master'

add support for DS trust anchors in mirror zone verification

See merge request isc-projects/bind9!2576

add support for DS trust anchors in mirror zone verification

Merge branch '1119-make-lib/ns-thread-sanitizer-clean' into 'master'

Make lib/ns Thread Sanitizer clean

See merge request isc-projects/bind9!2366

Make lib/ns Thread Sanitizer clean

Merge branch '1119-tsan-lib/dns/tests/zt_test.c' into 'master'

Use atomic_bool for variables shared among threads to make zt_test.c thread-safe

See merge request isc-projects/bind9!2361

Use atomic_bool for variables shared among threads to make zt_test.c thread-safe

Merge branch '1119-tsan-lib/isc/tests/socket_test.c' into 'master'

Change the shared completion->done variable to atomic_bool in socket_test.c

See merge request isc-projects/bind9!2362

Change the shared completion->done variable to atomic_bool in socket_test.c

Merge branch '1313-master-failing-to-build-on-macos-high-sierra' into 'master'

Resolve "master failing to build on MacOS High Sierra"

Closes #1313

See merge request isc-projects/bind9!2562

conditionally test based on USE_LIBTOOL or LD_WRAP

specify the install name when building libwrap

MacOS portability

-Wl,-z,interpose is not supported.
-Wl,rpath=<path> is not supported use -Wl,rpath,<path> instead.
Use @SO@ for loadable extension.
Use -L <path> -l libwrap instead of libwrap.sa.