Merge branch '124-revert-deadlock-check-v9_12-v9_9' into 'v9_9'

revert cname loop test due to effects on apex CNAMEs under insecure delegations

See merge request isc-projects/bind9!95

temporarily revert change #4859

(cherry picked from commit 84ec07999f66c8f639337e08aacbef2274d1d30b)

Merge branch 'fix-fetchlimit-v9_9' into 'v9_9'

Improve failure logging in fetchlimit system test

See merge request isc-projects/bind9!81

revise soft limit test

- don't bail out of the loop if clients are exceeded, just count incidents
- verbosely describe expectations and results

(cherry picked from commit 86838b2a028146142602348285a6b2f89084df80)

Merge branch '122-bind-9-10-nsupdate-system-test-fails-v9_9' into 'v9_9'

Fix nsupdate system test for BIND < 9.12

See merge request isc-projects/bind9!89

remove unsupported command line argument (-4) from nsupdate call

(cherry picked from commit ac3d2a0ed9384610288e20565f36acbaa6f7c40b)

Merge branch '121-views-system-test-has-wrong-test-strings-for-reload-completion-v9_9' into 'v9_9'

Resolve "views system test has wrong test strings for reload completion."

Closes #121

See merge request isc-projects/bind9!88

wait for 'all zones loaded' rather than 'reloading zones succeeded' which just indicates that everything kicked off ok

(cherry picked from commit 4cb0873a0a44f3b6b6c99e9de5aea10b60d7eb2c)

Merge branch '113-minor-testsummary.sh-improvements-v9_9' into 'v9_9'

Minor testsummary.sh improvements (handling colored output, failure summary)

Closes #113

See merge request isc-projects/bind9!80

Do not destroy systests.output if there are no test.output files

(cherry picked from commit 38940619c632e7e67c7c34cd3c7ec0cc9ae329f9)

Use echoinfo for printing test summary

This ensures testsummary.sh is consistent with other scripts belonging
to the test framework.

(cherry picked from commit 642e20db8a083cb9ce0e736d217b63fae599b7f0)

Make testsummary.sh print a list of failed system tests

Print a list of failed system tests, if any, below the system test
summary to avoid the need to manually search through the test log.

(cherry picked from commit 28068857e75482848b67f3d06cb5f336d4cfd9d0)

Tweak the regular expression used for extracting system test results

The current regular expression used for extracting system test results
from systests.output, "^R:", is anchored at the start of a line, which
prevents colored system test output from being properly processed.  As
just "R:" would arguably be too general, extend the pattern a bit to
ensure it will only match lines containing system test results.

(cherry picked from commit 9006d6dbbdad0bd2969c401e1e6bb468ffc85324)

Merge branch 'test-output-v9_11-v9_10-v9_9' into 'v9_9'

Clean up test output

See merge request isc-projects/bind9!66

clean up test output

- removed a few remaing places where output wasn't being passed
  through echo_i or cat_i
- added a "digcomp" function to conf.sh.in to send digcomp.pl output
  through cat_i and return the correct exit value
- set SYSTESTDIR when calling echo_i from nsX directories, so that
  the test name will always be printed correctly
- fixed a test name typo in conf.sh.in

(cherry picked from commit 0e52fbd0b38b4a0dfc56915c821046325b87497d)
(cherry picked from commit d57e8f6df39c68455bfa5a196843abf7d87c0fc0)
(cherry picked from commit 053c06d5e1d29e496b9930b30c581946c21f09a6)

Merge branch '98-add-util-git-replay-merge.sh-v9_9' into 'v9_9'

Put git-replay-merge in source tree

Closes #98

See merge request isc-projects/bind9!83

Add util/git-replay-merge.sh

git-replay-merge.sh is a script whose purpose is to make backporting
merge requests more convenient by automating the process as much as
possible.

For more information, including usage examples, see:

    https://gitlab.isc.org/isc-projects/bind9/wikis/Backporting-a-Merge-Request

(cherry picked from commit f7fe1e30987ae659d524da4600f79960af7f2259)

Merge branch '112-fix-mx-checks-for-dynamic-updates-v9_9' into 'v9_9'

Fix MX checks for dynamic updates

Closes #112

See merge request isc-projects/bind9!79

Add CHANGES entry

4903. [bug] "check-mx fail;" did not prevent MX records containing
IP addresses from being added to a zone by a dynamic
update. [GL #112]

(cherry picked from commit 1d403f9d3c09960fc443f33bd89d2645f1994b3b)

Fix MX checks for dynamic updates

The check_mx() function in lib/ns/update.c incorrectly tests whether the
DNS_RDATA_CHECKMX/DNS_RDATA_CHECKMXFAIL flags are set for each applied
MX record update as these flags are never set in code paths related to
dynamic updates; they can only be set when loading a zone from a master
file (DNS_ZONEOPT_CHECKMX -> DNS_MASTER_CHECKMX -> DNS_RDATA_CHECKMX).
This flaw allows MX records containing IP addresses to be added to a
zone even when "check-mx fail;" is used.

Ensure correct behavior by modifying the relevant tests in check_mx() so
that they use DNS_ZONEOPT_CHECKMX/DNS_ZONEOPT_CHECKMXFAIL instead.

(cherry picked from commit 857a40c87bb80669ecc5cf1c51301d967e7aba53)

Merge branch 'check-for-test-interfaces-before-running-system-tests-v9_9' into 'v9_9'

Check for test interfaces before running system tests

See merge request isc-projects/bind9!19

test interfaces directly in runall.sh and parallel.mk

(cherry picked from commit a8b583e78ba2bda07953ba94ddd7d4128dba8a20)

Check for test interfaces before running system tests

Prevent runall.sh and "make test" from even attempting to run system
tests when "ifconfig.sh up" has not been run beforehand.  This ensures
the user is not flooded with error messages in such a case.

(cherry picked from commit e0221f2d25a88fb0025070ef35463288114048ea)

Merge branch '66-ixfr-system-test-fails-intermittently-v9_9' into 'v9_9'

chg: dev: Improved the reliability of the 'ixfr' system test. [GL #66]

Closes #66

See merge request isc-projects/bind9!67

wait for synchronization; re-notify slave if the transfer doesn't happen

(cherry picked from commit 67a8b5ec17b7f252cc96ba11935beb898dd211d6)

Merge branch 'fix-merge' into v9_9

Fix merge error

Merge branch '51-fix-cppcheck-detected-source-code-errors-v9_10-v9_9' into 'v9_9'

Resolve "Fix cppcheck-detected source code errors"

Closes #51

See merge request isc-projects/bind9!46

update printf format to match type

(cherry picked from commit 48ca11df5fd8bb95f7fb0dc214b9509dc5b39078)
(cherry picked from commit 9a0373b8965814054e6aab5dd37238d7f28e4c3d)

improve the conditional declaration and use of variable to silence cppcheck

(cherry picked from commit a04bb76973e5d30d0ec7cc268eaa8db2a91934e6)
(cherry picked from commit 8e046acb50ab41ad6bd57565f8d94887e32dff33)

remove deadcode

(cherry picked from commit b71a1386ed197d97852df604115ca1d2cafef067)
(cherry picked from commit 0beff002bd473c9e44f5841d45f8f55f6f3c1294)

silence unread assignment warning by using POST macro

(cherry picked from commit e8249dcd49296c408c9358c05f3a969b81634e65)
(cherry picked from commit cdb6c5c106fed052f8695365900b625611515f72)

update the sscanf format strings so they match the pointer types

(cherry picked from commit 70d192eb97b532c3a06529324e48cf3ea5f55e22)
(cherry picked from commit 06b7a4397ae113078a13d907cdb9bf2f7a1acd7a)

redefine CHECK so cppcheck see the definition

(cherry picked from commit a4186b18672e6698d42aec3a5dd68a3b289c55ec)
(cherry picked from commit d17558a8744db71d389482e75ca74f32d29e9082)

remove unused struct dst_context declaration

(cherry picked from commit f2c22662cc9de5c9be4ec03c7248e177eec26487)
(cherry picked from commit 00799ab8053b2190dcaac3b04a94bd8a3c032dc7)

adjust goto target and conditional compilation so that cleanup_spillattimer and cleanup_alglock labels match the element to be cleanup and so that they are always used

(cherry picked from commit 7b27be54ee9a97ef8caadb08ac6dec0966bdffcb)
(cherry picked from commit 981d548a6660547d444a672092602de8be142a9b)

Merge branch 'tidy-runall.sh-environment-variables-v9_11-v9_10-v9_9' into 'v9_9'

Tidy runall.sh environment variables

See merge request isc-projects/bind9!18

Preserve values of environment variables which are already set

This enables the environment variables controlling run.sh behavior to be
permanently set in a working environment (e.g. to automatically force
colored output without using "-c" in each runall.sh invocation).

Relevant runall.sh command line arguments still have a higher priority.

(cherry picked from commit d989d20fe526716c774357ff372b38995e1e5065)
(cherry picked from commit 2cd174dda986f2a49ce821c132459fc45d1044e7)
(cherry picked from commit fdcac29f63c4fae1beb776494994e90032cf1044)

Allow forcing colored system test output

As parallel.mk and runsequential.sh both pipe system test output through
"tee" (for the purpose of creating test.output), run.sh invoked from
these two files detects it is not writing to a terminal, which prevents
colored output from being generated.  Allow forcing colored output using
a new command line argument for runall.sh, "-c", which sets an
environment variable (SYSTEMTEST_FORCE_COLOR) causing conf.sh to
unconditionally enable colored output.

The same environment variable can also be used directly to force colored
output when using "make test" instead of runall.sh.

(cherry picked from commit a324031a82a2b312d8f803040dd81eadb554785f)
(cherry picked from commit cbebf7ef5995c7214b63340fd8ac7ef03f8b53d7)
(cherry picked from commit 2f3b3b7affb7754a63ce3a7ca235f685da52fbde)

Allow retaining system test output using an environment variable

Instead of exporting an environment variable containing a command line
argument (NOCLEAN="-n"), extend run.sh to handle a "boolean" environment
variable (SYSTEMTEST_NO_CLEAN) itself.  The former method is buggy
because the value of NOCLEAN is set in parallel.mk when that file is
first created, but it is not subsequently updated upon each test run
(because make considers parallel.mk to be up to date).

To retain backward compatibility, the "-n" command line argument for
run.sh is still supported (and has a higher priority than the relevant
environment variable).

The SYSTEMTEST_NO_CLEAN environment variable can also be used directly
to prevent cleanup when using "make test" instead of runall.sh.

Apart from fixing a bug, this simplifies the way runall.sh controls
run.sh behavior due to the Makefile being bypassed.  Direct processing
of environment variables in run.sh is more scalable in the long run,
given that the previously utilized technique, even with its
implementation fixed, would still require Makefile.in to be modified in
two places each time a new flag needed to be passed from runall.sh to
run.sh.

(cherry picked from commit 3862043879534542a75e40d5e6c0cc09f37f8d6b)
(cherry picked from commit e9c4dbe36147c6ae16dd353793eb7d376ff622a7)
(cherry picked from commit 0e3840e4b4f883fefec42b4b2d369aefd36036f4)

Merge branch '71-xfer-system-test-fails-intermittently-v9_12-v9_11-v9_10-v9_9' into 'v9_9'

chg: dev: Improve the resilience of the xfer system test, which could be flaky under load.

Closes #71

See merge request isc-projects/bind9!61

improve reliability of xfer test

(cherry picked from commit 5d7d6881a18de57f2c151ef4c58fb3a4fdc2597a)
(cherry picked from commit 09a1a261dc5c8e1f90a5a1f53078ea0796c3466a)
(cherry picked from commit 948bd83ce507140a69e3b5efb7a92a3dd992883b)
(cherry picked from commit 4160936c928a0bb743158e33d11afe70de565af6)

Merge branch 'parallel-v9_9' into v9_9

chg: dev: Convert most of the remaining system tests to be able to run in parallel [GL #91]

Closes #91

See merge request isc-projects/bind9!59

final cleanup

- add CHANGES note
- update copyrights and license headers

tidying up after backport

(cherry picked from commit 854f7846d80dbc1de229e93c3c99ecaef4a60dea)
(cherry picked from commit 6653dcab3deae050e638b087b2d117988bdadcbe)

improve reliability of the xfer test on slow systems

- lengthened the wait loop for the transfers to complete

(cherry picked from commit b9246ce7731f6a69a1e90d2c8b004d0153e7043a)
(cherry picked from commit a5015d7791119abf3bfff20a433efd65e6cae3c3)
(cherry picked from commit c369fc06ca230ecc8d7472e57b4e10635dd87a19)
(cherry picked from commit 6a5092f537544cc424a2798eb63e339e3322d7c0)

remove v6synth

- this was a test for the allow-v6-synthesis option, which was
  deprecated and no longer works. the test was removed
  from conf.sh.in long ago.

(cherry picked from commit 474b10a133faabaedeea201b96b42d87c4222f22)
(cherry picked from commit 79718736399653aa1a8472a09dbe2dd6d4fbed91)
(cherry picked from commit 626566c72dc622d24a434442a35979906a4a4b88)
(cherry picked from commit 62f239f5cfe17087b619551a056068f87d7ca126)

removed some unnecessary greps

(cherry picked from commit 731ad28be2a0a9705da2357d1051dad246dd8467)
(cherry picked from commit 17245b86d5a4fbbf6826214166f6417d099761e5)
(cherry picked from commit 350f18b0d1d203b1ffe7fe3cf049350f74b52c39)
(cherry picked from commit 539be337d9b28a6bf7e5ac486b1513bba9f61247)

reorder tests to get better use of parallelism

(cherry picked from commit 56e440f65f72939a79df92aeed21213155923602)
(cherry picked from commit 4429f8b2915515ed91d38f7b92b6e73ce61fd635)
(cherry picked from commit fa8740fedab92a8b2706454cbf95b88fb7685762)
(cherry picked from commit 438dcd9f9cebc36fb91c724ca75695538e4becfd)

parallelize most system tests

(cherry picked from commit c032c54dda2d75c0ec68017e1331bc9880c03ae1)
(cherry picked from commit 2b81f322cb499abd1164175a3767751aba7fec60)
(cherry picked from commit 167fa161d15206c09f3bd77faf851df986a3c14a)
(cherry picked from commit 1f297d33a08e0a945f9e5e403b87c04490ec58c5)

Merge branch 'rt46602-v9_11-v9_10-v9_9' into v9_9

Allow parallel run of system tests

See merge request isc-projects/bind9!7

[rt46602] Update CHANGES for parallel tests

(cherry picked from commit dbf753b52d7ce1c94f2157eb6b18684910b5eaa4)
(cherry picked from commit 8aaa92693ca3082fb1f8b40fca8e7719de5f4244)
(cherry picked from commit ee3d232d8e61b9dab2e14e559a0ade4253abf3f2)

[rt46602] Change name of shell variable holding current test directory

It was TESTNAME, but this is an obvious name and was used in one of
the system tests, something that interfered with the content of
progress messages.  It is now SYSTESTDIR.

(cherry picked from commit 30cd931a0d52744762472bfe7f1582bcf12bd6bf)
(cherry picked from commit 78f29760878ea80cfdf2ca5892f2c599048a29f0)
(cherry picked from commit 4a29e3ba65d686f83f514b81c6e075185fb8ab6c)

[rt46602] Export environment variables in a portable manner

(cherry picked from commit 2c519531a704f3ff8a59520b24c9571222e205b6)
(cherry picked from commit 747df7d66a5271145a73b2d47f3633f31bf39e1f)
(cherry picked from commit ddb84ca0afb2dc5c0d2769429c6876199893eea8)

[rt46602] Sanitize test names to fix "make check" on Solaris

(cherry picked from commit e005fb948d367ea7ae06c9337a243664460be3e8)
(cherry picked from commit cfaeb55e8e4036c1a6c48c468f2e776de744f5f8)
(cherry picked from commit fac15bf973f7b1ef21774468142dd91f3f45c2d0)

[rt46602] Pass noclean option to Makefile via exported variable

(cherry picked from commit 59d88ee192669689374e880c52227b335e622e15)
(cherry picked from commit 0ae7e64829d4dfe4b283157a18ab42fd37182dae)
(cherry picked from commit 4fbaafa480c4b2ef97d7e28aa9534b301a6bf400)

[rt46602] Mention conf.sh.win32 in instructions for adding a test.

(cherry picked from commit 23dfa27a84f6c724853fcad3f4a0222e2b02fd1f)
(cherry picked from commit 06a9a37d3b7e710d739d906ae1aff3942bb7ccea)
(cherry picked from commit d9740c20da9f8451882d5d8d12139bd1b91af544)

[rt46602] Fix various typos, formatting issues and stylistic nits

(cherry picked from commit f0721de624b8134bfd7148be1034e68a4695e276)
(cherry picked from commit b40e75a75c6b07d3f561bea98d53dd31c3a1620b)
(cherry picked from commit 85f03bb30f8db2f3728e24b1e64cc5f12cce4ab8)

[rt46602] Remove redundant variable assignment

(cherry picked from commit 42cf18d239c48bd0d86325623c8bb20263f4b8d3)
(cherry picked from commit 4436930712fd83309f476826d2b97aa76057ff13)
(cherry picked from commit 90654248f69fae149a90e9b6002da06add8d1ba7)

[rt46602] named.port is no longer created by setup.sh for allow_query

(cherry picked from commit 1ac4c3e4e586a72af47daf0bbb08249b8ce9af91)
(cherry picked from commit 77e6ff0faeae8b5fc220f535a26a157bfaa0e16a)
(cherry picked from commit 2e3d58ad3096e2478aeb20dc1c5c80add76538d5)

[rt46602] Consistently print usage for runall.sh to stderr

(cherry picked from commit fe1ccafc343c7ff65149bf9d1a626369b9c0de62)
(cherry picked from commit 47e278b7c9150fd3d602f534d16429f789d15d1a)
(cherry picked from commit 66985fad62befd4c5ff9fbf982f731a5e054fea7)

[rt46602] Clean up getopts usage

Ensure case clauses are in sync with the string passed to getopts.
Remove catch-all clauses as they will never be evaluated.

(cherry picked from commit 0dcee1cad33c8a890b1714707cf361e612df15bc)
(cherry picked from commit 0c8e56568fa3f98bef36d6fd887b50d885ba207b)
(cherry picked from commit 6d9fb2b42975c52cb6bafa7e408632cc0914bd93)

[rt46602] Assign default values to variables set by command line options and consistently treat them as integers

(cherry picked from commit fe51c34df3c137dcd29650599158123536cb55f2)
(cherry picked from commit 3752edb28ea2facab25da4db747c7d0fdcb0ffc2)
(cherry picked from commit 1adbfeb3ed95d5c957cc296b5075efdb8568e54f)

[rt46602] named.port cannot be ignored by git because it is required to be present by notify/ns4

(cherry picked from commit 1960de5530a98c424d1fed2d2ff53e251c1ad304)
(cherry picked from commit f47ed5ceb0eae8621b8ecd0071603d7cb1a3e373)
(cherry picked from commit 01e21e3ee20799114ad8a88fa4c6c30dc5093032)

[rt46602] Remove option to format the printed start time of a test

There was too much incompatibility between operating systems as to
the allowed options for "date".

(cherry picked from commit 451b7309caf16ff907f1d87b59716f612e396251)
(cherry picked from commit 8376949ea88db0bed60fafc0d769bd3aeff55664)
(cherry picked from commit 52f784315e96b43b8857b063d23b9de83697a704)

[rt46602] Escape line ends in shell script variable assignment

Escape the line ends in a multi-line variable assignment.  Under some
circumstances, substituting the variable caused syntax errors when
used as the list of values in a shell script "for" statement.

(cherry picked from commit 462766cd763413c4a0d069b7adf2e65816851493)
(cherry picked from commit 53ebdf225f9389ef8128d273230865e496787dba)
(cherry picked from commit 82ffebc73a8886a25f692b93684d66d8fcfd49f5)

[rt46602] Fix EXTRAPORT substitutions in copy_setport

Fix problems where all EXTRAPORT macros were being replaced by
the EXTRAPORT1 value. (Copy and paste issue.)

(cherry picked from commit fb78f82ba1da007151518b013be1e2bd49fac03e)
(cherry picked from commit 8513c4256b0e36029318827784d856a163297174)
(cherry picked from commit c8880ce14a438d3d5305fa0f76230ff3c8c3a853)

[rt46602] Minor documentation changes

(cherry picked from commit cdf18a5009cd5d9f99e3445ed2b9a37005121770)
(cherry picked from commit 4731a82eefbe5bfcc655550a24ef14af37dfe3b1)
(cherry picked from commit 04120c4223fcd467181d65164f7dc2b96bccddf9)

[rt46602] Correct way allow_query test produces RNDC output

(cherry picked from commit 7f2d41d4c492962a0f30b34b326ed87c3c471186)
(cherry picked from commit 36136dec550cd02fecacd7859d30ec0dbbd76792)
(cherry picked from commit 7125bddda84a77a298e65e1489861c319fe86deb)

[rt46602] Simplify the cleanup code

(cherry picked from commit 0855a8a6cc8127c45cf7de04627ce34b7b189521)
(cherry picked from commit fb5974f9026ab0d5c371ccdb871d9b50474202bc)
(cherry picked from commit 5d69915cd894e87ffa4e12258b0be8955893c7c2)

[rt46602] Extensions to README

Added descriptions of how nameservers are started and stopped
during the tests, and how the framework cleans up the files created.

(cherry picked from commit f606b17dfbab828b4e923372f6df306bf745888f)
(cherry picked from commit 56ba2e822b419ab80630ddaa28fea83c0f37de7a)
(cherry picked from commit 5be3ea811e6c7907dca31963b942dadb37d17c53)

[rt46602] Miscellenous small changes

(cherry picked from commit b88b508b22c0d3fbff8386ab7ea7b5b95631403a)
(cherry picked from commit 3329876ffd54b43f3259c740035fb131aaf698eb)
(cherry picked from commit d2e214bff3c43ead9c8d16d5f05e9cb44430e046)

[rt46602] Handle echoing of multi-line output from tests

(cherry picked from commit 1f07c69f25ea8679be5645857020d860e3084b57)
(cherry picked from commit 6602a31229147e95b5c7258232ca2b51d45f39ff)
(cherry picked from commit c136a2fdb2ab99c2364c01995d7b981fe453c6c7)

[rt46602] Rename "test" variable to "systest"

... to avoid confusion between the variable and the command of the
same name.

(cherry picked from commit c12e06755f827e66c2e0cc6eb2c30009305c8943)
(cherry picked from commit 7a5476173aaf1632eb41864fcb2769144683839c)
(cherry picked from commit b2319386f4752626b692aaa90a8aa002696ef907)

[rt46602] Add ability to prevent deletion of output files when running all tests

Some tests may need to examine all output files from all system tests.
Allow the deletion of these files to be inhibited if required.

(cherry picked from commit 00bc29640ba57ef4a18721bc4c75c78cdfc2fea1)
(cherry picked from commit 6917ea971a88440cb92645831d9335b57542f7ea)
(cherry picked from commit 9040d3d3670998f4acb2020226164dcdde51a0b1)

[rt46602] Error messages before start of test are output to stderr

Error messages concerning the invocation of run.sh are output to
stderr.  Messages after the test has started are output to stdout.

(cherry picked from commit 244d1c30e20c927ffdbc2ca305e04675cbd3ac4d)
(cherry picked from commit ff5349b3b3dbcd1e6efa332468c7464ffcf9202c)
(cherry picked from commit 5a1b50c023e65015b0c04a10040450a7c5f9b236)

[rt46602] Ensure that output sent to stderr is routed to the output file

(cherry picked from commit a5cf6bd12a9d587d76db305eb0387346cd31d1b8)
(cherry picked from commit 6bd944c9d0226b62c4de850b7b8749c91b008bec)
(cherry picked from commit 67ff8ef970ae5ffee0fd5ee7d521cc9897fed8ca)

[rt46602] Minor tidying up of documentation

(cherry picked from commit ce66752adc22ff5f59afe212eccb5c0711ec0ba6)
(cherry picked from commit 6b5e5a2da27bd514c22f9c7d98660d5b17e7251e)
(cherry picked from commit 2a5707943a6320c98c4f52aa8751919d1e311689)

[rt46602] Check prerequsities before network interfaces when running test.

(cherry picked from commit 549a6c6bc8e451ecf15f4b98df588596117c9202)
(cherry picked from commit 0afcdf658d503a47101053883b172226ce0dde0c)
(cherry picked from commit 6dd8c2ab082228e2953ebdb09525902304c22942)

[rt46602] Minor formatting changes to Perl files

(cherry picked from commit f0f5b5f045baa1b3e45df397368e827b34c10325)
(cherry picked from commit 5fc5b514e4f6ed7eb8645ecb03391444a21a416d)
(cherry picked from commit 09e1b5e1437b8830d50b3407591f5b202e6d2ef2)

[rt46603] Provide echostart() and echoend() to output test start/end messages.

(cherry picked from commit c344e1d768ec079d86fb488ba29610a4f9bbcbc5)
(cherry picked from commit 88081b765ee016803b3aac7b3f0dbabd45412e4c)
(cherry picked from commit dc0078e03b9e0b800f281d860bd144ee06ed12fc)

[rt46602] Ensure test output in systests.output is not mixed up

When running all the system tests, output from a test is sent to a
test.output file in the test directory.  These are combined in to
systests.output when the run finishes.

(cherry picked from commit 055e5be9fd7555e24449157bc78b8c0852f9b7d1)
(cherry picked from commit 50769a4a9e699b74b2a6fa2d5dc91ca54c99d9f3)
(cherry picked from commit 818ac05cfcd5a22c9f945ca63ee1ace13f6d8a72)

[rt46602] Miscellaneous minor fixes

... for misspellings, typos, trailing spaces, duplicated lines etc.

(cherry picked from commit 3c25e5fa02c6c77cb46fdb6ca6401d96084552ae)
(cherry picked from commit 0e2e251a0db6da5e29c1f954b3c1ef2f0677ac30)
(cherry picked from commit f55e2791fc84eae9c466893badaf2772d2280b18)

[rt46602] Allocate 100 ports to each test

(cherry picked from commit edc7a18d844ea4aa40f5c60109c44bf9ef040163)
(cherry picked from commit 61514873e9a0daaa7c7a09fde269005218d59805)
(cherry picked from commit 21e33308d15b9ba1dbe4f467fa89b19e38b40ba1)

[rt46602] Pass port numbers to tests via environment variables

(cherry picked from commit f5d8f079008b648d2e343543e66dd728054c6101)
(cherry picked from commit f10b6cfeb6a78e9bf81d4199d4cc6ba10cae5bfb)
(cherry picked from commit 73d352793141d17eded65b0f93dadfc9ab28711a)

[rt46602] Ensure parallel tests are in alphabetical order

(cherry picked from commit b2d90da0c2211fb2ed268b804b30d72c39341c1c)
(cherry picked from commit bf2992dbe625f17ff599651029c526295fad3c93)
(cherry picked from commit 3ddf401b1b3fb60a7d19a587e74fa5110bdb1fb0)

[rt46602] Expanded system tests README

Add more information on running the tests, together with a section
on how the tests are organised, aimed at new developers.

(cherry picked from commit af005cdbcf236f10a0766c0f25666d697527389e)
(cherry picked from commit 3952d4631e727feac821c7d36ce64e354f51165b)
(cherry picked from commit 67f135c1d0069c181e4e40b967df81d78457be94)

[rt46602] More updates to the test running framework

Tidy up the stop/start files and make switch usage consistent. Also
tidy up the various "clean" targets in the Makefile.

(cherry picked from commit b24c2e11d85db48f364f3cca94b3ba8e75eca138)
(cherry picked from commit 78494c3a4df383a235bc5d0b73676bc7b905d49a)
(cherry picked from commit 28c2b0be93a9b3b11d9822e22788361617e93280)

[rt46602] Modify some test files to cope with the "-p" flag

(cherry picked from commit 517d990bd495ef2fcfe66726c0e68cacfe2bbb90)
(cherry picked from commit b01b553d72d65e031cb1ff315ca4a41147d06076)
(cherry picked from commit ca76477b369a0f4a5e3fe31ccd0ef514a9cd840f)

[rt46602] Tidy up run management

Miscellaneous tidying up of run management.  The most significant
change is that "runall.sh" now runs _all_ the tests, even the
ones that can run in parallel.  runsequential.sh is the script
to run tests that have not been converted to parallel running.

(cherry picked from commit 32fe6f7682361225415cc6714a1e369dca94b636)
(cherry picked from commit a49afdaeb818fb81ead578ff21a8dcd2b89d00aa)
(cherry picked from commit dec6d02f2850b3c55c10fd4a0e0984e6d18593f7)

[rt46602] Assign block of ports for each test

Some tests use more ports than just the query and control ports.
Each test that can run in parallel with other tests is now assigned
a unique block of 10 ports.

(cherry picked from commit e0ff77f9d3178d09eb60cf39733ae0c5018ce29d)
(cherry picked from commit df1348ad2bc0a97a79c8b8089dbec8bb4b395f4a)
(cherry picked from commit c64af8abe58855e52bc5fb2e3add42274af8d01f)

[rt46602] Miscellaneous changes to existing parallelised tests

Currently these tests are allow_query, rpzrecurse and serve-stale

1. Function to copy files and set port numbers renamed from copy_config
to copy_setports, as this is used to change the ports in Perl and Python
test scripts as well.
2. Changes to rpzrecurse/tests.sh to handle two calls to getopts (one to
parse port numbers, the other to parse rpzrecurse-specific options). Also
fixed various commands to use correct ports.
3. Updates to "clean.sh" scripts to ensure that all files created in the
test are removed.

(cherry picked from commit 78f2b9ca01143dd20b543a8ea360338f28c4ba78)
(cherry picked from commit 01eb4d7c973e53dc06e434d137640c1c5acde455)
(cherry picked from commit f5b71b3658cc542e6c7a199bc3115b36339199e0)

[rt46602] Ensure that tests running in parallel use unique ports

Via an intermediate make file, tests that have been modified to be able
to run in parallel are assigned unique query and control port numbers
(other than 5300 and 9953 respectively).  Tests that have not yet been
modified all use ports 5300 and 9953, so must be run sequentially.

(cherry picked from commit e7429b124bd3d0fcce107eaf790ece4ba332eccd)
(cherry picked from commit 4f68e67e5cb5799cf26657f3e00ae3fca636a96f)
(cherry picked from commit 704e2324e3ade6b5a19c6391a5230924715b1544)

[rt46602] Miscellaneous tidying up of code cherry-picked from experimental branch

(cherry picked from commit e1a69e5d1f1e9e38db9cbd14bc2aeb54f420ace9)
(cherry picked from commit ba694ca38c673c2cb3f1554d9e775ced971282c5)
(cherry picked from commit c7bf09069dc5278d4836c4211d769ed97d82094f)

[rt46602] Allow parallel run of new dynamic port tests and the old ones

(cherry picked from commit 3b14d54fd7ab9afec9081d51ba0d11d94ca77f6c)
(cherry picked from commit a14bd482685aad21fb81540dab214a60cb8d06fc)
(cherry picked from commit fbd24ff3590145e71cfe4849f6791c2cf73d2372)

[rt46602] Put back original .gitignore files in the system tests

(cherry picked from commit caaec1ef6da141926bbc2bde62e851d05713253d)
(cherry picked from commit cf7a86661a8f29f55e18f4aa173a051dd9ac1e4e)
(cherry picked from commit ff2356395bfde57d1cd158ee496f4bf02e5d249e)

[rt46602] Adjust rpzrecurse for dynamic port usage

Resolve conflict in run.sh during cherry-pick from an experimental branch.

(cherry picked from commit 2a435708e4a99651a800a01f4f990459d4144414)
(cherry picked from commit c5aa6ed87bb879192f36a1fc2700921d51554ed6)
(cherry picked from commit 9bdb4d67f1fd388729352f39a60e63368440ff94)

[rt46602] Add $SEDPORTS variable to help with @PORT@ and @CONTROLPORT@ replacement

(cherry picked from commit e6802badc07062532196e51b82c21d3d9d8f56c5)
(cherry picked from commit d37a52cc56c4156f1f1bebf96f0da6770c4b8bc4)
(cherry picked from commit 76848ca9d4943ccb00a56a3c7e887ecb94569999)

[rt46602] Move most of ignored files to top of system tests directory

(cherry picked from commit d2c8286163e4b262b9e41dbe4ccb356e578a9fb2)
(cherry picked from commit a5c3077a9cf19d7aa96e11a8d70ffd12ee77e01b)
(cherry picked from commit f11975087ca8486462869858d1f8ad6c1360d16c)

[rt46602] Fix output from rndc reload

(cherry picked from commit 53bade5ece4e03c2f41fb2bd3911b7e9a74e16d6)
(cherry picked from commit 112355adb86240d7a12f0595b88f53bd9a34c629)
(cherry picked from commit 77e5c32baf0cbcffafa757ff9d4eaeb7a2815e20)