[rt46602] Ensure that tests running in parallel use unique ports

Via an intermediate make file, tests that have been modified to be able
to run in parallel are assigned unique query and control port numbers
(other than 5300 and 9953 respectively).  Tests that have not yet been
modified all use ports 5300 and 9953, so must be run sequentially.

(cherry picked from commit e7429b124bd3d0fcce107eaf790ece4ba332eccd)
(cherry picked from commit 4f68e67e5cb5799cf26657f3e00ae3fca636a96f)
(cherry picked from commit 704e2324e3ade6b5a19c6391a5230924715b1544)

[rt46602] Miscellaneous tidying up of code cherry-picked from experimental branch

(cherry picked from commit e1a69e5d1f1e9e38db9cbd14bc2aeb54f420ace9)
(cherry picked from commit ba694ca38c673c2cb3f1554d9e775ced971282c5)
(cherry picked from commit c7bf09069dc5278d4836c4211d769ed97d82094f)

[rt46602] Allow parallel run of new dynamic port tests and the old ones

(cherry picked from commit 3b14d54fd7ab9afec9081d51ba0d11d94ca77f6c)
(cherry picked from commit a14bd482685aad21fb81540dab214a60cb8d06fc)
(cherry picked from commit fbd24ff3590145e71cfe4849f6791c2cf73d2372)

[rt46602] Put back original .gitignore files in the system tests

(cherry picked from commit caaec1ef6da141926bbc2bde62e851d05713253d)
(cherry picked from commit cf7a86661a8f29f55e18f4aa173a051dd9ac1e4e)
(cherry picked from commit ff2356395bfde57d1cd158ee496f4bf02e5d249e)

[rt46602] Adjust rpzrecurse for dynamic port usage

Resolve conflict in run.sh during cherry-pick from an experimental branch.

(cherry picked from commit 2a435708e4a99651a800a01f4f990459d4144414)
(cherry picked from commit c5aa6ed87bb879192f36a1fc2700921d51554ed6)
(cherry picked from commit 9bdb4d67f1fd388729352f39a60e63368440ff94)

[rt46602] Add $SEDPORTS variable to help with @PORT@ and @CONTROLPORT@ replacement

(cherry picked from commit e6802badc07062532196e51b82c21d3d9d8f56c5)
(cherry picked from commit d37a52cc56c4156f1f1bebf96f0da6770c4b8bc4)
(cherry picked from commit 76848ca9d4943ccb00a56a3c7e887ecb94569999)

[rt46602] Move most of ignored files to top of system tests directory

(cherry picked from commit d2c8286163e4b262b9e41dbe4ccb356e578a9fb2)
(cherry picked from commit a5c3077a9cf19d7aa96e11a8d70ffd12ee77e01b)
(cherry picked from commit f11975087ca8486462869858d1f8ad6c1360d16c)

[rt46602] Fix output from rndc reload

(cherry picked from commit 53bade5ece4e03c2f41fb2bd3911b7e9a74e16d6)
(cherry picked from commit 112355adb86240d7a12f0595b88f53bd9a34c629)
(cherry picked from commit 77e5c32baf0cbcffafa757ff9d4eaeb7a2815e20)

[rt46602] Add .gitignore to allow_query

(cherry picked from commit bc276f6c05323b6a5c6fc4b4f2e3467fb0869cf6)
(cherry picked from commit 76dfb5c339f6bc591669ad31ed4ecd7c27c3af79)
(cherry picked from commit 51ccb16653a856b88eaffcc4d2087154f6211a9f)

[rt46602] Utilize echo_i to allow mixed test output

(cherry picked from commit 7e3c96c867576eb335b566ea5e0fd4b60955e7c2)
(cherry picked from commit 93034acb4d25235f11a41f44eb3059d41fef22f0)
(cherry picked from commit 9bcf40cbed3ebe354b0a99afe4eae540dedc7958)

[rt46602] Prefix R:<result> as R:<test>:<result>

Resolve conflict in run.sh during cherry-pick from experimental branch.

(cherry picked from commit 278c72fef67c5c65a897fe2e5d87db38738594f6)
(cherry picked from commit b8e866d60fab39a0909735cc01fa10fa23fe789b)
(cherry picked from commit ff56ecafc4aa1a0fbf94da65748ac97691d25ace)

[rt46602] Add echo_i function to print I:<testname>:string

(cherry picked from commit f7ac41757a880577519a464583648065d9987bbd)
(cherry picked from commit bd5b36f7a465bd232f4f5521096fd132e9a43118)
(cherry picked from commit cdc72937d61aadc25a2f214421c389c66d97c80c)

[rt46602] Add serve-stale working files to .gitignore

(cherry picked from commit cba162e70e7fac43435a606106841a69ce468526)
(cherry picked from commit 57adb949a4a7b1b4211407b169257bbfd392b5b4)
(cherry picked from commit 2327f41b35f5442c4e6742e1134fd46aa4b5075e)

[rt46602] Convert allow_query to dynamic port

(cherry picked from commit 992a2bafec6ab120909402ea3e0d2831d92dac59)
(cherry picked from commit 1d10178e83c6c63ecaaa97c297434f65ed4b25a6)
(cherry picked from commit 1a568d5a76cd2e2791038fb82c97a03c0cd4db29)

[rt46602] Change the system tests script to support running individual tests on different ports

Resolved conflict in run.sh.

(cherry picked from commit fb00f18005fa420349c5ee7c1fabae4eb74d4ce9)
(cherry picked from commit 0ee883d4437b7404eb2e5289dc83c800fcbdb0b6)
(cherry picked from commit 75428f495134576c129b26ebc7bfd71cfe167915)

Merge branch 'kyua-oot-v9_11-v9_10-v9_9' into 'v9_9'

chg: dev: Unit tests were broken in out-of-tree builds.

See merge request isc-projects/bind9!57

unit/unittest.sh is generated by configure. It will always be
 generated into builddir. If out-of-tree build is used, make unit
will always fail. Kyuafiles and testdata still have to be copied
manually into the builddir.

(cherry picked from commit 95cde3608aab9e1e4025d5a73fa2c602b3082ea1)
(cherry picked from commit 6d9b38e9fe7608e61c5e1daf6edf99a227e5af8f)
(cherry picked from commit 6f2fd5cccab25d8a498e39501002754cd24a4ec2)

Merge branch 'master-v9_12-v9_11-v9_10-v9_9' into 'v9_9'

Code cleanups

See merge request isc-projects/bind9!36

Reduce repeated detection of mysql lib directory.
Use common part once a bit later.

(cherry picked from commit 2a70eae04f901e13df814fc8b67b030d46cf90c6)
(cherry picked from commit d04af522226717c5d72271726446659ca87846e4)
(cherry picked from commit 1b0cf4fea63b263c1f46dbb7f282d00b5a67f9b5)
(cherry picked from commit 9982419c4c43211a79a35b94c2c6b45fdc0f860a)

Reuse new function from rt46864 for similar block elsewhere.

(cherry picked from commit e7a93321f095c8a2018df253a38bd1fc40d639cd)
(cherry picked from commit cb98ce8e676990807184e21139d5bf2a63c1890b)
(cherry picked from commit 687650160506ed30ae41319aaf5ca7883ddc5b32)
(cherry picked from commit 16ea60d8ccd46e1dd9cf62ed07cd039090e53fce)

Merge branch '90-remove-i-check-flushtree-clears-adb-correctly-from-cacheclean-in-bind-9-9' into 'v9_9'

Resolve "remove "I:check flushtree clears adb correctly" from cacheclean in BIND 9.9"

See merge request isc-projects/bind9!53

remove 'check flushtree clears adb correctly' test

Merge branch '67-stabilize-cacheclean-system-test-v9_10-v9_9' into 'v9_9'

Stabilize cacheclean system test

Closes #67

See merge request isc-projects/bind9!43

Improve the way cache contents are searched for "ns.flushtest.example"

During the "check flushtree clears adb correctly" check, expecting
"ns.flushtest.example" to always be the first name in the ADB dump is
fragile, because in a certain corner case "a.root-servers.nil" will be
the first name instead.

As the purpose of the relevant check is to ensure "ns.flushtest.example"
is removed from ADB by "rndc flushtree flushtest.example", search the
entire list of names present in ADB instead of just the first entry when
looking for "ns.flushtest.example".

(cherry picked from commit ca1049b2f36be42a6daa9c04289d51c481cb7b52)
(cherry picked from commit 3513a585e338425270cf2d7c63aa7a0b17444671)

Wait until a cache dump completes instead of waiting for a fixed amount of time

Dumping the cache is an asynchronous operation, so sleeping for a fixed
amount of time after running "rndc dumpdb" is imperfect as dumping cache
contents may take longer than expected on slower machines.  Instead of
always sleeping for 1 second, wait until the "; Dump complete" line
appears in the dump or 10 seconds pass, whichever comes first.

(cherry picked from commit 2bbff06d3631653fcea95e223da47aea0f9cdf0b)
(cherry picked from commit e617b915273730b340369be034f694ea1441fd41)

Do not overwrite cache dumps

Unless configured otherwise in named.conf, "rndc dumpdb" causes a cache
dump to be written to a file called "named_dump.db" in the working
directory of the given named instance.  Repeatedly using this command
throughout different checks in the cacheclean system test causes cache
dumps for older checks to be overwritten, which hinders failure
diagnosis.  Prevent this by moving each cache dump to a check-specific
location after running "rndc dumpdb".

Furthermore, during the "check flushtree clears adb correctly" check,
dump_cache() is called twice without renaming the resulting files.
Prevent the first cache dump from being overwritten by moving it to a
different file before calling "rndc dumpdb" for the second time.

(cherry picked from commit aeea1faf0191f8f693393ee088272f893fc4faa1)
(cherry picked from commit dcd91ab32281c56917e71397d405c11a1c7ed10f)

Assign an index to each check in the cacheclean system test

This will enable storing per-check forensic data, which facilitates
troubleshooting test failures.

(cherry picked from commit 01de79b332ec3fbd0960dc9f4ab9a650ae85d453)
(cherry picked from commit 7679819e15d8c43d9770ce1954ddab55bf34e008)

[v9_9] add missing release note, update README

Merge branch 'fix-loadpending-handling-v9_9' into v9_9

Add CHANGES entry

4892. [bug] named could leak memory when "rndc reload" was invoked
before all zone loading actions triggered by a previous
"rndc reload" command were completed. [RT #47076]

Do not recheck DNS_ZONEFLG_LOADPENDING in zone_asyncload()

Remove a block of code which dates back to commit 8a2ab2b9203, when
dns_zone_asyncload() did not yet check DNS_ZONEFLG_LOADPENDING.
Currently, no race in accessing DNS_ZONEFLG_LOADPENDING is possible any
more, because:

  - dns_zone_asyncload() is still the only function which may queue
    zone_asyncload(),

  - dns_zone_asyncload() accesses DNS_ZONEFLG_LOADPENDING under a lock
    (and potentially queues an event under the same lock),

  - DNS_ZONEFLG_LOADPENDING is not cleared until the load actually
    completes.

Thus, the rechecking code can be safely removed from zone_asyncload().

Note that this also brings zone_asyncload() to a state in which the
completion callback is always invoked.  This is required to prevent
leaking memory in case something goes wrong in zone_asyncload() and a
zone table the zone belongs to is indefinitely left with a positive
reference count.

Asynchronous zone load events have no way of getting canceled

Code handling cancellation of asynchronous zone load events was likely
copied over from other functions when asynchronous zone loading was
first implemented in commit 8a2ab2b9203.  However, unlike those other
functions, asynchronous zone loading events currently have no way of
getting canceled once they get posted, which means the aforementioned
code is effectively dead.  Remove it to prevent confusion.

Only clear DNS_ZONEFLG_LOADPENDING in zone_asyncload() if zone loading is completed immediately

zone_load() is not always synchronous, it may only initiate an
asynchronous load and return DNS_R_CONTINUE, which means zone loading
has not yet been completed.  In such a case, zone_asyncload() must not
clear DNS_ZONEFLG_LOADPENDING immediately and leave that up to
zone_postload().

Lock zone before checking whether its asynchronous load is already pending

While this is not an issue in named, which only calls
dns_zone_asyncload() from task-exclusive mode, this function is exported
by libdns and thus may in theory be concurrently called for the same
zone by multiple threads.  It also does not hurt to be consistent
locking-wise with other DNS_ZONEFLG_LOADPENDING accesses.

Merge branch 'fix-cpp-check-errors' into 'v9_9'

Fix cpp check errors v9_9

See merge request isc-projects/bind9!32

s/cppchecker/cppcheck

add GL issue number

add CHANGES note

add POST(len);

conditionally declare stacksize

add POST(len);

add POST(tl)

return failure count

conditionally declare strbuf

test for == 0 rather than <= as value is unsigned

add brackets

reorder test to silence cppcheck

remove event which is only used for sizeof

reorder test to silence cppcheck

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

case to unsigned; reorder expression

simplify expression

use %u and preserve unsigned property

cast to unsigned

preserve unsigned property

use %u instead of %d

make both arguments of & unsigned

use %u instead of %d

shift unsigned (~0U) rather than signed (~0) contant

use %u instead of %d

unsigned constants

unsigned constants

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

formally cast to int; use %u instead of %d

formally cast to int

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

make declarations consistent

report argument error in human form

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %d

use %u instead of %i

use %u rather than %d; pass a unsigned int pointer

clear *logp

use %u instead of %d

signed vs unsigned fixes

regen v9_9

[v9_9] prep 9.9.12rc1

[v9_9] copyrights

check warning text

get the correct test file

(cherry picked from commit ae0950098944f83671e2ce7758c1120f912d7d4b)

[v9_9] fix test error

[rt43670] more emphatic warning