lib/ns/query.c: Fix invalid order of DbC checks that could cause dereference before NULL check

lib/ns/interfacemgr.c: Fix invalid order of DbC checks that could cause dereference before NULL check

lib/ns/client.c: Fix invalid order of DbC checks that could cause dereference before NULL check

lib/isccfg/parser.c: Fix invalid order of DbC checks that could cause dereference before NULL check

lib/isccfg/aclconf.c: Suppress nullPointerRedundantCheck false positive

lib/isc/unix/socket.c: Suppress preprocessorErrorDirective error from Cppcheck

lib/isc/task.c: Fix invalid order of DbC checks that could cause dereference before NULL check

lib/isc/pkc11.c: Fix possible NULL pointer dereference in push_attribute()

lib/isc/buffer.c: Fix invalid order of DbC checks that could cause dereference before NULL check

lib/dns/tsig.c: Suppress Cppcheck false positive error uninitStructMember

lib/dns/tests/rbt_serialize_test.c: Fix dereference before DbC check

Instead of declaring unused va_list, just don't declare it at all

lib/dns/rdatalist.c: Fix dereference before DbC check

lib/dns/rdata/*/*.c: Silence false positive nullPointerRedundantCheck warning from Cppcheck

Cppcheck gets confused by:

void bar(void *arg) {
    foo *data = arg;
    REQUIRE(source != NULL);
    REQUIRE(data->member != NULL);
}

and for consistency the DbC check needs to be changed to

void bar(void *arg) {
    foo *data = arg;
    REQUIRE(data != NULL);
    REQUIRE(data->member != NULL);
}

lib/dns/rdata.c: Silence false positive nullPointerRedundantCheck warning from Cppcheck

lib/dns/rbtdb.c: Add DbC check to safely dereference rbtdb in rbt_datafixer()

lib/dns/rbt.c: Suppress nullPointerRedundantCheck warnings from Cppcheck

lib/dns/name.c: Fix dereference before DbC check reported by Cppcheck

lib/dns/gssapi_link.c: Fix %d -> %u formatting when printing unsigned integers

Fix passing NULL after the last typed argument to a variadic function leads to undefined behaviour.

From Cppcheck:

Passing NULL after the last typed argument to a variadic function leads to
undefined behaviour.  The C99 standard, in section 7.15.1.1, states that if the
type used by va_arg() is not compatible with the type of the actual next
argument (as promoted according to the default argument promotions), the
behavior is undefined.  The value of the NULL macro is an implementation-defined
null pointer constant (7.17), which can be any integer constant expression with
the value 0, or such an expression casted to (void*) (6.3.2.3). This includes
values like 0, 0L, or even 0LL.In practice on common architectures, this will
cause real crashes if sizeof(int) != sizeof(void*), and NULL is defined to 0 or
any other null pointer constant that promotes to int.  To reproduce you might be
able to use this little code example on 64bit platforms. If the output includes
"ERROR", the sentinel had only 4 out of 8 bytes initialized to zero and was not
detected as the final argument to stop argument processing via
va_arg(). Changing the 0 to (void*)0 or 0L will make the "ERROR" output go away.

void f(char *s, ...) {
    va_list ap;
    va_start(ap,s);
    for (;;) {
        char *p = va_arg(ap,char*);
        printf("%018p, %s\n", p, (long)p & 255 ? p : "");
        if(!p) break;
    }
    va_end(ap);
}

void g() {
    char *s2 = "x";
    char *s3 = "ERROR";

    // changing 0 to 0L for the 7th argument (which is intended to act as
    // sentinel) makes the error go away on x86_64
    f("first", s2, s2, s2, s2, s2, 0, s3, (char*)0);
}

void h() {
    int i;
    volatile unsigned char a[1000];
    for (i = 0; i<sizeof(a); i++)
        a[i] = -1;
}

int main() {
    h();
    g();
    return 0;
}

lib/dns/ecdb.c: Fix couple of DbC conditions reported by Cppcheck

Fix the constification of the dns_name_t * result variable for dns_tsig_identity()

bin/named/zoneconf.c: Reset dns_name_t *tsig on every view iteration

Change dns_tsigkey_identity from macro to a function and const argument and result

Constify dns_name_t *signer argument to dns_acl_allowed()

bin/named/server.c: Fix couple of DbC conditions reported by Cppcheck

bin/dig/dighost.c: Fix REQUIRE(!= NULL) condition after the variable has been dereferenced

bin/delv/delv.c: Fix invalid logic operation in REQUIRE() condition

Add Cppcheck job to the CI

This MR changes the default Debian sid build to wrap make with bear
that creates compilation database and use the compilation database
to run Cppcheck on the source files systematically.

The job is currently set to be allowed to fail as it will take some
time to fix all the Cppcheck detected issues.

Merge branch '1119-disable-time-consuming-tests-benchmarks-when-tsan-is-enabled' into 'master'

Disable time consuming tests when compiling with Thread Sanitizer

See merge request isc-projects/bind9!2365

Disable benchmark tests when Thread Sanitizer is enabled

Declare __SANITIZE_THREAD__ in isc/util.h when clang ThreadSanitizer is used

Merge branch '1119-tsan-lib/isc/tests/timer_test.c' into 'master'

Convert all variables accessed between multiple threads to atomic

See merge request isc-projects/bind9!2364

Convert all variables accessed between multiple threads to atomic

Merge branch '1119-tsan-lib/isc/tests/task_test.c' into 'master'

Convert all variables accessed between multiple threads to atomic

See merge request isc-projects/bind9!2363

Properly initialize atomic variables

lib/isc/tests/task_test.c: Convert all variables accessed between multiple threads to atomic

Merge branch '1119-tsan-lib/dns/zone.c-flags' into 'master'

Convert the dns_zone_t flags, options and keyopts to stdatomic

See merge request isc-projects/bind9!2359

Convert DNS_ZONEKEY_, DNS_ZONEFLG_ and DNS_ZONELOADFLAG_ #defines to enums

Fix miscelaneous zone object validity checking errors (missing REQUIRE(), out of order REQUIRE())

Convert the flags, options, and keyopts of dns_zone_t structure to 64-bit stdatomic types

...and use atomic_fetch_or and atomic_fetch_and to set and clear the flags

Merge branch '1119-tsan-dispatch_test.c' into 'master'

lib/dns/tests/dispatch_test.c: Convert global responses variable to atomic to prevent data race

See merge request isc-projects/bind9!2355

Convert global variables to atomic to prevent possible data race

Merge branch 'stephen/update-release-template' into 'master'

Update release checklist template

See merge request isc-projects/bind9!2428

Update release template

Include a step stating that tags for the published releases must
be created in the public repository.

Merge branch 'placeholder' into 'master'

placeholder

See merge request isc-projects/bind9!2427

placeholder

Merge branch '1191-qmin-fetch-failure' into 'master'

SERVFAIL if a prior qmin fetch has not been canceled when a new one starts

See merge request isc-projects/bind9!2416

CHANGES

SERVFAIL if a prior qmin fetch has not been canceled when a new one starts

Merge branch 'ondrej/fix-coccinelle-detected-issues' into 'master'

Various little fixes found by coccinelle

See merge request isc-projects/bind9!2325

Various little fixes found by coccinelle

The coccinellery repository provides many little semantic patches to fix common
problems in the code.  The number of semantic patches in the coccinellery
repository is high and most of the semantic patches apply only for Linux, so it
doesn't make sense to run them on regular basis as the processing takes a lot of
time.

The list of issue found in BIND 9, by no means complete, includes:

- double assignment to a variable
- `continue` at the end of the loop
- double checks for `NULL`
- useless checks for `NULL` (cannot be `NULL`, because of earlier return)
- using `0` instead of `NULL`
- useless extra condition (`if (foo) return; if (!foo) { ...; }`)
- removing & in front of static functions passed as arguments

Merge branch 'ondrej/fix-gitlab-ci-for-master-branch-v2' into 'master'

Fix the triggering rule for autoreconf job (take 2)

See merge request isc-projects/bind9!2424

Fix the triggering rule for autoreconf job (take 2)

Merge branch 'ondrej/fix-gitlab-ci-for-master-branch' into 'master'

Fix docs -> autoreconf dependencies in the .gitlab-ci.yml

See merge request isc-projects/bind9!2423

Fix docs -> autoreconf dependencies in the .gitlab-ci.yml

Merge branch 'ondrej/use-%zu-for-sizeof-formatting' into 'master'

lib/dns/ssu_external.c: Use %zu for formatting sizeof() output

See merge request isc-projects/bind9!2415

lib/dns/ssu_external.c: Use %zu for formatting sizeof() output

Merge branch 'marka-placeholder' into 'master'

placeholder

See merge request isc-projects/bind9!2422

placeholder

Merge branch 'marka-remove-unused-variable' into 'master'

remove unused variable

See merge request isc-projects/bind9!2418

remove unused variable

Merge branch 'marka-missing-runtime-check' into 'master'

missing RUNTIME_CHECK

See merge request isc-projects/bind9!2265

add CHANGES

Move the failure handling block closer to the only place where it could fail

Replace RUNTIME_CHECK(dns_name_copy(..., NULL)) with dns_name_copynf()

Use the semantic patch from the previous commit to replace all the calls to
dns_name_copy() with NULL as third argument with dns_name_copynf().

Add semantic patch to replace RUNTIME_CHECK(dns_name_copy(..., NULL)) with dns_name_copynf

Split dns_name_copy() into dns_name_copy() and dns_name_copynf()

The dns_name_copy() function followed two different semanitcs that was driven
whether the last argument was or wasn't NULL.  This commit splits the function
in two where now third argument to dns_name_copy() can't be NULL and
dns_name_copynf() doesn't have third argument.

The final round of adding RUNTIME_CHECK() around dns_name_copy() calls

This commit was done by hand to add the RUNTIME_CHECK() around stray
dns_name_copy() calls with NULL as third argument.  This covers the edge cases
that doesn't make sense to write a semantic patch since the usage pattern was
unique or almost unique.

Add RUNTIME_CHECK() around result = dns_name_copy(..., NULL) calls

This second commit uses second semantic patch to replace the calls to
dns_name_copy() with NULL as third argument where the result was stored in a
isc_result_t variable.  As the dns_name_copy(..., NULL) cannot fail gracefully
when the third argument is NULL, it was just a bunch of dead code.

Couple of manual tweaks (removing dead labels and unused variables) were
manually applied on top of the semantic patch.

Add RUNTIME_CHECK() around plain dns_name_copy(..., NULL) calls using spatch

This commit add RUNTIME_CHECK() around all simple dns_name_copy() calls where
the third argument is NULL using the semantic patch from the previous commit.

Add semantic patches to correctly check dns_name_copy(..., NULL) return code

The dns_name_copy() function cannot fail gracefully when the last argument
(target) is NULL.  Add RUNTIME_CHECK()s around such calls.

The first semantic patch adds RUNTIME_CHECK() around any call that ignores the
return value and is very safe to apply.

The second semantic patch attempts to properly add RUNTIME_CHECK() to places
where the return value from `dns_name_copy()` is recorded into `result`
variable.  The result of this semantic patch needs to be reviewed by hand.

Both patches misses couple places where the code surrounding the
`dns_name_copy(..., NULL)` usage is more complicated and is better suited to be
fixed by a human being that understands the surrounding code.

Merge branch '846-dig-idn-alabel-fallback' into 'master'

Resolve "dig cannot display ACE query if locale is not unicode"

Closes #846

See merge request isc-projects/bind9!1418

Add CHANGES for GL #846

Test of valid A-label in locale that cannot display it only with non-broken idn2

The libidn2 library on Ubuntu Bionic is broken and idn2_to_unicode_8zlz() does't
fail when it should.  This commit ensures that we don't run the system test for
valid A-label in locale that cannot display with the buggy libidn2 as it would
break the tests.

Emit warning on IDN output failure

Warning is emitted before any dig headers.

Modify idna test to fallback to ACE

Test valid A-label on input would be displayed as A-label on output if
locale does not allow U-label.

Fallback to ASCII on output IDN conversion error

It is possible dig used ACE encoded name in locale, which does not
support converting it to unicode. Instead of fatal error, fallback to
ACE name on output.

Merge branch 'marka-correct-list' into 'master'

use correct list

See merge request isc-projects/bind9!2410

Address cut-and-paste error where list name was not changed in one instance for change 5292.

Merge branch '147-add-windows-to-gitlab-ci' into 'master'

Add Windows to GitLab CI

Closes #327 and #147

See merge request isc-projects/bind9!2383

Update Windows-specific documentation

Bring the files describing Windows-specific aspects of building and
installing BIND up to date.  Remove the parts which are either outdated
(e.g. 32-bit build instructions), already included elsewhere (e.g. the
list of Windows systems BIND is known to run on), or inconvenient to
keep up to date in the long run (e.g. ARM chapter numbers).

Add Windows to GitLab CI

Ensure BIND can be tested on Windows in GitLab to more quickly catch
build and test errors on that operating system.

Some notes:

  - While build jobs are triggered for all pipelines, system test jobs
    are not - due to the time it takes to run the complete system test
    suite on Windows (about 20 minutes), the latter are only run for
    pipelines created through GitLab's web interface and for pipelines
    created for Git tags.

  - Only the "Release" build configuration is currently used.  Adding
    "Debug" builds is a matter of extending .gitlab-ci.yml, but it was
    not done for the time being due to questionable usefulness of
    performing such builds in GitLab CI.

  - Only a 64-bit build is performed.  Adding support for 32-bit builds
    is not planned to be implemented.

  - Unit tests are still not run on Windows, but adding support for that
    is on the roadmap.

  - All Windows GitLab CI jobs are run inside Windows Server containers,
    using the Custom executor feature of GitLab Runner as Windows Server
    2016 is not supported by GitLab Runner's native Docker on Windows
    executor and Windows Server 2019 is not yet widely available from
    hosting providers.

  - The Windows Docker image used by GitLab CI is not stored in the
    GitLab Container Registry as it is over 27 GB in size and thus
    passing it between GitLab and its runners is impractical.

  - There is no vcvarsall.bat variant written in PowerShell and batch
    scripts are no longer supported by GitLab Runner Custom executor, so
    the environment variables set by vcvarsall.bat are injected back
    into the PowerShell environment by processing the output of "set".

  - Visual Studio parallel builds are a bit different than "make -jX"
    builds as parallelization happens in two tiers: project parallelism
    (controlled by the "/maxCpuCount" msbuild.exe switch) and compiler
    parallelism (controlled by the "/MP" cl.exe switch).  To limit the
    total number of compiler processes spawned concurrently to a value
    similar to the one used for Unix builds, msbuild.exe is allowed to
    build at most 2 projects at once, each of which can spawn up to half
    of BUILD_PARALLEL_JOBS worth of compiler processes.  Using such
    parameters is a fairly arbitrary decision taken to solve the
    trade-off between compilation speed and runner load.

  - Configuring network addresses in Windows Server containers is
    tricky.  Adding 10.53.0.1/24 and similar addresses to the vEthernet
    interface created by Docker never causes ifconfig.bat to fail, but
    in fact only one container can have any given IP address configured
    at any given time (the request to add the same address in another
    container is silently ignored).  Thus, in order to allow multiple
    system test jobs to be run in parallel, the addresses used in system
    tests are configured on the loopback interfaces.  Interestingly
    enough, the addresses set on the loopback interfaces... persist
    between containers.  Fortunately, this is acceptable for the time
    being and only requires ifconfig.bat failures to be ignored (as
    ifconfig.bat will fail if it attempts to configure an already
    existing address on an interface).  We also need to wait for a brief
    moment after calling ifconfig.bat as the addresses the latter
    attempts to configure may not be immediately available after it
    returns (and that causes runall.sh to error out).  Finally, for some
    reason we also need to signal that the DNS servers on each loopback
    interface are to be configured using DHCP or else ifconfig.bat will
    fail to add the requested addresses.

  - Since named.pid files created by named instances used in system
    tests contain Windows PIDs instead of Cygwin PIDs and various
    versions of Cygwin "kill" react differently when passed Windows PIDs
    without the -W switch, all "kill" invocations in GitLab CI need to
    use that switch (otherwise they would print error messages which
    would cause stop.pl to assume the process being killed died
    prematurely).  However, to preserve compatibility with older Cygwin
    versions used in our other Windows test environments, we alter the
    relevant scripts "on the fly" rather than in the Git repository.

  - In the containers used for running system tests, Windows Error
    Reporting is configured to automatically create crash dumps in
    C:\CrashDumps.  This directory is examined after the test suite is
    run to ensure no crashes went under stop.pl's radar.

Fix the "statschannel" system test on Windows

The SYSTEMTESTTOP variable is set by bin/tests/system/run.sh.  When
system tests are run on Windows, that variable will contain an absolute
Cygwin path.  In the case of the "statschannel" system test, using the
unmodified SYSTEMTESTTOP variable in tests.sh causes the RNDCCMD
variable to contain an invocation of a native Windows application with
an absolute Cygwin path passed as a parameter, which prevents rndc from
working in that system test.  Until we have a cleaner solution, override
SYSTEMTESTTOP with a relative path to work around the issue and thus fix
the "statschannel" system test on Windows.

Fix system test error reporting on Windows

Make sure the CYGWIN environment variable is set whenever system tests
are run on Windows to prevent stop.pl from making incorrect assumptions
about the environment it is running in, which triggers e.g. false
reports about named instances crashing on shutdown when system tests are
run on Windows.  This issue has not been caught earlier because the
CYGWIN environment variable was incidentally being set on a higher level
in our Windows test environments.

Error reporting for parallel system tests on Windows has been broken all
along: since all parallel.mk targets generated by parallel.sh pipe their
output through "tee", the return code from run.sh is lost and thus
running "make -f parallel.mk check" will not yield a non-zero return
code if some system tests fail.  The same applies to runsequential.sh.
Yet, runall.sh on Windows only sets its return code to a non-zero value
if either "make -f parallel.mk check" or runsequential.sh returns a
non-zero return code.  Fix by making runall.sh yield a non-zero return
code when testsummary.sh fails, which is the same approach as the one
used in the "test" target in bin/tests/system/Makefile.

Make VS solution upgrading unnecessary

Until now, the build process for BIND on Windows involved upgrading the
solution file to the version of Visual Studio used on the build host.
Unfortunately, the executable used for that (devenv.exe) is not part of
Visual Studio Build Tools and thus there is no clean way to make that
executable part of a Windows Server container.

Luckily, the solution upgrade process boils down to just adding XML tags
to Visual Studio project files and modifying certain XML attributes - in
files which we pregenerate anyway using win32utils/Configure.  Thus,
extend win32utils/Configure with three new command line parameters that
enable it to mimic what "devenv.exe bind9.sln /upgrade" does.  This
makes the devenv.exe build step redundant and thus facilitates building
BIND in Windows Server containers.

Enable building dnssec-cds.exe

Build configuration for the dnssec-cds Visual Studio project is absent
from the solution file template, which means the solution needs to be
upgraded using "devenv bind9.sln /upgrade" in order for the dnssec-cds
project to be built.  Add the build configuration for dnssec-cds to the
solution file template so that upgrading the solution is not necessary
for building that project.

Drop named-checkzone dependency on libbind9

named-checkzone does not use libbind9.  Update the Visual Studio project
file template for named-checkzone to reflect that, thus preventing
compilation issues during parallel builds.

Add missing nsupdate dependency on libirs

When commit 8eb88aafee951859264e36c315b1289cd8c2088b removed liblwres,
it also modified nsupdate to use libirs instead of liblwres, but the
Visual Studio project files were not updated to reflect that change.
Make sure the nsupdate Visual Studio project depends on the libirs
project to prevent compilation issues during parallel builds.

Merge branch 'ondrej/fix-clang-10-error' into 'master'

Silence false positive warning from Clang 10 in random_test.c

See merge request isc-projects/bind9!2404

Silence false positive warning from Clang 10 in random_test.c

Merge branch 'michal/prevent-unbuffered-stderr-io-on-windows' into 'master'

Prevent unbuffered stderr I/O on Windows

See merge request isc-projects/bind9!2398

Prevent unbuffered stderr I/O on Windows

Make stderr fully buffered on Windows to improve named performance when
it is logging to stderr, which happens e.g. in system tests.  Note that:

  - line buffering (_IOLBF) is unavailable on Windows,

  - fflush() is called anyway after each log message gets written to the
    default stderr logging channels created by libisc.

Merge branch '1246-tsan-add-atomic_fetch_and+or_to_isc/stdatomic.h' into 'master'

Add atomic_fetch_add and atomic_fetch_or convenience macros and unix and win32 shims

Closes #1246

See merge request isc-projects/bind9!2397

Add ATOMIC_VAR_INIT initializer to mutexatomics.h

Add atomic_fetch_add and atomic_fetch_or convenience macros and unix and win32 shims

Fix the wrong function for the atomic_fetch_add_explicit64 shim on non-WIN64 build

Merge branch 'michal/prevent-cygwin-from-concealing-non-abort-crashes' into 'master'

Prevent Cygwin from concealing non-abort() crashes

See merge request isc-projects/bind9!2387

Prevent Cygwin from concealing non-abort() crashes

BIND system tests are run in a Cygwin environment.  Apparently Cygwin
shell sets the SEM_NOGPFAULTERRORBOX bit in its process error mode which
is then inherited by all spawned child processes.  This bit prevents the
Windows Error Reporting dialog from being displayed, which I assume is
part of an effort to contain memory handling errors triggered by Cygwin
binaries in the Cygwin environment.  Unfortunately, this also prevents
automatic crash dump creation by Windows Error Reporting and Cygwin
itself does not handle memory errors in native Windows processes spawned
from a Cygwin shell.

Fix by clearing the SEM_NOGPFAULTERRORBOX bit inside named if it is
started in a Cygwin environment, thus overriding the Cygwin-set process
error mode in order to enable Windows Error Reporting to handle all
named crashes.

Merge branch '1245-properly-initialize-libxml2' into 'master'

Properly initialize libxml2

Closes #1245

See merge request isc-projects/bind9!2391