Document forwarders config port and dscp param

Merge branch 'mnowak/windows-raise-port-range' into 'master'

Windows: Prevent tools from clashing with named in system tests

Closes #1566

See merge request isc-projects/bind9!2998

Windows: Prevent tools from clashing with named in system tests

In system tests on Windows tool's local port can sometimes clash with
'named'. On Unix the system is poked for the minimal local port,
otherwise is set to 32768 as a sane minimum. For Windows we don't
poke but set a hardcoded limit; this change aligns the limit with
Unix and changes it to 32768.

Merge branch 'marka-coverity-master' into 'master'

Address various minor issues identified by coverity on master

See merge request isc-projects/bind9!2999

'dispatch' must be non NULL, remove test.

10067 cleanup:

CID 1452683 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking dispatch suggests that it
may be null, but it has already been dereferenced on all
paths leading to the check.

10068        if (dispatch != NULL)
10069                isc_mem_put(server->mctx, dispatch, sizeof(*dispatch));

'dctx' must be non NULL, remove test.

1549 cleanup:
1550        if (dctx->dbiter != NULL)
1551                dns_dbiterator_destroy(&dctx->dbiter);
1552        if (dctx->db != NULL)
1553                dns_db_detach(&dctx->db);

CID 1452686 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking dctx suggests that it may
be null, but it has already been dereferenced on all paths
leading to the check.

1554        if (dctx != NULL)
1555                isc_mem_put(mctx, dctx, sizeof(*dctx));

'dir_list' must be non NULL, remove test.

707 complete_allnds:

CID 1452689 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking dir_list suggests that it
may be null, but it has already been dereferenced on all
paths leading to the check.

708        if (dir_list != NULL) {
709                /* clean up entries from list. */

'lcfg' must be non NULL, remove test.

389        else

CID 1452695 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking lcfg suggests that it may
be null, but it has already been dereferenced on all paths
leading to the check.

390                if (lcfg != NULL)
391                        isc_logconfig_destroy(&lcfg);

's' must be non NULL, remove test.

122 cleanup:

CID 1452696 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking s suggests that it may be
null, but it has already been dereferenced on all paths
leading to the check.

123        if (s != NULL)
124                isc_mem_free(mctx, s);

'tql' must be non NULL, remove test.

255 flag_fail:
256        /* get rid of what was build of the query list */

CID 1452697 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking tql suggests that it may
be null, but it has already been dereferenced on all paths
leading to the check.

257        if (tql != NULL)
258                destroy_querylist(mctx, &tql);

'closest' must be non NULL, remove test.

6412 cleanup:
6413        dns_rdataset_disassociate(&neg);
6414        dns_rdataset_disassociate(&negsig);

CID 1452700 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking closest suggests that it
may be null, but it has already been dereferenced on all
paths leading to the check.

6415        if (closest != NULL)
6416                free_noqname(mctx, &closest);

cleanup error handling.

336 cleanup_mem:
337        /* cleanup memory */
338
339        /* free tmpPath memory */

CID 1452701 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking tmpPath suggests that it
may be null, but it has already been dereferenced on all
paths leading to the check.

340        if (tmpPath != NULL && result != ISC_R_SUCCESS)
341                isc_mem_free(named_g_mctx, tmpPath);
342
343        /* free tmpPath memory */
344        return (result);

'stub' cannot be non NULL, remove test.

13429 cleanup:
13430        cancel_refresh(zone);

CID 1452702 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking stub suggests that it may
be null, but it has already been dereferenced on all paths
leading to the check.

13431        if (stub != NULL) {
13432                stub->magic = 0;

'noqname' must be non NULL, remove test.

6367cleanup:
6368        dns_rdataset_disassociate(&neg);
6369        dns_rdataset_disassociate(&negsig);

CID 1452704 (#1 of 1): Dereference before null check
(REVERSE_INULL) check_after_deref: Null-checking noqname
suggests that it may be null, but it has already been
dereferenced on all paths leading to the check.

6370        if (noqname != NULL)
6371                free_noqname(mctx, &noqname);

'dctx' must be non NULL, remove test.

11030 cleanup:

CID 1452705 (#1 of 1): Dereference before null check
(REVERSE_INULL) check_after_deref: Null-checking dctx
suggests that it may be null, but it has already been
dereferenced on all paths leading to the check.

11031        if (dctx != NULL)
11032                dumpcontext_destroy(dctx);
11033        return (result);

'event' must be non NULL, remove test.

1401        }

CID 1453455 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking event suggests that it may be null,
but it has already been dereferenced on all paths leading to the check.

1402        if (event != NULL)
1403                isc_event_free(ISC_EVENT_PTR(&event));

remove dead cleanup code.

13836        if (zone != NULL)
13837                dns_zone_detach(&zone);

      null: At condition dz != NULL, the value of dz must be NULL.
      dead_error_condition: The condition dz != NULL cannot be true.

13838        if (dz != NULL) {

CID 1453456 (#1 of 1): Logically dead code (DEADCODE)
dead_error_begin: Execution cannot reach this statement:
dns_zone_detach(&dz->zone);.

13839                dns_zone_detach(&dz->zone);
13840                isc_mem_put(named_g_mctx, dz, sizeof(*dz));
13841        }

keymgr_keyrole couldn't emit "NOSIGN".

 92        } else {
 93                return ("ZSK");
 94        }

CID 1455900 (#1 of 1): Structurally dead code (UNREACHABLE)
unreachable: This code cannot be reached: return "NOSIGN";.

 95        return ("NOSIGN");

Remove dead error code.

128        return (ISC_R_SUCCESS);
129

CID 1456146 (#1 of 1): Structurally dead code (UNREACHABLE)
unreachable: This code cannot be reached: {
   if (dst->labels[i] != N....

130        do {

'indentctx' is always defined.  Just use it.

402        ctx->serve_stale_ttl = 0;

notnull: At condition indentctx, the value of indentctx
cannot be NULL.  dead_error_condition: The condition indentctx
must be true.

CID 1456147 (#1 of 1): Logically dead code (DEADCODE)
dead_error_line: Execution cannot reach the expression
default_indent inside this statement: ctx->indent = (indentctx
? ....

403        ctx->indent = indentctx ? *indentctx : default_indent;

break was on wrong line.

 959                break;

CID 1457872 (#1 of 1): Structurally dead code (UNREACHABLE)
unreachable: This code cannot be reached:
isc__nm_incstats(sock->mgr,....

 960                isc__nm_incstats(sock->mgr, sock->statsindex[STATID_ACTIVE]);
 961        default:

dstkey is no longer used

'buffer' must be non-NULL as isc_buffer_allocate can no longer fail.

1636 cleanup:

CID 1458130 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking buffer suggests that it may be
null, but it has already been dereferenced on all paths leading to
the check.

1637        if (buffer != NULL)
1638                isc_buffer_free(&buffer);

Merge branch 'ondrej/lgtm-narrow-vs-wider-type-comparison-in-a-loop' into 'master'

Fix comparison between type uint16_t and  wider type size_t in a loop

See merge request isc-projects/bind9!2986

Fix comparison between type uint16_t and  wider type size_t in a loop

Found by LGTM.com (see below for description), and while it should not
happen as EDNS OPT RDLEN is uint16_t, the fix is easy.  A little bit
of cleanup is included too.

> In a loop condition, comparison of a value of a narrow type with a value
> of a wide type may result in unexpected behavior if the wider value is
> sufficiently large (or small). This is because the narrower value may
> overflow. This can lead to an infinite loop.

Merge branch '1192-fix-serve-stale-test' into 'master'

Resolve "Fix unreliable serve-stale test"

Closes #1192

See merge request isc-projects/bind9!2955

Increase TTL in serve-stale test

Increase the short lived record TTL and negative SOA TTL to make
this test less vulnerable to timing issues. The drawback is that we
also have to sleep longer in this test.

Merge branch '1183-simplify-cachedb-rrset-stats-counters' into 'master'

Simplify cachedb rrset statistic counters

Closes #1183

See merge request isc-projects/bind9!2897

Add test for "Others" rrtype stat counter

Add queries and checks for CAA RRtype in the serve-stale test.
Ensure that the "Others" rrtype stat counter is incremented and
decremented properly if the RRset becomes stale/ancient.

The low max-stale-ttl config option needs to be increased in order
to match the timing when things expire (aka become ancient).

Simplify cachedb rrset statistic counters

This commit simplifies the cachedb rrset statistics in two ways:
- Introduce new rdtypecounter arithmetics, allowing bitwise
  operations.
- Remove the special DLV statistic counter.

New rdtypecounter arithmetics
-----------------------------
"The rdtypecounter arithmetics is a brain twister".  Replace the
enum counters with some defines.  A rdtypecounter is now 8 bits for
RRtypes and 3 bits for flags:

      0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15
    +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
    |  |  |  |  |  |  S  |NX|         RRType        |
    +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+

If the 8 bits for RRtype are all zero, this is an Other RRtype.

Bit 7 is the NXRRSET (NX) flag and indicates whether this is a
positive (0) or a negative (1) RRset.

Then bit 5 and 6 mostly tell you if this counter is for an active,
stale, or ancient RRtype:

    S = 0x00 means Active
    S = 0x01 means Stale
    S = 0x10 means Ancient

Since a counter cannot be stale and ancient at the same time, we
treat S = 0x11 as a special case to deal with NXDOMAIN counters.

S = 0x11 indicates an NXDOMAIN counter and in this case the RRtype
field signals the expiry of this cached item:

    RRType = 0 means Active
    RRType = 1 means Stale
    RRType = 2 means Ancient

Remove the DLV statistics counter

This also removes counting the DLV RRtype separately.  Since we have
deprecated the lookaside validation it makes no sense to keep this
special statistic counter.

Merge branch '1305-update-gitlab-ci-to-openbsd-6.6' into 'master'

Update GitLab CI to OpenBSD 6.6

Closes #1305

See merge request isc-projects/bind9!2973

Update GitLab CI to OpenBSD 6.6

Since OpenBSD 6.6 is the current OpenBSD release, replace OpenBSD 6.5
GitLab CI jobs with their up-to-date counterparts.

As CI jobs for OpenBSD 6.6 will be run by a generalized libvirt executor
rather than an OpenBSD-specific one, make the necessary tag and variable
adjustments as well.

Merge branch 'cppcheck-1.90-warnings' into 'master'

Fix cppcheck 1.90 warnings

Closes #1590

See merge request isc-projects/bind9!2969

Add a note on memory allocation

isc__memalloc_t must deal with memory allocation failure
and must never return NULL.

Suppress unknownMacro directive which is currently broken with OpenSSL

Suppress cppcheck false positive nullPointerArithmeticRedundantCheck

Change pk11_mem_get() so it cannot soft-fail

Make the DbC checks to be consistent and cppcheck clean

isc_mem_get cannot fail

delay assignment until after REQUIRE

skip if first is NULL

delay assignment until after REQUIRE

make expression logical for cppcheck

remove brackets

simplify ISC_LIKELY/ISC_UNLIKELY for CPPCHECK

simplify RUNTIME_CHECK for cppcheck

Merge branch '1592-catz-filename' into 'master'

Resolve "catalog zones fail if a zone name contains a slash"

Closes #1592

See merge request isc-projects/bind9!2980

CHANGES

don't swallow backslash characters in test output

test all the scenarios for hashed filenames together

Correctly handle catalog zone entries containing slashes

- Add quotes before and after zone name when generating "addzone"
  input so avoid "unexpected token" errors.
- Use a hex digest for zone filenames when the zone or view name
  contains a slash.
- Test with a domain name containing a slash.
- Incidentally added 'catzhash.py' to contrib/scripts to generate
  hash labels for catalog zones, as it was needed to write the test.

Merge branch 'ondrej/isc_buffer_allocate_cannot_fail' into 'master'

isc_buffer_allocate() cannot fail

See merge request isc-projects/bind9!2987

Refactor the isc_buffer_allocate() usage using the semantic patch

The isc_buffer_allocate() function now cannot fail with ISC_R_MEMORY.
This commit removes all the checks on the return code using the semantic
patch from previous commit, as isc_buffer_allocate() now returns void.

Add semantic patch to fix isc_buffer_allocate usage, it cannot fail now

isc_buffer_allocate() can't fail now, change the return type to void

Merge branch 'ondrej/isc_mempool_create_cannot_fail' into 'master'

isc_mempool_create() cannot fail

See merge request isc-projects/bind9!2988

Refactor the isc_mempool_create() usage using the semantic patch

The isc_mempool_create() function now cannot fail with ISC_R_MEMORY.
This commit removes all the checks on the return code using the semantic
patch from previous commit, as isc_mempool_create() now returns void.

Add semantic patch to refactor isc_mempool_create() usage

isc_mempool_create cannot fail, change the return type to void

Merge branch 'mnowak/drop-kyua-report-verbose-option' into 'master'

Drop kyua report's --verbose option

See merge request isc-projects/bind9!2981

Drop kyua report's --verbose option

It prints far more than needed.

Merge branch '1554-cds-cdnskey-consistency-checks-don-t-work-with-deletion-records' into 'master'

Resolve "CDS / CDNSKEY consistency checks don't work with deletion records"

Closes #1554

See merge request isc-projects/bind9!2865

use anonomous constants

use enum

add more CDS / CDNSKEY deletion record tests

check CDS and CDNSKEY content

check kskonly key ids

add CHANGES

style

return the correct error code for the type being checked

check that a CDNSKEY deletion record is accepted

handle CDS deletion record in consistancy checks

Merge branch 'michal/list-atypical-failures-in-system-test-summary' into 'master'

List atypical failures in system test summary

See merge request isc-projects/bind9!2964

List atypical failures in system test summary

Each system test can be marked as failed not only due to some tested
component(s) not behaving as expected, but also because of core dumps,
assertion failures, and/or ThreadSanitizer reports being found among its
artifacts.  Make the system test summary list the tests which exhibit
such atypical symptoms to more clearly present the nature of problems
found.

Merge branch '1508-case-system-test-failed' into 'master'

Resolve "case system test failed."

Closes #1508

See merge request isc-projects/bind9!2774

wait longer for dynamic zone to be transfered

Merge branch 'each-history-typo' into 'master'

fixed a typo

See merge request isc-projects/bind9!2960

fixed a typo

Merge branch '1559-dnssec-system-test-failed-reload-of-root-server-not-completed-in-time' into 'master'

Resolve "dnssec system test failed: reload of root server not completed in time."

Closes #1559

See merge request isc-projects/bind9!2877

wait for root server to complete reloading

Merge branch '1579-dnstap-system-test-appears-to-be-timing-sensitive' into 'master'

Resolve "dnstap system test appears to be timing sensitive"

Closes #1579

See merge request isc-projects/bind9!2950

wait for the ./NS lookup to complete

check that all servers have finished loading before beginging tests

Merge branch 'marka-signing-clear-notify' into 'master'

Send NOTIFY messages after deleting private-type records.

See merge request isc-projects/bind9!2942

Send NOFITY messages after deleting private-type records.

The `rndc signing -clear` command cleans up the private-type records
that keep track of zone signing activity, but before this change it
did not tell the secondary servers that the zone has changed.

Merge branch '1572-wait-for-mirror-zone-to-be-deleted' into 'master'

Resolve "Wait for mirror zone to be deleted"

Closes #1572

See merge request isc-projects/bind9!2941

wait for log message before testing that mirror zone is correctly removed

Merge branch '1522-pad-system-test-is-timing-sensitive' into 'master'

Resolve "padding system test is timing sensitive"

Closes #907 and #1522

See merge request isc-projects/bind9!2782

address timing issues in padding system test

'rndc stats' is not instantaneous. Wait for the dump to complete
before looking at the content.

Merge branch '1540-bind-aborts-when-queried-for-non-existing-domain-in-chaos-class' into 'master'

Resolve "bind 9.14.8 and 9.14.9 aborts when queried for non-existing domain in chaos class"

Closes #1569 and #1540

See merge request isc-projects/bind9!2843

CHANGES

Added test for the proposed fix

Added test to ensure that NXDOMAIN is returned when BIND is queried for a
non existing domain in CH class (if a view of CHAOS class is configured)
and that it also doesn't crash anymore in those cases.

Fixed crash when querying for non existing domain in chaos class

Function dns_view_findzonecut in view.c wasn't correctly handling
classes other than IN (chaos, hesiod, etc) whenever the name being
looked up wasn't in cache or in any of the configured zone views' database.

That resulted in a NULL fname being used in resolver.c:4900, which
in turn was triggering abort.

Merge branch 'mnowak/prevent-failing-grep-invocations-from-interrupting-mkeys' into 'master'

mkeys: Prevent failing grep invocations

Closes #1567

See merge request isc-projects/bind9!2933

mkeys: Prevent failing grep invocations

Some 'grep' invocations were not guarded from interrupting the test
prematurely, e.g. when no text was matched.

Merge branch 'wpk/pipelined-test-fix' into 'master'

Fix pipelined test

See merge request isc-projects/bind9!2927

Get rid of the remains of -Tdelay option

pipelined test: we no longer have -Tdelay option, use a python proxy that delays packets as a workaround

Merge branch '1560-isc_httpd-and-isc_httpdmgr-structures-are-not-reference-counted-and-magic' into 'master'

Resolve "isc_httpd and isc_httpdmgr structures are not reference counted and magic"

Closes #1560

See merge request isc-projects/bind9!2913