xxx

xxfix

xxfix

xxfix

1 ntask per cpu

fixup! Make client resolver tasks pooled and CPU-bound

fixup! xxx processed counter

xxx processed counter

fixup! Make client resolver tasks pooled and CPU-bound

fixup! Make client resolver tasks pooled and CPU-bound

Revert "Revert "Make ns_client mctxpool more thread-friendly by sharding it by netmgr threadid""

This reverts commit 650900f2e9d9ca8fa103623dfe4a1b6170a4847e.

Revert "Make ns_client mctxpool more thread-friendly by sharding it by netmgr threadid"

This reverts commit 3d9763b968e192ad105d0351c4d4f380a63c3d7f.

Revert "Don't check if the client is on recursing list (requires locking) if it's not RECURSING"

This reverts commit 41cec3a619bd604842a1de4d6953ff2a90b239f4.

Revert "Increase inactivehandles and inactivereqs size for better reuse."

This reverts commit 39645122da3f735e7c000c5b933e28b4c51fa1ae.

Use isc_rwlock for isc_result tables

Bucketed statistics.

Even though statistics are lockless they still use atomics which
might cause contention. Split stats counters into buckets, sharded
by an artificial thread identifier, to increase throughput.

Make client resolver tasks pooled and CPU-bound

test: don't use DISPATCHATTR_EXCLUSIVE, less random but waaay less sockets used

Increase inactivehandles and inactivereqs size for better reuse.

Make ns_client mctxpool more thread-friendly by sharding it by netmgr threadid

Increase nodelock count for both cache and regular db.

We don't need to fill udp local address every time since we are bound to it.

Make nm->recvbuf larger and heap allocated, to allow uv_recvmmsg usage.

Don't check if the client is on recursing list (requires locking) if it's not RECURSING

Don't update LRU if the node was recently used.

Updating LRU requires write-locking the node, which causes contention.
Update LRU only if time difference is large enough.

Make isc_task_pause/isc_task_unpause thread safe.

isc_task_pause/unpause were inherently thread-unsafe - a task
could be paused only once by one thread, if the task was running
while we paused it it led to races. Fix it by making sure that
the task will pause if requested to, and by using a 'pause reference
counter' to count task pause requests - a task will be unpaused
iff all threads unpause it.

Don't remove from queue when pausing task - we lock the queue lock
(expensive), while it's unlikely that the task will be running -
and we'll remove it anyway in dispatcher

xxxtest: use pthread_rwlock by default

Merge branch 'michal/fix-the-dnssec-system-test-on-windows' into 'master'

Fix the "dnssec" system test on Windows

See merge request isc-projects/bind9!3010

Fix the "dnssec" system test on Windows

Make sure carriage return characters are stripped from awk input to
enable the "dnssec" system test to pass on Windows.

Merge branch '1545-dnssec-policy-cdnskey-test' into 'master'

Update kasp test with CDNSKEY checks

Closes #1545

See merge request isc-projects/bind9!2808

Update kasp test with CDNSKEY checks

Add checks to the kasp system test to verify CDNSKEY publication.
This test is not entirely complete, because when there is a CDNSKEY
available but there should not be one for KEY N, it is hard to tell
whether the existing CDNSKEY actually belongs to KEY N or another
key.

The check works if we expect a CDNSKEY although we cannot guarantee
that the CDNSKEY is correct: The test verifies existence, not
correctness of the record.

Merge branch '1593-dnssec-policy-new-key-on-restart-bug' into 'master'

Fix kasp bug new KSK on restart [#1593]

Closes #1593

See merge request isc-projects/bind9!3007

Add parentheses around return values

Fix kasp bug new KSK on restart [#1593]

When you do a restart or reconfig of named, or rndc loadkeys, this
triggers the key manager to run.  The key manager will check if new
keys need to be created. If there is an active key, and key rollover
is scheduled far enough away, no new key needs to be created.

However, there was a bug that when you just start to sign your zone,
it takes a while before the KSK becomes an active key. An active KSK
has its DS submitted or published, but before the key manager allows
that, the DNSKEY needs to be omnipresent. If you restart named
or rndc loadkeys in quick succession when you just started to sign
your zone, new keys will be created because the KSK is not yet
considered active.

Fix is to check for introducing as well as active keys. These keys
all have in common that their goal is to become omnipresent.

Merge branch '914-forwarders-port-documentation' into 'master'

Document forwarders config port and dscp param

Closes #914

See merge request isc-projects/bind9!2869

Document forwarders config port and dscp param

Merge branch 'mnowak/windows-raise-port-range' into 'master'

Windows: Prevent tools from clashing with named in system tests

Closes #1566

See merge request isc-projects/bind9!2998

Windows: Prevent tools from clashing with named in system tests

In system tests on Windows tool's local port can sometimes clash with
'named'. On Unix the system is poked for the minimal local port,
otherwise is set to 32768 as a sane minimum. For Windows we don't
poke but set a hardcoded limit; this change aligns the limit with
Unix and changes it to 32768.

Merge branch 'marka-coverity-master' into 'master'

Address various minor issues identified by coverity on master

See merge request isc-projects/bind9!2999

'dispatch' must be non NULL, remove test.

10067 cleanup:

CID 1452683 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking dispatch suggests that it
may be null, but it has already been dereferenced on all
paths leading to the check.

10068        if (dispatch != NULL)
10069                isc_mem_put(server->mctx, dispatch, sizeof(*dispatch));

'dctx' must be non NULL, remove test.

1549 cleanup:
1550        if (dctx->dbiter != NULL)
1551                dns_dbiterator_destroy(&dctx->dbiter);
1552        if (dctx->db != NULL)
1553                dns_db_detach(&dctx->db);

CID 1452686 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking dctx suggests that it may
be null, but it has already been dereferenced on all paths
leading to the check.

1554        if (dctx != NULL)
1555                isc_mem_put(mctx, dctx, sizeof(*dctx));

'dir_list' must be non NULL, remove test.

707 complete_allnds:

CID 1452689 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking dir_list suggests that it
may be null, but it has already been dereferenced on all
paths leading to the check.

708        if (dir_list != NULL) {
709                /* clean up entries from list. */

'lcfg' must be non NULL, remove test.

389        else

CID 1452695 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking lcfg suggests that it may
be null, but it has already been dereferenced on all paths
leading to the check.

390                if (lcfg != NULL)
391                        isc_logconfig_destroy(&lcfg);

's' must be non NULL, remove test.

122 cleanup:

CID 1452696 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking s suggests that it may be
null, but it has already been dereferenced on all paths
leading to the check.

123        if (s != NULL)
124                isc_mem_free(mctx, s);

'tql' must be non NULL, remove test.

255 flag_fail:
256        /* get rid of what was build of the query list */

CID 1452697 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking tql suggests that it may
be null, but it has already been dereferenced on all paths
leading to the check.

257        if (tql != NULL)
258                destroy_querylist(mctx, &tql);

'closest' must be non NULL, remove test.

6412 cleanup:
6413        dns_rdataset_disassociate(&neg);
6414        dns_rdataset_disassociate(&negsig);

CID 1452700 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking closest suggests that it
may be null, but it has already been dereferenced on all
paths leading to the check.

6415        if (closest != NULL)
6416                free_noqname(mctx, &closest);

cleanup error handling.

336 cleanup_mem:
337        /* cleanup memory */
338
339        /* free tmpPath memory */

CID 1452701 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking tmpPath suggests that it
may be null, but it has already been dereferenced on all
paths leading to the check.

340        if (tmpPath != NULL && result != ISC_R_SUCCESS)
341                isc_mem_free(named_g_mctx, tmpPath);
342
343        /* free tmpPath memory */
344        return (result);

'stub' cannot be non NULL, remove test.

13429 cleanup:
13430        cancel_refresh(zone);

CID 1452702 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking stub suggests that it may
be null, but it has already been dereferenced on all paths
leading to the check.

13431        if (stub != NULL) {
13432                stub->magic = 0;

'noqname' must be non NULL, remove test.

6367cleanup:
6368        dns_rdataset_disassociate(&neg);
6369        dns_rdataset_disassociate(&negsig);

CID 1452704 (#1 of 1): Dereference before null check
(REVERSE_INULL) check_after_deref: Null-checking noqname
suggests that it may be null, but it has already been
dereferenced on all paths leading to the check.

6370        if (noqname != NULL)
6371                free_noqname(mctx, &noqname);

'dctx' must be non NULL, remove test.

11030 cleanup:

CID 1452705 (#1 of 1): Dereference before null check
(REVERSE_INULL) check_after_deref: Null-checking dctx
suggests that it may be null, but it has already been
dereferenced on all paths leading to the check.

11031        if (dctx != NULL)
11032                dumpcontext_destroy(dctx);
11033        return (result);

'event' must be non NULL, remove test.

1401        }

CID 1453455 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking event suggests that it may be null,
but it has already been dereferenced on all paths leading to the check.

1402        if (event != NULL)
1403                isc_event_free(ISC_EVENT_PTR(&event));

remove dead cleanup code.

13836        if (zone != NULL)
13837                dns_zone_detach(&zone);

      null: At condition dz != NULL, the value of dz must be NULL.
      dead_error_condition: The condition dz != NULL cannot be true.

13838        if (dz != NULL) {

CID 1453456 (#1 of 1): Logically dead code (DEADCODE)
dead_error_begin: Execution cannot reach this statement:
dns_zone_detach(&dz->zone);.

13839                dns_zone_detach(&dz->zone);
13840                isc_mem_put(named_g_mctx, dz, sizeof(*dz));
13841        }

keymgr_keyrole couldn't emit "NOSIGN".

 92        } else {
 93                return ("ZSK");
 94        }

CID 1455900 (#1 of 1): Structurally dead code (UNREACHABLE)
unreachable: This code cannot be reached: return "NOSIGN";.

 95        return ("NOSIGN");

Remove dead error code.

128        return (ISC_R_SUCCESS);
129

CID 1456146 (#1 of 1): Structurally dead code (UNREACHABLE)
unreachable: This code cannot be reached: {
   if (dst->labels[i] != N....

130        do {

'indentctx' is always defined.  Just use it.

402        ctx->serve_stale_ttl = 0;

notnull: At condition indentctx, the value of indentctx
cannot be NULL.  dead_error_condition: The condition indentctx
must be true.

CID 1456147 (#1 of 1): Logically dead code (DEADCODE)
dead_error_line: Execution cannot reach the expression
default_indent inside this statement: ctx->indent = (indentctx
? ....

403        ctx->indent = indentctx ? *indentctx : default_indent;

break was on wrong line.

 959                break;

CID 1457872 (#1 of 1): Structurally dead code (UNREACHABLE)
unreachable: This code cannot be reached:
isc__nm_incstats(sock->mgr,....

 960                isc__nm_incstats(sock->mgr, sock->statsindex[STATID_ACTIVE]);
 961        default:

dstkey is no longer used

'buffer' must be non-NULL as isc_buffer_allocate can no longer fail.

1636 cleanup:

CID 1458130 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking buffer suggests that it may be
null, but it has already been dereferenced on all paths leading to
the check.

1637        if (buffer != NULL)
1638                isc_buffer_free(&buffer);

Merge branch 'ondrej/lgtm-narrow-vs-wider-type-comparison-in-a-loop' into 'master'

Fix comparison between type uint16_t and  wider type size_t in a loop

See merge request isc-projects/bind9!2986

Fix comparison between type uint16_t and  wider type size_t in a loop

Found by LGTM.com (see below for description), and while it should not
happen as EDNS OPT RDLEN is uint16_t, the fix is easy.  A little bit
of cleanup is included too.

> In a loop condition, comparison of a value of a narrow type with a value
> of a wide type may result in unexpected behavior if the wider value is
> sufficiently large (or small). This is because the narrower value may
> overflow. This can lead to an infinite loop.

Merge branch '1192-fix-serve-stale-test' into 'master'

Resolve "Fix unreliable serve-stale test"

Closes #1192

See merge request isc-projects/bind9!2955

Increase TTL in serve-stale test

Increase the short lived record TTL and negative SOA TTL to make
this test less vulnerable to timing issues. The drawback is that we
also have to sleep longer in this test.

Merge branch '1183-simplify-cachedb-rrset-stats-counters' into 'master'

Simplify cachedb rrset statistic counters

Closes #1183

See merge request isc-projects/bind9!2897

Add test for "Others" rrtype stat counter

Add queries and checks for CAA RRtype in the serve-stale test.
Ensure that the "Others" rrtype stat counter is incremented and
decremented properly if the RRset becomes stale/ancient.

The low max-stale-ttl config option needs to be increased in order
to match the timing when things expire (aka become ancient).

Simplify cachedb rrset statistic counters

This commit simplifies the cachedb rrset statistics in two ways:
- Introduce new rdtypecounter arithmetics, allowing bitwise
  operations.
- Remove the special DLV statistic counter.

New rdtypecounter arithmetics
-----------------------------
"The rdtypecounter arithmetics is a brain twister".  Replace the
enum counters with some defines.  A rdtypecounter is now 8 bits for
RRtypes and 3 bits for flags:

      0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15
    +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
    |  |  |  |  |  |  S  |NX|         RRType        |
    +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+

If the 8 bits for RRtype are all zero, this is an Other RRtype.

Bit 7 is the NXRRSET (NX) flag and indicates whether this is a
positive (0) or a negative (1) RRset.

Then bit 5 and 6 mostly tell you if this counter is for an active,
stale, or ancient RRtype:

    S = 0x00 means Active
    S = 0x01 means Stale
    S = 0x10 means Ancient

Since a counter cannot be stale and ancient at the same time, we
treat S = 0x11 as a special case to deal with NXDOMAIN counters.

S = 0x11 indicates an NXDOMAIN counter and in this case the RRtype
field signals the expiry of this cached item:

    RRType = 0 means Active
    RRType = 1 means Stale
    RRType = 2 means Ancient

Remove the DLV statistics counter

This also removes counting the DLV RRtype separately.  Since we have
deprecated the lookaside validation it makes no sense to keep this
special statistic counter.

Merge branch '1305-update-gitlab-ci-to-openbsd-6.6' into 'master'

Update GitLab CI to OpenBSD 6.6

Closes #1305

See merge request isc-projects/bind9!2973

Update GitLab CI to OpenBSD 6.6

Since OpenBSD 6.6 is the current OpenBSD release, replace OpenBSD 6.5
GitLab CI jobs with their up-to-date counterparts.

As CI jobs for OpenBSD 6.6 will be run by a generalized libvirt executor
rather than an OpenBSD-specific one, make the necessary tag and variable
adjustments as well.

Merge branch 'cppcheck-1.90-warnings' into 'master'

Fix cppcheck 1.90 warnings

Closes #1590

See merge request isc-projects/bind9!2969

Add a note on memory allocation

isc__memalloc_t must deal with memory allocation failure
and must never return NULL.

Suppress unknownMacro directive which is currently broken with OpenSSL

Suppress cppcheck false positive nullPointerArithmeticRedundantCheck

Change pk11_mem_get() so it cannot soft-fail

Make the DbC checks to be consistent and cppcheck clean

isc_mem_get cannot fail

delay assignment until after REQUIRE

skip if first is NULL

delay assignment until after REQUIRE

make expression logical for cppcheck

remove brackets

simplify ISC_LIKELY/ISC_UNLIKELY for CPPCHECK

simplify RUNTIME_CHECK for cppcheck

Merge branch '1592-catz-filename' into 'master'

Resolve "catalog zones fail if a zone name contains a slash"

Closes #1592

See merge request isc-projects/bind9!2980

CHANGES

don't swallow backslash characters in test output

test all the scenarios for hashed filenames together

Correctly handle catalog zone entries containing slashes

- Add quotes before and after zone name when generating "addzone"
  input so avoid "unexpected token" errors.
- Use a hex digest for zone filenames when the zone or view name
  contains a slash.
- Test with a domain name containing a slash.
- Incidentally added 'catzhash.py' to contrib/scripts to generate
  hash labels for catalog zones, as it was needed to write the test.

Merge branch 'ondrej/isc_buffer_allocate_cannot_fail' into 'master'

isc_buffer_allocate() cannot fail

See merge request isc-projects/bind9!2987

Refactor the isc_buffer_allocate() usage using the semantic patch

The isc_buffer_allocate() function now cannot fail with ISC_R_MEMORY.
This commit removes all the checks on the return code using the semantic
patch from previous commit, as isc_buffer_allocate() now returns void.

Add semantic patch to fix isc_buffer_allocate usage, it cannot fail now

isc_buffer_allocate() can't fail now, change the return type to void

Merge branch 'ondrej/isc_mempool_create_cannot_fail' into 'master'

isc_mempool_create() cannot fail

See merge request isc-projects/bind9!2988

Refactor the isc_mempool_create() usage using the semantic patch

The isc_mempool_create() function now cannot fail with ISC_R_MEMORY.
This commit removes all the checks on the return code using the semantic
patch from previous commit, as isc_mempool_create() now returns void.

Add semantic patch to refactor isc_mempool_create() usage

isc_mempool_create cannot fail, change the return type to void

Merge branch 'mnowak/drop-kyua-report-verbose-option' into 'master'

Drop kyua report's --verbose option

See merge request isc-projects/bind9!2981

Drop kyua report's --verbose option

It prints far more than needed.

Merge branch '1554-cds-cdnskey-consistency-checks-don-t-work-with-deletion-records' into 'master'

Resolve "CDS / CDNSKEY consistency checks don't work with deletion records"

Closes #1554

See merge request isc-projects/bind9!2865

use anonomous constants

use enum