Add "flat list" nested attributes to tests of fr_pair_find_by_da_nested()

Add basic tests for fr_pair_find_by_da_nested()

Add fr_pair_find_by_da_nested() to find pairs by their da structure

Typo

disallow !* and *= for new edit sections

Add pair_inline.c

add API to get parent VP from list.

Remove horrible macro hacks in pair.c and replace them with a different set of horrible hacks

num always >= 1

slen always < 0

Remove UNUSED

Don't link a shared library without a -rpath option

A few of the BIND9 programs have common code that is statically
linked. For example `dighost.c` is used by both `dig` and `host`.
`libdighost.la` is specified to automake in noinst_LTLIBRARIES, which
eventually becomes a libtool --mode=link invocation without a -rpath
argument.

GNU libtool interprets a link invocation without -rpath this as an
instruction to make a static library only, which agrees with the
comment in `link_fixup()` in jlibtool. But when cmd->output ==
OUT_LIB, jlibtool still tries to build a dynamic library. This fails
on my Mac; if I remove ERROR("Installation mode requires -rpath")
it links dynamically and fails at runtime.

I am not sure if jlibtool should have worked out the correct
cmd->output mode earlier, but if so the comment would be in the wrong
place.

Don't add an empty path to the command line

This change is a small cleanup to prepapare for the next commit.
No functional change except to add some debug logging.

More flexible library version number format

The BIND9 build system passes its complete version number to libtool
(e.g. 9.19.5-dev) which is not the format expected by jlibtool. This
change allows a wider range of punctuation between version numbers
so that jlibtool can parse out BIND's major and minor versions.

A NOTICE() should be DEBUG()

This is more consistent with other command arguments.

Check the return value from strdup()

Simlar to malloc()

Discard --tag options

The BIND9 build system puts the --tag option at the start of the
libtool command-line. With jlibtool this resulted in the erroneous
command `sh -c "--tag=..."`.

The help text says that jlibtool ignores --tag; this commit changes
jlibtool to strip --tag rather than passing it through.

%l can be uint64_t with no loss of generality.

CID #1508485

add flatten / unflatten API

which convert pairs from a (mostly) flat list of leaves, to
a tree-like structure.

Many of the protocols alread decode/encode TLVs, so those are
left alone.  Groups are left alone, as DHCPv6 uses them a lot.

structs likely need more tests to be sure that they work in all
cases, including when structs contain structs

cond_eval returns bool so cannot be < 0

create fr_pair_list_foreach()

which is also safe to use when deleting the iteration variable

fix leak / crash on error

don't free "&n" or "&vp".  They're just ponters.

Don't free "vp" on error, it wasn't allocated.  Free "n" instead,
as it was the recently allocated pair.

rearrange code and do some cleanups

the internal functions randomly use public functions or internal
functions.  Instead of making everyone try to remember what's what,
we just let them use the public functions most of the time.

It also means that if we accidentally use the public function names,
we avoid a bounce through another function call

The fr_pair_order...() functions are now only used when absolutely
necessary.  Most basic used (head / prev / next / num_elements)
can just use the "public" APIs, and get the benefit of using
the internal functions

don't call "find by index" with 0, when another API call would do

All of these calls just find the first da, so fr_pair_find_by_da()
is the better choice.  The "find by index" calls shoud be used
when the index is either created at run-time, or is non-zero

use new tmpl_dcursor_build_init() API

remove unnecessary brackets

don't mash NUM_UNSPEC to NUM_ALL for edit lists

no need for an extra "if" statement

only groups can use "ref=".

Perhaps when other things get fixed, we can have TLVs use
"ref=" instead of "clone="

Correct building of extents so that the last found parent is always returned

Move ulang_subrequest_parent_resume() to use tmpl_dcursor for building pairs

Move pop of nested cursors to after new pairs have been added

to avoid a use after free

Add callback to tmpl_dcursors to build out missing pairs (#4657)

* Define callback routine to populate missing #fr_pair_t from #tmpl_dcursor_t

* Populate build callback when initialising #tmpl_dcursor_t

* When initialising a dcursor, always call fr_dcursor_next()

if the cursor is initialised with an itertator function - even with an
empty list, the iterator may be setting something up.

tmpl_cursors use this to potentially populate attributes into the list.

* If no vp is found, and a fill callback is defined call it

Only valid for attribute references with an unspecified number, [0] or
[n]

* Define simple pair building callback for tmpl_dcursors

* Add list debug output to tmpl_dcursor_tests for test failures.

* Add smaller copy of test pairs to tmpl_dcursor_tests

* Add tmpl_dcursor_tests which populate missing pairs

* Improve comments

Co-authored-by: Arran Cudbard-Bell <a.cudbardb@freeradius.org>

s/fr_pair_list_len/ff_pair_list_num_elements/ to be consistent with every other heap and list in the server...

Only callbacks get the _ prefix

v4: Further simplifications and fixes for tmpl_dcursors (#4651)

* Amalgamate child_eval functions for all tmpl types

* Remove unused list_head from eval function

* Define _tmpl_cursor_common_push

to clarify push / pop on the nested cursor stack

* Move matching of attribute da to dcursor iterator function

* Just use a single child cursor init function

The only difference between a leaf and intermediate node is allocation
of the #tmpl_cursor_nested_t

* Evaluation function no longer needed

Test the fr_dbuff_out() for variable width (CID #1503985) (#4650)

Annotate uses of buffer after fr_base16_decode() (CIDs below) (#4662)

Coverity doesn't recognize that fr_base16_decode() fills in
the output buffer passed to it. (In CID 1503958, coverity
objects to the fr_base16_decode() call itself. Apparently the
buffer has to be initialized before it's initalized.)

CIDs: 150466, 1503958, 1504041

Annotate use of buffer initialized by tmpl_print() (CID #1506690) (#4663)

Fix error coverity detected in fr_exec_fork_wait() (CID #1503999) (#4665)

stdin_fd's state shouldn't influence stdout_pipe.

cast values, not copy

which lets the parser return uint8, and then we assign that
value to a uint32 attribute.

handle more data types than just attributes and strings

simplifications

Stop fr_dcursor_next() advancing before calling iterator (#4660)

Annotate uses of buffers that really are initialized (CIDs listed below) (#4659)

Declaring a local buffer and passing the address of a temporary
sbuff created to use it is a common idiom, but coverity doesn't
recognize when the functions called always put something in the
buffer, if only a NUL terminator. We therefore annotate the first
use of such buffers.

CIDs affected:
1503918, 1503925,153930, 1503945, 1503966, 1504019, 1504053,
1504067

Correct check for no extension in check_library_exists() (#4655)

If libdircheck is true, add_dotlibs() will put .lib/ at the
start of newarg so that ext will never be NULL.

Make memmove() copy terminating NUL in add_dotlibs() (#4656)

To end up with buffer holding a proper NUL-terminated
string in the common cases, memmove() must move the
name string and its terminating NUL. This may be the
cause underlying CID #1504058, so that it won't need
an annotation...or not.

quiet clang scan

cleanups and comments

allow &request -= "Tmp-String-0 == 'foo'"

for getting rid of pairs via things like SQL queries

minor cleanups, and allow &Foo += Bar[*]

allow operations on groups (i.e. lists)

so foo += { 1, 3, 4 } will add "8" to the result

minor cleanups

Use default-libmysqlclient-dev first - will align with OS defaults

Suppress GCC unknown pragma warnings

Add module tests to launch.json

Add bin tests to launch.lson

Add keyword tests to launch.json

add and use tmpl_rules_child_init()

which initializes a tmpl_rules_t from a parent tmpl_rules_t, and
a tmpl_t which is a structural attribute.  We want to be able to
parse child attributes in the context of the parent.  So that
the user doesn't have to specify the entire list

ensure that the list && list_def are set correctly

so that when we look at them later, they're consistent with
the attribute references in the tmpl

more "convert to edit"

typos

use outstanding as per #4654

future work is a better predictor of load than past work.

If two workers have the same number of outstanding packets, then
choose one with less CPU time

update cpu_time as noted in #4654

Replace v3.0 with v3.2 in docs where appropriate

Correct spelling of tmpl_dcursor_clear

Annotate false positives of using uninitalized variables (CIDs below) (#4653)

CIDs: #1503917, #1503948, #1503959, #1503989

After the smoke clears, it turns out that (a == &one) is true
iff one was initialized and (b == &two) is true iff two was
initialized, so they're passed to fr_value_box_clear_value()
iff it makes sense.

revert until we address ubsan issues

more "convert to edit"

auto-merge edits only if explicitely put into a group

don't allow "foo.bar = baz" to become a subsection in attr definition

better errors

foo.bar = baz

results in the config file parser creating

foo {
bar = baz
}

We should likely forbid that in the parser.  But for now, a better
error here is useful

more "convert to edit"

these don't need to be run every time

more "convert to use new edits"

including removing more %{expr:...}, and just using in-place
additions for load-balance.

use tmpl_dcursors to remove attributes from a list.

For now the entire RHS has to be specified in full, despite other
attempts to fix it.

allow for NULL RHS rules when parsing CONF_PAIR

in which case it tries to figure out the context of the RHS
from the LHS.  Since the caller has no idea what the LHS is, the
caller can't set the correct context.

This functionality is needed for things like TLVs and structs,
where the RHS must be contained within the LHS.

deprecate filter documentation

note operators for removing attributes from a list

remove all matching attributes.

Which takes more time, but...

Annotate false positive alloc_strlen issues (CIDs listed below) (#4648)

1503922, 1503986
         Honest, you don't want the NUL terminator in the
         FILE open_buffer_as_file() (or more accurately,
         fmemopen()) creates.
1503983
         curl_escape() call; if you pass 0 for length, the
         function itself will call strlen() to determine length.

Ensure tmpl cursor is cleared on failure

Free tmpl_dcursor children in the correct order

Add tests for tmpl_dcursors

Add deeper nested attributes to test dictionary

Placate coverity by checking for a null pointer (CID #1504605) (#4644)

Annotate dead code false positive (CID #1504072) (#4646)

Coverity doesn't see that a successful call to fr_base16_decode()
in fr_ldap_util_normalise_dn(), c will be set. Unfortunately, it
appears that each of the ten cases of the switch statement
checking for an escape sequence (other than \\) would then require
annotation.

We therefore use an array of bool const so the check for a valid
escape sequence happens in one line, needing only one annotation.
(Having done this, one might as well use it in fr_ldap_util_is_dn(),
and that is indeed done.)

Correct position and spelling of annotation (CID #1504462) (#4647)

Annotate false positive in fr_dbuff_init() (CIDs listed below) (#4643)

The end pointer is set to point just past the space given to it.
This is legal in C, and is only compared with, not dereferenced.

CIDs affected:
1503895, 1503905, 1503907, 1503914, 1503915, 1503924, 1503956,
1503970, 1503973, 1503979, 1503980, 1503988, 1504000, 1504034,
1504035, 1504039, 1504040, 1504046, 1504059

Annotate false positive in fr_dict_attr_verify() (CID #1504052) (#4642)

The preceding fr_assert_msg() should keep attributes without
namespaces from reaching the dict_attr_namespace() call, so it
should never return NULL... but coverity doesn't know that.

Annotate false positive reverse negative (CID #720487) (#4641)

coverity flags the check whether there are commands to run
with the comment "You might be using variable num_commands
before verifying that it is >=0."

Correct connection_deferred_signal_process() annotation (CID #1469149) (#4640)

Correct annotation typo in SBUFF_PARSE_FLOAT_DEF (CID #1503942) (#4639)

missing_lock, not missing_unlock (CID #1414431) (#4635)

Typo in coverity annotation. Unnecessary missing_lock annotations
have been removed.

Annotate false positive (CID #1506689) (#4630)

fr_redis_tuple_from_map() does check for error return from
tmpl_print(), so by the time talloc_bstrndup() is called,
key_buf should be initialized.

Scheduled fuzzing: Update src/tests/fuzzer-corpus/tacacs.tar

Scheduled fuzzing: Update src/tests/fuzzer-corpus/dns.tar

Scheduled fuzzing: Update src/tests/fuzzer-corpus/dhcpv6.tar

Scheduled fuzzing: Update src/tests/fuzzer-corpus/dhcpv4.tar

Scheduled fuzzing: Update src/tests/fuzzer-corpus/radius.tar