Call tmpl_dcursor_build_init with correct args

Make the tmpl_dcursor_tests macros slightly less obscure...

Add TEST_CHECK_PAIR_NEQ

temporarily use the old condition code

because the new one (as yet) does not purify complex conditions.

We could call xlat_purify() from compile.c, or just manually
check the || and && when parsing in xlat_expr.c

if we set use_new_conditions, don't even parse the old ones

and remove the one test which no longer fails at load time.
The old code would check if the condition could at all be done,
such as assigning a value which is too large.

The old code would see that one side had a fixed data type, and
try to cast the other side to that data type.  The new code does not
(as yet) do this

check run-time variables for new conditions

and update the unit tests to use the new conditions, except for
a few cases which haven't yet been migrated.

allow setting of options via the command line for migration

We need to have the variables set before parsing the configuration
files, so their configuration can't go into the files.

we will need this after some cleanups

temporary migration tools

where we can enable / disable flatten / nested pairs at run time.

tests for flat / nested VSAs

add fr_pair_dcursor_nested_init()

which takes a pair dcursor as input uctx, and iterates over that
to produce value-pairs.

This is needed by the xlat / edit code

add fr_pair_dcursor_value_init()

which takes a pair_list_t, and then returns the relevant value-boxes

This is so that we can return the value-boxes to functions which
take a dcursor, and expect to see value-boxes out of it

Use TEST_CHECK_PAIR to improve test output

Add tests for fr_pair_append_by_da_parent()

Define fr_pair_append_by_parent_da() for automatic creation of nested pairs

plus macros for appending and populating pairs

Cast return value

Print out more about what we expected in the test

Add inverse of fr_pair_list_to_dlist

Annotate ifs that placate gcc but rile coverity (CID #1504005) (#4681)

unlang_function_clear() has the warn_unused_result attribute,
hence the seemingly pointless if statements about which
coverity complains. Annotation should silence coverity.

allow for and test &Foo := &bar[*]

Set path to use homebrew clang rather than Apple's version

remove nested unions

compilers are too dumb to notice that flexible array members
are fine when there is no field which follows them.

No need to output receipt files when debugging module tests

Add fr_internal_decode_list_dbuff() to decode an entire list of attributes

Internal decoder should always build nested attribute structure for TLVs

Add use of Protocol-Encapsulation attribute to internal encoder

Define fr_internal_encode_list() to internally encode a fr_pair_list_t

Typos

Revert "we don't need to mash everything to strings."

This reverts commit 5d227175ad3cf99db16180abf6e93db48220c591.

until we get time to do a few more tests

update after encoder change

use utility functions instead of memcpy()

more documentation updates

rename the alias files to something which isn't stupid

we don't need to mash everything to strings.

v4 supports bare

%{foo...}

which is better than

"%{foo...}"

More "update {....}" to edit against raddb/mods-*

More "update {....}" to edit against policy.d/*

just use a different method of initialization.  Helps with #4674

In all honesty, if there's no /dev/random on the system, we should
probably just call _exit(1).

fix use of arg_cnt vs arg_len

Catch NULL return from fr_value_box_alloc() (CID #1507889) (#4672)

Annotate false positive tainted_data on get_chunk() result (CIDs below) (#4671)

coverity doesn't realize the relation between node->bits and the
allocated space for node->trie.

CIDs: #1503960, #1503982, #1504064

Annotate false positive on NUL termination (CID #1504058) (#4669)

Coverity is faked out by check_library_exists(), which either
returns NULL (which the caller checks for) or returns a pointer
to a NUL-terminated string.

Add "flat list" nested attributes to tests of fr_pair_find_by_da_nested()

Add basic tests for fr_pair_find_by_da_nested()

Add fr_pair_find_by_da_nested() to find pairs by their da structure

Typo

disallow !* and *= for new edit sections

Add pair_inline.c

add API to get parent VP from list.

Remove horrible macro hacks in pair.c and replace them with a different set of horrible hacks

num always >= 1

slen always < 0

Remove UNUSED

Don't link a shared library without a -rpath option

A few of the BIND9 programs have common code that is statically
linked. For example `dighost.c` is used by both `dig` and `host`.
`libdighost.la` is specified to automake in noinst_LTLIBRARIES, which
eventually becomes a libtool --mode=link invocation without a -rpath
argument.

GNU libtool interprets a link invocation without -rpath this as an
instruction to make a static library only, which agrees with the
comment in `link_fixup()` in jlibtool. But when cmd->output ==
OUT_LIB, jlibtool still tries to build a dynamic library. This fails
on my Mac; if I remove ERROR("Installation mode requires -rpath")
it links dynamically and fails at runtime.

I am not sure if jlibtool should have worked out the correct
cmd->output mode earlier, but if so the comment would be in the wrong
place.

Don't add an empty path to the command line

This change is a small cleanup to prepapare for the next commit.
No functional change except to add some debug logging.

More flexible library version number format

The BIND9 build system passes its complete version number to libtool
(e.g. 9.19.5-dev) which is not the format expected by jlibtool. This
change allows a wider range of punctuation between version numbers
so that jlibtool can parse out BIND's major and minor versions.

A NOTICE() should be DEBUG()

This is more consistent with other command arguments.

Check the return value from strdup()

Simlar to malloc()

Discard --tag options

The BIND9 build system puts the --tag option at the start of the
libtool command-line. With jlibtool this resulted in the erroneous
command `sh -c "--tag=..."`.

The help text says that jlibtool ignores --tag; this commit changes
jlibtool to strip --tag rather than passing it through.

%l can be uint64_t with no loss of generality.

CID #1508485

add flatten / unflatten API

which convert pairs from a (mostly) flat list of leaves, to
a tree-like structure.

Many of the protocols alread decode/encode TLVs, so those are
left alone.  Groups are left alone, as DHCPv6 uses them a lot.

structs likely need more tests to be sure that they work in all
cases, including when structs contain structs

cond_eval returns bool so cannot be < 0

create fr_pair_list_foreach()

which is also safe to use when deleting the iteration variable

fix leak / crash on error

don't free "&n" or "&vp".  They're just ponters.

Don't free "vp" on error, it wasn't allocated.  Free "n" instead,
as it was the recently allocated pair.

rearrange code and do some cleanups

the internal functions randomly use public functions or internal
functions.  Instead of making everyone try to remember what's what,
we just let them use the public functions most of the time.

It also means that if we accidentally use the public function names,
we avoid a bounce through another function call

The fr_pair_order...() functions are now only used when absolutely
necessary.  Most basic used (head / prev / next / num_elements)
can just use the "public" APIs, and get the benefit of using
the internal functions

don't call "find by index" with 0, when another API call would do

All of these calls just find the first da, so fr_pair_find_by_da()
is the better choice.  The "find by index" calls shoud be used
when the index is either created at run-time, or is non-zero

use new tmpl_dcursor_build_init() API

remove unnecessary brackets

don't mash NUM_UNSPEC to NUM_ALL for edit lists

no need for an extra "if" statement

only groups can use "ref=".

Perhaps when other things get fixed, we can have TLVs use
"ref=" instead of "clone="

Correct building of extents so that the last found parent is always returned

Move ulang_subrequest_parent_resume() to use tmpl_dcursor for building pairs

Move pop of nested cursors to after new pairs have been added

to avoid a use after free

Add callback to tmpl_dcursors to build out missing pairs (#4657)

* Define callback routine to populate missing #fr_pair_t from #tmpl_dcursor_t

* Populate build callback when initialising #tmpl_dcursor_t

* When initialising a dcursor, always call fr_dcursor_next()

if the cursor is initialised with an itertator function - even with an
empty list, the iterator may be setting something up.

tmpl_cursors use this to potentially populate attributes into the list.

* If no vp is found, and a fill callback is defined call it

Only valid for attribute references with an unspecified number, [0] or
[n]

* Define simple pair building callback for tmpl_dcursors

* Add list debug output to tmpl_dcursor_tests for test failures.

* Add smaller copy of test pairs to tmpl_dcursor_tests

* Add tmpl_dcursor_tests which populate missing pairs

* Improve comments

Co-authored-by: Arran Cudbard-Bell <a.cudbardb@freeradius.org>

s/fr_pair_list_len/ff_pair_list_num_elements/ to be consistent with every other heap and list in the server...

Only callbacks get the _ prefix

v4: Further simplifications and fixes for tmpl_dcursors (#4651)

* Amalgamate child_eval functions for all tmpl types

* Remove unused list_head from eval function

* Define _tmpl_cursor_common_push

to clarify push / pop on the nested cursor stack

* Move matching of attribute da to dcursor iterator function

* Just use a single child cursor init function

The only difference between a leaf and intermediate node is allocation
of the #tmpl_cursor_nested_t

* Evaluation function no longer needed

Test the fr_dbuff_out() for variable width (CID #1503985) (#4650)

Annotate uses of buffer after fr_base16_decode() (CIDs below) (#4662)

Coverity doesn't recognize that fr_base16_decode() fills in
the output buffer passed to it. (In CID 1503958, coverity
objects to the fr_base16_decode() call itself. Apparently the
buffer has to be initialized before it's initalized.)

CIDs: 150466, 1503958, 1504041

Annotate use of buffer initialized by tmpl_print() (CID #1506690) (#4663)

Fix error coverity detected in fr_exec_fork_wait() (CID #1503999) (#4665)

stdin_fd's state shouldn't influence stdout_pipe.

cast values, not copy

which lets the parser return uint8, and then we assign that
value to a uint32 attribute.

handle more data types than just attributes and strings

simplifications

Stop fr_dcursor_next() advancing before calling iterator (#4660)

Annotate uses of buffers that really are initialized (CIDs listed below) (#4659)

Declaring a local buffer and passing the address of a temporary
sbuff created to use it is a common idiom, but coverity doesn't
recognize when the functions called always put something in the
buffer, if only a NUL terminator. We therefore annotate the first
use of such buffers.

CIDs affected:
1503918, 1503925,153930, 1503945, 1503966, 1504019, 1504053,
1504067

Correct check for no extension in check_library_exists() (#4655)

If libdircheck is true, add_dotlibs() will put .lib/ at the
start of newarg so that ext will never be NULL.

Make memmove() copy terminating NUL in add_dotlibs() (#4656)

To end up with buffer holding a proper NUL-terminated
string in the common cases, memmove() must move the
name string and its terminating NUL. This may be the
cause underlying CID #1504058, so that it won't need
an annotation...or not.

quiet clang scan

cleanups and comments

allow &request -= "Tmp-String-0 == 'foo'"

for getting rid of pairs via things like SQL queries

minor cleanups, and allow &Foo += Bar[*]

allow operations on groups (i.e. lists)

so foo += { 1, 3, 4 } will add "8" to the result

minor cleanups

Use default-libmysqlclient-dev first - will align with OS defaults

Suppress GCC unknown pragma warnings

Add module tests to launch.json

Add bin tests to launch.lson

Add keyword tests to launch.json

add and use tmpl_rules_child_init()

which initializes a tmpl_rules_t from a parent tmpl_rules_t, and
a tmpl_t which is a structural attribute.  We want to be able to
parse child attributes in the context of the parent.  So that
the user doesn't have to specify the entire list