Define tests for RFC4533 LDAP server

Run tests on RFC4533 LDAP server

Add config for testing RFC4533 LDAP server

Define test.ldap_sync to run tests for all types of directory

Add syncprov overlay to test LDAP database

Re-order LDAP permissions

Remove un-needed database from test LDAP server

Check return of ber_scanf() CID #1512416

parital revert (again) because of ubsan issues

add ungroup and use it

because %{request[*]} returns a group, as it really means
"all request attributes".  We really want to have %{request.[*]},
but that is not yet supported

change docs to deprecate "update"

make prepend work, and update doecs and tests to match

more "convert update"

raw now works

multi-line "if" works by magic

tho you can't (yet) put comments on a multiline "if" statement

move peephole optimization to xlat_purify_op()

v4: Implement LDAP persistent search handling (#4455)

* Remove LDAP-Sync dictonary attrbutes not required

* Add ldap to list of protocols for auto-generated headers

* Add definition of internal packet types for LDAP sync messages

* Define process module for LDAP sync

* Define core structures for LDAP sync protocol

* Define parent listener for proto_ldap_sync

* Include proto_ldap_sync in build

* Add Directory-Root-DN to dictionary

* Enumerate dictionary values for LDAP Scope

* Define fr_app_io_t proto_ldap_sync_ldap and associated structures

* Allow socket listeners to have either an open or close callback

LDAP sync requires a very specific way to start up which results in the
socket listener not having an open callback.

* Define child fr_app_io_t for proto_ldap_sync

* Add functions to allocate and compare sync_state_t

* Add functions to send LDAP sync internal packets

* Define ldap_sync_conf_attr_add for building the list of attrs

* Define LDAP sync callbacks for RFC 4533 servers

* Define LDAP sync callbacks for Active Directory

* Parse LDAP filters for Active Directory

to compensate for Active Directory's limitation when performing
persistent searches.

* Evaluate LDAP filters against packets received from Active Directory

* Define LDAP sync callbacks for directories implementing persistent search

* Add proto_ldap_sync_ldap to build

* Remove old proto_ldap_sync module and fix sync_touch.mk

* Update sample ldap_sync site

Quiet clang scan

Define pair_append_by_tmpl_parent() - simple vp allocation from a tmpl_t

Convert one last memset to fr_value_box_copy_unsafe() (CID #1508480) (#4694)

Annotate memmcpy() used to copy fr_pair_t (CID #1508479) (#4695)

Annotate false positive tainted_argument (CID #1419883) (#4696)

Coverity doesn't see that buffer[0] is checked twice, so
it can never be an invalid subscript for fr_packet_codes[].

Take out nonnull hint on _fr_dbuff_init() for coverity (CIDs below) (#4697)

Coverity assumes that the nonnull means we'll dereference the end
pointer... so leave it out when coverity runs.

CIDs: 1503895, 1503905, 1503907, 1503914, 1503915, 1503924
      1503956, 1503970, 1503973, 1503979, 1503980, 1503988
      1504000, 1504034, 1504035, 1504039, 1504040, 1504059

Shorten the name of the protocol encapsulation attribute

Make fr_internal_decode_list_dbuff simply decode as is

Any manipulation of the retrieved attributes should be done by the
caller

Make fr_internal_encode_list simply encode what is presented

Any wrapping of other protocols in the protocol encapsulation attribute
should be done by the caller

On RHEL >= 8 MySQL client libraries are in mysql-libs

fr_dlist_talloc_free_item returns previous item in list

So retain functionality for typed versions of the function.

Quiet clang scan

cleanups for clang scan

which notices that the regex_rhs() function returns an error,
but for some reason assumes that it returns a positive number on
error.

update message so that xlat-subst passes

and we get the real error from the underlying function, and
not the error from something else.

remove filter { ... }

Which was added earlier in v4 development.  No one uses it,
and we need to get rid of old-style update sections as soon as
possible.

point to certificate documentation, too

notes on where the new documentation is located

regenerate from source raddb files

peephole optimization for conditions

peephole optimization for logical &&, ||

simplifications

Annotate remaining false positives in sbuff_tests.c (CIDs below) (#4693)

CIDs: #1503906, #1503912, #1504003, #1504019

coverity doesn't recognize that fr_sbuff_out_bstrncpy_exact() and
fr_sbuff_out_unescape_until() will always put something in the
output sbuffs, if only a NUL terminator.

Annotate false positive uninit (CID #1504020) (#4692)

coverity doesn't realize that at this point ether is necessarily
initialized, with all the fr_base16_decode()s successful.

Silence coverity about fr_value_box_t assignment (CIDs below) (#4685)

CIDs: #1508477, #1508480, #1508482, #1508484, #1508486

1508482 just uses an initializer. For the rest, we create an
always-inlined function, fr_value_box_copy_unsafe(), to simply
copy the raw bytes from one value box to another. Since it's
a function, not a macro, the annotation should work. Since what
fr_value_box_init() was doing didn't work, it too uses the
function (and we had to move the box-to-box copy declarations
and definitions so it would be visible in fr_value_box_init()).

Make use of the fr_nbo_to*() functions where possible (#4691)

It appears to appease coverity complaints about tainted data.

More "update {....}" to edit against raddb/sites-available/* (#4684)

doc: Fix typo (#4683)

Annotate tainted data (CID #1455247) (#4686)

data, not *data, controls the loop in fr_radius_decode(). The packet
length is checked against byte-swapped data from the packet, but
discrepancies are errors, so it's not set to a tainted value.

Remove needless if (#4687)

There's no unused result--the comparison just checks slen, which is
used in the code startng with done:, which is always gone to.

add support for mod (%)

we now support native expressions in conditions

we don't need an empty dependency

Correct vendor calculation typo (#4688)

manually do the loops

because the previous code resulted in `EXPAND -> NULL`, and this
method doesn't

print the tainted flag, and do better indentation

let's be a little more forgiving about parsing conditions

convert xlat-string to the new method

Previously "cast to string" was "print to string" for everything
except octets.  For octets, it was "cast".  That inconsistency
causes issues.

Now, "cast to string" is "print to string" for everything.

If the user wants to *convert* data to a string, the %{string:...}
function can be used.

docs on ci-debug

have ubsan print stack traces

temporary migration tools

where we can enable / disable flatten / nested pairs at run time.

Tainted needs to be initialised

Correct test for building 2 leaf vps

Call tmpl_dcursor_build_init with correct args

Make the tmpl_dcursor_tests macros slightly less obscure...

Add TEST_CHECK_PAIR_NEQ

temporarily use the old condition code

because the new one (as yet) does not purify complex conditions.

We could call xlat_purify() from compile.c, or just manually
check the || and && when parsing in xlat_expr.c

if we set use_new_conditions, don't even parse the old ones

and remove the one test which no longer fails at load time.
The old code would check if the condition could at all be done,
such as assigning a value which is too large.

The old code would see that one side had a fixed data type, and
try to cast the other side to that data type.  The new code does not
(as yet) do this

check run-time variables for new conditions

and update the unit tests to use the new conditions, except for
a few cases which haven't yet been migrated.

allow setting of options via the command line for migration

We need to have the variables set before parsing the configuration
files, so their configuration can't go into the files.

we will need this after some cleanups

temporary migration tools

where we can enable / disable flatten / nested pairs at run time.

tests for flat / nested VSAs

add fr_pair_dcursor_nested_init()

which takes a pair dcursor as input uctx, and iterates over that
to produce value-pairs.

This is needed by the xlat / edit code

add fr_pair_dcursor_value_init()

which takes a pair_list_t, and then returns the relevant value-boxes

This is so that we can return the value-boxes to functions which
take a dcursor, and expect to see value-boxes out of it

Use TEST_CHECK_PAIR to improve test output

Add tests for fr_pair_append_by_da_parent()

Define fr_pair_append_by_parent_da() for automatic creation of nested pairs

plus macros for appending and populating pairs

Cast return value

Print out more about what we expected in the test

Add inverse of fr_pair_list_to_dlist

Annotate ifs that placate gcc but rile coverity (CID #1504005) (#4681)

unlang_function_clear() has the warn_unused_result attribute,
hence the seemingly pointless if statements about which
coverity complains. Annotation should silence coverity.

allow for and test &Foo := &bar[*]

Set path to use homebrew clang rather than Apple's version

remove nested unions

compilers are too dumb to notice that flexible array members
are fine when there is no field which follows them.

No need to output receipt files when debugging module tests

Add fr_internal_decode_list_dbuff() to decode an entire list of attributes

Internal decoder should always build nested attribute structure for TLVs

Add use of Protocol-Encapsulation attribute to internal encoder

Define fr_internal_encode_list() to internally encode a fr_pair_list_t

Typos

Revert "we don't need to mash everything to strings."

This reverts commit 5d227175ad3cf99db16180abf6e93db48220c591.

until we get time to do a few more tests

update after encoder change

use utility functions instead of memcpy()

more documentation updates

rename the alias files to something which isn't stupid

we don't need to mash everything to strings.

v4 supports bare

%{foo...}

which is better than

"%{foo...}"

More "update {....}" to edit against raddb/mods-*

More "update {....}" to edit against policy.d/*

just use a different method of initialization.  Helps with #4674

In all honesty, if there's no /dev/random on the system, we should
probably just call _exit(1).

fix use of arg_cnt vs arg_len

Catch NULL return from fr_value_box_alloc() (CID #1507889) (#4672)

Annotate false positive tainted_data on get_chunk() result (CIDs below) (#4671)

coverity doesn't realize the relation between node->bits and the
allocated space for node->trie.

CIDs: #1503960, #1503982, #1504064

Annotate false positive on NUL termination (CID #1504058) (#4669)

Coverity is faked out by check_library_exists(), which either
returns NULL (which the caller checks for) or returns a pointer
to a NUL-terminated string.