Adapt RFC4533 ldap_sync tests to validate new cookie store behaviour

Fix typo

CI: Bump freebsd vm action version

Ensure Python 3.10 used on MacOS until 3.11 supported

There are deprecated functions which break the build with Python 3.11

rlm_python is Python3

On some deb systems python-dev installs python-dev-is-python2
and hence python2-dev

Correctly detect working python when using gcc

gcc wants -l options after the source file - so populate $LIBS

Send correct cookie

sync->cookie is the latest received.
sync_packet_ctx->cookie is the one for the checkpoint we've reached.

Explicity ignore return code (CID #1516561)

Minor fixes

Slightly better messages

Print as much information as possible about why we failed waiting for a process

Don't print confusing PID, this is exeptected

Revert "Ensure there's no way linelog tests can conflict"

This reverts commit fb9e85ad6a41b323c19ded3b4e242a1dd5a6fe61.

Ensure there's no way linelog tests can conflict

Add -Wdeclaration-after-statement where supported (#4762)

* Add -Wdeclaration-after-statement where supported

This enforces one of the FreeRADIUS coding standards.
NOTE: I had to do a "make force-reconfig" to get the changes
made to configure.ac and m4/ax_cc.m4 to have an effect in
configure. This caused changes in thirty-five other configure
files that are unrelated to this change. I am including only
the changes to the files relevant to adding the above option
to CFLAGS, namely the files I explicitly changed and configure
itself.

We also add changes to fix the declaration after statement
instances this addition turns up.

* Don't declare vars in loops

* Don't declare vars in groups

Co-authored-by: Arran Cudbard-Bell <a.cudbardb@freeradius.org>

v4: Add functionality to rate limit LDAP sync store Cookie (#4784)

* Simplify arguments for ldap_sync_cookie_store

* Add config items for cookie store interval

* Add module instance to sync_state_t

And pass it to sync initialisation functions to populate the
sync_state_t

* Define structure for tracking sync packets

* Add list to sync_state for tracking pending packets

* Create sync packet ctx to track progress of each change

* Add counters for batching cookie storing

* Store received cookies in list of pending packets

rather than sending immediately

* Use counters to send cookies based on number of processed changes

* Use timer to send cookies on a periodic basis

We need to have cyrus-sasl-devel installed when building the LDAP packages otherwise we don't get SASL support

CI-DEB: 2nd instance of use "sid" in place of "bookworm"

Try to shift up to sbuff start as current sbuff can be child sbuff with no used space (#4761)

* Try to shift up to sbuff start as current sbuff can be child sbuff with no used space.

Co-authored-by: Arran Cudbard-Bell <a.cudbardb@freeradius.org>

Sync openssl version checks with tls/version.c

Only run self-hosted cleanup job on main repo

track the correct list, and still insert leaf attributes

Revert "ignore the inserted child list, not the parent one"

This reverts commit 0806bb103d9ac5840e0113ea89c920ac3474f06d.

ignore the inserted child list, not the parent one

remove dead code

CI-DEB: use "sid" instead of "bookworm" for NR debian repos

CI: Run on GitHub unless it's the main FreeRADIUS repo

manually enable / disable new conditions for tests

SQL uses SQL-Group, so use the old conditions here, too

upcast to 64-bits for integers

typo

CI: run sanitizers in a separate non-Docker job on GitHub

CI: fixes for when running directly on GitHub images

Fix dangling pointer issue (#4786)

clang may not realize that memcpy() doesn't keep the pointers handed
to it around, so there's no risk of the address of an auto being kept
past the caller's return, hence the "dangling pointer" warning.

Instead, head it off at the pass by immediately returning if len
is zero, so in needn't be set to the address of an auto; the only
explicit passing of NULL for in passes 0 for len. (Comments explain
how if len == 0, nothing changes in the context.) One could argue
for checking in rather than or in addition to checking len... OTOH,
shouldn't passing NULL and a non-zero len break loudly?

CI: disable sanitizers until we can work out why it deadlocks in Docker

CI: fix comment

Only run the main CI build on our infrastructure

Remove unused

push xlat condition parsing until later

to avoid having unused xlats hanging around when we parse
policies.

register function arguments if available

so that the parser can do the correct thing

add "don't use new conditions" for LDAP tests

so that when we "flip the switch" to always enable them, nothing
should break

Amend Active Directory persistent search tests for parallel runs

Amend persistent search tests to use different output files for parallel runs

Amend persistent search tests to use new entries

Add extra entries to 389ds test directory

CI: clean up docker cruft after job runs

Make the same fix for mkdirat

If the directory already exists then we need to provide a handle to it

Return the actual number of bytes processed, and the actual negative failure offset in fd_mkdir

Returning path - p where p is NULL results in a positive value

Unclear at this point why mkdirat is returning EBADF

Allow FR to start its LDAP persistent search before starting tests

Delete correct output file

Revert "Re-work ldap setup script"

ss is not available on self-hosted runners, and further
observation shows this is not the cause of the random
failures

Need to check for both...

*sigh* the real issue is path is not const

const

Fix comment on status line length in rlm_rest (#4783)

Don't return garbage when failing to create the top level directory

Don't lose the context for mkdir errors

Remove one fork() per utility invocation

It's fine if the dir we're making already exists

syserror isn't useful here, whereas our thread local buffer will be

Catch commands returning invalid codes

Pass mode when creating output files

Need sys/file.h

Prevent several race conditions in unit_test_attribute

Make writing as robust as possible

Move to node16 version of github actions

Remove deprecated set-output

Re-work ldap setup script

To check server is listening before attempting to add data

...and no one actually put the sneaky alias in FreeBSD

Except when a test sneakily creates a wrapper script

but then not so sneakily fails to catch all the previous sysctl instances

signal the request to cancel, too

nproc doesn't exist on freebsd

test: Quick wins by performing some tests in parallel (#4782)

Update tests to use different output filenames for parallel running

Amend tests to use new entries

Add extra entries to LDAP directory for parallel tests

Ignore returns from certain sbuff calls (CIDs #1504025, #1504070) (#4750)

These are cases in which sbuffs are either created from C arrays
or are allocated from the heap but given initial and maximum sizes.
The author(s) of the code presumably chose sizes intended to suffice,
but despite that, coverity will notice that the sbuff functions
used return a value, and hence will report check_return barring
either explicit cast to void or annotation. We therefore cast to void.

Check return of fr_pair_list_copy_by_da() (CID #1469148) (#4752)

Explicitly ignore the curl_mime_type() return (CID #1504071) (#4764)

* Check curl calls that allocate memory (CID #1504071)

This includes the curl_mime_type() call that gives rise to the
coverity defect, but also checks the mime and mime part allocations
that must work for body_init() to work.

* Formatting

Co-authored-by: Arran Cudbard-Bell <a.cudbardb@freeradius.org>

Check fr_event_timer_in() return value (CID #1503926) (#4774)

* Check fr_event_timer_in() return value (CID #1503926)

* Assert and error if we can't insert timer events

Co-authored-by: Arran Cudbard-Bell <a.cudbardb@freeradius.org>

tests: Ignore spurious output from jlibtool with VERBOSE=1 (#4781)

Add ability to set static headers to rlm_rest

fr_value_box_from_network: Fix NULL pointer dereference when truncating (#4779)

Annotate fs_check_call (CID #1271307) (#4778)

The unlink() call (the use of the toctou) does check its return
code. Also, it's not liwted among the UseSet functions in "TOCTTOU
Vulnerabilities in Unix-Style File Systems: An Anatomical Study",
https://www.usenix.org/legacy/events/fast05/tech/full_papers/wei/wei.pdf

Ignore fr_sbuff_in_strcpy() return in fr_pair_list_log_sbuff() (CID #1504278) (#4775)

sbuff is emptied each time through the for loop, and down this
path it will only contain the output of fr_dict_attr_oid_print(),
possibly preceded by "raw.". fr_pair_list_log_sbuff() is only
called from one place, which passes in an sbuff using an array
of 1024 characters. This should suffice to make appending " = "
always work.

Ignore fr_event_timer_in() return here, too (CID #154036) (#4773)

Like 1503936, this is in a callback and will reuse the idle
timeout event.

Deal with time of check/time of use complaints (CIDs below) (#4768)

1400053: the call coverity complains about is just there to
         determine why the dlopen() failed.
1445217: the fopen() return is checked, so any changes between
         the stat() call and it should be detected.
1503910: here, the unlink() return is checked

only NDEBUG

Add username to the REDIS auth command

typo

cleanups and fixes for #4777

Move common macros and includes to a common header file.

Create a macro which wraps OpenBSD's closefrom() in a macro,
so that the source code isn't littered with ifdef's

don't run this in parallel

update request_clone() so that it works

do perf updates before freeing the bits from the frame

add "interpret" section with instruction limiting pieces

add maximum instruction count for failure testing

CI: bump timeout

see if that's causing random failures

Fallback to `uname -n` on missing `hostname` in radtest (#4771)

This should work without inetutils being installed, so add a fallback.

Signed-off-by: Christian Hesse <mail@eworm.de>
Signed-off-by: Christian Hesse <mail@eworm.de>