rearrange as per new outline

some updates for the new dictionary functionality

Add tests for pairs (#3767)

* dict: Add new fr_dict_alloc() API function

It allows to create a new dictionary entry.

* :gear: Add tests for src/lib/util/pair.c

* :gear: Add tests for src/lib/util/pair_legacy.c

* :gear: Add tests for src/lib/server/pair.h

Build: Always build with Python 3 on CentOS (#3813)

Since we're saying goodbye to Python 2 with
04f6485155ecdcaaca0d8fff6cc2fe7bee94c391.

updated from the config files

if there's no input, we don't need to convert it to hex

Update Aruba Dictionnary (from ClearPass 6.9.4) (#3812)

* Update Aruba dictionary (Add STP-Admin-Edge-Port)

From ClearPass 6.9.4

* Update Aruba dictionary (Add UBT-Gateway-CPPM-Role)

From ClearPass 6.9.4

ensure that there is a target for $(BUILD_DIR)/tests/eapol_test

this is an attempt to fix commit bcc1e8ac7

fr_sbuff_is_terminal() returns true on !tt && EOF

Marker idx should be signed for convenience

Sign comparison

Make log_request_marker more similar to fr_log_marker

Fixup map_afrom_substr  and users file parser to use enclosing terminals for whitespace checks

...and return a negative offset on error.

Add standard log marker function

Have fr_sbuff_adv_past_allowed take a liter of terminals

Fix map.c to pass terminals instead of modified whitespace char arrays

Correct issues turned up by clang address sanitizer (#3807)

These fell into two classes:
* not freeing buffers created by fr_[sd]buff_init_talloc() in tests,
* trying to reterminate sbuffs in fr_sbuff_shift() by
  putting a '\0' past the end

Add terminal chars to adv_past_whitespace

re-enable many tests, and add more

remove duplicate target

No unescaping being done....

Add eofish support to terminal checks

remove FLAG_HAS_REF

it's now in the dictionary extensions

follow references for non-group attributes

fixup ALIAS to work

ALIAS name ref

produces an attribute in the dictionary root which is a reference
to "ref"

Quiet lsan

Use correct free function

Probably want to free the path before finalizing

Unused

More build fixes

Build fixes for python3

Use a simpler function for string conversions

Seeing as we're not doing any escaping

Fix docs for logging function

Fix weird formatting

Nuke the cext tests (no longer supported) and change the module name to freeradius

Strip Python 2 support

Add "extensible" dbuffs that read data from a file and relevant tests. (#3761)

CI: Set default DICT_PATH globally for tests (#3806)

* CI: Set default DICT_PATH globally for tests

* Build: Create eapol_test target directory

This is a partial revert of c27c6192132f390e335caed3e1415e91523f795a.

CI: Package tests: Use the system's dictionary (#3805)

Change FR_DBUFF_UINT64V_OUT_RETURN() to FR_DBUFF_OUT_UINT64V_RETURN() (#3800)

...thus making it consistent with other functions and macros for reading
data from dbuffs.

CI: Package tests including reuse of eapol_test tests in post-install context (#3789)

* CI: Package tests reusing eapol_test tests in post-install context

* Allow eapol_test tests to be run in post-install context

We want to minimise the requirements for the post-install environment so we use
a simple top level Makefile to set things up.

* Remove in-workflow checks for PAP and EAP-TLS auth

check for lengths of ipv6addr and ipv6prefix

decode malformed TLVs as raw.

And add tests

if we fail decoding the value, then create a raw VP

otherwise the packet decode will fail, which is not what we want

Remove redundant cast.

simplify fr_dhcpv4_array_members()

and make it agnostic of data types

add function which converts one map_t to fr_cond_t

in preparation for using it in rlm_files

use entry->filename

which now gets the correct filename, even if it was $INCLUDE'd
from somewhere else

cache filename, too

check against NULL, not integer>0

make PAIR_LIST use maps

we still require changes in rlm_files to use maps natively.
Right now, it still converts them to VPs and compares the VPs.

Once rlm_files supports maps, it can once again support regular
expressions in the "users" file, and full list qualifiers anywhere.

"-=" is an allowed operator in the "users" file

this is the correct output.

For some reason the PAIR_LIST / rlm_files module does not produce
this output.  However, the commit to use maps does produce the correct
output

make the tests depend on the module being tested

use the $(DIR) from boilermake

not the directory of the last makefile which was included by
something.  For tests/modules, that gets one of the other
makefiles which were included

don't confuse the poor reader

if there's no output file, the output goes to STDOUT, not to
the input file.

Fixing this message means that the poor reader won't wonder WTF
is going on with the input and output being the same.

don't cast values for "=*" / CMP_TRUE operator, as it has no values

add unlang_interpret_is_resumable() and use it in worker.c

so that we can IMMEDIATELY tell if we have logic errors, as was
fixed in the previous commit.  Otherwise time spent debugging is
time wasted.

change name to "mark" resumable

which is clearer, and lets us add a check for *is* resumable

when returning YIELD, ALSO set p_result == YIELD

otherwise worker.c has no idea that the function yielded, and
just uses the default return code to do ??? something.

Pass whitespace parameter to map_afrom_sbuff

add whitespace and blank character classes

whitespace skips \n, blank does not

don't try to read / shift the buffer if we hit EOF

doing so causes the data in sbuff to be shifted left, even
_after_ we hit EOF on a previous call to this function.
Which then messes up all of the callers, who expect it to _not_
change when this function does nothing.

This is just a hack which works.  Underlying issues may still
need to be resolved.

Pass through the group head correctly

Doxygen text for strerror

Can't inline vprintf functions

Remove the NUL termination from fr_sbuff_extend_file(). (#3797)

This entails a change to test_file_extend() in sbuff_tests. You can't simply
strcmp() with the buffer contents, but must instead use sbuff routines, since
they honor the buffer end pointer and ignore trailing leftovers.

Add benchmarks for strerror

Test strerror_printf_benchmark...               printf pop rate 634920
[ OK ]
Test strerror_const_benchmark...                const pop rate 18867924
[ OK ]

More efficient function for unlinking all items from a list

Convert fr_strerror_printf calls to fr_strerror_const as the latter is significantly faster

Strip error pointer from tmpl_preparse

Emit DHCPv6 decoder errors using the thread local error stack

Allow const strings to be pushed onto the error stack

typo

Missing inline keywords

Enumv extensions don't always contain hash tables

Do hash table finalisation when the dictionaries are marked read only

Rework fixup code

Correct parameter list for _tmpl_cursor_list_init()

Correct function signatures - fr_pair_t ** -> fr_pair_list_t *

Amend function calls that use fr_pair_t ** and fr_pair_t * for lists to use fr_pair_list_t * (#3731)

* s/fr_pair_t **/fr_pair_list_t */ in radclient.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in radsniff.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in state_machine.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in map.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in exec.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in map.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in pairmove.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in rlm_client.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in rlm_csv.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in rlm_json.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in rlm_mruby.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in rlm_passwd.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in rlm_perl.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in rlm_python.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in rlm_radisu_udp.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in rlm_sql.c function calls

* s/fr_pair_t **/fr_pair_list_t */ in tmpl_eval.c function calls

* Amend rs_get_pairs() to take fr_pair_list_t *

* Amend radsmnp_get_response() to take fr_pair_list_t *

* Amend radsnmp_set_response() to take fr_pair_list_t *

* Amend eap_packet_from_vp() to take fr_pair_list_t *

* Amend eap_chbind_vp2packet() to take fr_pair_list_t *

* Amend fr_aka_sim_encode() to take fr_pair_list_t *

* Amend client_error_debug() to take fr_pair_list_t *

* Amend sim_start_selected_version_check() to take fr_pair_list_t *

* Amend sim_start_nonce_mt_check() to take fr_pair_list_t *

* Amend vector_opc_from_op() to take fr_pair_list_t *

* Alter vector_gsm_from_ki() to take fr_pair_list_t *

* Alter vector_gsm_from_triplets() to take fr_pair_list_t *

* Alter vector_gsm_from_quintuplets to take fr_pair_list_t *

* Alter fr_aka_sim_vector_gsm_from_attrs() to take fr_pair_list_t *

* Alter vector_umts_from_ki() to take fr_pair_list_t *

* Alter vector_umts_from_quintuplets() to take fr_pair_list_t *

* Alter fr_aka_sim_vector_umts_from_attrs() to take fr_pair_list_t *

* Alter fr_aka_sim_vector_gsm_umts_kdf_0_reauth_from_attrs

to take fr_pair_list_t *

* Alter fr_aka_sim_vector_umts_kdf_1_reauth_from_attrs()

to take fr_pair_list_t *

* Alter fr_json_afrom_pair_list to take fr_pair_list_t *

* Alter fr_redis_cluster_alloc() to take fr_pair_list_t *

* Alter fr_exec_pair_to_env() to take fr_pair_list_t *

* Alter radius_start_program to take fr_pair_list_t *

* Alter radius_exec_program() to take fr_pair_list_t *

* Alter fr_exec_nowait() to take fr_pair_list_t *

* Alter fr_exec_wait_start() to take fr_pair_list_t *

* Alter exfile_enable_triggers() to take fr_pair_list_t *

* Alter log_request_pair_list() to take fr_pair_list_t *

* Alter log_request_proto_pair_list() to take fr_pair_list_t *

* Alter module_exfile_init() to take fr_pair_list_t *

* Alter fr_pool_enable_triggers() to take fr_pair_list_t *

* Alter radius_pairmove() to take fr_pair_list_t *

* Alter trigger_exec() to take fr_pair_list_t *

* Alter unlang_module_yeild_to_tmpl() to take fr_pair_list_t *

* Alter mod_ensure_start_timestamp() to take fr_pair_list_t *

* Alter eap_fast_processs_tlvs() to take fr_pair_list_t *

* Alter eap_peap_inner_from_pairs() to take fr_pair_list_t *

* Alter fall_through() to take fr_pair_list_t *

* Alter sql_fall_through() to take fr_pair_list_t *

* Alter fr_arp_encode() to take fr_pair_list_t *

* Alter fr_dhcpv4_encode() and fr_dhcpv4_encode_dbuff() to take fr_pair_list_t *

* Alter fr_dhcpv6_encode() to take fr_pair_list_t *

* Alter fr_raidus_encode() and fr_raidus_encode_dbuff() to take fr_pair_list_t *

* Alter encode_tags() to take fr_pair_list_t *

* Alter fr_tacacs_encode() to take fr_pair_list_t *

* Alter protocol encode test functions to take fr_pair_list_t *

* Alter RAD_COMPARE_FUNC() to take fr_pair_list_t * for lists

Plus make parameter names more consistent.

* Alter paircmp() to take fr_pair_list_t *

Also, amend call to paircmp_func() to be consistent in use of lists vs
individual VPs.

* Make parameter names more consistent and improve comments in paircmp.c

* Amend unlang_tmpl_push() to take fr_pair_list_t *

* Missing pair list initialisation calls

* Duplicate args list in exfile_trigger_exec()

Revert "Revert "do ENUM fixups before anything else""

This reverts commit a3e8aed9443a73d0a261ad6f60b2209fe080e9ea.

done in error

:gear: Add and document tls_min_version

Revert "do ENUM fixups before anything else"

This reverts commit aa4e38fc1c95ebaed93c2977ad8c4b411806a54a.

add rules for "test.eap.tls"

so we can run individual tests

clean up

* don't use a "skip" file.
* don't run the "eapol_test-build.sh" script on every "make test"
  invocation
* cache the results of building EAPOL_TEST in tests/eapol_test/eapol_test.mk
* fix the "clean" rule when eapol_test isn't being built

do ENUM fixups before anything else

which ensures that any later CLONE is also copying the relevent
ENUMs

revert to working version

until such time as we fix the code

move "sort" call to TEST_BOOTSTRAP

so we have deterministic builds everywhere

add post-make / clean rules

so that we can update the build system to load (and clean)
the libraries we built

include scripts/build/all.mk before src/all.mk

so that they are built first

fix to use LIBRARY_EXT and correct names

reorganize

moved without changes

Give do_mruby() an additional parameter and change its return type (#3790)

This change lets do_mruby() use the RETURN_MODULE_* macros,
which presume the existence of a parameter of type rlm_rcode_t *
named p_result and return the unlang_action_t which the
functions defined by uses of RLM_MRUBY_FUNC() expect.

With it, src/modules/rlm_mruby/rlm_mruby.c compiles and passes
clang static analysis.

Simplify version comparison function

CI linter: Fix regex to match files in root directory (#3788)

LDAP configure.ac fix; Optionally omit LDAP from RPM builds; CI build for recent Fedora (#3787)

* ldap configure.ac: Match character mangling performed by user options parser

* RPM: Allow libfreeradius-ldap be omitted from build

... using rpmbuild ... --without ldap

Mostly for CI package testing with Fedora with does not have LTB
packages.

* CI: Enable package build with recent Fedora

Aim is to use Fedora Rawhide rolling release but it currently has a glibc bug
that means that CI throws permissions errors.

Add logging infrastructure and version comparisonfunctions to make

allow re-building of individual "configure" files

and work around autoconf crap, where it touches the inputs,
so that the outputs are almost always out of date.

Require cURL >= 7.56.0 for rlm_smtp (#3785)

* Require cURL >= 7.56.0 for rlm_smtp

Uses rlm_mime_init() el al.

* Perform software version comparison for rlm_smtp in GNU Make