tls/verify: implement allow_not_yet_valid_crl (#4181)

Add fr_heap_verify() and FR_HEAP_VERIFY() (#4274)

FR_HEAP_VERIFY() invocations are added to fr_heap_test() to confirm
that the verify function works.

v4: Add additional LDAP tests (#4276)

* Add extra entry to test LDAP directory for escaped char matching

* Add tests of %{ldap: } xlat

* Tidy ldap map test - and allow for ldap search results not being fixed order

* Add extra ldap xlat tests

* ldap_debug option is only parsed in the global section

* Add meaningful libldap debugging to tests

* Add secondary LDAP server to CI tests

Allows for referral tests and xlats calling a different server to the
module configured one.

* Add subordinate dc to base.ldif for referral test

* Add tests for referral and requesting an alternate LDAP server

* Add extra LDAP entries for multiple hop referrals

* Test multiple hop LDAP referrals

* Tidy ldap auth test

* Tidy LDAP accounting test

* Tidy LDAP group tests

* "by anonymous auth" needs to be before any "to *" otherwise auth doesn't work

* Add LDAP bind authentication to tests

* LDAP map now returns correct codes

* Add SSL connection to test LDAP server

* Add test SSL LDAP server port to CI config

* Add a second ldap test module instance using SSL

* Add third instance of ldap module using StartTLS

* Add test using SSL connection to LDAP server

* Add test using StartTLS connection to LDAP server

updates based on better / saner fr_dns_packet_ok()

remove unused code

update to handle more than 3 layers, and correctly edit the files

with many more comments and better names

minimum includes

typo

more cleanups and less work

remove more unneeded headers

and make sure that the necessary headers are included

remove unnecessary includes

clean up includes.

tcp.h is used only in src/protocols/radius, and so shouldn't be in
src/lib/server, or in src/listen

many things in src/protocols included server/base.h, which makes
no sense, as nothing in them uses any of the server functions

many things included util/base.h, when they only used a tiny
subset of the headers.

Removing dozens of includes from each C file should speed up
compilation.

include necessary header

let's include all of the headers

update, and don't process files repeatedly.

move script makefiles to the scripts/ directory

Add option to exclude tag in decrypted pseudonym

Add null to the type table so we can print it correctly

Don't add cast attribute for "null"

Some cosmetics around the scripts/util/pcap2decode-proto.py (#4260)

typo

Manual merge of #4260

Packets from https://github.com/the-tcpdump-group/tcpdump/tree/master/tests/dns-badcookie.pcap

ensure it has_length

more checks on packet sanity

more errors and more pointer validation

add finer-grained errors

v4: Fixes for tls and sasl LDAP connections (#4275)

* Free old result before the new one is fetched, not after

* Zero timeout actually causes async connections to hang

* Handle fd discovery for sasl and start_tls the same as simple bind

* Interactive SASL callback needs to set lengths on replies

* Better SASL debug message - if we already have a result then we're continuing

* bind_ctx is parented off the connection - so signalling that the connection...

... is in error will do the free

* Add request to fr_ldap_referral_t

So we know what request to resume when the reply comes

* Use the correct freeing routine for berval

fix errors

better sanity checker for DNS packets

make fr_dns_ok() return a reason why the packet is bad

and push that through the rest of the code, and the test cases

fuzzer-fetch-artifacts: Align with artifact name and contents; better usage (#4271)

Use the same SBUFF init macro as dbuffs

Add more macro options

Use the same macro names as dbuffs

CI: add Rocky 8 in prep for CentOS 8 EOL

YAML shell scripts are stupid.  GNU make is evil, but functional

nope.

whoever decided to use YAML for shell scripts is an idiot.

one more try to make the magic github workers happy?

no need to dump out the entire fuzzing to the main actions log

Revert "no need to dump out the entire fuzzing to the main actions log"

This reverts commit 7b5697af0e1fa23898307c7514ce230c3964b561.

no need to dump out the entire fuzzing to the main actions log

ldap: Don't leave the ldap handle's fd in the event loop when we're closing the connection

ldap: Process all the attributes in the result, not just the first one

ldap: Signalling the treq is complete is the _last_ thing we should do

ldap: Retry ldap_result if it's the first loop through the demuxer

...the demuxer was called for a reason.  It's unlikely we'd get a read notification on the socket and there _really_ be no result.

ldap: Slightly easier to parse message

ldap: If the connection is bad, reconnect it

ldap: The on close watcher should be oneshot

otherwise we accrue onclose watchers pointint to fr_ldap_connection_t that have been freed

ldap: It's fine if the request goes into the backlog

ldap: Remove ttrunk and request from fr_ldap_query_t as they're no longer needed

ldap: Move synchronous evaluation into fr_ldap_trunk_search and fr_ldap_trunk_modify

ldap: Use query->treq->request in request_mux and request_demux

ldap: Pass parameters to referal code explicitly

ldap: Rename t to ttrunk in ldap_trunk_request_demux (to be consistent with everywhere else)

ldap: Only do URL parsing when we're allocing ldap queries

ldap: Make ldap_query_timeout work for ldap queries without requests

ldap: Expand arguments passed to custom result parser

Rework trunk type discovery to be a bit more efficient

ldap: Add thread local dummy handles to pass to functions which don't really need a handle

ldap: Remove redundant typedef for fr_ldap_query_t

ldap: Make fr_ldap_parse_url_extensions a little more generic and friendly

ldap: Add specialised query alloc functions

ldap: Validate the preq

ldap: Add default hombrew paths for libldap

add fr_time_scale() and use it when parsing times.

so that we can clamp the times at min/max values, if the user
gives us something which is out of bounds.

we still need to fix value_box_from_network for DATE, as those
values are unsigned.  And also fix the various casting functions
to clamp the relevant values.

ensure that input buffer is zero-terminated

most instance things use "type" instead of "name"

so change this for consistency

Rewrite lst_validate() as fr_lst_verify(), with FR_LST_VERIFY() macro (#4263)

Using the foo_verify() parameter convention had the nice side effect
of bringing useful const qualifications to some function parameters
in some functions.

add fuzzer for string parsers

we know things will likely crash because some string parsers
don't respect "end".  But it already caught some issues.

more checks

check for bounds before accessing memory

initialize only as much as necessary

v4: Move rlm_ldap to use trunk connections in place of connection pool (#4265)

* Amend fr_ldap_map_do to take LDAP handle instead of fr_ldap_connection_t

* Amend rlm_ldap_find_user() to use trunk connection

* Amend rlm_ldap_check_access() to take LDAP handle

* Amend rlm_ldap_check_reply() to take trunk connection

* Amend rlm_ldap_group_name2dn() to take fr_ldap_thread_trunk_t

* Amend rlm_ldap_group_dn2name() to take fr_ldap_thread_trunk_t

* Amend rlm_ldap_cacheable_userobj() to take fr_ldap_thread_trunk_t

* Amend rlm_ldap_cacheable_groupobj() to take fr_ldap_thread_trunk_t

* Amend rlm_ldap_check_groupobj_dynamic() to take fr_ldap_thread_trunk_t

* Amend rlm_ldap_check_userobj_dynamic() to take fr_ldap_thread_trunk_t

* Amend LDAP mod_map_proc() to use fr_ldap_thread_trunk_t connections

* Amend rlm_ldap_groupcmp to use fr_ldap_thread_trunk_t connections

* Amend mod_authenticate to use fr_ldap_thread_trunk_t connections

* Amend rlm_ldap_map_profile to take fr_ldap_thread_trunk_t

* Amend user_modify to use fr_ldap_thread_trunk_t connections

* Amend mod_authorize to use fr_ldap_thread_trunk_t connections

* Amend mod_authenticate() to use async bind in place of fr_ldap_bind()

* Amend mod_authorize to use async LDAP bind in place of fr_ldap_bind()

* rlm_ldap no longer uses a connection pool

* Parse trunk config for LDAP trunks

v4: Protect LDAP connections from being freed when there are outstanding queries... (#4267)

* Use correct DN string in debug message

* Use query type to identify LDAP searches

* Protect fr_ldap_connection_t from being freed if there are pending queries

* Add watcher checking for outstanding queries when an LDAP connection closes

* Alter _ldap_query_free() to free the associated connection if it is closed ...

... and has no other queries associated with it

* Queries are removed from the pending tree by the query destructor

* Improve handling of un-expected results retrieved from libldap

* Don't free LDAP results just because an LDAP error was returned ...

... if the caller wants the results, it may want to query them
regardless of success or failure.

* Add debug message for auth bind reject

* Free the bind_auth_ctx when we've finished with it

* Improved version of _ldap_bind_auth_io_read()

- handle fr_ldap_result() returning no result
- handle LDAP_PROC_REJECT
- use a normal while loop

don't use talloc if we're not using talloc

just make them thread-local

if the atexit stuff crashes, then we don't use it

initialize as needed, not globally

minor rearrangement for speed

comparing pointers is faster than a function call, so let's
do that first

remove unused function

Gcc doesn't support handle markup

Mark up functions/apis with explicit acquire/release semantics

docker: debian sid needs NR extras repo for up-to-date libkqueue

move dns_labels to thread-local variable

because we don't yield when decoding the DNS packet.

Dedup const code

when we read a fake packet, mark the pairs as tainted

which should help the rlm_rest test cases

json: skip raw attributes

They tend to have binary stuff that gets incorrectly encoded and
breaks the json output

push markup buffer to proto_dns, too

add marker array for tracking where labels can point to

pass require_ma to fr_radius_verify()

add require_ma flag to fr_radius_verify()

things from config files are not tainted by default

exec_legacy already calls fr_pair_list_tainted(), as the output
of exec is rather less trusted than the config files.

Update the internal tests to remove the tainted flag.

don't convert octets from hex, and don't unescape strings

nope

let's add one more check

Return the correct type on error

Add fr_pair_list_dcursor_init and fr_pair_list_dcursor_talloc_init

Use pair list specific iterators for initialising pair dcursors

Remove one instance of dcursors

Remove commented out code

Implement dcursor insert and remove callbacks

CI: temporarily remove rawhide due to docker clone3 bug

as per https://github.com/actions/virtual-environments/issues/3812

Use up to date function

Possibly fix overflow?

Enforce is_const in the dcursor API

Abort or return if a modification attempt is made on a const list