Uase __coverity_writeall__() in fr_value_vox_init() model

add and use fr_pair_print_secure()

to omit secrets when printing pairs

add and support suppress_secrets

the default is to not suppress secrets.  Printing secrets is
suppressed if it's running as "-X" AND the configuration file
says to suppress them.  Otherwise the secrets are printed.

this behavior means that for most configurations, administrators
can see (and compare) the user passwords.  However, if the admins
want to suppress secrets, they can do so in their local
configuration.

define and use fr_vasprintf_secure()

which escapes / omits the contents of any value-box which is
marked "secret".

Note that we _cannot_ do this omission in fr_value_box_print(),
as that function may be used multiple times internally.  For example,
converting a clear-text password to CHAP via an MD5 xlat.  Those
values should be passed through unchanged.

As a result, we can only omit secrets in a new function, which can
then be used in debug / log functions which are known to be sent
to the admin.

There are still some pieces missing.

%pM prints a value-box list, and the fr_value_box_list_aprint()
function does not take a flag for printing secrets (or not).

%pP prints a pair, and the fr_pair_aprint() function also does not
take a flag for printing secrets.

The configuration files store data in CONF_PAIRs, which don't use
value-boxes.  So any shared secret is still printed in debug mode.

set secret flag in fr_value_box_init()

which unfortunately means rearranging the header file includes
a little bit.

define escaping rules for secrets

Through the simple expedient of mashing all characters to '.'

The length of the secret still leaks, but that's not too bad.

As escaping is only done for data types "string" and "octets",
other secret values will not be escaped.  Perhaps we can fix that
later if we care.

add secret flag to dictionaries and value-boxes

parse the "secret" flag in dictionaries.  RADIUS sets the "secret"
flag for encrypted attributes

swap order of evaluation again

Revert "start setting migration flags"

This reverts commit 437b402b8977df1b125b4cb857a3a169f0091158.

let's see if this makes the imap tests run again...

remove all tests we don't want, instead of using elsif

add and use "safe" fields for LDAP and SQL

which means that if we escape data once, it is not escaped again.

For SQL, the escape function is tracked per driver.  So you can't
escape something for MySQL, and then later use it for PostgreSQL
without that _also_ being escaped.

define macro for automatically setting "safe" values

"safe" values can still be tainted.

Users of that data who understand this particular value of the "safe"
flagmar can then ignore the "tainted" flag, and use the value as if it
was untainted.  Every other user of the data must still treat it as
tainted.

fr_value_box_alloc() does not need to take a "tainted" flag

a bare box is not tainted.  In the few cases where the data is
tainted, it is copied from a tainted source via fr_value_box_copy(),
which also copies the tainted flag

ancestors must be structural

member_num starts at 1, not 0

add fr_box() generic

which only works for some leaf types, as there string / octets
types need also to deal with length and talloc issues.  Other types
like ipaddr need to check the contents of the source.

start setting migration flags

more change vp->da->type to vp->vp_type

vp_type and da->type are allowed to be different for COMBO_IP

ensure that vp->vp_data is initialized correctly

remove unused function

change vp->da->type to vp->vp_type

not only is it friendlier to cache locality, it's more correct
because of things like FR_TYPE_COMBO_IPADDR, where the realized
vp->vp_type is different from the theoretical da->type

Make debug_ policies a little simpler

Removes some noise from the debug output

There is no coa list anymore

clean up

delete advice and descriptions which are ancient and out of date

make fr_tacacs_packet_log_hex() take and check a length field

Clarify "session" section in TACACS virtual server

Update password attribute references to use Password.xxx format

add macros fror pair_nested_tests

move switch to array lookup

more checks

seems like a heisenbug?

remove update

and re-enable additional check, as the APIs have been updated
as per the comment which disabled the test

remove update

simplify test_fr_pair_list_copy_by_ancestor

note migration flags for tests

re-enable test which over-writes default list

don't use "update"

don't automatically create the key field for nested structs.

The old code didn't do it, so we shouldn't do it either.

update fr_pair_list_copy_by_ancestor()

if we see a TLV, we just copy that.  The function can then work
both with nested and non-nested attributes.

we don't need to pass "count", as the only caller always says
"copy all of them"

Fix auto-added strerror header

Revert "assert that the channel has no running requests before ACK close"

This reverts commit bdec27409cda11b9432c583748bfac69241a118b.

assert that the channel has no running requests before ACK close

and cancel all of the related requests when the worker is signalled
to exit.

add parse_new_conditions migration flag

and set it to "true" by default.  So that the condition tests
will all be run through both the old fr_cond_tokenize() function,
and the new xlat_tokenize_condition() function.

mdd migration flag for nested pairs, and test it

Pacify Coverity (CID #1506302)

Extract packet code even if body is not encrypted

Revert "revert DHCPv6 struct_nested patch"

This reverts commit 500ee71862765d26694e52b41169958406347334.

it helps to initialize fields

Fix hangs/crashes on exit if thread instantiation fails

network: Use an explicit exiting flag instead of a started flag

atexit: Support checking if the thread is exiting

Use filename from PAIR_LIST in debug output

Gives the correct file that the entry was originally read from

More user name -> key in rlm_files debug output

Add tests of < and > comparison in rlm_files

And exercise use of $INCLUDE

revert DHCPv6 struct_nested patch

It seems to randomly set the flag to "true" locally and in CI.
even though ASAN doesn't complain

add decode flags for nested structs

nothing uses them right now, but it's a good way to track what
needs to be changed.

add -S pair_legacy_nested=true

and set it for keyword tests.

Except for map-xlat-struct, which calls fr_pair_afrom_da_depth_nested()
with a struct that has a "key" field.

update pair.c to correctly create and auto-populate the key field,
and create the child struct correctly.

map-xlat-struct fails because the output now contains a key field,
and is nested.  But that is easy enough to fix when we move over
to fully nested.

rlm_files are not just keyed off user names

Cast pointer to correct type

Reference the correct list for comparisons in rlm_files data

If it's internal attriubtes - stay with the control list
Protocol attributes are compared in the request list

add and export migration flag for pair_legacy_nested

more debugging

Check for error return from fr_sbuff_in_bstrncpy() (CID #1503901)

more debug output

Rewrite length check so coverity will recognize it (CID #1445221)

As the result of byte-swapping, coverity considers it tainted. It
appears that coverity only recognizes comparisons with the alleged
tainted value on the LHS as validation, so we rewrite the check
as an equivalent chack that coverity wil recognize.

add tests for DEFAULT and User-Name==

The == comparison doesn't work. :(

clean up fr_pair_list_move_op() and uses

some users didn't free the source list.  But it should really have
been freed.  So we move the free into fr_pair_list_move_op()

and do other minor cleanups of the function and users

If parsing attributes fails, discard temporary list

Pacify Coverity (CID #1538294 and #1538293)

add missing file

Minor debug message improvements

update for tested VPs

if we set the nested flag "true" and edit the tests, they should
all now pass.

split out separate function

so we can create nested VPs, starting from an intermediate point

move tmp_list to caller

because the fr_pair_list_afrom_file() function already created
a temporary list.  So there isn't much point in creating an
additional one.

Quiet both Coverity and clang scan

The xlat is %{urlquote: } not %{urlencode: }

Pull side effects out of TEST_CHECK() (CID #1538288)

use correct number

parse conditional filters in attributes

&Foo[&bar == baz]

None of this works for a bunch of reason.  See filter.txt for a
discussion.

* filtering on leaf attributes needs to be double-checked for
  good and bad things

ok: &User-Name[&User-Name == 'bar']
better: &USer-Name[=='bar']
bad: &User-Name[&Filter-Id == 'bar]

  It's probably simplest to just allow the first syntax. It's
  redundant, but not wrong.

  We then need to update the tokenizer to walk over the condition,
  and ensure that the only attribute used in the condition is the
  leaf attribute which we are checking.

* the tests are for conditions, but we do want to allow filtering
  on group attributes:

&TLS-Certificate[&Common-Name == 'foo']

  but the conditions don't allow comparisons on groups:

&TLS-Certificate == ...

  So it makes sense to forbid

&TLS-Certificate[&Common-Name == 'foo'] == ...

  until such time as we do allow conditions on groups.

* tmpl_dcursor now has an assertion if you try to use conditions
  in filters.  We still need to write the run-time evaluation code
  which checks if the condition matches.

Add missing libraries to libfreeradius4 deb package

And sort into alphabetical sequence

add tests for fr_pair_list_afrom_file()

and update the code to produce more descriptive error messages

framework for allowing nested attributes via internal flag

which is always set to 'false' for now.

clean up and regularize messages

quiet coverity

check returns.  CID #1503939  Fixes #5103

use patsubst instead of foreach / eval

eval requires more layers of indirection

Fix 'process' dict setup by protocols

process tests don't need to listen on the network

add support for test.process.dhcpv4, etc

remove debugging information

tests: Add process tests for dhcpv6

tests: Add process tests for dhcpv4

The automatic state machine is now working correctly for ASCII auth

Add TACACS authentication type to cached attriubtes

It is not in Authentication-Continue packets and caching it helps with
automatic selection of Auth-Type

Check TACACS authentication type using pair

The packet available here has an encrypted body - so
packet->authen_start does not point at the bytes that make up the start
of an authentication packet body.

Copy additional attributes into the session cache on multi packet auth

Add debugging to session caching and restoring

Populate appropirate attribute from user_message

We requested either user name or password with an appropriate "get"
reply - so put the replied data in where it makes sense.

Use correct code to test for "get username" reply