nfs3: add test for readdirplus records

Required for nfs3_records unittests
4e2edd44aa08f08286001701ec0860c6638625d5

Task #4866

tests: add test for smtp extract url schemes

tests: set minimum version to 6 for 4877

tests: add bug 1450 tests

detect/bypass: add test for detect-bypass

Task: 4911

http-response-line: add unittests

Task: 4911

http-request-line: add unittests

Task: 4911

detect-proto: add tests for detect-engine-proto

Task: 4911

tests: Prevent errors when testing threshold.config

This commit causes the tests to use a known, valid reference.config
file for the tests. With the introduction of reference.config file
validation, those errors will occur before threshold.config is
validated.

tests/reference: Reference.config validation

This commit adds tests for reference.config file validation.

Test 1 uses Suricata's test mode with an invalid formatted file while
test 2 runs Suricata in inspect mode with the same invalid file.

test: Specify reference config file

pgsql: fix tx direction for tests

bug-4877: add test for stream-tcp-reassembly issue

dcerpc: use new sticky buffer keywords

smb: add dce_opnum tests

smb: add dce_iface tests

dcerpc: add dce_iface test to match many request/responses

dcerpc-iface-01: update alert count to also match response

tests/quic: change min-version to 7

Quic was released with Suricata 7.0

quic: convert pcap-ng to pcap

tests/quic: add sni test

quic: update for new quic.version

quic: gquic tests for cyu hash and alerts

pcaps taken from this redmine attachement:
https://redmine.openinfosecfoundation.org/issues/3440#note-8

runner: only set ASAN_OPTIONS if not set

This allows the caller to override the ASAN_OPTIONS if needed.

tests: add basic telnet test

tests: split frame tests into their own tests

These are all copied from other tests.  As new rule keywords
were added these tests needed to be recreated with the min-version
set to 7.

tests: update several tests to test frames support

tests: add pgsql tests

These tests cover an assortment of pgsql authentication methods,
simple queries, error response messages, as well as SSL handshakes,
both rejected and accepted (w/ start tls enabled). Non-verbose log style
is enabled.

Related to task #4241

detect-modbus: add tests to modbus

Task: 4911

detect-hostbits: convert unittests

Task: 4911

dns-z-bit: test dns z-bit alert and logging

Tickets: 4515, 4924

general: Typo fixup

smtp-starttls: test logging of smtp txn after startssl

For ticket https://redmine.openinfosecfoundation.org/issues/4817.

runner: convert runtime exceptions to TestError

Convert exceptions from code errors (well, any unexpected exception)
into a TestError. This allows the test to be reported as failed.

I think because tests are run in separate processes, its harder to
catch these sorts of errors.

runner: wrap file compare exceptions in TestError

If filecmp.cmp failed with an exception due to a missing file,
its exception was being lost due to another issue in the runner.

For this case it makes sense to catch this exception and wrap
it in a TestError exception as its most likely a missing file.

tests: fix 4710 tests where reject support is missing

tests: test for security ticket 4710

ssh-banner: remove version check

Add test about enip keywords

runner: make env string safe before substitution

The environment cannot always be used safely with
string.Template as not all environment variables
are string safe.

Before substituting environment vars in the command
and args, sanitized to string safe values.

datasets-05-state: fix pcap file

Broke in commit 13a538ed3b752e4c34830cdf973435ab3160cf8c.

Revert "tests: disable dataset test with broken path handling"

This reverts commit 0bd6984e1249778d6668dd4a906d42a53481279f.

runner: pass environment to shell checks

This allows a shell check to know where to found the output
directory.

This will allow us to revert 0bd6984e1249778d6668dd4a906d42a53481279f.

tests: disable dataset test with broken path handling

ci: test --outdir

runner: more detail when shell check fails

smtp/rfc2231: lock min version at 7

dataset tests: use args instead of full command

All these tests were using a full command to set the --data-dir
argument. Instead just the default command be used but add an
addition --data-dir argument.

datasets-06-state-long: fix file compare

Different versions of sort will sort differently. So
sort the expected data as well before comparing it
with sorted output.

dataset-06-state-long: add test on learning dataset

Test that suricata can learn a set of 1200 DNS rrname and store
correctly the result on disk.

Adds test for SMTP with RFC2231

ie attachment filename split over multiple sections

Fixes mqtt unassgined test

There is only one occurence of mqtt.msgtype == 0
So there should be only one alert

asan: error out on memory leaks

Adds a hostname check to http-ipv6 test

Adds test with http over IPv6

and absence of anomalies

github-ci: run check-eve.py standalone

So check-eve is fully tested as well.

runner: only validate eve if jsonschema is available

We can only validate eve output if the jsonschema Python module
is available. Instead of requiring it at this time, print out a
warning and skip the test.

check-eve: print full filename being tested

With check-eve it makes more sense to print the full filename
being tested rather than just the test name.  As it is possible
that more than the expected eve.json is being tested.

github-ci: add python3-jsonschema

Required for the EVE schema tests.

run.py: integrate check-eve.py

check-eve: script to validate eve.json output

schema.json: schema to validate eve.json output

lua: adds test about ScFlowVarGet

cf redmine 2094

framework: allow to use env variables in args

such as OUTPUT_DIR for datasets

Adds test with dataset and pcrexform for unique param

tls-fingerprint: test sticky buffer variant

Add another rule and filter to test the sticky buffer variant
of a tls fingerprint match. Also shows that the 2 are more or
less equivalent.

Adds test about HTTP2 disabled

tests: fix http-urldecode-body test on openbsd

Tshark rewrite of the pcap, turning timestamps from nanosecond
to microsecond.

tests: fix fastopen test on openbsd

Just rewrote it with:

tshark -F pcap -r <old> -w <new>

This changed the md5sum, so something changed.

OpenBSD 7.0 reported caplen of 0.

tests: fix pcapng pcaps

ci: fix pcapng check on ubuntu

runner: fix tests always being run in quiet mode

Fix an early return introduced in
9839097b816d2f7e1cb00d4f4e98919565d122a1, which resulted in a quiet like
mode all the time.

tests: convert check.sh to test.yaml

Adds tests about IPv6 fragmentation

modbus: enable in configuration

smb-eicar-padding: bump min-version to 6

smb-eicar-overlap: bump min-version to 6

krb5-probing: bump min-version to 6

issue-3703: bump min-version to 6

ssh: fix alert count

github-ci: add pcre2

Use generic PCRE string for error code checking

pcrexform: test becomes obsolete in version 7

converted to a unit test failing to load the signature

tests: enable issue 4663 tests for 5 and 6

Sets minimum version 6 for ip6 invalid fragment length

Ads various tests about IPv6 denial of service

Adds test about IPv6 smurf detection

aka (spoofed) ping to multicast

Adds test about ICMPv6 kill router

Adds test about ipv6 unknown dst opts

used as way to have a covert channel

Adds test about icmpv6 type and code detection

Adds test about tcp protocol detection bailout

Add test for Bug #4503

run.py: remove support for check.sh

ci: run in quiet mode

ci: give jobs better names

ci: add lua to the ubuntu builds

ci: add almalinux build to test on RHEL-like systems

The test is done on Ubuntu, but there are some variations
between RHEL-like and Ubuntu that we should catch.

Adds http2 range test

Adds http range test over multiple flows

Adds incomplete test for http range file