output-pcap-log: fixup tests for Suricata versions

output-pcap-log-conditional-tag-alert: new test

Test that tag:session produce the same result as alerts when
using pcap conditional.

output-pcap-log-conditional-noalert: introduce test

Verify that conditional pcap logging do not log if ever there is no
alert.

output-pcap-log-conditional-alert: introduce test

It uses pcap conditional mode with a matching signature and test
that the resulting pcap is what is expected.

output-pcap-log: update expected file

Following changes due to conditional logging of pcap the output file
when reading pcap is now log.pcap.0 and the test had to be updated
accordingly.

tests: add tests for rule's actions

These were converted from unittests present in `util-action`.

Task #5371

ftp: test where first segment of command should be truncated

ftp tests: ftp tests for issue 5024

Test for truncation of command requests and responses when they exceed
the maximum limit.

Associated Redmine ticket:
https://redmine.openinfosecfoundation.org/issues/5024

createst: add min-version option

Commandline param to specify minimum required version of Suricata

tests: fix ftp-data direction

tftp: test loading of a tftp rule

Update an existing tftp test to add a rule to test that rule can be
loaded.

Ticket: https://redmine.openinfosecfoundation.org/issues/5038

smb2-named-pipe-unicode: new test for smb_named_pipe keyword

test/ipproto: Validate proto name/numbers

Issue 5072

add tests for MQTT events

test: update checks for logging

tests: tests for iponly issue 5066

Revert "test/from_base64: from_base64 transform test"

This reverts commit 7c1ff6dcca1c313eac2cae2b1feeb3ae40e53fec.

smb-dce_opnum: set min version to 6

smb-dce_iface: set min version to 6

dcerpc-dce-iface-many: set min version to 6

Added test to validate the pppoe decoder can handle an 8 bit protocol field.

Redmine https://redmine.openinfosecfoundation.org/issues/4810

test/from_base64: from_base64 transform test

Issue: 5220
This commit adds a simple test case for the from_base64 transform.

runner: convert relative pcap filenames to full path

Allows copying and pasting the `cmdline` file when relative pcap file
names are used.

Adds an smtp test

Ticket: 4948

detect-dnp3: add tests

Task: 4911

rules parsing: updates emerging-all.rules

from http://rules.emergingthreats.net/open/suricata-6.0/emerging-all.rules

test-bad-hex-rule-1: add rule with incomplete hex

Add a rule with incomplete hex, for example "|22 2 22|" which
should result in a parse error.

Ticket #5201.

Adds test about xor transform

xff: checks dependig on suricata version

dcerpc: update keywords

detect-dce-iface: add tests

Task: 4911

nfs: add test for memleak w file_data

smtp-startssl: remove version 7 requirement

dns-z-bit: remove version 7 requirement

ssh-banner-only: update test.yaml checks

Added filter for rule sid 3 which had none
Uncommented rule sid 2

nfs: Add detection rules for NFS3_READDIRPLUS

Improve S-V test for NFS3PROC_READDIRPLUS
related to Suri@ 03906010a

http2-files: add comparison for fast.log output

The idea is to compare that, each time, the alerts generated are queued
in the same order. This test was selected because it has several txs,
some of which trigger alerts for same signatures in the same packet,
and it failed with a bug related to alert queuing optimization.

detect-file-data: add tests for SMTP file data

Task: 4938

ssh-banner: add tests

Bug: 4903

detect-flowbits: add tests

Task: 4911

tests: add sip with frames test

tests: add bug 4953 test

detect-engine-enip: add unittest

Task: 4911

detect-dce-opnum: add test

Task: 4911

nfs3: add test for readdirplus records

Required for nfs3_records unittests
4e2edd44aa08f08286001701ec0860c6638625d5

Task #4866

tests: add test for smtp extract url schemes

tests: set minimum version to 6 for 4877

tests: add bug 1450 tests

detect/bypass: add test for detect-bypass

Task: 4911

http-response-line: add unittests

Task: 4911

http-request-line: add unittests

Task: 4911

detect-proto: add tests for detect-engine-proto

Task: 4911

tests: Prevent errors when testing threshold.config

This commit causes the tests to use a known, valid reference.config
file for the tests. With the introduction of reference.config file
validation, those errors will occur before threshold.config is
validated.

tests/reference: Reference.config validation

This commit adds tests for reference.config file validation.

Test 1 uses Suricata's test mode with an invalid formatted file while
test 2 runs Suricata in inspect mode with the same invalid file.

test: Specify reference config file

pgsql: fix tx direction for tests

bug-4877: add test for stream-tcp-reassembly issue

dcerpc: use new sticky buffer keywords

smb: add dce_opnum tests

smb: add dce_iface tests

dcerpc: add dce_iface test to match many request/responses

dcerpc-iface-01: update alert count to also match response

tests/quic: change min-version to 7

Quic was released with Suricata 7.0

quic: convert pcap-ng to pcap

tests/quic: add sni test

quic: update for new quic.version

quic: gquic tests for cyu hash and alerts

pcaps taken from this redmine attachement:
https://redmine.openinfosecfoundation.org/issues/3440#note-8

runner: only set ASAN_OPTIONS if not set

This allows the caller to override the ASAN_OPTIONS if needed.

tests: add basic telnet test

tests: split frame tests into their own tests

These are all copied from other tests.  As new rule keywords
were added these tests needed to be recreated with the min-version
set to 7.

tests: update several tests to test frames support

tests: add pgsql tests

These tests cover an assortment of pgsql authentication methods,
simple queries, error response messages, as well as SSL handshakes,
both rejected and accepted (w/ start tls enabled). Non-verbose log style
is enabled.

Related to task #4241

detect-modbus: add tests to modbus

Task: 4911

detect-hostbits: convert unittests

Task: 4911

dns-z-bit: test dns z-bit alert and logging

Tickets: 4515, 4924

general: Typo fixup

smtp-starttls: test logging of smtp txn after startssl

For ticket https://redmine.openinfosecfoundation.org/issues/4817.

runner: convert runtime exceptions to TestError

Convert exceptions from code errors (well, any unexpected exception)
into a TestError. This allows the test to be reported as failed.

I think because tests are run in separate processes, its harder to
catch these sorts of errors.

runner: wrap file compare exceptions in TestError

If filecmp.cmp failed with an exception due to a missing file,
its exception was being lost due to another issue in the runner.

For this case it makes sense to catch this exception and wrap
it in a TestError exception as its most likely a missing file.

tests: fix 4710 tests where reject support is missing

tests: test for security ticket 4710

ssh-banner: remove version check

Add test about enip keywords

runner: make env string safe before substitution

The environment cannot always be used safely with
string.Template as not all environment variables
are string safe.

Before substituting environment vars in the command
and args, sanitized to string safe values.

datasets-05-state: fix pcap file

Broke in commit 13a538ed3b752e4c34830cdf973435ab3160cf8c.

Revert "tests: disable dataset test with broken path handling"

This reverts commit 0bd6984e1249778d6668dd4a906d42a53481279f.

runner: pass environment to shell checks

This allows a shell check to know where to found the output
directory.

This will allow us to revert 0bd6984e1249778d6668dd4a906d42a53481279f.

tests: disable dataset test with broken path handling

ci: test --outdir

runner: more detail when shell check fails

smtp/rfc2231: lock min version at 7

dataset tests: use args instead of full command

All these tests were using a full command to set the --data-dir
argument. Instead just the default command be used but add an
addition --data-dir argument.

datasets-06-state-long: fix file compare

Different versions of sort will sort differently. So
sort the expected data as well before comparing it
with sorted output.

dataset-06-state-long: add test on learning dataset

Test that suricata can learn a set of 1200 DNS rrname and store
correctly the result on disk.

Adds test for SMTP with RFC2231

ie attachment filename split over multiple sections

Fixes mqtt unassgined test

There is only one occurence of mqtt.msgtype == 0
So there should be only one alert

asan: error out on memory leaks

Adds a hostname check to http-ipv6 test

Adds test with http over IPv6

and absence of anomalies

github-ci: run check-eve.py standalone

So check-eve is fully tested as well.