github-ci: only run suricata-verify once on Ubuntu

On Ubuntu verify was being run once with the output dir in tree, and
another time elsewhere.  Instead, on Ubuntu just run once with --outdir,
and run on Alma without --outdir to cover both cases and save some time.

github-ci: update checkout action to v3

tests/log: Verify bug 5198

This issue requires an ASAN build -- it doesn't reproduce without ASAN.

Issue: 5198

tests/bsize Add test cases for bsize

This commit adds several test cases for the `bsize` keyword.

These tests apply to Suricata 7.0.x and newer.

tests: test midstream w midstream exception policy

Related to
Bug #5765

test: test logging TLS dates less than 1970

Issue: 5817

ttl: add tests for prefilter keyword

Ticket #5800

test: configuration file includes

Test configuration file includes that also include the new fully
qualified name overrides.

Pay attention to our "_" to "-" translation which should not happen for
variables.

tests/ftp: add checks for too long alerts

Related issue: 5235

tests: fix bad http host rule tests

The test.yaml files were missing the command set to compare eve.json
output and to run without a pcap file, therefore being simply skipped
for lack of a pcap file.

Also took the opportunity to make these compatible with new error
message formats for Suricata 7.

Test 1 also had a typo in the expected message to be checked, making it
fail.

decode: Tests for unknown/arp counters

Issue: 5761

This commit adds tests for decode counters which are new
- decode.arp
- decode.unknown_ethertype

test: opcode logging and alert

tests: update exception policy for new IPS default

udp: improve strict/non-strict checks for 6

run.py: fix version comparison checks

If no minor or patch version was provided, it was set to 0 hence passing
the check for "not None". Fix that by setting the defaults to None
instead for 0 for the equal to check.

tcp: add test for bug 5379

udp: add tests for bug 5379

pcre-invalid-01: update shell check min-version

run.py: allow version tests in shell checks

tests: add frame ips test

tests: improve frame gap tests

Add detection.

frames: sip test update

pcap-log: fix tests for issue 5374

Suricata 7.0-dev will now use the time of the start packet for pcap
logging when reading from a file like 6.0 did.

Issue: 5374

Adds test about smb ntlmssp arbitrary order

Ticket: #5258

test: update warning about bad hex

To reflect the full content string

tests: update frames for stream frames

tests: fix tcp tests being too strict on tcp objects

tests: add rules for flow drops

tests: tls nom7 updates

tests: tls updates for 6 backports

output: fixups for output changes

tests: limit rfb community id check to 7

tests: fix grep for openbsd

tests: fix pcap for openbsd

tests: fix bug 4376 for openbsd

createst: rename add-version to simply version

This is a more consistent mapping to the documented name in test.yaml.

Also add --cfg to the README which was missing.

createst: document --features

createst: Commandline param to specify required features

Feature: #4061

detect-bytemath: add tests

Ticket: #5589

template tests: update for removal of C templates

In 7, the rust based template parser is simply template.

rfb: adds a check for community_id field in a rfb event

tests/http2: Add tests for HTTP/2 decompression bug

7.0.0-beta1 hits anomaly, failed_decompression

smtp: fix test counting empty new lines

tests: issue 5223 for 6

tests: smb2 async for 6.0.x

tests: add tests for bug 5633

smb2: fixes test about smb events count

Adds test about smb2 async read response

framework: utf-8 validation in test stdout/stderr

framework: adds a timeout of 5 minutes per test

tests: add tests for negated protocol matching

quic: adds signature for parsing check

smtp: more valid SMTP for protocol-changed test

That is one server banner, plus one response per request

test/rules: Update ETOpen rules

Issue: 2982

During 2982 development, an issue with some rules in the ETOpen ruleset
were discovered and reported to Proofpoint.

This commit updates the ETOpen rules containing the fixes for the
reported issue which manifested in 2 rules: sids 2037001 and 2035521.

test/yaml: Improve YAML parsing error messages

Without this commit, a YAML syntactic error is silently ignored. This
patch displays the YAML exception, if any, that occurs while loading the
YAML config file.

tests/dsize Suricata version 7 and later tests

This commit adds a test for Suricata 7 and later with the new dsize
validation logic. A new error message indicating the actual and expected
dsize value is emitted when there's a mismatch.

general: Typo fixup

tests: Update to use modified error message

tests: Add test case for 2982

tests: update pcre test for new output

Disable on 6 until we can do version checks per shell check.

createst: add arg for setting midstream true

With this, one can pass '--midstream' and this will add that as a test
argument and write it to test.yaml. Default is still midstream false.

tests: add test for pgsql out of order params bug

StartupMessages for pgsql have a series of parameters that may show up
in any order, so let's make sure we can indeed parse them if, for
instance, user, which is a mandatory parameter, isn't the first to be
seen in the list.

Related to
Bug #5524

tests/pgsql: adjust to new startup message format

With the pgsql improving, we made database an optional parameter (as it
is, according to the documentation). Then the tests had to be updated.

tests: add tests for real bittorrent-dht traffic

detect-bytetest: add tests

Task: 4911

readme: update createst explanation, add examples

There were optional arguments missing in the usage  shown, as well as in
the list with explanations about possible arguments.

createst: fix typo, update copyright year

createst: add option for custom suricata.yaml

detect-icmp-seq: add test

Task: #5597

detect-itype: add tests

Ticket: #5590

tests: add test for issue 4751

Ticket: #4751

createst: add the add-version param to specify Suricata version

Feature #4059

tests: add ip dataset loading test

tests: add ipv6 dataset test

Also this test ip.src keyword

tests: add ipv4 set save test

tests: add test for issue 5223

Adds check about flow.age keyword

add test for extended security ipopts

tests: update nfs for mac logging fix

tests: various tag rules

tests: add suppress tests

tests: add rate_filter tests

bug78: relax flow checking

tests: add tests for ntlmssp keywords

tests: add http file with gap test

files: update for tx-files work

filestore: do not enforce a warning id

tests: tls nom7 updates

tests: flowbit bad rules handling for 6.0.7

incomplete-hex: check --init-errors-fatal

For version 6, non-fatal.
For version 7, fatal.

incomplete hex: test with strict content keyword

With strict content parsing, -T should fail out for version 6 and 7.

incomplete-hex: -T tests for version 6 and 7

For version 7, incomplete hex should lead to a -T failure.  For
version 6, -T should pass.

test-bad-hex-rule-1: update output for Suricata 6.0.7

https://redmine.openinfosecfoundation.org/issues/5546

tests: limit tls fragmentation test to 7

tests: add test with sslv2 start

tests: add tls fragmentation test

tests: update ssl tests after event rework

tests: disable unittests as we investigate issues

runner: handle binary output from suricata stderr/stdout

Don't attempt to decode output from Suricata stderr/stdout as utf-8, it
is required for relaying the output from Suricata to the log files,
in fact, its not even desired.  The log files should have a verbatim
copy of the output for analysis.

Only attempt to utf-8 decode the output when logging in verbose mode,
and then if that fails, fallback to logging the data as a byte buffer.

tests: run Suricata unittests

`ut-complete` runs all tests, but disables ASAN leak checks.

`ut-leakcheck` runs 500ish tests that should pass.