tests: add RST with unacked data file tests

Add tests for bad handling of unacked data following a RST.

The additional data should not lead to new tx's or files.

tests: add bug 7422 tests

Tests various forms of RST triggering handling of unACK'd data.

tests: don't enforce shutdown flow logging

Test checked for a flow log being generated by shutdown, but it is
possible to have the flow manager handle it before shutdown. So in that
case it would be "timeout". Since the test isn't about that, remove the
check.

tests: update for stricter timeout handling

dns: adds test for corrupt additionals

Ticket: 7228

dns: update 7018 tests for suricata 8

using dns v3 logging

Ticket: 7199

This also fixes ticket 7449

tests/lua: Test for issue 7466

This test was contributed by the reporter of issue 7466. Slight
modifications not affecting the structure nor results were made.

This test exercises the problem reported in the issue and a memory leak
will be reported on Suricata binaries without the fix (ASAN-only).

Non-ASAN builds will not report the issue (regardless of whether the
Suricata fix is included).

test: truncated ipv4 test

Test that no src_ip, dest_ip are logged instead of just empty strings.

Ticket: https://redmine.openinfosecfoundation.org/issues/7460

output: Permit output tests for failure case

Remove the restriction for bug-5198. The test case uses discretionary
access control to mediate access to the output log directory. Thus, skip
the test when running as root.

Issue: 7447

doh2: add test for 65K limit

Ticket: 7464

tests: workaround for urgp tests

Slow runs lead to multiple stats records with the same data.

Completes cb35ba0d74e1bd163071c3cea1abe509018cda4a

tests: workaround for urgp test

Slow runs lead to multiple stats records with the same data.

dns: enable test for ticket 7018

by converting to dns v3 mostly

Ticket: 7018
Ticket: 7449

applayer: add test for dcerpc req http resp

as done in the unittest AppLayerTest08 as of Suricata 278dc24c.

tests: tcp urgent for 7.0.x

tests: tcp urgent tests

tests: update telnet for urgent handling

dns-rname-truncated: update for 7.0.8 backport

test: dns name truncation

Add test for DNS name truncation and associated alert.

Ticket: #7280

tls: add ticket reference in READMEs

backport: for ticket 7199 and 7318

As these tickets impact some common tests

add test for extra tls alert

tests: update firewall test for pkt sigs not alerting on ffr packets

tls: add check for catch-all rule logging app-layer metadata

Ticket: 7530

pgsql: use detect.guess-applayer-tx for content test

Ticket: 7199

output: use detect.guess-applayer-tx for http-ish content test

Ticket: 7199

tests: add test for bug-7199

More of a change in behavior than a bug, but important to be documented

Related to
Bug https://redmine.openinfosecfoundation.org/issues/7199

tests: enable task 7426 test to 70x

Related to
Task #7427

tests: support bug 7414 tests for 7

test: simple test for unknown requirements

test: test setting to ignore unknown requirement

Test that the new behavior in 8 for treating unknown requirements as
unsatisfied can be disable in 7.0.8 and newer, but that this setting is not
respected in 8.

test: check flowint isnotset support

Related to
Task #7426

tests: add test for 7414 and 7433

http1: adds test with invalid status

Ticket: 7311

tests: add keyword check to requires test

Only for 8.0 for now.

requires-fail: With the change to unknown requires statements treated as
not meeting requirements, update the rule to use an unknown keyword to
make it fail out.

This is to test an edge case from ticket #6710.

Ticket: #7403

transforms: remove dependency on C files

As most transforms have been moved to rust in suricata master

detect-xor: do not depend on C code

Starting 8984bc68011, xor transform was moved to rust and this test was
always skipped as it depended on the C file.

mqtt: test reason code since Suricata 7

Adds tests for negated content and absent keyword

Ticket: 2224

datasets: add test to show hash collisions

Bug 7209

ldap: add test for STARTTLS extended operation

rule-types: add check for more rule types

The goal is to have at least one rule for each rule type the engine
has.

tests: TLS SNI firewall test for non-matching SNI

tests: add TLS enforcement tests

Tests that flow is TLS and if SNI is expected.

tests: add basic TCP tracking firewall rules

sip: adds checks for stat code keyword

Ticket: 7295

Ensures that stat-code and method do not share the same buffer
in different directions

detect/http: backport http.header test for 7

Ticket: 7327

prefilter/multibuf: test with multiple packets

Ticket: 7326

tests: add rule type check for tcp-window

Ticket: 6352

mqtt: check SUBACK

This requires SUBACK matching support.

mqtt: check for CONNACK reason code 134

See https://redmine.openinfosecfoundation.org/issues/7323 and
https://forum.suricata.io/t/question-about-mqtt-detection/4890/3

mqtt: check reason codes for CONNACK

tls/eve-fields: update test to 7.0.8

Related to
Bug #7287

tests: add rule type check for flow.age

Ticket: #6312

template: use the keyword for the tx buffer for suricata 7

Ticket: 7315

tls: add check for 'subjectaltname'

As this was missing from the logs, ensure that there won't be any
regressions.

Related to
Bug #7332

tls: check for custom fields logging

Related to
Bug https://redmine.openinfosecfoundation.org/issues/7287

tests: showcase bug 7286 (tls)

Related to
Bug https://redmine.openinfosecfoundation.org/issues/7286

detect/datasets: adds test for unset operation

Ticket: 7195

dns-reversed-udp-1: test that flow is reversed

Test that because this is a DNS response, that the flow is reversed.

tests: showcase endswith, distance + within usage

Suricata docs state that `endswith` cannot be mixed with `offset`,
`within` or `distance` for the same pattern, but apparently, at least
from Suricata 7 on, this seems possible.

Tests created based on material and scenarios provided by Brandon
Murphy in the Redmine ticket.

Related to
Task #5030

tests: add rule type check for icmp_id

Ticket: #6360

template: use the keyword for the tx buffer

Ticket: 7315

transform/base64: adds test against UBSan

Ticket: 7296

tls: test for tls header inspection rules

Ticket - 7235

datasets: do not expect a reproducible order

as hashmaps may be randomized

Ticket: 7209

tests: enable 7264 test for 7.0.7

tests: add test for bug 7264

pgsql: update raw-stream-trigger test for suri-7

Related to
Bug #7001

tests: enable bug 7187 test for 7.0.x

tests: Updates for 6555

This commit provides updates needed for issue 6555. Previously, the gap
handling was restricted to master; 6555 adds those changes to main-7.0.x

Most of the changes are to extend the version; the
eve-payload-07-http-gap tests adds version-based checks as a new output
value payload_length is not available in main-7.0.x

sip: add tests for headers sticky buffers

Ticket #6374

smtp: add tests for issue 7126

Ensure the SMTP applayer parser doesn't generate an error message while
parsing the SMTP frames.

pgsql: update bug 6983 test

With the tracking of transaction completion per-direction, in IPS mode,
the engine will match on the rule before it sees the response message,
so it won't log the full transaction with the alert.

Update the checks for the alert to keep it simpler and thus compatible
with both Suri-7 and Suri-8.

Related to
Bug #7113

pgsql: add tests with alert metadata

Check for transaction metadata in PGSQL alerts.
Add `engine-analysis` tests for the used rules, as well, to better
describe them and compare with expected behavior.

Related to
Task #7000

tests: move pcaps to tests where they are used

Following removal of tests only used in 6, some directories
were left with only a pcap, that got used by other tests.

Found with command
for pcap in $(find . -name *.pcap); do if ! test -e "$(dirname $pcap)/test.yaml"; then echo "$(dirname $pcap)"; fi; done

tests: update ips-state-1 test

This test indicated that there were FP drops for HTTP transactions,
leading the `http` events check to fail. This is no longer the case.

flow.action is still not set to drop for tls.

README/help: add info on IPS mode tests creation

It is possible to create a test that runs in IPS mode by just adding ips
to its name. But that is not documented. This will might not work when
using the createst script, though, as when the script runs the test for
the first time to create the `test.yaml` checks, the test-name is not
taken into consideration (therefore, the checks are valid for IDS mode).

Related to
Task #7039

README: keep help text up-to-date w/ actual help

There were discrepancies between the help text shown by the createst
script and the version shown in the README file.

I've kept the bit longer explanation for some of the options where it
feels they're not so straightforward in meaning.

tests/reference; Tests for reference inclusion

Issue: 4974

Positive and negative tests for reference inclusion in alerts.

Additionally, reference-04 tests that a scheme provided with
a reference is used in place of the key.

rules/test: add app-layer-protocol negated test

To complement bug-7241 tests.

tests: add test for issue 7241/7242 for 7

Add test that works with Suricata 7.

http2: test all frames types

http/gap: fix check for payload_length

Change to suricata.yaml illustrates bug 7213

There is not yet a valid http1.response frame for the second request
after the gap

http2: add test for frames

Ticket: 5743

tests: add test for 7187

tls/ja3: backport test with duplicate handshake

Ticket: 6634

tests: add test for issue 7241

Test for 8+ only.

tls/ja3: adds test with duplicate handshake

Ticket: 6634

pgsql: update bug-6983 tests

Add app-layer fields to pgsql alerts.

Related to
Bug #7066

tests: remove suricata 6 specific tests

Some tests directories remain as one or more exists tests link to these
pcaps. Just leaving until we have a strategy like a hash based pcap repo
or something else.

github-ci: remove 6.0.x builds

Suricata 6.0 is now EOL.

ldap: add tests for udp and frames

rfb: adds test for rules with secresult being an integer keyword

Ticket: 6723

rfb: convert unit test to SV

Ticket: 7178

detect: test prefilter auto mode

Ticket: 6278

detect: adds check for decode-event with prefilter

Ticket: 6728

detect: adds check for stream-event with prefilter

Ticket: 6728

ssh: adds test for frames

Ticket: 5734

doh: adds test for dns over http2 with post

Ticket: 5773