Adds tests for negated content and absent keyword

Ticket: 2224

datasets: add test to show hash collisions

Bug 7209

ldap: add test for STARTTLS extended operation

rule-types: add check for more rule types

The goal is to have at least one rule for each rule type the engine
has.

tests: TLS SNI firewall test for non-matching SNI

tests: add TLS enforcement tests

Tests that flow is TLS and if SNI is expected.

tests: add basic TCP tracking firewall rules

sip: adds checks for stat code keyword

Ticket: 7295

Ensures that stat-code and method do not share the same buffer
in different directions

detect/http: backport http.header test for 7

Ticket: 7327

prefilter/multibuf: test with multiple packets

Ticket: 7326

tests: add rule type check for tcp-window

Ticket: 6352

mqtt: check SUBACK

This requires SUBACK matching support.

mqtt: check for CONNACK reason code 134

See https://redmine.openinfosecfoundation.org/issues/7323 and
https://forum.suricata.io/t/question-about-mqtt-detection/4890/3

mqtt: check reason codes for CONNACK

tls/eve-fields: update test to 7.0.8

Related to
Bug #7287

tests: add rule type check for flow.age

Ticket: #6312

template: use the keyword for the tx buffer for suricata 7

Ticket: 7315

tls: add check for 'subjectaltname'

As this was missing from the logs, ensure that there won't be any
regressions.

Related to
Bug #7332

tls: check for custom fields logging

Related to
Bug https://redmine.openinfosecfoundation.org/issues/7287

tests: showcase bug 7286 (tls)

Related to
Bug https://redmine.openinfosecfoundation.org/issues/7286

detect/datasets: adds test for unset operation

Ticket: 7195

dns-reversed-udp-1: test that flow is reversed

Test that because this is a DNS response, that the flow is reversed.

tests: showcase endswith, distance + within usage

Suricata docs state that `endswith` cannot be mixed with `offset`,
`within` or `distance` for the same pattern, but apparently, at least
from Suricata 7 on, this seems possible.

Tests created based on material and scenarios provided by Brandon
Murphy in the Redmine ticket.

Related to
Task #5030

tests: add rule type check for icmp_id

Ticket: #6360

template: use the keyword for the tx buffer

Ticket: 7315

transform/base64: adds test against UBSan

Ticket: 7296

tls: test for tls header inspection rules

Ticket - 7235

datasets: do not expect a reproducible order

as hashmaps may be randomized

Ticket: 7209

tests: enable 7264 test for 7.0.7

tests: add test for bug 7264

pgsql: update raw-stream-trigger test for suri-7

Related to
Bug #7001

tests: enable bug 7187 test for 7.0.x

tests: Updates for 6555

This commit provides updates needed for issue 6555. Previously, the gap
handling was restricted to master; 6555 adds those changes to main-7.0.x

Most of the changes are to extend the version; the
eve-payload-07-http-gap tests adds version-based checks as a new output
value payload_length is not available in main-7.0.x

sip: add tests for headers sticky buffers

Ticket #6374

smtp: add tests for issue 7126

Ensure the SMTP applayer parser doesn't generate an error message while
parsing the SMTP frames.

pgsql: update bug 6983 test

With the tracking of transaction completion per-direction, in IPS mode,
the engine will match on the rule before it sees the response message,
so it won't log the full transaction with the alert.

Update the checks for the alert to keep it simpler and thus compatible
with both Suri-7 and Suri-8.

Related to
Bug #7113

pgsql: add tests with alert metadata

Check for transaction metadata in PGSQL alerts.
Add `engine-analysis` tests for the used rules, as well, to better
describe them and compare with expected behavior.

Related to
Task #7000

tests: move pcaps to tests where they are used

Following removal of tests only used in 6, some directories
were left with only a pcap, that got used by other tests.

Found with command
for pcap in $(find . -name *.pcap); do if ! test -e "$(dirname $pcap)/test.yaml"; then echo "$(dirname $pcap)"; fi; done

tests: update ips-state-1 test

This test indicated that there were FP drops for HTTP transactions,
leading the `http` events check to fail. This is no longer the case.

flow.action is still not set to drop for tls.

README/help: add info on IPS mode tests creation

It is possible to create a test that runs in IPS mode by just adding ips
to its name. But that is not documented. This will might not work when
using the createst script, though, as when the script runs the test for
the first time to create the `test.yaml` checks, the test-name is not
taken into consideration (therefore, the checks are valid for IDS mode).

Related to
Task #7039

README: keep help text up-to-date w/ actual help

There were discrepancies between the help text shown by the createst
script and the version shown in the README file.

I've kept the bit longer explanation for some of the options where it
feels they're not so straightforward in meaning.

tests/reference; Tests for reference inclusion

Issue: 4974

Positive and negative tests for reference inclusion in alerts.

Additionally, reference-04 tests that a scheme provided with
a reference is used in place of the key.

rules/test: add app-layer-protocol negated test

To complement bug-7241 tests.

tests: add test for issue 7241/7242 for 7

Add test that works with Suricata 7.

http2: test all frames types

http/gap: fix check for payload_length

Change to suricata.yaml illustrates bug 7213

There is not yet a valid http1.response frame for the second request
after the gap

http2: add test for frames

Ticket: 5743

tests: add test for 7187

tls/ja3: backport test with duplicate handshake

Ticket: 6634

tests: add test for issue 7241

Test for 8+ only.

tls/ja3: adds test with duplicate handshake

Ticket: 6634

pgsql: update bug-6983 tests

Add app-layer fields to pgsql alerts.

Related to
Bug #7066

tests: remove suricata 6 specific tests

Some tests directories remain as one or more exists tests link to these
pcaps. Just leaving until we have a strategy like a hash based pcap repo
or something else.

github-ci: remove 6.0.x builds

Suricata 6.0 is now EOL.

ldap: add tests for udp and frames

rfb: adds test for rules with secresult being an integer keyword

Ticket: 6723

rfb: convert unit test to SV

Ticket: 7178

detect: test prefilter auto mode

Ticket: 6278

detect: adds check for decode-event with prefilter

Ticket: 6728

detect: adds check for stream-event with prefilter

Ticket: 6728

ssh: adds test for frames

Ticket: 5734

doh: adds test for dns over http2 with post

Ticket: 5773

dns: adds test for dns over http2

Ticket: 5773

ldap: add tests

smtp: adds test for invalid replies

Ticket: 1125

smtp/ftp: test protocol detection in both directions

Ticket: 1125

imap: add test for protocol detection

ticket #2886

Signed-off-by: mmmaatuq <mahmoudmatook.mm@gmail.com>

ssh: deprecate ssh.softwareversion keyword

Ticket: 2377

tests: relax mqtt warning check

To account for changing error message in Suricata.

applayer: add tests for ticket 7044

tests: skip dns tests that fail on master

tests/dns: add tests for task 7018

Also related to
Bug #7004

dns-udp-double-request-response: v2 and v3 tests

dns-tcp-www-google-com: v2 and v3 tests

dns-tcp-ts-gap: update for v2 and v3 dns logging

dns-tcp-multirequest-buffer: v2 and v3 tests

dns-single-request: v2 and v3 tests

dns-incomplete: dns v2 and v3 tests

bug-990: dns v2 and v3 tests

As this is a DNS test move into dns/.

bug-856: dns v2 and v3 tests

Move into dns as this is a DNS test.

bug-1158: dns v2 and v3 tests

As this is a DNS test, also move into the dns/ folder.

dns-udp-null: v2 and v3 tests

dns-udp-junkrequest-first: v2 and v3 tests

decode-teredo-01: update for dns v3 logging

ethernet-eve: update for dns v3 logging

vxlan-decoder-03: v2 and v3 dns tests

dns-udp-eve-log-query-only: v2 and v3 tests

dns-udp-eve-log-answer-only: v2 and v3 tests

dns-udp-eve-log-srv: v2 and v3 tests

dns-udp-eve-log-aaaa-only: v2 and v3 tests

dns-udp-eve-log-mx-only: v2 and v3 tests

dns-udp-eve-dig: v2 and v3 tests

dns-udp-eve-txt: v2 and v3 tests

dns-udp-unsolicited-response: v2 and v3 tests

dns-z-bit: v2 and v3 tests

dns-invalid-opcode: v2 and v3 tests

run.py: allow tests to specify environment variables

dns-eve: v2 and v3 tests

dns-eve-log-https-only: v2 and v3 tests

tests: update dns checks for v3 format in alerts