tests: check for ban of bypass keyword w/ firewall

Related to
Ticket #8551

tests: check replace keyword ban with firewall

Related to
Ticket #8551

tests: add another missed rule accept tx alert test

tests: tighten fw default policy test

tests: add test for missing default policy alert

Like test 104, but tests "accept:tx,alert". We are not seeing the alert
when we should be.

tests: add test for default access with alert policy

Test shows that a default of "accept:flow, alert" results in a drop.

tests: add test for packet policy alert skipping app rule

tests: add test for missing default policy alert

Test that a default app policy with alert logs an alert when an explicit rule
exists for the same hook but does not match.

tests: update tests for updated fw discard logic

tests/firewall: account for drop no longer including alert

tests: firewall test showing default drop with alert

tests: add more firewall+TD tests

tests/firewall: add test testing <response body

tests: add firewall policy alert support

tests: add tests for fw hook lt mode

tests: add check for exception-policy-drop-reson

tests/firewall: no firewall mode, no related stats

Related to
Ticket #7699

tests: check for dedicated firewall counters

Related to
Ticket #7699

tests: add test for ticket 5711

http: fix test with filestore

Check that no files were stored, and that we have only one fileinfo
event

Ticket: 8529

doc: document stats check usage

framework: has-key and not-has-key accept lists

framework: yaml loader check duplicate key

And fix test cases that had duplicate keys

tests: disable bug 6617 temporarily

tests: enable ntp tests for min-version 8.0.5

backport: support issue 8399 tests for 8

tests: test showing defaults taking precedence over rules

tests: cover firewall default accept:tx pipelining

Add a firewall regression test for default app-layer accept:tx policies with
HTTP pipelining.

The pcap contains a full TCP conversation where two HTTP requests are carried
in the same client packet. The firewall defaults accept the first transaction
at request-complete with accept:tx, while a request_line rule should still
inspect and block the second transaction.

The test expects the /foo/ request to produce the drop alert. Current affected
Suricata branches miss that alert because the default accept:tx for the earlier
transaction accepts the packet and bypasses inspection of the later
transaction.

tests: test accept:flow with threat detection

tests: firewall default policy tests

tests: show how accept:flow can bypass threat detection

This test shows how an accept flow on an http request will skip thread
detection on http response data.

tests: firewall: add multi-action rule tests

tests: firewall: rename to have unique numbers

tests: add more firewall rules

tests: firewall: update for action scope changes

tests: firewall: add missing rules

Ticket: #8495.

tests: check tls.cert_chain_len in firewall mode

Related to
Ticket #8387

test: check for dns keywords in firewall mode

Based on initial work by Yash Datre
- dns.opcode
- dns.query with datarep

Related to
Ticket #8387

test: check for untested keywords in firewall mode

Add suricata-verify tests for keywords that emit 'has not been tes
for firewall rules' warnings. Tests are consolidated into 3 test cases.

- firewall-keyword-icode: tests icode with ICMP echo traffic
- firewall-keyword-http: tests pcre, urilen, dataset with HTTP traff
- firewall-keyword-tls: tests tls.cert_chain_len with TLS cert chain

These tests validate that the keywords function correctly in firewal
mode and can be used to justify adding SIGMATCH_SUPPORT_FIREWALL to
each keyword in the engine.

Related to
Ticket #8387

tests: add ja3 tests for issue 8336

tests: update alert.engine test for 8.0.5

backport: support issue 8553 tests for 8

tests: extend bug-8489 tests to include 8.0.5+

Issue: 8490

reputation: test reputation category with 0x0c 0x0a line

Ticket: 8500

tests: add alert.engine checks to firewall tests

Ticket: #8456

backport: support issue 8522 tests for 8

tests: add test cases for bug 8489

Issue: 8489

Three test cases:

- bug-8489-01: two commands with max-tx=1 (limit exceeded) raises the
  too_many_transactions anomaly and fires the corresponding alert.
- bug-8489-02: six commands under max-tx=10 raise no anomaly and no
  alert (negative regression).
- bug-8489-03: burst of commands exceeding the limit followed by a new
  command after a server response — verifies the flow keeps parsing
  after the event fires, so later commands are still logged.

Each test has a response_command_too_long rule alongside the
too_many_transactions rule so the to_client FTP parsing path stays
active; without a to_client app-layer-event signature Suricata skips
response parsing and the max-tx check does not fire.

dcerpc: adds test without PFC_FIRST_FRAG

Ticket: 8457

bug-8505: add min-version

detect-engine-analyzer: test engine-analysis with engine-analysis turned off

Ticket: 8505

tests: add ntp lua tests

Ticket: #8533

Revert "tests: remove unneeded flowbit ops"

This reverts commit bcdbc43dc8c84fb703b693cc47f27a39d5890215.

Flowbits are used in this test to control the number of alerts per signature.
They were removed under the incorrect assumption of being unnecessarily
used as they were not checked anywhere.

output: rename reject-target to reject_target

Ticket: 6502

Split the checks for version 9 and before

readme: improve Test adding instructions

To clarify that tests should also include a README file and any scripts
used to create the PCAP file.

tests: remove unneeded flowbit ops

flowbits are used unnecessarily in these rules. Clean them up.

tests: Bug 5133

Generate dcerpc event_types

backport: support issue 8161 tests for 7

backport: support issue 8453 tests for 7

backport: support issue 8501 tests for 8

dcerpc: move dcepayload unit tests to SV

Ticket: 8391

dcerpc: move dce-stub-data unit test to SV

Ticket: 8391

test/subslice: Add test cases for subslice

Issue: 7672

Applies to versions 9+

Add test cases for the subslice transform, including some edge cases.

Test cases cover all use cases, including cases where truncate has
impact and edge cases.

mdns: adds rules to test to check they load

Ticket: 8501

doh2: adds test with dns+http ruleset

Ticket: 8454

backport: support issue 8452 tests for 8

backport: support issue 8432 tests for 8

http: adds suricata.yaml with http-body in alerts

to check json schema completeness

Ticket: 8161

http2: adds test for http2.host asap

Ticket: 8451

dcerpc: add check for opnum keyword with >

Ticket: 8179

tests: verify ntp keywords in firewall mode

Checks:
- ntp.version
- ntp.mode
- ntp.stratum
- ntp.reference_id

Also tests that a NTP message with a non-matching accept rule is
dropped.

Ticket: #8394

tests: add ntp.reference_id tests

Ticket: #8488

tests: add ntp.mode tests

Ticket: #8429

tests: add ntp.stratum keyword checks

Ticket: #8431

tests: add ntp keyword test

Adds tests for ntp.version keyword.

Ticket: #8430

workflows: only run the modified tests

Running all the tests on PR or push event of suricata-verify is
irrelevant as the tests are supposed to be exclusive of one another.
Make sure that unless there's a framework or workflows change, only the
tests that are modified or added are run. This saves CI resources that
would otherwise be unnecessarily spent.

This does not affect the testing and coverage of the Suricata codebase
as when there's an s-v PR, Suricata's workflow is to clone the entire
repo and run all the tests in there.

run.py: check for pattern on test's parent dir

In case the test name is not a match for a pattern passed on the
cmdline, also check for it's parent dir. It is no use to make test names
redundant when the dir clubs them under a name but they should all be
able to run if the dir pattern was passed.

Current behavior:

run.py dcerpc   # runs all tests that match dcerpc; this leaves some
                # tests in dcerpc/ dir that do not have dcerpc in their
                # names

With this patch:

run.py dcerpc   # first matches the test name with the pattern, if not
                # found, checks if its parent dir matches. All dcerpc
                # tests grouped under dcerpc/ dir will run

tests: add snmp trap tests

tests: add snmp firewall tests

dhcp: adds check for app-layer metadata logging in alerts

Ticket: 6091

smb: add check for old session setup decoding

Ticket: 5845

backport: support issue 8412 tests for 7

backport: support issue 8414 tests for 8

backport: support issue 8411 tests for 8

backport: support issue 8380 tests for 8

websocket: add test with control frame in reassembly

Ticket: 8413

http2: adds test with long frame

Ticket: 8410

tests: fix protocol for icmpv6 mtu rule

tests: add ether.hdr and arp tests

github-ci: add qa-simulation to runs

Related to
Task #7885

backport: support issue 7885 tests for 7

7.0.x ticket: 7908

irc: add test for not detecting it as FTP

Ticket: 2978

backport: support issue 8404 tests for 8

backport: support issue 8376 tests for 8

backport: support issue 8374 tests for 8

backport: support issue 8373 tests for 8

dcerpc: add test with multiple ctx ids

Ticket: 8378

tests: add tests for issue 8333

- Test with geoip that fails on current main
- Test with iprep that passes on current main

The idea is that geoip should behave much like iprep, as its just
another form of IP address lookup returning true or false for a match.

Ticket: #8333

tests: add firewall icmp with icode keyword test

tests: add icode keyword to ping test

tests: add firewall reject test