analyzer/tests: ICMP icode engine analysis test

Test the ICMP icode engine analysis additions.

Issue: 6359

framework: check for redundant check/test version requirement

dns: remove never run check

As version requirement for check was incompatible with the one
from the test

framework: check test/check version compatibility

firewall: remove unrun check

We cannot tun a check with version less than 7 if the whole test
is min version 8

tests: remove wrong lt-version: 7

When we meant to test before version 8

tests/lua: simply return of empty needs

Just "return {}". Makes it easier to extract what is actually being
returned here for comparison with documentation.

github-ci: add macos job

Mainly the make sure that changers to the runner don't cause issues.
macOS is different enough from Linux to needs its own check.

tests/rules: add test for bug 5177

The engine analyzer issues the same note about using new rule buffers
regardless of the rule usage of new buffer or the old ones.
This test is just to showcase this.

Bug #5177

tests: add tests for decode encapsulation types

Add simple tests for alert to match on TCP traffic over:

- IPv4 over IPv4 - bug-4571-01
- IPv6           - bug-4571-02
- IPv6 over IPv6 - bug-4571-03
- IPv6 over IPv4 - bug-4571-04
- IPv4           - bug-4571-05
- IPv4 over IPv6 - bug-4571-06

Related to
Bug #4571
Bug #7725
Bug #7752

test/analyzer: Add test for dsize info

Add a test that checks for dsize value information.

detect/test: Backport 7390 to 7.0.x

tests: remove exit-code check for datasets-absolute-allowed on v8

With the commit in Suricata to skip adding localstatedir when a full
path is provided, the S-V test does not exit with 1 anymore but rather
with 0 since it succeeds.

This commits updates the previous test to run with Suricata prior to
verison 8 and a dedicated copy of the test to work with Suricata 8
without the need to check the exit code anymore, since it's 0.

The new test is split between Unix like systems and Windows by using
different absolute paths for the filenames.

tests: add ipv4 datajson test

tests: datajson uses context_key

Rename the enrichment_key to context_key in the signatures.

tests: update datajson to latest code

tests: datajson remove_key tests

tests: fix memcap following data structure change

tests: add jsonline format test for datajson

tests: update datajson to new file format

Update the tests to use JSON format and the new dataset syntax.

tests: update datajson 0.9 syntax

tests: datajson test are Suricata 8

tests: test new json format option

tests: add json datajson

tests: add pcre extraction tests

Based on detect-pcre-05.

tests: add load failing test for datajson

tests: check that datajson fails on dataset

Normal dataset are not supposed to load with datajson so we
should exit with code 1.

tests: add test for integer and string value

They are valid json and need to be accepted.

tests: add missing files

tests: duplicate value handling in datajson

tests: add md5 test to datajson

tests: add sha256 test to datajson

tests: add second datajson test

tests: add initial datajson test

tests: add pre_stream tests

test/rule: Check buffer consistency when using variables

Issue: 7549

test/dns: update src and dest addresses

With ticket 6400, DNS responses now use the src_ip (and port) of the
DNS server, update the tests to match.

Ticket: #6400

test/dns: add address checks for directionality

test/entropy: Validate entropy values

Validate entropy values from flow and alert logs.

run: skip multi-processing on macOS

run: support multi processing on BSD's

Should be supported on all but WIN32.

test/bug-7390 Add test cases relating to 7390

Issue: 7390

Insure that both rules trigger alerts; the rules are equivalent with one
using a distance variable and the other a hard-coded value.

tests: add test for bug 7725

pgsql: add test for copy in mode

Task #7645

tests/lua: add thread info check to existing test

lua/streaming: use new init syntax

lua/streaming: update tests for changes to output streaming

Handle the stream data passed as arguments to the log function.

tests/lua: update SCByteVar tests for suricata.bytevar lib

tests/lua: update for suricata.config lua lib

tests/lua: update lua tests for suricata.log lib

Ticket: #7727

tests: add mdns test

Ticket: #3952

pgsql: add tests for `query` keyword

Related to
Task #6259

test/decode: Test SLL2 decode

This test checks SLL2 decode operation.

dataset: backport test for ip set

Ticket: 7689

test/tlslib: Lua TLS library tests

Issue: 7608

detect/ftp: Tests for ftp.completion

This commit adds test cases for the rule keyword ftp.completion_code

Note that ftp.completion code can be used
- individually
- with other ftp keywords, e.g., ftp.reply

tests/luaxform: Lua transform tests

This commit adds tests for new Lua transform
- Basic transform operation
- Ensure non-existent Lua scripts are detected
- Ensure Lua scripts without transform functions are detected
- Ensure Lua scripts properly receive optional transform arguments
- Ensure Lua scripts work with Suricata's Lua libraries

rules/test: add app-layer-protocol negated test

To complement bug-7241 tests.

tests/ftp: Add tests for ftp_reply_received keyword

Add tests for the FTP keyword ftp.reply_received that alert on both
values for reply_received -- "yes" and "no".

Also validate that only yes, no, on, off are accepted.

Issue: 7506

Introduce TLS-JA4 client/server handshake tests

This update introduces two new tests to accompany the introduction of
client/server handshake parameters and output via JSON-EVE.

- ja4-cl-handshake: client eve output test
- ja4-sv-handshake: server eve output test

test/ftp: Tests for ftp.mode keyword

Issue: 7505

Add tests for the ftp.mode keyword for active, passive, and rule keyword
validation checks on the keyword option value.

tests: drop/pass deconfliction updates for 7.0.x

test: add lua test for suricata.file lib

Ticket: #7491

tests/pgsql: add check for redacted password msg

Bug #7647

tests: firewall: add verdict output

tests: add checks for ip version

Related to
Task #7047

tests: lua smtplib rule test

tests/lua-output-smtp: update for lua lib

tests: requires 8.0.0 for datasets set IP

tests: datasets set for IP

ja3: adds tests for lua

Ticket: 7605

detect: adds transactional rules with filesize

Ticket: 7665

tests: fix double stats record throwing test off

Set longer stats interval just like the test owning the pcap.

tests: firewall: add basic ssh tests

tests: ftpbounce engine name update

tests: test new suricata.flowintlib

Ticket: #7487

ssh: adds test with lua and hassh

Ticket: 7603

tests: update for new suricata.flowvar lib; test flowvar set

ssh: add test for lua output

Ticket: 7607

dns: more minimal setup for lua

ssh: adds test for lua

Ticket: 7607

detect/ftp: Tests for ftp.dynamic_port

Add tests for FTP's dynamic_port -- active and passive.

The ftp-active-dynamic_port-01 test case includes tests for the
comparison operands -- since the implementation uses the U16 matching
and parsing logic, only one test case has the additional test cases.

http1: adds test about request line matching

Ticket: 7668

Test that it matches as soon as possible

test: test a lua based fast.log

test: update tests for suricata.rule lib

Ticket: #7490

firewall: test that we drop packet with bad request line

Ticket: 5739

Add test for brotli content encoding

tests: add tests for loading shipped rules from releases

From 7.0.0..7.0.9 and 6.0.20.

tests: add tx_cnt tests

websocket: add test with decompression

Ticket: 7285

detect: add test for email.received keyword

Ticket: #7599

tests: bring back 7 support for lua tests

tests: more firewall tests

tests: drop/pass deconfliction updates

detect: add test for email.url keyword

Ticket: #7597

run.py: add aggressive-cleanup option

This option enables one to delete an output dir if the tests are
passing. This is useful mostly for QA scenarios where the artifacts are
not really needed if all went well for a test.

tests: add check for lua rules enabled by default

detect: add test for ldap.responses.attribute_type keyword

Ticket: #7533

detect: add test for ldap.request.attribute_type keyword

Ticket: #7533

tests: Support list checks

Support string checks for JSON lists with the new __contains operator that
checks whether a string is contained within a list.

Example
    - JSON list: "ftp":{"reply":["Opening BINARY mode data connection for temp.txt (1164 bytes).","Transfer complete."], }
    - Check: ftp.reply.__contains: 'Transfer complete.'