test/luaxform: Ensure ip.src/ip.dst work with transforms

Demonstrate that the sticky buffers ip.src/ip.dst work with transforms.
The sample lua script creates a string "cidr" from an ipv4 src/dst
address.

E.g., "1.2.3.0/24"

The tests require 9.0 or greater; when issue 8016 is addressed,
additional version constraints will be added.

Issue: 8015

tests: add rule check for ttl keyword

Related to
Issue: #6310

tests/ike: update for 7.0.13

For backport of ticket #7923.

test/unknown: Ethertype updates for 8.0.x

Issue: 8007

Includes changes for issue 7855 needed for the backport.

tests: update issue 8002 pcap log test to run on 8.0.2

tests/ikev1-duplicate-proposals: update for 8.0

Ticket: #7923

github-actions: install cbindgen with locked deps

To avoid MSRV bumps in the dependencies.

test/entropy: Test with raw content

Test entropy w/out a sticky buffer.

Without the suricata fixes, the test will SEGV and thus fail.

With the suricata fixes, the calculated entropy value will be
matched with the value in the test specification.

tests: add issue 7657 tests

tests: add issue 3844 test

tls: add test for altname with zero inside

Ticket: 7881

test/bug-5464: add file extension to pcap mention

The lack of the `.pcap` extension when using `pcap:` to use a file from
a different test seems prone to cause issues.

http2: do not test HTTP2_DECOMPRESSION feature

As it is always present since 7

http2: backport7 test about error code

Ticket: 7991

tests: add test for bpf in pcap multi logging (issue 8002)

detect/integers: add check for count argument

Ticket: 7211

http2: backport error code test to 8

or at least some checks of it

detect/files: backport nfs test over udp only to 8

Ticket: 7973

http2: adds test for http2.errorcode keyword

Ticket: 7889

smtp/mime: backport quoted printable tests to 7

Ticket: 7950

test/unknown: Use host order for ethtype check

Issue: 7855

Version 9+: Match the ethertype value using host order.
Version 8: Match the ethertype value using network order.

tests: add bug 7709 tests

tests: pop3: address todos in test

detect/files: add nfs test over udp only

Ticket: 7973

smtp/mime: backport quoted printable tests to 8

Ticket: 7950

tests/ike: update for attributes as objects in 9

test/ike: add test for duplicate proposals

Ticket: #7902

test/ike: add pcap_cnt

Easier to debug which packet record should match.

tests: add tests for bug 7964

Related to
Bug #7964

smtp: do not test wrong values until backports

Ticket: 7950

mime: adds test about quoted-printable

Ticket: 7950

dnp3: adds tests about dnp3.ind keyword

Ticket: 6724

nfs: adds test for nfs_procedure keyword

Ticket: 6723

snmp: adds test for pdu_type keyword

Ticket: 6723

krb5: adds test for krb5_msg_type keyword

Ticket: 6723

Uses enumeration stringers and not equal mode

tests/etag: Basic test case for ETAG decode

Ticket #3953.

http2: add test with window keyword and index

Ticket: 7480

http2: add check for http2.priority keyword

Was missing coverage

We do not have any pcaps with a stream changing its priority
to test the index capability

mqtt: add test with type keyword and index

Ticket: 7480

dns: add test with rrtype keyword and index

Ticket: 7480

tests: add vxlan with non-zero reserved fields test

Ticket: #7753

email: test body-md5 auto setting without rules

Ticket: 7587

Verify that we do not output a body_md5

detect: add test for email.body_md5 keyword

Ticket: #7587

detect/mime: fix detect-email-received nits

Remove unused configuration from suricata.yaml
Reduce smtp filters to just one containing the three email.received[]
in test.yaml

Fixes: 2a2713e4 ("detect: add test for email.received keyword")

github-actions: adjust for suricata master to main rename

Add `main-8.0.x` branch as well.

tests: support 9 in requires-ok test

test: backports for issue 7521

Ticket: 7521

tests/exception-policy: update READMEs #7884

Add more information concerning flow output for exception policies
in cases of flow-memcap and defrag-memcap.

Related to
Ticket #7884

tests: update triggered exception flow output ones

To 7.0.12

Related to backport ticket
Task #7623

tests: enable 4702 test for 7.0.12

tests: add another test for 4702

Based on real traffic.

pppoe: backport test for pppoe decoder protocol alerts

Ticket: 7826

tests: add tests for issue 5758

tests: add tests for issue 6269

tests: add test for issue 4702

pppoe: Add test for pppoe decoder protocol alerts

Suricata commit b23fa51e ("detect: fix decoder only events") fixed
decoder events to go off properly. However it was found that the pppoe
decoder was going off on valid ppp packets.
With drop rules isntead of alert rules, a ppp connection could not
be established.

The following pcap is a valid ppp connection but valid pppoe packets
are being detected as wrong_type or unsup_proto.

http: backport test for identity Content encoding

Ticket: 7843

runner: respect CARGO env var when building eve validator

For cases where "cargo" does not exist, but "cargo-1.82" does.

Ticket: #7877

detect/prefilter: backport checks u8 prefilter with more modes

Ticket: 7865

detect/prefilter: test u8 prefilter with lte mode

Ticket: 7865

dns: add test with response with data length 0

Ticket: 7574

http: test no anomaly for identity Content encoding

Ticket: 7843

test/from_base64: Use transform with default values

This test uses default values for the parameters accepted by
from_base64:
- bytes
- offset
- decode type

Issue: 7853

tests: update for exceptions stats counters

Related to backport ticket
Task #6509

tests: add test for bug-7752 backport

Related to
Bug #7777 (backport ticket)
Bug #7752

tests: fix check in test bug 4571 03

The event_type field was missing for one of the checks.

flow: backport test for community id with same ip

Ticket: 5689

http: backport multipart tests

Ticket: 7582

tests: update bug 7725 tests for Suricata 7

Also added a few more cases for disabled config.

Related to (backport ticket 7726)
Bug #7725

doh: test that we do not have dns event without dns

Ticket: 7740

flow: add test for community id with same ip

Ticket: 5689

snmp: add test when snmp is disabled

Ticket: 7820

github-ci: add windows build

runner: convert to multi-threading from multi-processing

Multi-processing has issues on Windows, moving to threading does allow
it to work on Windows (with a few issues to still figure out).

This removes the single thread runner, instead for Windows and Mac
we'll just use one job for now, and change that default as we prove
its reliaable.

Update ctrl-c handling as well, for reliable ctrl-c cancellation.

runner: remove os.chdir, use full paths as needed

In preparation for multi-threading, where we can't chdir as that would
affect other threads.

runner: raise UnsatisfiedRequirementError for windows shell checks

Instead of just printing that shell checks are not supported on
Windows, properly skip the test so it is counted as skipped.

run: fix invalid error handling

test/requires: now that 8.0.1 is a reality, test with 8.0.99

analyzer/tests: ICMP icode engine analysis test

Test the ICMP icode engine analysis additions.

Issue: 6359

framework: check for redundant check/test version requirement

dns: remove never run check

As version requirement for check was incompatible with the one
from the test

framework: check test/check version compatibility

firewall: remove unrun check

We cannot tun a check with version less than 7 if the whole test
is min version 8

tests: remove wrong lt-version: 7

When we meant to test before version 8

tests/lua: simply return of empty needs

Just "return {}". Makes it easier to extract what is actually being
returned here for comparison with documentation.

github-ci: add macos job

Mainly the make sure that changers to the runner don't cause issues.
macOS is different enough from Linux to needs its own check.

tests/rules: add test for bug 5177

The engine analyzer issues the same note about using new rule buffers
regardless of the rule usage of new buffer or the old ones.
This test is just to showcase this.

Bug #5177

tests: add tests for decode encapsulation types

Add simple tests for alert to match on TCP traffic over:

- IPv4 over IPv4 - bug-4571-01
- IPv6           - bug-4571-02
- IPv6 over IPv6 - bug-4571-03
- IPv6 over IPv4 - bug-4571-04
- IPv4           - bug-4571-05
- IPv4 over IPv6 - bug-4571-06

Related to
Bug #4571
Bug #7725
Bug #7752

test/analyzer: Add test for dsize info

Add a test that checks for dsize value information.

detect/test: Backport 7390 to 7.0.x

tests: remove exit-code check for datasets-absolute-allowed on v8

With the commit in Suricata to skip adding localstatedir when a full
path is provided, the S-V test does not exit with 1 anymore but rather
with 0 since it succeeds.

This commits updates the previous test to run with Suricata prior to
verison 8 and a dedicated copy of the test to work with Suricata 8
without the need to check the exit code anymore, since it's 0.

The new test is split between Unix like systems and Windows by using
different absolute paths for the filenames.

tests: add ipv4 datajson test

tests: datajson uses context_key

Rename the enrichment_key to context_key in the signatures.

tests: update datajson to latest code

tests: datajson remove_key tests

tests: fix memcap following data structure change

tests: add jsonline format test for datajson

tests: update datajson to new file format

Update the tests to use JSON format and the new dataset syntax.

tests: update datajson 0.9 syntax

tests: datajson test are Suricata 8