backport: support issue 8582 tests for 8

backport: support issue 8590 tests for 8

tests: test for filestore fd exhaustion

Test that we don't leak file descriptors when configured to not keep any
open.

tests: add substate validation tests

tests: add tests for checking http2/doh2 global logging

Validate that these txs are logged in time.

tests: add doh2 firewall tests

tests: add http2 engine analysis test

tests: add test for disabled doh2

tests: expand dns over http2 tests with more keywords

tests: add tx substate tests

tests: update http2 tests for stream/global split

flowbits: add test for max in a sig

Task 8596

tests: pipelined rset and mail from after a completed message

The rset reply must not complete the transaction created by the
pipelined mail from.

tests: add no helo smtp rset and quit tests

Tests kept minimal, we're just tracking transaction counts for when an
rset or quit arrives before helo.

tests: expect one less transaction for some smtp tests

The SMTP parser no longer generates an SMTP transaction for the BYE.

tests: smtp firewall test for pipelined rset

tests: smtp test for pipe issue

In main, the second transaction misses the "email" object.

tests: add smtp pipelined post-DATA regression test

Add a firewall SMTP fixture where a second MAIL FROM is sent before the
previous DATA completion reply. The checks require the second message to
be logged as a distinct transaction with its own sender and recipient.

tests: update very small MIME SMTP packet

This very-small-input MIME fixture still logs the same decoded message,
but the SMTP transaction event now waits for response-side completion.
The event therefore moves from packet 14 to packet 15.

Update only the tx 0 SMTP event pcap_cnt while keeping the HELO-only
timeout transaction assertion unchanged.

tests: update small remainder MIME SMTP packet

The small-remainder MIME input still decodes into the same SMTP
transaction fields. Because SMTP transaction logging now waits for the
server response progress to complete, the tx 0 SMTP event appears on
packet 15 instead of packet 14.

Adjust only the primary SMTP event pcap_cnt; the HELO-only timeout
transaction check stays unchanged.

tests: update MIME removed-space SMTP packet

The MIME parser still produces the same decoded message for this
removed-space input. With SMTP transaction completion now tied to the
response progress state, the SMTP event is emitted one packet later.

Move the tx 0 SMTP event pcap_cnt from 14 to 15 and leave the timeout
transaction check unchanged.

tests: update odd MIME length SMTP packet

The odd-length MIME message is decoded into the same SMTP transaction
fields, but the transaction event is delayed until the server response
completes the SMTP progress state. That moves the tx 0 SMTP event from
packet 14 to packet 15.

Keep the existing decoded-message assertions and adjust only the event
packet number.

tests: update short filename SMTP packet

This attachment fixture still emits the same fileinfo and decoded
filename data. After SMTP transaction completion became response-gated,
the SMTP transaction event for tx 0 is logged on packet 15 instead of
packet 14.

Update only the SMTP event pcap_cnt; the fileinfo packet and attachment
assertions remain unchanged.

tests: update long filename SMTP packet

The long-filename anomaly still fires on the server packet where it is
parsed, and the fileinfo event remains on packet 15. The SMTP
transaction event now also lands on packet 15 because transaction
logging waits for response-side completion after DATA.

Adjust only the SMTP event pcap_cnt for the parsed attachment
transaction, leaving the anomaly and fileinfo expectations intact.

tests: update MIME URL SMTP packet

The URL-bearing MIME transaction is still decoded correctly, but SMTP
transaction logging now waits for the server response completion state.
That moves the SMTP event containing email.url from packet 14 to packet
15.

Update only the transaction event pcap_cnt; the expected decoded URL and
envelope fields are unchanged.

tests: update MIME line SMTP packet

The SMTP transaction for this line-parsing MIME fixture is complete only
after the server response progress reaches complete. The decoded message
fields are unchanged, but the SMTP event is emitted one packet later.

Move the tx 0 SMTP event pcap_cnt from 14 to 15 and leave the timeout
HELO transaction check as-is.

tests: update second full MIME SMTP packet

The parsed MIME email transaction is now logged after the SMTP response
completion state is seen. In this fixture that moves the tx 0 SMTP event
from packet 14 to packet 15 without changing the parsed envelope or
email fields.

Update only the SMTP event pcap_cnt so the test reflects the new
transaction-completion timing.

tests: update full MIME message SMTP packet

SMTP transaction logging now waits for the response-side completion
state instead of logging when the client finishes DATA. This MIME test
still parses the same message content, but the SMTP event for tx 0 is
emitted one packet later.

Move only the SMTP transaction event pcap_cnt from 14 to 15; the
helo-only timeout transaction expectation is unchanged.

tests: update email subject smtp log packet

The email subject content is still detected while request DATA is
inspected on packet 13. After the SMTP progress-state change, the
transaction is not logged until the server response completes the
response-side progress, so the SMTP event with the parsed Subject header
now appears on packet 14.

Keep the alert timing assertion intact and update only the SMTP
transaction event pcap_cnt.

tests: update email message-id smtp log packet

The SMTP message-id rule still alerts as soon as request-side DATA
inspection completes on packet 13. With transaction completion now gated
by the later response progress state, the SMTP transaction event
containing the parsed Message-ID is logged on packet 14.

Adjust only the SMTP event pcap_cnt expectation so the test continues to
assert the split between detection timing and transaction logging.

tests: update email date smtp log packet

SMTP transactions now complete only after both the request and response
progress states reach complete. The date rule still alerts on packet 13
when the request data is inspected, but the SMTP event carrying the
parsed Date header is emitted on the following server response packet.

Keep the alert check at packet 13 and move only the SMTP event
expectation to packet 14.

tests: fix smtp test for progress changes

This test now shows the previously commented out invalid reply as we
don't complete the tx at end of client data, but instead on the server
response. And this server response at end of data is considered invalid
and is now logged as such.

tests: update smtp-file-data-01 for tx progress changes

The SMTP TX now completes after the server response from DATA, not when
the client sends end of data. So the pcap_cnt for this test is now 91
instead of 89.

tests: update smtp-file-data-02 for tx progress changes

The SMTP TX now completes after the server response from DATA, not when
the client sends end of data. So the pcap_cnt for this test is now 53
instead of 51.

tests: smtp firewall test for blocked sender in back to back

tests: smtp firewall test for back to back messages

tests: smtp firewall test for rset then quit

tests: smtp firewall test for out of order commands

tests: smtp firewall test for nested mail from

tests: smtp firewall test for quit after mail from

Checks that we never trigger on request_data hook if we quit before data.

tests: add smtp firewall test with rset after rcpt to

Accept based test that an RSET after RCPT TO is accepted.

tests: smtp firewall test for subsequent blocked sender

Test that if the first MAIL FROM is from an OK sender, but then we RSET,
that the next transaction from a NOT OK sender gets blocked.

tests: smtp firewall test for rset after mail from

This is an accept based test to test that we move onto the next
transaction without issue when an RSET is issued after mail from.

tests: add smtp firewall test with a more interactive session

Its an allow test for allowed mail from/rcpt to, but has a less standard
interaction:

<--- 220 mail.example.com ESMTP Postfix

---> helo client.example.com
<--- 250 mail.example.com

---> NOOP
<--- 250 2.0.0 Ok

---> VRFY bob
<--- 252 2.0.0 bob

---> EXPN staff
<--- 500 5.5.2 Error: command not recognized

---> HELP
<--- 500 5.5.2 Error: command not recognized

---> mail from:<alice@example.com>
<--- 250 2.1.0 Ok

---> NOOP
<--- 250 2.0.0 Ok

---> rcpt to:<bob@example.com>
<--- 250 2.1.5 Ok

---> data
<--- 354 End data with <CR><LF>.<CR><LF>

---> (message body)
---> .
<--- 250 2.0.0 Ok: queued as <id>

---> QUIT
<--- 221 2.0.0 Bye

tests: smtp firewall test for when one of rcpt is allowed

The idea is that just one of the recipients needs to be allowed for the
SMTP session to continue.

tests: smtp firewall test with drop for not allowed rcpt

tests: smtp firewall test with blocked rcpt to

tests: smtp firewall test with blocked sender

tests: simple smtp firewall test with send/rcpt validation

Only allows mail from/rcpt to specific addresses.

tests: add trivial smtp firewall test

snmp: adds check for trap_address keyword

snmp: adds test for trap_oid keyword

Ticket: 8485

detect: verify app-layer-protocol pipe-separated value list

Add suricata-verify coverage for the app-layer-protocol keyword's
pipe-separated value list and its matching behaviour:

- multi-value and negated (NOR) matching, the unknown-window idiom, and the
  firewall default-policy boundary
- default AppProtoEquals() equivalences (dns matches a doh2 flow) and the
  exact option (dns,exact does not match doh2; http,exact rejected at load)
- engine-analysis JSON output of the effective match set
- prefilter accepted for a single-value rule, rejected for a multi-value rule
- rejection of duplicate/overlapping negated keywords

Ticket: 7705

ftp: fix tests for bug 8849 about max-tx

Ticket: 8592

We stop the parsing to avoid getting quadratic complexity
by having one TCP chunk creating many transactions, and the limit
being enforced only for non-complete txs while we iterate the
complete list of transactions

tests: add test for sip body evasion

Test created by catenacyber.

Ticket #8582

rules: add test with frame + transform without content

Ticket: 8590

backport: support issue 8644 tests for 7

tests: update ftp tests for 8.0.6

With the backport of the FTP firewall work we can set the version on
these tests to 8.0.6.

backport: support issue 8660 tests for 8

backport: support issue 8643 tests for 8

tests: add DHCP single-direction transaction tests for bug 8621

DHCP is a stateless parser where each datagram is its own standalone,
single-direction transaction. Verify that a request/reply exchange alerts
once per datagram rather than once per direction, and that directional
rules only match the transaction for their own direction.

bug-8621-01 checks a generic dhcp rule fires exactly once on the request
and once on the reply. bug-8621-02 checks a flow:to_server rule only
matches the request and a flow:to_client rule only matches the reply.

Issue: 8621

detect/krb: adds check for krb_err_code keyword

Ticket: 8648

tests: add check for client provided ftp STOU filename

With STOU, a filename is optional. If provided, ensure that our fileinfo
records to have this user provided filename instead of the <stou> stub.

tests: mark existing ftp firewall tests as lt-version 9

Until the new work is backported, if ever.

tests: add ftp firewall test for ftpbounce

tests: update ftp firewall nlst test with ftp.reply_received

tests: update ftp firewall test to use ftp.reply

tests: add ftp firewall test for ftp.dynamic_port

tests: add ftp firewall test to drop non-anonymous user command

Otherwise uses all default policies to pass FTP.

tests: add ftp firewall test for STOU without a filename

tests: update ftp fireall tests for STOU command

tests: update tests for ftp firewall APPE command

tests: add ftp firewall tests for LIST and MLSD

tests: ftp firewall test with more specific allows

Also tests:
- default policy for ftp data
- ftp.mode
- ftp.command
- ftp.command_data
- ftp.completion_code

tests/output-eve-ftp-data: update for nlst changes

FTP data flows are now setup for NLST.

tests: add firewall ftp tests for nlst on the data channel

backport: support issue 8670 tests for 8

backport: support issue 8625 tests for 8

backport: support issue 8655 tests for 8

ci: have one run with ASAN enabled

Ticket: 8532

security-8642-swf: add SWF depth wrap regression

ftp: fix test for ftp.reply_received

Ticket: 8659

This test relied on the behavior that we put the parser into
error when having RETR after an invalid PASV
but we can see that every request has a response, even if the
response to the invalid RETR is
550 Failed to open file

ftp: adds test for RETR without previous PORT

Ticket: 8659

sctp: adds a test with too many chunks

Ticket: 8661

datajson: add tests for non strings

Ticket: 8624

test/xor: add tests for inline variable key and offset syntax

Add 15 test cases for the 'extract <nbytes> <offset>' inline variable key
syntax and the optional 'offset' parameter of the xor transform.

Positive tests:
  01 - 1-byte var key at body offset 0, XOR from offset 1; 1 alert
  02 - same as 01, content absent in decoded data; 0 alerts
  03 - 4-byte var key at body offset 0, XOR from offset 4; 1 alert
  06 - extra whitespace in offset syntax accepted; 1 alert
  10 - xor preceded by content keyword on same buffer; 1 alert
  12 - two rules with different var key locations both alert;
       verifies independent buffer per key location
  13 - var key location beyond buffer end; transform skips, 0 alerts
  14 - var key on http.uri buffer; verifies transform is not limited
       to http.request_body; 1 alert
  15 - static key and variable key rules on the same buffer both alert;
       verifies independent transforms for each key type; 2 alerts
  16 - ensure that buffer is not transformed in place.

Error tests (rule load failures, exit code 1):
  04 - extract 0 0 (zero nbytes)
  05 - extract 1 (missing offset)
  07 - offset with non-numeric value
  08 - offset without comma or key
  09 - offset with empty value before comma
  11 - empty quoted hex key

Issue: 8671

rules: adds test for pcre \X engine analysis

Ticket: 8634

tests: add basic ftp firewall upload tests

Not exhaustive, but complimentary to the download tests for reviewing
tickets 8662 and 8663.

tests: ftp active download test for firewall

This demonstrats how testing for "ftpdata_command: retr" is not possible
for active ftp without a Suricata fix.

tests: ftp passive download test for firewall

Notes:

- ftp-data:request_started and ftp-data:request_complete never reached

ftp: add active and passive data tests

Some observations:

- On the data channel, ftpdata_command:retr matches in the to_client
  direction, for passive and active.

- On the data channel, ftpdata_command:stor matches in the to_server
  direction. This matches the direction of the file, but it is the
  client that send the STOR request. Does this make sense?

- On the data channel, file_data matches in the direction of the TCP
  connection to differs for active and passive mode. This almost seems
  counter intuitive to how ftpdata_command works. But a direction is not
  required here so I'm not sure it matters much to rule writers.

runner: allow rule file to be referenced by filename

Useful to point to a common rule file from another test like we do with
PCAPs.

tests: support firewall tests in 8

pcap-file-stdin: read pcap from stdin via /dev/stdin

Feed a one packet pcap into Suricata via /dev/stdin to exercise the
non-seekable file handling fix in OISF/suricata#15384 for Bug #8464.
Without the fix InitPcapFile calls setvbuf on the FILE underlying the
pcap handle after libpcap has already consumed the pcap header, glibc
cannot recover on a non-seekable fd, the first pcap_next_ex returns
-1, and no packets are decoded.

The test overrides the default invocation with a command that pipes
input.pcap into Suricata reading from /dev/stdin. The rule alerts on
a deterministic content match in the TCP payload, and the check
asserts that exactly one alert with sid 1 lands in eve. On the pre
fix code the run produces zero alerts and the test fails. On the
fixed code one alert is observed and the test passes.

Bug: #8464.

conf: adds test that we do not crash on yaml null

Ticket: 8651

sip: test that ssdp is not identified as sip

tests: improve and add dns lte tests

tests: add test for dns:< auto-accept-prior mix with packet:filter

Test accept:flow dns:<state (auto-accept prior hooks syntax) confirming
correct handling of the packet:filter table.

tests: add test for sctp keywords

Ticket #4251

datasets: add match subdomain test

Ticket: 8385