http: fix http-sticky-server pcap by removing gaped flow

http: adds test with gap extending beyond body

http: adds test with whole body as gap

http: adds test with double gap

http: adds test with signle gap

dns: adds test against incomplete TCP payload

add MQTT ping test

See https://github.com/OISF/suricata/pull/5307 for details.

Give test count as output not check count

With the current setup, after running suricata-verify, the output would
give stats about the passed, failed or skipped checks. However, it is
cleaner to get the total stats about tests only.

The priority order for the output is:
FAILED
SKIPPED
PASSED

i.e. if a check or sub-test has failed, the entire test will be counted
as failed in the final output. If all the checks have been skipped,
the test will be counted as skipped in the final output else passed.

Closes redmine ticket 3172.

http2: update test to match new log format

Also test for http1 compatible fields.

http2: enable http2 app-layer and output

HTTP2 is experimental and disabled by default so the tests
need to explicitly enable it.

Adds basic http2 test

rdp: fix new test for suricata 5

test:byte_jump Test from_end

This commit adds test cases for the `byte_jump` `from_end` keyword.

test: Community-id tests for dhcp, rdp, smb, tftp

This commit adds test cases that verify the community id string is
included in dhcp, rdp, smb and tftp records when configured.

rdp-protocol: test rdp metadata in alert

snmp-v2c-get: test snmp metadata in alert

dcerpc: Add test for gap handling

dcerpc: add logging test

dcerpc: Remove double tests

createst: add strictcsum option

readme: fix example indenting

filestore-v2.4-forced-with-meta: use "match" tests

Remove jq tests, these can now be done with the match
syntax.

filestore-v2: check for flow_id in .meta file

filestore-v2: check that flow_id exists in fileinfo record

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2196

runner: debug-failed fixups

Don't dump a file that looks like binary. This is determined
by trying to utf-8 decode a file.

option: adds debugfailed option

Prints contents of files in output directory of failed tests
Intent is to debug flasky behaviors

tests: test that triggers a rule with established though 3whs missing

tests/filestore: Filestore Stream-depth test cases

This commit adds the following test cases for filestore related
stream-depth configuration settings

1.`file-stream.stream-depth` exceeds `stream.reassembly.depth`.
2.`file-stream.stream-depth` is less than `stream.reassembly.depth`.
3.`file-stream.stream-depth` set to 0.

tests: Add test for transform/content interaction

This commit adds a test case for issue 3661.

tests/anomaly: Test case for mult. loggers

This commit adds a test case for the issue described in bug 3835.
Multiple anomaly loggers aren't supported.

ssh: adds regression test for hassh kex parsing

add cases for MAC addresses in EVE-JSON

tests: ERSPAN Type I packet decode if config

This commit adds tests for ERSPAN Type I decoding based on configuration
settings.

tests: pcrexform tests

This PR adds tests for the `pcrexform` including tests for
- basic functionality: Simple PCRE
- extended functionality: Multiple PCREs
- Negative: PCRE that do not match anything
- Negative: Missing option values

add MQTT tests

tests: fixes after TCP changes

Fixes around ACK'd data.

tests/hassh: adapt to changed logging format

tests/dhcp: fix RUST test on non-RUST

tests/ftp-data Test case for event type ftp_data

This commit adds a test case to insure that `ftp_data` events are being
generated.

tests/dnp3: limit midstream test to 5.0+

dnp3: new test with more detail

Also rename to make it clear its an dnp3/eve test.

tests: conditional logging tests for http and dns

Adds dnp3 midstream direction probing parser test

test: Add byte_math tests

This commit adds tests for the byte_math keyword. The test is simple
and complements the unit tests added with the Suricata pr.

ikev2: check more fields

To help validate jsonbuilder conversion.

new test: netflow-eve: basic check of netflow records

tests/hassh Add test cases for hassh

tests: add test for http raw header

dhcp test: fix test for new unicode encoding

With JsonBuilder, NUL bytes in a string are now encoded as
unicode (\u0000) instead of our previous convention of \\x00.

Rename the old test as its still required for pre version 6.0.

tests: fix missing NSS check

filestore/ftp tests: require HAVE_NSS

filestore v1 test: require version less than 6

Filestore v1 has been removed in version 6.0.0.

github-ci: install cbindgen with --debug (builds faster)

github-ci: run self test

runner: fix tests, add self-test command

Fix the runner unit test, looks like they had not been
update to match some changes.

Add a self-test command to run the unit tests..

./run.py --self-test

runner: add less-than version requirements

lt-version can be used to specify that the Suricata version must
be less than a certain value. This is similar to what a max-version
might look like but be more predictable.

For example, to run a test on all versions less than 6:
    lt-version: 6

Move dce-iface-01 test to dcerpc folder

Add tests for DCERPC

Add createst script

createst is a script to produce a test directory with test.yaml as per
the PCAP and configuration provided.

This currently implements the functionality of creating the "checks" block
in `test.yaml` from a given `eve.json`. You can add other configuration
in the file thus created.

Usage
=====
```
usage: createst.py [-h] [--output-path <output-path>] [--eventtype-only]
                   [--allow-events [ALLOW_EVENTS]]
                   <test-name> <pcap-file>

Create tests with a given PCAP. Execute the script from a valid Suricata
source directory.

positional arguments:
  <test-name>           Name of the test folder
  <pcap-file>           Path to the PCAP file

optional arguments:
  -h, --help            show this help message and exit
  --output-path <output-path>
                        Path to the folder where generated test.yaml should be
                        put
  --eventtype-only      Create filter blocks based on event types only
  --allow-events [ALLOW_EVENTS]
                        Create filter blocks for the specified events
```

smtp-eve: higher fidelity smtp test with alerts

new test: dhcp-eve-extended

Tests the extended output of DHCP.

dns txt test: break into v1 and v2 tests

Eliminating the check.sh test at the same time.

dns dig test: break into eve v1 and v2 tests

Replace the EVE DNS dig test with 2 tests, one for v1 and
one for v2, both with higher detail matching.

tests: add datarep parsing test

tests: fix RUST feature checks and add them to smb tests

Adds test for SMB keyword named_pipe with ascii and unicode

Adds test for SMB key word named_pipe with ascii

Adds test for SMB EICAR file by segmentation between NetBIOS and SMB

Adds test for SMB EICAR file by segmentation in random bytes

Adds test for SMB EICAR file nbss-more-ffsmb

Readme edited

tests: add tests for issue 3515

test/ftp: Verify FTP memory usage

This commit adds a test case for verifying that FTP memory use and
accounting are correct.

Add tests for flowbit oring

tests: add dcerpc (over tcp) test

tests: add metadata and prefilter tests

Fix output-eve-ftp result

decoder: initial hdlc test

tests/tfo: add more tests

tests: dns-tcp-www-google-com is rust only

Rust parser has different behavior than the C parser in 4.1.x, but we're
too far into the branch to change such behavior.

tests: add http file blocking on sha256 tests

tests: mark 2 smb file tests as requiring rust

- filestore-container-smb
- smb-eicar-file

framework: warns on different type between yaml and json

Adds test for SMB EICAR file

windows: fix version check for win32

There may be leading output before the expected version string,
so make sure to be a bit stricter on in the regex to extract the
version correctly.

windows: skip tests that check for uid

windows: skip shell checks and don't run setup

tests: fix test using nanosecond precision

Not all libpcaps support this.

tests: byte_test bitmask tests

Update min-version to 6.0 for some test that fail on 5.0.x

- detect-filestore-config-02
- detect-filestore-config-04
- pcre-invalid-rule-01

github-ci: test against supported Suricata branches

The idea is not to test every compile time option, but a somewhat
standard once over of our supported branches to make sure tests
that are version specific are flagged as such.

Will also allow us to quickly spot PRs that fail that may
be depending on a suricata fix/pr.

detect-filestore-config: require nss

pcre-invalid-rule-01: min-version 5.0

file-data-depth-inspection: break into 2 tests

As the alert one doesn't work with 4.1.

tests: file_data depth inspection should keep working with other rules

filemd5: test md5 rule triggers without filestore keyword

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2490

Adds test for http async parsing

http-all-headers: remove check.sh, use new __len test

Remove check.sh script and use __len to test the length
of the arrays.

Add ability to match on the length of an array.

By using the "magic" key value of __len, a match can be done
on the length of an array. For example:

  - filter:
      count: 1
      match:
        event_type: http
        http.response_headers.__len: 9

This does rely on us never using __len as an actual object
key, so is a bit of a hack.

eve/http: add request/response headers test

dns: add some checks on source and destination addresses

Ticket #3340:
https://redmine.openinfosecfoundation.org/issues/3340