new test: netflow-eve: basic check of netflow records

tests/hassh Add test cases for hassh

tests: add test for http raw header

dhcp test: fix test for new unicode encoding

With JsonBuilder, NUL bytes in a string are now encoded as
unicode (\u0000) instead of our previous convention of \\x00.

Rename the old test as its still required for pre version 6.0.

tests: fix missing NSS check

filestore/ftp tests: require HAVE_NSS

filestore v1 test: require version less than 6

Filestore v1 has been removed in version 6.0.0.

github-ci: install cbindgen with --debug (builds faster)

github-ci: run self test

runner: fix tests, add self-test command

Fix the runner unit test, looks like they had not been
update to match some changes.

Add a self-test command to run the unit tests..

./run.py --self-test

runner: add less-than version requirements

lt-version can be used to specify that the Suricata version must
be less than a certain value. This is similar to what a max-version
might look like but be more predictable.

For example, to run a test on all versions less than 6:
    lt-version: 6

Move dce-iface-01 test to dcerpc folder

Add tests for DCERPC

Add createst script

createst is a script to produce a test directory with test.yaml as per
the PCAP and configuration provided.

This currently implements the functionality of creating the "checks" block
in `test.yaml` from a given `eve.json`. You can add other configuration
in the file thus created.

Usage
=====
```
usage: createst.py [-h] [--output-path <output-path>] [--eventtype-only]
                   [--allow-events [ALLOW_EVENTS]]
                   <test-name> <pcap-file>

Create tests with a given PCAP. Execute the script from a valid Suricata
source directory.

positional arguments:
  <test-name>           Name of the test folder
  <pcap-file>           Path to the PCAP file

optional arguments:
  -h, --help            show this help message and exit
  --output-path <output-path>
                        Path to the folder where generated test.yaml should be
                        put
  --eventtype-only      Create filter blocks based on event types only
  --allow-events [ALLOW_EVENTS]
                        Create filter blocks for the specified events
```

smtp-eve: higher fidelity smtp test with alerts

new test: dhcp-eve-extended

Tests the extended output of DHCP.

dns txt test: break into v1 and v2 tests

Eliminating the check.sh test at the same time.

dns dig test: break into eve v1 and v2 tests

Replace the EVE DNS dig test with 2 tests, one for v1 and
one for v2, both with higher detail matching.

tests: add datarep parsing test

tests: fix RUST feature checks and add them to smb tests

Adds test for SMB keyword named_pipe with ascii and unicode

Adds test for SMB key word named_pipe with ascii

Adds test for SMB EICAR file by segmentation between NetBIOS and SMB

Adds test for SMB EICAR file by segmentation in random bytes

Adds test for SMB EICAR file nbss-more-ffsmb

Readme edited

tests: add tests for issue 3515

test/ftp: Verify FTP memory usage

This commit adds a test case for verifying that FTP memory use and
accounting are correct.

Add tests for flowbit oring

tests: add dcerpc (over tcp) test

tests: add metadata and prefilter tests

Fix output-eve-ftp result

decoder: initial hdlc test

tests/tfo: add more tests

tests: dns-tcp-www-google-com is rust only

Rust parser has different behavior than the C parser in 4.1.x, but we're
too far into the branch to change such behavior.

tests: add http file blocking on sha256 tests

tests: mark 2 smb file tests as requiring rust

- filestore-container-smb
- smb-eicar-file

framework: warns on different type between yaml and json

Adds test for SMB EICAR file

windows: fix version check for win32

There may be leading output before the expected version string,
so make sure to be a bit stricter on in the regex to extract the
version correctly.

windows: skip tests that check for uid

windows: skip shell checks and don't run setup

tests: fix test using nanosecond precision

Not all libpcaps support this.

tests: byte_test bitmask tests

Update min-version to 6.0 for some test that fail on 5.0.x

- detect-filestore-config-02
- detect-filestore-config-04
- pcre-invalid-rule-01

github-ci: test against supported Suricata branches

The idea is not to test every compile time option, but a somewhat
standard once over of our supported branches to make sure tests
that are version specific are flagged as such.

Will also allow us to quickly spot PRs that fail that may
be depending on a suricata fix/pr.

detect-filestore-config: require nss

pcre-invalid-rule-01: min-version 5.0

file-data-depth-inspection: break into 2 tests

As the alert one doesn't work with 4.1.

tests: file_data depth inspection should keep working with other rules

filemd5: test md5 rule triggers without filestore keyword

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2490

Adds test for http async parsing

http-all-headers: remove check.sh, use new __len test

Remove check.sh script and use __len to test the length
of the arrays.

Add ability to match on the length of an array.

By using the "magic" key value of __len, a match can be done
on the length of an array. For example:

  - filter:
      count: 1
      match:
        event_type: http
        http.response_headers.__len: 9

This does rely on us never using __len as an actual object
key, so is a bit of a hack.

eve/http: add request/response headers test

dns: add some checks on source and destination addresses

Ticket #3340:
https://redmine.openinfosecfoundation.org/issues/3340

run: flush stdout before using check.sh

issue 3406: Add tests checking filestore config

add tests for RFB parser

tests/snmp: Update SNMP verifications

tests: FTP passive test update

tests: FTP active test update

run: Improved support of shell tests

tests/pcre: Add test to check sticky buffer

This commit adds test support to ensure that modifiers to pcre have the
proper content.

tests/ipv6: fix on versions <6

Adds passing test for IPv6 evasion atomic fragment

http-xff-unified2: quiet test script output

On failure the require script would send an error to stderr,
redirect this to /dev/null as it is supposed to fail
if there is no unified2 support.

tests: Test for issue 3463

Add a test for bug 3463 -- duplicate threshold options not detected.

tests: bug-3490 requires a min-version

tests: Add tests for issue 3490

readme: document shell checks

shell check: raise error if missing args

In a shell check, the args parameter is required. Fail the test
with a nicer error if the args field is missing.

decode: ERSPAN Type I packet parsing

bpf-command-line: add test for bug 3346

dns test fix: only include relevant rules

Remove app-layer dns rules for events not relevant to
test as some of them are scheduled for removal.

Also convert check.sh to test.yaml.

bug-130: update for changed detection logic

http: test for body inspection corner case

fixup: HAVE_RUST should be just RUST

tests: add mix of byte_extract tests

tests: fix missing HAVE_RUST declarations

tests: fixes for bug 130

Version check failed and windows failed to match.

tests: fix sip tests

The correct numbers of alerts logged is not correct and OISF/suricata#4330
fixes this issue, so this commit fixes tests that are broken.

test: dhcp request flood test

Tests that a DHCP request flood doesn't take an excessive amount
of time.

Skipped by default.

Related ticket #3345:
https://redmine.openinfosecfoundation.org/issues/3345

run: fix --force to force running of skipped tests

All skip to be a boolean, for easy skip by default.

run: allow an empty test.yaml

On an empty test.yaml, make sure the config object is an
empty dict, and not None.

run: use 0 for undefined versioned components

Fix the version parser to use 0 for undefined version
components instead of None to support looser version
specifications:

5 => 5.0.0
5.1 => 5.1.0
5.1.1 => 5.1.1

bug-130: min-version 5.0

Add tests for #130: content + nocase issue

Closes redmine ticket #3057.

base64 tests: update to work on 4.1

base64: add basic tests

eve/dns: test eve/dns filtering

To confirm ticket:
https://redmine.openinfosecfoundation.org/issues/3231

tests: add bug 3277 nfsv2+filestore test

tests: add empty TCP SACK test

tests: add check for rdp support to rdp test

tests: add rdp parser test

run: handle moved classificaton/reference config

First look for these configuration files in ./etc, then in the
top directory to handle the change of location in Suricata 5.0,
as well as work with older versions.

tests/datasets: set requirements

tests/datasets: fix path hanlding in isnotset test

test: dataset state isnotset test

The idea with this test is to alert on the first time something
is seen in a state type dataset.

Adds a testcase for HTTP multiple content-length