tests: file_data depth inspection should keep working with other rules

filemd5: test md5 rule triggers without filestore keyword

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2490

Adds test for http async parsing

http-all-headers: remove check.sh, use new __len test

Remove check.sh script and use __len to test the length
of the arrays.

Add ability to match on the length of an array.

By using the "magic" key value of __len, a match can be done
on the length of an array. For example:

  - filter:
      count: 1
      match:
        event_type: http
        http.response_headers.__len: 9

This does rely on us never using __len as an actual object
key, so is a bit of a hack.

eve/http: add request/response headers test

dns: add some checks on source and destination addresses

Ticket #3340:
https://redmine.openinfosecfoundation.org/issues/3340

run: flush stdout before using check.sh

issue 3406: Add tests checking filestore config

add tests for RFB parser

tests/snmp: Update SNMP verifications

tests: FTP passive test update

tests: FTP active test update

run: Improved support of shell tests

tests/pcre: Add test to check sticky buffer

This commit adds test support to ensure that modifiers to pcre have the
proper content.

tests/ipv6: fix on versions <6

Adds passing test for IPv6 evasion atomic fragment

http-xff-unified2: quiet test script output

On failure the require script would send an error to stderr,
redirect this to /dev/null as it is supposed to fail
if there is no unified2 support.

tests: Test for issue 3463

Add a test for bug 3463 -- duplicate threshold options not detected.

tests: bug-3490 requires a min-version

tests: Add tests for issue 3490

readme: document shell checks

shell check: raise error if missing args

In a shell check, the args parameter is required. Fail the test
with a nicer error if the args field is missing.

decode: ERSPAN Type I packet parsing

bpf-command-line: add test for bug 3346

dns test fix: only include relevant rules

Remove app-layer dns rules for events not relevant to
test as some of them are scheduled for removal.

Also convert check.sh to test.yaml.

bug-130: update for changed detection logic

http: test for body inspection corner case

fixup: HAVE_RUST should be just RUST

tests: add mix of byte_extract tests

tests: fix missing HAVE_RUST declarations

tests: fixes for bug 130

Version check failed and windows failed to match.

tests: fix sip tests

The correct numbers of alerts logged is not correct and OISF/suricata#4330
fixes this issue, so this commit fixes tests that are broken.

test: dhcp request flood test

Tests that a DHCP request flood doesn't take an excessive amount
of time.

Skipped by default.

Related ticket #3345:
https://redmine.openinfosecfoundation.org/issues/3345

run: fix --force to force running of skipped tests

All skip to be a boolean, for easy skip by default.

run: allow an empty test.yaml

On an empty test.yaml, make sure the config object is an
empty dict, and not None.

run: use 0 for undefined versioned components

Fix the version parser to use 0 for undefined version
components instead of None to support looser version
specifications:

5 => 5.0.0
5.1 => 5.1.0
5.1.1 => 5.1.1

bug-130: min-version 5.0

Add tests for #130: content + nocase issue

Closes redmine ticket #3057.

base64 tests: update to work on 4.1

base64: add basic tests

eve/dns: test eve/dns filtering

To confirm ticket:
https://redmine.openinfosecfoundation.org/issues/3231

tests: add bug 3277 nfsv2+filestore test

tests: add empty TCP SACK test

tests: add check for rdp support to rdp test

tests: add rdp parser test

run: handle moved classificaton/reference config

First look for these configuration files in ./etc, then in the
top directory to handle the change of location in Suricata 5.0,
as well as work with older versions.

tests/datasets: set requirements

tests/datasets: fix path hanlding in isnotset test

test: dataset state isnotset test

The idea with this test is to alert on the first time something
is seen in a state type dataset.

Adds a testcase for HTTP multiple content-length

Adds a testcase for http invalid request line

tests/evader: rename 116 to indicate its about lzma

tests: make sure lzma is enabled in evader test

tests: add test case for file_data depth inspection

dns-opcode: test dns.opcode keyword

sip: enable sip for sip tests

tests: add tests for sip keywords

file-store: add tests for stream-depth

tests: dns midstream reversed tests for tcp and udp

tests: add testmyids variant with midstream

tests: set proper requirements for dotprefix tests

Adds test case for http with missing protocol

And header_names keyword in rules

tests: convert dotprefix test type to pcap

tests: add test for dotprefix transform

tests: Update anomaly logging to use new config

run: pass OUTPUT_DIR to check.sh

tests: add datasets tests

Fix output in cmdline file for specified command

So far if a command was specified in test.yaml, it showed up unusable in
cmdline file. Fix it with appropriate environment handling.

Revert "Skips not yet passing http evader cases"

This reverts commit d6be0d9bde7ec9fd9028670966eabb46ccfd3f92.

run: Add --skip-tests option

Given the ever increasing number of tests, give the developer an option
to skip tests based on patterns. Multiple patterns can be provided
separated by commas.

Usage
=====
```
 $  python ../suricata-verify/run.py --skip-tests evad,draft
```

As a result, all the tests containing "evad" or "draft" in their names.

Move http-evader-* tests to http-evader folder

run: Allow tests in subdirectories

With this patch it is now possible to have subdirectories with tests
under the main test directory. This shall help tests become more
organized.

tests: add tcp fastopen test

Adds test case for http_header while closing

tests: pcap-ng -> pcap

travis: add check for pcap-ng files

tests: add test cases for FTP logging

tests: update for anomaly filters

Modify test.yaml to support tests for 4.1.x

Remove min-version requirement

Add tests for TFTP read and write requests

Closes redmine ticket #3043.

Moving pcapng files to pcap format

Skips not yet passing http evader cases

Adds all http evader cases

tests: add ipv4.hdr and ipv6.hdr tests

tests: fix vxlan test

tests: add vxlan with ssh test

tests: icmp over vxlan test

tests: add basic vxlan test

tests: add tests for udp.hdr and tcp.hdr

tests: add test for tcp.mss keyword

snmp: convert pcap-ng file to pcap

tests: add testcases for SNMP

SNMP v2c, v3 (unauth and encrypted)

tests: add invalid byte extract depth usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid relative fast_pattern usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid relative negate fast_pattern

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid hex usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid content quotes usage

Signed-off-by: jason taylor <jtfas90@gmail.com>