run: fix --force to force running of skipped tests

All skip to be a boolean, for easy skip by default.

run: allow an empty test.yaml

On an empty test.yaml, make sure the config object is an
empty dict, and not None.

run: use 0 for undefined versioned components

Fix the version parser to use 0 for undefined version
components instead of None to support looser version
specifications:

5 => 5.0.0
5.1 => 5.1.0
5.1.1 => 5.1.1

bug-130: min-version 5.0

Add tests for #130: content + nocase issue

Closes redmine ticket #3057.

base64 tests: update to work on 4.1

base64: add basic tests

eve/dns: test eve/dns filtering

To confirm ticket:
https://redmine.openinfosecfoundation.org/issues/3231

tests: add bug 3277 nfsv2+filestore test

tests: add empty TCP SACK test

tests: add check for rdp support to rdp test

tests: add rdp parser test

run: handle moved classificaton/reference config

First look for these configuration files in ./etc, then in the
top directory to handle the change of location in Suricata 5.0,
as well as work with older versions.

tests/datasets: set requirements

tests/datasets: fix path hanlding in isnotset test

test: dataset state isnotset test

The idea with this test is to alert on the first time something
is seen in a state type dataset.

Adds a testcase for HTTP multiple content-length

Adds a testcase for http invalid request line

tests/evader: rename 116 to indicate its about lzma

tests: make sure lzma is enabled in evader test

tests: add test case for file_data depth inspection

dns-opcode: test dns.opcode keyword

sip: enable sip for sip tests

tests: add tests for sip keywords

file-store: add tests for stream-depth

tests: dns midstream reversed tests for tcp and udp

tests: add testmyids variant with midstream

tests: set proper requirements for dotprefix tests

Adds test case for http with missing protocol

And header_names keyword in rules

tests: convert dotprefix test type to pcap

tests: add test for dotprefix transform

tests: Update anomaly logging to use new config

run: pass OUTPUT_DIR to check.sh

tests: add datasets tests

Fix output in cmdline file for specified command

So far if a command was specified in test.yaml, it showed up unusable in
cmdline file. Fix it with appropriate environment handling.

Revert "Skips not yet passing http evader cases"

This reverts commit d6be0d9bde7ec9fd9028670966eabb46ccfd3f92.

run: Add --skip-tests option

Given the ever increasing number of tests, give the developer an option
to skip tests based on patterns. Multiple patterns can be provided
separated by commas.

Usage
=====
```
 $  python ../suricata-verify/run.py --skip-tests evad,draft
```

As a result, all the tests containing "evad" or "draft" in their names.

Move http-evader-* tests to http-evader folder

run: Allow tests in subdirectories

With this patch it is now possible to have subdirectories with tests
under the main test directory. This shall help tests become more
organized.

tests: add tcp fastopen test

Adds test case for http_header while closing

tests: pcap-ng -> pcap

travis: add check for pcap-ng files

tests: add test cases for FTP logging

tests: update for anomaly filters

Modify test.yaml to support tests for 4.1.x

Remove min-version requirement

Add tests for TFTP read and write requests

Closes redmine ticket #3043.

Moving pcapng files to pcap format

Skips not yet passing http evader cases

Adds all http evader cases

tests: add ipv4.hdr and ipv6.hdr tests

tests: fix vxlan test

tests: add vxlan with ssh test

tests: icmp over vxlan test

tests: add basic vxlan test

tests: add tests for udp.hdr and tcp.hdr

tests: add test for tcp.mss keyword

snmp: convert pcap-ng file to pcap

tests: add testcases for SNMP

SNMP v2c, v3 (unauth and encrypted)

tests: add invalid byte extract depth usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid relative fast_pattern usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid relative negate fast_pattern

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid hex usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid content quotes usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: update checks for suricata PR #3865

Signed-off-by: jason taylor <jtfas90@gmail.com>

Adds test case four uri double encoding

FTP active/passive mode file extraction tests

This changeset adds test cases for FTP active and passive mode using
the pcaps from issue 2527.

Add tests for bug 28

This patch adds tests for the long closed redmine ticket #28.

tests/tls: add testcases for JA3S

tests: update minimum version to 5.0.0

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid semicolon usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid semicolon usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid quotation mark usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid dsize range usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid dsize range and offset usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid dsize and offset usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid content and dsize usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid within and within usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid offset and offset usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid offset and distance usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth within usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth within usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth and depth usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add more invalid depth and distance usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid offset and within usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth and distance usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests/tls: add testcases for tls.certs keyword

tests: add missing magic dep to filestore

filestore: add testcases for filecontainer with http and smb

tests/anomaly: fix for mingw

tests: fix wrong jansson test

Adds test case for JSON anomaly logging

tests: fix test requirements for 4.1.x and 4.0.x

run: Make test result output compact

The new sub test routine causes the test result output cluttered. In
order to avoid that, only print the information of any sub-tests being
skipped or failed.

Before
```
===> alert-testmyids:
|
 --> Sub test #1: OK

|
 --> Sub test #2: SKIPPED : Suricata v6.0 not found

|
 --> Sub test #3: SKIPPED : Suricata v2.0 not found
OK
```

After this patch

```
===> alert-testmyids: Sub test #2: SKIPPED : Suricata v6.0 not found
Sub test #3: SKIPPED : Suricata v2.0 not found
OK
```

detect-http-protocol: test inspect/mpm v2 apis

Adds a test case for http auth unrecognized

eve/flow: add vlan and double-tagged vlan test