Adds a testcase for HTTP multiple content-length

Adds a testcase for http invalid request line

tests/evader: rename 116 to indicate its about lzma

tests: make sure lzma is enabled in evader test

tests: add test case for file_data depth inspection

dns-opcode: test dns.opcode keyword

sip: enable sip for sip tests

tests: add tests for sip keywords

file-store: add tests for stream-depth

tests: dns midstream reversed tests for tcp and udp

tests: add testmyids variant with midstream

tests: set proper requirements for dotprefix tests

Adds test case for http with missing protocol

And header_names keyword in rules

tests: convert dotprefix test type to pcap

tests: add test for dotprefix transform

tests: Update anomaly logging to use new config

run: pass OUTPUT_DIR to check.sh

tests: add datasets tests

Fix output in cmdline file for specified command

So far if a command was specified in test.yaml, it showed up unusable in
cmdline file. Fix it with appropriate environment handling.

Revert "Skips not yet passing http evader cases"

This reverts commit d6be0d9bde7ec9fd9028670966eabb46ccfd3f92.

run: Add --skip-tests option

Given the ever increasing number of tests, give the developer an option
to skip tests based on patterns. Multiple patterns can be provided
separated by commas.

Usage
=====
```
 $  python ../suricata-verify/run.py --skip-tests evad,draft
```

As a result, all the tests containing "evad" or "draft" in their names.

Move http-evader-* tests to http-evader folder

run: Allow tests in subdirectories

With this patch it is now possible to have subdirectories with tests
under the main test directory. This shall help tests become more
organized.

tests: add tcp fastopen test

Adds test case for http_header while closing

tests: pcap-ng -> pcap

travis: add check for pcap-ng files

tests: add test cases for FTP logging

tests: update for anomaly filters

Modify test.yaml to support tests for 4.1.x

Remove min-version requirement

Add tests for TFTP read and write requests

Closes redmine ticket #3043.

Moving pcapng files to pcap format

Skips not yet passing http evader cases

Adds all http evader cases

tests: add ipv4.hdr and ipv6.hdr tests

tests: fix vxlan test

tests: add vxlan with ssh test

tests: icmp over vxlan test

tests: add basic vxlan test

tests: add tests for udp.hdr and tcp.hdr

tests: add test for tcp.mss keyword

snmp: convert pcap-ng file to pcap

tests: add testcases for SNMP

SNMP v2c, v3 (unauth and encrypted)

tests: add invalid byte extract depth usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid relative fast_pattern usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid relative negate fast_pattern

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid hex usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid content quotes usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: update checks for suricata PR #3865

Signed-off-by: jason taylor <jtfas90@gmail.com>

Adds test case four uri double encoding

FTP active/passive mode file extraction tests

This changeset adds test cases for FTP active and passive mode using
the pcaps from issue 2527.

Add tests for bug 28

This patch adds tests for the long closed redmine ticket #28.

tests/tls: add testcases for JA3S

tests: update minimum version to 5.0.0

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid semicolon usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid semicolon usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid quotation mark usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid dsize range usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid dsize range and offset usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid dsize and offset usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid content and dsize usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid within and within usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid offset and offset usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid offset and distance usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth within usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth within usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth and depth usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add more invalid depth and distance usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid offset and within usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: add invalid depth and distance usage

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests/tls: add testcases for tls.certs keyword

tests: add missing magic dep to filestore

filestore: add testcases for filecontainer with http and smb

tests/anomaly: fix for mingw

tests: fix wrong jansson test

Adds test case for JSON anomaly logging

tests: fix test requirements for 4.1.x and 4.0.x

run: Make test result output compact

The new sub test routine causes the test result output cluttered. In
order to avoid that, only print the information of any sub-tests being
skipped or failed.

Before
```
===> alert-testmyids:
|
 --> Sub test #1: OK

|
 --> Sub test #2: SKIPPED : Suricata v6.0 not found

|
 --> Sub test #3: SKIPPED : Suricata v2.0 not found
OK
```

After this patch

```
===> alert-testmyids: Sub test #2: SKIPPED : Suricata v6.0 not found
Sub test #3: SKIPPED : Suricata v2.0 not found
OK
```

detect-http-protocol: test inspect/mpm v2 apis

Adds a test case for http auth unrecognized

eve/flow: add vlan and double-tagged vlan test

Suricata-verify tests for http.{location,server}

Add test cases to suricata-verify for new HTTP sticky buffers: location and server

alert: verify test for distance/within keywords

* this is based on https://redmine.openinfosecfoundation.org/issues/1

Signed-off-by: jason taylor <jtfas90@gmail.com>

run: Add per test check for Suricata version

Some tests in the latest versions might fail due to compatibility issues
because of the changes in features with every version. In order to avoid
failure in such cases, add per test checks that allow to check for the
current Suricata version and in case it does not match the version of
Suricata required to run that particular test, skip that test with an
appropriate message. This feature allows to run different underlying
tests individually and observe their individual outputs.

Sample conf
-----------
```
requires:
  features:
    - HAVE_LIBJANSSON

checks:
  - filter:
     version: 2
      count: 1
      match:
        event_type: alert
  - filter:
      version: 5.0
      count: 1
      match:
          event_type: alert

  # Check how many lines were logged to fast.log.
  - shell:
      args: cat fast.log | wc -l | xargs
      expect: 1
```

Sample output
-------------
Running `tests/alert-testmyids` with above configuration (test.yaml)
gives the following output when run from a directory having Suricata
version 5.0.0-dev.
```
===> alert-testmyids:
|
 --> Sub test #1: SKIPPED: Suricata v2 not found

|
 --> Sub test #2: OK

|
 --> Sub test #3: OK
OK
```

Case handling
-------------
Case #1
=======
In case someone specifies `min-version` as well as `version` as a part
of the configuration, the test fails with an error as below.
```
===> alert-testmyids: FAIL: Specify either min-version or version
```

Case #2
=======
In case someone provides an old style `check.sh` as well as `checks` in
test.yaml, the test only performs the operations mentioned in tests.yaml
and ignores the presence of `check.sh`.

Case #3
=======
In case someone provides a faulty `check.sh`, entire test fails.

Closes redmine ticket #2924

Adds smtp rset test

Resetting BDAT chunks length

windows: fixes for for windows

Support running tests on Windows. Fix unix-isms like 'command > /dev/null'
and use 'command > nil' in Windows.

Skip tests that use the 'check.sh' or 'command' logic.

Pass the run.py's env to the subprocess to make sure the PATH is passed
on correctly.

eve/dns-v2: remove unnecessary include

tests: add test for bug 2769

runner: use --disable-detection when no rules in test

Adds test case for http range logging

Add test for IKEv2 Weak DH parameters detection

smtp: add raw extraction test

tests: fix tls and eve tests for 4.0.x

Adds a readme and the dummy python script

Commit to be squashed

Adds smtp pipelining test

See #1863

dns test: add check for dns object in alert

Extend an existing test to check that the DNS object exists
on a DNS alert.

krb5: Add parser test with fragmented packets

- adds test case
- reference: https://github.com/OISF/suricata/pull/3583
- reference: https://redmine.openinfosecfoundation.org/issues/2528

Signed-off-by: jason taylor <jtfas90@gmail.com>

tls tests: don't include full yaml