tests/tls: add testcases for tls.certs keyword

tests: add missing magic dep to filestore

filestore: add testcases for filecontainer with http and smb

tests/anomaly: fix for mingw

tests: fix wrong jansson test

Adds test case for JSON anomaly logging

tests: fix test requirements for 4.1.x and 4.0.x

run: Make test result output compact

The new sub test routine causes the test result output cluttered. In
order to avoid that, only print the information of any sub-tests being
skipped or failed.

Before
```
===> alert-testmyids:
|
 --> Sub test #1: OK

|
 --> Sub test #2: SKIPPED : Suricata v6.0 not found

|
 --> Sub test #3: SKIPPED : Suricata v2.0 not found
OK
```

After this patch

```
===> alert-testmyids: Sub test #2: SKIPPED : Suricata v6.0 not found
Sub test #3: SKIPPED : Suricata v2.0 not found
OK
```

detect-http-protocol: test inspect/mpm v2 apis

Adds a test case for http auth unrecognized

eve/flow: add vlan and double-tagged vlan test

Suricata-verify tests for http.{location,server}

Add test cases to suricata-verify for new HTTP sticky buffers: location and server

alert: verify test for distance/within keywords

* this is based on https://redmine.openinfosecfoundation.org/issues/1

Signed-off-by: jason taylor <jtfas90@gmail.com>

run: Add per test check for Suricata version

Some tests in the latest versions might fail due to compatibility issues
because of the changes in features with every version. In order to avoid
failure in such cases, add per test checks that allow to check for the
current Suricata version and in case it does not match the version of
Suricata required to run that particular test, skip that test with an
appropriate message. This feature allows to run different underlying
tests individually and observe their individual outputs.

Sample conf
-----------
```
requires:
  features:
    - HAVE_LIBJANSSON

checks:
  - filter:
     version: 2
      count: 1
      match:
        event_type: alert
  - filter:
      version: 5.0
      count: 1
      match:
          event_type: alert

  # Check how many lines were logged to fast.log.
  - shell:
      args: cat fast.log | wc -l | xargs
      expect: 1
```

Sample output
-------------
Running `tests/alert-testmyids` with above configuration (test.yaml)
gives the following output when run from a directory having Suricata
version 5.0.0-dev.
```
===> alert-testmyids:
|
 --> Sub test #1: SKIPPED: Suricata v2 not found

|
 --> Sub test #2: OK

|
 --> Sub test #3: OK
OK
```

Case handling
-------------
Case #1
=======
In case someone specifies `min-version` as well as `version` as a part
of the configuration, the test fails with an error as below.
```
===> alert-testmyids: FAIL: Specify either min-version or version
```

Case #2
=======
In case someone provides an old style `check.sh` as well as `checks` in
test.yaml, the test only performs the operations mentioned in tests.yaml
and ignores the presence of `check.sh`.

Case #3
=======
In case someone provides a faulty `check.sh`, entire test fails.

Closes redmine ticket #2924

Adds smtp rset test

Resetting BDAT chunks length

windows: fixes for for windows

Support running tests on Windows. Fix unix-isms like 'command > /dev/null'
and use 'command > nil' in Windows.

Skip tests that use the 'check.sh' or 'command' logic.

Pass the run.py's env to the subprocess to make sure the PATH is passed
on correctly.

eve/dns-v2: remove unnecessary include

tests: add test for bug 2769

runner: use --disable-detection when no rules in test

Adds test case for http range logging

Add test for IKEv2 Weak DH parameters detection

smtp: add raw extraction test

tests: fix tls and eve tests for 4.0.x

Adds a readme and the dummy python script

Commit to be squashed

Adds smtp pipelining test

See #1863

dns test: add check for dns object in alert

Extend an existing test to check that the DNS object exists
on a DNS alert.

krb5: Add parser test with fragmented packets

- adds test case
- reference: https://github.com/OISF/suricata/pull/3583
- reference: https://redmine.openinfosecfoundation.org/issues/2528

Signed-off-by: jason taylor <jtfas90@gmail.com>

tls tests: don't include full yaml

Add test for TLS 1.3 draft 28

Add test for TLS 1.3 draft 23

Add test for TLS 1.3 draft 22

Add test for TLS 1.3 draft 19

Add test for TLS 1.3 draft 18

Add test for TLS 1.3 draft 14

dns tests: enable eve v1 tests for Rust builds.

Suricata branch ish/rust-dns-v1/v1 brings DNS v1 logging
support for Rust.

yamls: minimize included yaml use

Use more built-in defaults. The yaml setting just removed didn't work
on systems with lots of cores. The stream memcap was too low for the
number of threads.

filestore tests: remove included Suricata

Per Victor's observation that the suricata.yaml can be almost
empty.

rename some dns specific tests to start with dns

skip many dns tests when rust is enabled...

they depend on dns v1 logging, which is not supported by
rust builds

readme: example of skipping a test by feature

python 3 fix.

add an eve dns v2 specific test

make config requires a skip, not a requires

oops, reverse the logic on the previous commit.

require specific suricata config settings...

specific as a regex pattern on the key, for example:

requires:
  config:
    outputs.\d.eve-log.types.\d.dns.version: 2

To require version 2 of the eve dns logger without needing
to know exactly which list item its at.

Uses --dump-config to load the config.

readme: run.sh -> run.py

http/eve/alert/xff tests

test: unified2 xff

runner: pre-check script

Allow a script to be defined, "pre-check" that is run before the
checks are run. For example, a new test converts unified2 to
json before running filter checks.

Also allow the eve.json filename to be changed, useful for doing
filter checks on arbitrary json output.

runner: remove usage of version.raw

deleted in previous commit

requires: version: set a specific version

"4" would match any version 4 release.
"4.0" would match any 4.0.x release.
"4.0.3" would only match 4.0.3.

test: eve/alert/metadata

new filter checks: has-key not has-key

Match on the event having or not having a key.

runner: output new line after cmdline

runner: don't fail if requires is empty

eve-metadata: update for recent changes

eve-metadata: eve metadata test

requires: allow require to be a script that returns true

runner: prevent double output directory

runner: add --valgrind opt

Runs the tests inside valgrind. Uses the default suppressions from
the Suricata git tree.

runner: allow --outdir to be relative (ie: ./output)

runner: rename --dir to --testdir

runner: add --outdir <dir> option

Allow specifying an output dir to avoid poluting the work tree
or run tests off a read only file system.

setup/check relative to output directory

Run the setup and check phases relative to the output directory.

remove requires.not-features support: use skip instead

filestore-v2.3-fserror: skip if uid=0

test.yaml: allow a test to be skipped if running as a specific uid

test: check fail if filestore v1 and v2 enabled

test.yaml: allow expected exit code to be set

tests/filestore: add test for meta file checks

tests/filestore: add HAVE_NSS dependency

filestore v2 tests

test.yaml: allow a pcap to be referenced

So a single PCAP can be shared by multiple tests with only one
copy of the pcap.

runner: sort the tests alphabetically then run

runner: fix skip on no pcap (and no test.yaml)

readme: or pcapng files...

clean: test that we are in a verify directory

runner: support pcapng extension

runner: reinit output dir for each run

Otherwise counting filters fail due to the default behaviour of
Suricata to 'append' to existing files.

test.yaml: count field to execute test X number of times

runner: refactor use of test configuration

test: show help

runner: custom args and pcap requires option

To specify additional args, test.yaml can have:
args:
  - --set field=val

Also, by default a pcap file is required for a test to run. Add
pcap option to requires that can turn this off.

runner: treat missing pcap as condition to 'skip'

This allows disabling of tests by renaming the pcap file to <pcap>.disabled
or similar.

runner: allow tests to be loaded from external dir

Add --dir <directory> option to specify a external directory for loading
and running tests.

This allows external test repositories for tests that are private or too
large to be part of the repo.

runner: add setup

A test.yaml can now have a setup section that is run
before Suricata is executed.

runner: allow a test to require the existent of files

For example, a test could depend on src/output-filestore.c.

allow optional reason for skip in non-features

dns-lua-rules: skip on rust for now, issue.

runner: fix error looking for filter comment

runner: another python 3 fixup

runner: py3 fixup

add requires HAVE_LIBJANSSON to tests using eve

runner: catch another exit case for --fail

runner: python3 fixes

check for jq and xargs, fail with error if not found

readme: document check.yaml

add requires check to lua tests

remove check based on directory name

dns test: move to test.yaml

remove support for "skip" file test skips

wasn't being used anymore as there are other ways to
skip a test

remove run.sh; use run.py instead