yamls: minimize included yaml use

Use more built-in defaults. The yaml setting just removed didn't work
on systems with lots of cores. The stream memcap was too low for the
number of threads.

filestore tests: remove included Suricata

Per Victor's observation that the suricata.yaml can be almost
empty.

rename some dns specific tests to start with dns

skip many dns tests when rust is enabled...

they depend on dns v1 logging, which is not supported by
rust builds

readme: example of skipping a test by feature

python 3 fix.

add an eve dns v2 specific test

make config requires a skip, not a requires

oops, reverse the logic on the previous commit.

require specific suricata config settings...

specific as a regex pattern on the key, for example:

requires:
  config:
    outputs.\d.eve-log.types.\d.dns.version: 2

To require version 2 of the eve dns logger without needing
to know exactly which list item its at.

Uses --dump-config to load the config.

readme: run.sh -> run.py

http/eve/alert/xff tests

test: unified2 xff

runner: pre-check script

Allow a script to be defined, "pre-check" that is run before the
checks are run. For example, a new test converts unified2 to
json before running filter checks.

Also allow the eve.json filename to be changed, useful for doing
filter checks on arbitrary json output.

runner: remove usage of version.raw

deleted in previous commit

requires: version: set a specific version

"4" would match any version 4 release.
"4.0" would match any 4.0.x release.
"4.0.3" would only match 4.0.3.

test: eve/alert/metadata

new filter checks: has-key not has-key

Match on the event having or not having a key.

runner: output new line after cmdline

runner: don't fail if requires is empty

eve-metadata: update for recent changes

eve-metadata: eve metadata test

requires: allow require to be a script that returns true

runner: prevent double output directory

runner: add --valgrind opt

Runs the tests inside valgrind. Uses the default suppressions from
the Suricata git tree.

runner: allow --outdir to be relative (ie: ./output)

runner: rename --dir to --testdir

runner: add --outdir <dir> option

Allow specifying an output dir to avoid poluting the work tree
or run tests off a read only file system.

setup/check relative to output directory

Run the setup and check phases relative to the output directory.

remove requires.not-features support: use skip instead

filestore-v2.3-fserror: skip if uid=0

test.yaml: allow a test to be skipped if running as a specific uid

test: check fail if filestore v1 and v2 enabled

test.yaml: allow expected exit code to be set

tests/filestore: add test for meta file checks

tests/filestore: add HAVE_NSS dependency

filestore v2 tests

test.yaml: allow a pcap to be referenced

So a single PCAP can be shared by multiple tests with only one
copy of the pcap.

runner: sort the tests alphabetically then run

runner: fix skip on no pcap (and no test.yaml)

readme: or pcapng files...

clean: test that we are in a verify directory

runner: support pcapng extension

runner: reinit output dir for each run

Otherwise counting filters fail due to the default behaviour of
Suricata to 'append' to existing files.

test.yaml: count field to execute test X number of times

runner: refactor use of test configuration

test: show help

runner: custom args and pcap requires option

To specify additional args, test.yaml can have:
args:
  - --set field=val

Also, by default a pcap file is required for a test to run. Add
pcap option to requires that can turn this off.

runner: treat missing pcap as condition to 'skip'

This allows disabling of tests by renaming the pcap file to <pcap>.disabled
or similar.

runner: allow tests to be loaded from external dir

Add --dir <directory> option to specify a external directory for loading
and running tests.

This allows external test repositories for tests that are private or too
large to be part of the repo.

runner: add setup

A test.yaml can now have a setup section that is run
before Suricata is executed.

runner: allow a test to require the existent of files

For example, a test could depend on src/output-filestore.c.

allow optional reason for skip in non-features

dns-lua-rules: skip on rust for now, issue.

runner: fix error looking for filter comment

runner: another python 3 fixup

runner: py3 fixup

add requires HAVE_LIBJANSSON to tests using eve

runner: catch another exit case for --fail

runner: python3 fixes

check for jq and xargs, fail with error if not found

readme: document check.yaml

add requires check to lua tests

remove check based on directory name

dns test: move to test.yaml

remove support for "skip" file test skips

wasn't being used anymore as there are other ways to
skip a test

remove run.sh; use run.py instead

remove leftovers vars.sh files: not used anymore

tls test: based on tls tests in @regit suripcap branch

combines "TLS 1" and "TLS alert" into a single test

some check.sh to test.yaml verifications.

smtp: basic smtp test showing filter and stats check

add new checks to test.yaml

shell - for checking shell command output
filter - for counting number of events matching a filter
stats: for matching values in stats

new test for dns lua detect

Tests:
- dns.rrname
- dns.request
- dns.response

add suricata 4.0.3 default config

add signature-id validation to test.yaml

With the following in a test.yaml:
  checks:
  - signature-id: 1
  - signature-id: 2
  - signature-id: 3
the eve.json will be checked to make sure it alerts for each
signature id provided.

allow test to require an env var to be set

Useful for only enabling tests when an environment
variable is set.

allow command to be set in test.yaml

Removes the need to support a test specific run.sh.

Also, don't require a check.sh. In some tests, just a
successful exit code is being tested for.

Mark 2 tests with min-version 4.0.

add feature requires; remove skip.sh scripts

requires.features for required features

requires.not-features for when a test should be skipped if a
feature is present.

don't run linktype 228 test on suricata < 4.1.0

Introduces a test.yaml file that can be placed in a test
directory that provides a test configuration.

For now just a min-version can be configured.

basic test for linktype 228

readme: document that a pcap is all that is needed.

run tests from test directory

Fixes the case where we had a hardcoded relative path
to deal with Lua scripts.

put all tests in a tests/ directory

lua-output-http: make ports an int instead of a float

bsd fix: pipe wc output to xargs

On BSD and Mac, wc -l outputs right justified strings, causing
the check to fail. Passing through xargs is a hack to strip
the white space.

lua script tests: fix path to rule directory

rename: output-lua-smtp -> lua-output-smtp

output-lua: rename to lua-output-http

As it tests lua output of http metadata.

output-lua: fix lua script

On some distros it was correct, others it failed. I think this was
due to a type in string.gsub, using %g instead of %c.

Disable ASAN leak detection.

readme: update

test: eve/dns aaaa only logging

add a dns test - has pcap for some unit tests

skip some tests when rust is enabled

dns-tcp-ts-gap: test gap in tcp dns traffic

dns txt test

add tests for dns log filtering

use python test runner

its a little more robust on multiple platforms...

remove more direct file comparisons

readme: expected directory is no longer

update to not do any exact file matches...

changes in flow id can break the tests