util-runmode: pass initdata to runmode workers for nfqueue

The VerdictNFQ was missing the initdata which results in a segfault
within CaptureStatsSetup. This commit adds the passing of the initdata.

afpacket: disable tpacket-v3 by default

It's still considered experimental at this point.

libnet: work around older libnet type difference

Older libnet 1.1.x have a non-const type for libnet_init's dev
argument.

pfring: no longer link against rt and numa libs

detect: get proper legacy custom values. Issue #1804

livedev: shorten devname at registration

afl: fix various --afl-* options

Update Changelog for 3.1RC1

http body: fix compression tests

http: set of response body decompress limit

This is a per personality setting.

unittest: minor cleanup

http: update compression mismatch test

configure: cleanup configure output

Don't present missing spatch as a warning. Remove verbose libnet
warnings as well.

detect-filemagic: fix heap-use-after-free

This fixes the heap-use-after-free issue with sm being freed without
being removed from the signature (s) list. Move the protocol check for
rules with filemagic before the alloc and make the error log more
precise.

netmap: work around mtu error on iface+ settings

netmap: don't set more than 1 thread on sw ring

netmap: code cleanup

configure: don't set -march=native for powerpc

yaml: improve affinity defaults

affinity: small cleanups to output & code

affinity: rename detect -> worker set internall

affinity: rename detect-cpu-set to worker-cpu-set

Add fallback for existing configs.

affinity: improve suricata.yaml doc

affinity: remove unused settings

These were never referenced to in the code so they can be removed.

Add bypass to config parser in case the settings are still in old
yamls.

affinity: type cleanup

output: reduce verbosity on info level

netmap: don't check for offloading twice

netmap: output cleanup

output: introduce config and perf output levels

Goal is to reduce info output

output: improve notice and warning/error color handling

yaml: profiling 'json' depend on jansson availability

profiling: fix minor compiler warning

netmap: get offloading settings and warn if needed

Add FreeBSD lookup function and use the existing code on Linux.

netmap: get correct RSS queues on Linux as well

netmap: reduce verbosity at startup

netmap: handle missing config with better defaults

Default to 'threads: auto' which uses RSS RX count when no config
has been created for a interface.

netmap: implement 'threads: auto'

Add until function for retrieving RSS RX count from netmap. Use the
RSS count to create the threads.

instance: use enum for runmode

instance: memset to 0 before use

util-ioctcl: increase header size

Headers can contain VLAN or Qing so we need to increase the value
returned by GetIfaceMaxHWHeaderLength.

suricata: fix double packet processing threads

With the additional ParseInterfacesList the packet processing threads
were doubled since the Interface was included twice unless the device
was passed via the commandline with af-packet=IF.
The additonal ParseInterfacesList isn't necessary so remove it again

ac-ks: don't allow use on big-endian

flow-worker: small cleanups

detect: make pattern matcher messages less verbose

yaml: replace ac-tile by ac-ks

yaml: remove conf_filename global

conf_filename was a global pointer to the filename of the yaml.

Move into SCInstance. This reduces it's scope and cleans up the code.

profiling: fix compilation if libjansson is missing

pfring: cleanup

pfring: improve profiling

Reset packet profiling after pfring_recv. The packet was taken from
the packet pool before this call. The packet will already have it's
start ticks initialized. To avoid including ticks while pfring_recv
waits for traffic, reset the ticks right after it.

profiling: allow packet profiling to be reset

coverity: fix CID 1362014

Error handling was not correct regarding ring buffer memory
handling.

af-packet: use better defaults if config is missing

yaml: make eve log in yaml depend on libjansson

yaml: improve capture comments

yaml: move classification etc below the rules

yaml: new defaults for outputs

Enable eve.flow, disable plain http.log.

yaml: file logging at info level

yaml: improved defaults and misc cleanups

yaml: add performance tuning section

yaml: more reshuffling

yaml: create advancted sections

Sections for advancted detection settings and traffic tracking and
reconstruction.

yaml: add hw accel section, move cuda there

yaml: add netfilter section

yaml: move outputs to the logging step

yaml: introduce 'advanced settings'

yaml: move app layer up

yaml: move afpacket, pcap, pcap-file up

yaml: move logging up

yaml: move rules up in the file

Also disable decoder and stream events by default, as they are too noisy
in a untuned environment.

yaml: move vars to the top

logging: clean up at shutdown

flow worker: move UDP app-layer into main function

This way it's more clean what happens and we can profile it.

flow worker: profiling

Previously the detect and stream code lived in their own thread
modules. This meant profiling showed their cost as part of the
thread module profiling logic. Now that only the flow worker is
a thread module this no longer works.

This patch introduces profiling for the 3 current flow worker
steps: flow, stream, detect.

debug: fix compiler warnings

thread modules: remove unused id's

detect: no longer a thread module

Like stream, detect is now invoked directly by the FlowWorker.

stream-tcp: more cleanups

stream-tcp: no longer register as a thread module

Now that the FlowWorker handles the TCP Stream directly, having
the TCP engine as a thread module is no longer needed.

This patch removes the registration.

drmemory: broader suppressions for hyperscan

smtp: improve thread data use

The SMTP app layer used a thread local data structure for the mpm in
reply parsing, but it only used a pmq. The MpmThreadCtx was actually
global. Until now this wasn't really noticed because non of the mpm's
used the thread ctx.

Hyperscan does use it however.

This patch creates a new structure SMTPThreadCtx, which contains both
the pmq and the mpm thread ctx. It's passed directly to the reply
parsing function instead of storing a pointer to it in the SMTPState.

Additionally fix a small memory leak warning wrt the smtp global mpm
state.

app-layer-smtp: free mpm contexts on shutdown

Adds a cleanup function for the SMTP parser that destroys the MPM
context and MPM thread context it uses.

Also marks smtp_mpm_thread_ctx static.

detect-engine: log MPM/SPM matchers being used

mpm: add "auto" default for mpm-algo

Setting mpm-algo to "auto" will use "hs" if Suricata was built against
Hyperscan, and "ac" otherwise (or "ac-tile" on Tilera platforms).

app-layer-detect-proto: use mpm-algo

Use the matcher configured by the user rather than hard-coding MPM_AC.

app-layer-detect-proto: pass mpm_ctx to DestroyCtx

The MPM DestroyCtx function accepts the MpmCtx, not the ctx pointer
inside it.

detect-engine: adjust unit tests for hs mpm

The Hyperscan MPM does match deduplication internally (using
HS_FLAG_SINGLEMATCH) and only returns the number of unique matches,
unlike AC.

app-layer-smtp: init mpm thread ctx after prepare

This allows the Hyperscan MPM to correctly allocate scratch.

mpm-hs: make errors from hs_scan() fatal

Hyperscan will only return an error at scan time if the database or
scratch region are corrupted, which should provoke a fatal error.

mpm-hs,spm-hs: don't call hs_scan() for zero bytes

netmap: close sw ring before hw rings
Fix issue #1714

tls-json-log: register module as tls-json-log, not dns-json-log

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/1792
where dns-json-log would not log any data.

prscript: fix error handling

Last result was used as global result.

isdataat: remove unused code

src/: fix typo: receieved vs received

Reported by Debian's lintian tool.

Signed-off-by: Arturo Borrero Gonzalez <arturo.borrero.glez@gmail.com>

flow worker: set up decoder thread vars

ac: allow use of 31bits of pid space instead of 16

dns: add support for sshfp records

Update parser to process the records.

Update json output to log it.

coverity: CID 1362011: Control flow issues (DEADCODE)

coverity: CID 1362012: Incorrect expression (EVALUATION_ORDER)

coverity CID 1362013: Control flow issues (NESTING_INDENT_MISMATCH)