autofp: update queue handlers

Now that the flow lookup is done in the worker threads the flow
queue handlers running after the capture thread(s) no longer have
access to the flow. This limits the options of how flow balancing
can be done.

This patch removes all code that is now useless. The only 2 methods
that still make sense are 'hash' and 'ippair'.

flow: remove dead code

flowworker: initial support

Initial version of the 'FlowWorker' thread module. This module
combines Flow handling, TCP handling, App layer handling and
Detection in a single module. It does all flow related processing
under a single flow lock.

detect: simplify flow locking

To simplify locking, move all locking out of the individual detect
code. Instead at the start of detection lock the flow, and at the
end of detection unlock it.

The lua code can be called without a lock still (from the output
code paths), so still pass around a lock hint to take care of this.

time: improve offline time handling

When we run on live traffic, time handling is simple. Packets have a
timestamp set by the capture method. Management threads can simply
use 'gettimeofday' to know the current time. There should never be
any serious gap between the two or major differnces between the
threads.

In offline mode, things are dramatically different. Here we try to keep
the time from the pcap, which means that if the packets are recorded in
2011 the log output should also reflect this. Multiple issues:

 1. merged pcaps might have huge time jumps or time going backward
 2. slowly recorded pcaps may be processed much faster than their
    'realtime'
 3. management threads need a concept of what the 'current' time is for
    enforcing timeouts
 4. due to (1) individual threads may have very different views on what
    the current time is. E.g. T1 processed packet 1 with TS X, while T2
    at the very same time processes packet 2 with TS X+100000s.

The changes in flow handling make the problems worse. The capture thread
no longer handles the flow lookup, while it did set the global 'time'.
This meant that a thread may be working on Packet 1 with TS 1, while the
capture thread already saw packet 2 with TS 10000. Management threads
would take TS 10000 as the 'current time', considering a flow created by
the first thread as timed out immediately.

This was less of a problem before the flow changes as the capture thread
would also create a flow reference for a packet, meaning the flow
couldn't time out as easily. Packets in the queues between capture
thread and workers would all hold such references.

The patch updates the time handling to be as follows.

In offline mode we keep the timestamp per thread. If a management thread
needs current time, it will get the minimum of the threads' values. This
is to avoid the problem that T2s time value might already trigger a flow
timeout as the flow lastts + 100000s is almost certainly meaning the
flow would be considered timed out.

flow: move flow handling into worker threads

Instead of handling the packet update during flow lookup, handle
it in the stream/detect threads. This lowers the load of the
capture thread(s) in autofp mode.

The decoders now set a flag in the packet if the packet needs a
flow lookup. Then the workers will take care of this. The decoders
also already calculate the raw flow hash value. This is so that
this value can be used in flow balancing in autofp.

Because the flow lookup/creation is now done in the worker threads,
the flow balancing can no longer use the flow. It's not yet
available. Autofp load balancing uses raw hash values instead.

In the same line, move UDP AppLayer out of the DecodeUDP module,
and also into the stream/detect threads.

Handle TCP session reuse inside the flow engine itself. If a looked up
flow matches the packet, but is a TCP stream starter, check if the
ssn needs to be reused. If that is the case handle it within the
lookup function. Simplies the locking and removes potential race
conditions.

flow: get flow reference during lookup

Update Flow lookup functions to get a flow reference during lookup.

This reference is set under the FlowBucket lock.

This paves the way to not getting a flow lock during lookups.

detect: split detect entry into flow/noflow

This is a preparation for flow locking updates.

detect: add (mpm) keyword for tls_sni

Match on server name indication (SNI) extension in TLS using tls_sni
keyword, e.g:

alert tls any any -> any any (msg:"SNI test"; tls_sni;
        content:"example.com"; sid:12345;)

typo: SURCATA -> SURICATA

typos: surictsc -> suricatasc

Reported by Markus Lude on the mailing list.

ipv6: simplify ext hdr parsing

defrag: work around packet creation issues

Defrag tests set up packets but don't call Decode on them. Work
around failing IPv6 tests.

ipv6: simplify ext hdr parsing and storage

This reduces size of the IPV6ExtHdr structure part of every packet
significantly.

Clean up macro's in the ipv6 header.

detect-ipopts: optimize matching

detect-ipopts: cleanup

ipv4: removed unused variables

ipv4: store ipopts as flags, not bools

ipv4: shrink per packet ipopts storage

qa: update drmemory suppressions for hyperscan spm matching

spm: add "spm-algo: auto" setting

This will default to Hyperscan when Suricata is built with Hyperscan
support. Otherwise, Boyer-Moore is used by default.

spm: add Hyperscan implementation

spm: add and use new SPM API

This new API allows for different SPM implementations, using a function
pointer table like that used for MPM.

This change also switches over the paths that make use of
DetectContentData (which previously used BoyerMoore directly) to the new
API.

suricata.yaml: document spm-algo option

spm: add SinglePatternMatchDefaultMatcher

Allows selecting SPM algorithm with the 'spm-algo' value in the YAML
config file.

tcp sack: improve tests

detect app-layer-event: fix tests

app-layer: test fixes

thread storage: fix memset 0 after realloc

Thread storage expansion would not properly memset 0 the new part
of the memory.

configure.ac: escape $srcdir when used in a variable

$srcdir needs to be escaped for proper expansion when used
as part of a Makefile variable.

tlsstore: fix memleak

Bug #1771.

Direct leak of 1834 byte(s) in 1 object(s) allocated from:
    #0 0x4e2e65 in realloc ??:?
    #1 0xcec27b in LogTlsLogPem /home/mats/suricata/src/log-tlsstore.c:130
    #2 0xcea4f5 in LogTlsStoreLogger /home/mats/suricata/src/log-tlsstore.c:303
    #3 0xd8b99c in OutputPacketLog /home/mats/suricata/src/output-packet.c:104

tlsstore: use TxLogger

output: add new tx logger to log at certain condition

Some loggers needs certain conditions to be met before logging.
This enables us to use conditions on the tx logger.

tls: change flag checking in SSLParserTest23

Change flag checking in SSLParserTest23 to check each flag individually
to enable adding more flags without the test failing.

output: allow more than one TLS logger

jsontls: use TxLogger

tlslog: use TxLogger

output-lua: use LuaTxLogger for TLS

output: add new logger to log at specified state

Sometimes we want to log when we reach a specified state instead of
waiting for the session to end. E.g for TLS we want to log as soon
as the handshake is done.

To do this, a new logger is added, where it is possible to specify
a custom "ProgressCompletionStatus".

template: register logger functions

modbus: register logger functions

http: register logger functions

smtp: register logger functions

dns: register logger functions

tls: register logger functions

tx: add functions for logging

Add function AppLayerParserRegisterLoggerFuncs for registering
a callback function for checking if a specific logger has logged
a transaction, and a callback function for specifying that it has.

Also add functions AppLayerParserGetTxLogged and
AppLayerParserSetTxLogged to invoke these callback functions.

tx: do not store ProgressCompletionStatus per ipproto

Change AppLayerParserRegisterGetStateProgressCompletionStatus to
only store one ProgressCompletionStatus callback function for each
alproto, instead of storing one for each ipproto.

This enables us to use AppLayerParserGetStateProgressCompletionStatus
in functions where we do not know the ipproto used.

tls: make TX aware

tls-sni: fix alignment issues

sources: fix netmap compilation and pcap setup

flow queue handler: use int16_t

Use int16_t instead of int to store the autofp queue id. We should
not easily get to 32k threads so 2 bytes per flow is sufficient.

flow: remove unused debug code

flowint: redo tests

detect: add missing sigorder case

modbus: fix AddressSanitizer error (segmentation fault)

In case of Mask Write register or Write single register request with
no data (malformed packet), app-layer-modbus checks response content
(data) with the none stored request content. That causes the segmentation
fault.

Before accessing to request content, app-layer-modbus checks now if
content has been previously stored. 4 unitests have been adding, 2 of them
to test the management of Mask Write register and Write single register requests,
and the 2 others to check invalid Mask Write register and Write single register
requests.

ipv6: fix alignment issue in address to string code

ac-ks: fix integer handling issue

unittests: don't call memcpy on NULL-ptr

pcre: initialize var before use

yaml: minor cleanup

yaml: initialize var to prevent uninitialized read

tcp sack: fix alignment issues

smb: improve integer handling

dcerpc: improve integer handling

detect port: fix integer handling in hashing

decode: don't call memcpy on NULL-ptr on pseudo packets

ippair: fix alignment issues

host: fix alignment issues

flow: fix alignment issues

tcp: fix alignment issues with tcp timestamps

decode-mime: don't call memcpy on NULL pointer

sources: allow interface definitions to be reordered

For af-packet, pf-ring, netmap, and pcap use a generic
lookup function to find the configuration node for an
interface.

The new lookup function does not depend on the ordering
of the items inside the device configuration.

config-test: fix memory leak detect by ASAN

NSS library was not deinit at exit resulting in memory leak. As
it is useless for a config test, the patch updates the code so it
is not initialized.

Patch also calls MagicDeinit to free memory used by libmagic.

Use ConfValIsTrue for parseing util-logfile append value.

Use ConfValIsTrue for parsing TILE PCIE logging append value.

Use ConfValIs* for parsing pf-ring.checksum-checks.

Use ConfValIs* for parsing pcap.checksum-checks.

Use ConfValIs* for parsing netmap.checksum-checks.

Use ConfValIs* for parsing af-packet.checksum-checks.

Use ConfValIs* for parseing mpipe.checksum-checks.

Use ConfValIs* for parsing pcap-file.checksum-checks.

profiling: suppress inferior version of UtilCpuGetTicks warning

coverty: fix dead code warning

smb: check that there is enough input data

Conditional was checking the word count, but indexing
much further into the input data.

Reordering of RRTYPE switch case for performance.

Added more DNS Resource Record Types.

Changed "enabled" parsing to use ConfValIs(true|false)

Update ASN1_MAX_FRAMES to reflect default in suricata.yaml.in

stats: fix stats.log ignoring null-values for threads

cppcheck: fix harmless warnings

[src/detect-engine-loader.c:272]: (error) Buffer is accessed out of bounds.
[src/flow-manager.c:742]: (error) Buffer is accessed out of bounds.
[src/flow-manager.c:906]: (error) Buffer is accessed out of bounds.

Remove free operation on thread name field.

Name field is now  a pre-allocated array - free is no longer necessary.
Fix issue leading to segfault during interface shortening in Single runmode.

runmodes: constify names

Update unit test to account for 'name' type change.

Update thread creation and threads to use global thread names.

Thread name is now stored as a static string buffer,
string duplication and alloc/de-alloc is no longer required.

Change thread name from pointer to buffer. Remove pointer free.

Update shortening algorithm to account for addition of #.

Add global threadnames.

Update thread naming convention to follow: W#01-eth0.
Add interface name where applicable, add #.

Update pcap-file runmode to adhere to new thread standard.

Update threads to use global thread names.

Update FlowManager/Recycler to use global name.
Also add # into thread number.
Update af-packet to use global threadnames.
Update pcap to use global threadnames.
Update pfring to use global threadnames.
Update erf-dag to use global threadnames.
Update nflog to use global threadnames.
Update netmap to use global threadnames.
Update napatech to use global threadnames.

Update IPS thread names to new name standard.