flow-manager: optimize hash walking

Until now the flow manager would walk the entire flow hash table on an
interval. It would thus touch all flows, leading to a lot of memory
and cache pressure. In scenario's where the number of tracked flows run
into the hundreds on thousands, and the memory used can run into many
hundreds of megabytes or even gigabytes, this would lead to serious
performance degradation.

This patch introduces a new approach. A timestamp per flow bucket
(hash row) is maintained by the flow manager. It holds the timestamp
of the earliest possible timeout of a flow in the list. The hash walk
skips rows with timestamps beyond the current time.

As the timestamp depends on the flows in the hash row's list, and on
the 'state' of each flow in the list, any addition of a flow or
changing of a flow's state invalidates the timestamp. The flow manager
then has to walk the list again to set a new timestamp.

A utility function FlowUpdateState is introduced to change Flow states,
taking care of the bucket timestamp invalidation while at it.

Empty flow buckets use a special value so that we don't have to take
the flow bucket lock to find out the bucket is empty.

This patch also adds more performance counters:

flow_mgr.flows_checked         | Total    | 929
flow_mgr.flows_notimeout       | Total    | 391
flow_mgr.flows_timeout         | Total    | 538
flow_mgr.flows_removed         | Total    | 277
flow_mgr.flows_timeout_inuse   | Total    | 261
flow_mgr.rows_checked          | Total    | 1000000
flow_mgr.rows_skipped          | Total    | 998835
flow_mgr.rows_empty            | Total    | 290
flow_mgr.rows_maxlen           | Total    | 2

flow_mgr.flows_checked: number of flows checked for timeout in the
                        last pass
flow_mgr.flows_notimeout: number of flows out of flow_mgr.flows_checked
                        that didn't time out
flow_mgr.flows_timeout: number of out of flow_mgr.flows_checked that
                        did reach the time out
flow_mgr.flows_removed: number of flows out of flow_mgr.flows_timeout
                        that were really removed
flow_mgr.flows_timeout_inuse: number of flows out of flow_mgr.flows_timeout
                        that were still in use or needed work

flow_mgr.rows_checked: hash table rows checked
flow_mgr.rows_skipped: hash table rows skipped because non of the flows
                        would time out anyway

The counters below are only relating to rows that were not skipped.

flow_mgr.rows_empty:   empty hash rows
flow_mgr.rows_maxlen:  max number of flows per hash row. Best to keep low,
                        so increase hash-size if needed.
flow_mgr.rows_busy:    row skipped because it was locked by another thread

flow: simplify timeout logic

Instead of a single big FlowProto array containing timeouts separately
for normal and emergency cases, plus the 'Free' pointer for the
protoctx, split up these arrays.

An array made of FlowProtoTimeout for just the normal timeouts and an
mirror of that for emergency timeouts are used through a pointer that
will be set at init and by swapped by the emergency logic. It's swapped
back when the emergency is over.

The free funcs are moved to their own array.

This simplifies the timeout lookup code and shrinks the data that is
commonly used.

flow: remove dead code

offloading: make disabling offloading configurable

Add a generic 'capture' section to the YAML:

  # general settings affecting packet capture
  capture:
    # disable NIC offloading. It's restored when Suricata exists.
    # Enabled by default
    #disable-offloading: false
    #
    # disable checksum validation. Same as setting '-k none' on the
    # commandline
    #checksum-validation: none

offloading: reduce verbosity to 'perf'

offloading: implement restoring settings for BSD

offloading: restore settings on exit

af-packet: optionally disable offloading

offloading: Linux ethtool offloading support

pcap: optionally disable offloading

netmap: optionally disable offloading

device: add global flag for disabling offloading

Add global flag to disable offloading or just warn on it.

offloading: preparation for disabling offload on BSD

Add functions for setting IFCAP flags.

detect-ssl-state: use new unit test macros

ssl: issue 1231 - support ssl state negation

Snort compatible SSL state negation. Adds "," as a state
separator, but keeps "|" for compatibility with existing
Suricata rules.

ssl: store current state separately from cumulative state

The ssl_state keyword needs the current state, not the cumulative state
in order be compatible with Snort's implementation.

detect-pcre: use new unit test macros

pcre: fix missing quote in pcre unit test

file-hashing: restore 'force-md5'

We don't want to break existing setups.

Do issue a warning that a new option is available.

file: introduce common flags handling function

common: introduce BIT_U16

file-hashing: added configuration options and common parsing code

file-hashing: added support for SHA-256 file hashing

file-hashing: added support for SHA-1 file hashing

file-hashing: common code added

Moved and adapted code from detect-filemd5 to util-detect-file-hash,
generalised code to work with SHA-1 and SHA-256 and added necessary
flags and other constants.

tls: add unit tests for tls_cert_issuer

tls: add unit tests for tls_cert_subject

tls: add (mpm) keyword tls_cert_subject

This keyword is a replacement for tls.subject.

tls: add (mpm) keyword tls_cert_issuer

This keyword is a replacement for tls.issuerdn.

iponly: fix unittests

detect: optimize rule address parsing

Many rules have the same address vars, so instead of parsing them
each time use a hash to store the string and the parsed result.

Rules now reference the stored result in the hash table.

util-decode-mime: remove quote from boundary= string.

remove quote from the end of the boundary= string.  This was throwing off
the mime parser so that it wouldn't always catch mime boundaries causing
things like missed attachments.

unix-socket: add auto mode

When running in live mode, the new default 'auto' value of
unix-command.enabled causes unix-command to be activated. This
will allow users of live capture to benefit from the feature and
result in no side effect for user running in offline capture.

util-time: new function to know if live or offline

configure: set correct cppflags for enabled nfqueue

This change sets the correct CPPFLAGS received by PKG_CHECK to resolve
building issues with some systems like OpenSuse.

rule-reload: remember pending USR2 signals

We did ignore additional USR2 signals while a rule-reload was running.
This changes the counter to be incremented with every additional USR2
signal so we don't ignore them anymore but it's still limited to prevent
huge overload or even overflow.

defrag: use frag_pkt_too_large instead of frag_too_large

The rules were using the wrong decoder event type, which was
only set in the unlikely event of a complete overlap, which
really had nothing to do with being too large.

Remove FRAG_TOO_LARGE as its no longer being used, an overlap
event is already set in the case where this event would be set.

decoder-event: BUG_ON on table mismatches

Abort when the event enum and the name<>event table are not matching.

setup-app-layer-logger.sh: update for logging changes

logging: proper failure on memory allocation error

unwinds all previous logger allocations

flow-vars: remove flow locks

Code is now entered under flow lock.

flow-bits: remove flow locks

Code is now entered under flow lock.

lua: remove flow locking from the lua layer

stream: remove lock from StreamTcpSegmentForEach

This is only entered from logging functions which are already
called with a locked flow.

logging: remove the packetqueue's from the logging path

They are not referenced by any loggers, and they probably
shouldn't be either.

logging: hook into flow worker thread

output-streaming: free thread store on deinit

logging: rename registration functions to not have tmm

As the logging modules are no longer threading modules, rename
them so they don't look like they are being registered as
threading modules.

Also, move the registration to the output.c which will handle
registration of the loggers.

logging: convert pcap log to non-thread module

logging: just return if no tx loggers

logging: use a single entry point for all loggers

Introduces a new thread module, TMM_LOGGER, which is the
root most logger.

Only handles loggers in the packet path, stats and flow
logging are not included.

The loggers are made up of a hierarchy of loggers. At the top we
have the root logger which is the main entry point to
logging. Under the root there exists parent loggers that are the
entry point for specific types of loggers such as packet logger,
transaction loggers, etc. Each parent logger may have 0 or more
loggers that actual handle the job of producing output to something
like a file.

logging: remove output priorities: not used

logging: remove dead code from output-json

The "parent" json logger was setup like a real logger, but
some of that code was never being called.

output.[ch]: consistent style

- Clean up function declaration.
- Consistenly use typedefs for function points.

No functional changes.

logging: add profiling back for non-tmm loggers

The loggers moved away from a TMM required a new
profiling support.

logging: convert lua output to non-thread module

logging: convert tls log to non-thread module

logging: convert alert debug log to non-thread module

logging: convert tcp data logging to non-thread module

logging: convert tls store logging to non-thread module

logging: convert file data logging to non-thread module

logging: convert file logging to non-thread module

logging: convert unified2 to non-thread module

logging: convert stats loggers to non-thread module

logging: convert http log to non-thread module

logging: convert alert syslog to non-thread module

logging: convert drop output to non-thread module

logging: convert json template output to non-thread module

tests: setup unit test framework earlier

Allows tests to be registered early, in support of moving
outputs away from thread modules.

logging: convert json drop output to non-thread module

logging: convert json smtp output to non-thread module

logging: convert json ssh output to non-thread module

logging: convert json netflow output to non-thread module

logging: convert json flow output to non-thread module

logging: convert json alert output to non-thread module

logging: convert json tls output to non-thread module

logging: convert prelude output to non-thread module

logging: convert eve http to non-thread module

logging: convert eve dns logging to non-thread module

logging: convert fast log to a non-thread module

logging: convert dns log to a non-thread module

detect: mark alproto in keyword reg deprecated

No existing code uses it, and it had been useless for some time.

gitignore: update to hide more local files

detect: don't set alproto while registering keyword

The field is not used except for some printing, and is wrong for
many keywords.

detect file: enable HTTP inspection from validate func

detect file: enforce protocol in single place

Instead of trying to enforce the app layer protocol in each file
function, enforce it in the generic validation function.

app-layer: add function to check if app-layer supports files

threads: remove EngineKill & SURICATA_KILL

EngineStop and EngineKill were effectively doing the same, so
removed the kill variant.

threads: failed thread is a fatal error now

threading: remove thread restart logic

Thread restarts never worked well and the rest of the engine was
never really expecting errors to lead to thread restarts. Either
and error is recoverable in the thread, or not at all.

So this patch removes the functionality completely.

Open Suricata 3.2 development branch

magic: fix broken tests after CentOS6 update

mpls: add missing event type + rule

bpf: fix file parsing memory handling

Fix improper fread string handling. Improve error handling.

Skip trailing spaces for slightly more pretty printing.

Coverity CID 400763.

Thanks to Steve Grubb for helping address this issue.

detect: don't print (null) in --list-keywords=all

detect: fix setup for some keywords

Fix problems found by siginit.cocci.

coccinelle: add siginit test

Add a test that check an inversion during keyword setup where
we add a sigmatch to a signature and then do error handling on it.
This was causing a double free of some elements and ultimately a
segfault.

Proposed-by: Victor Julien <victor@inliniac.net>

detect-flowbits: more unittest macro usage

Also cleanup some tests by removing extra code after a test was
determined to fail.

hostbits: use new unittest macros

hostbits: fail parse on unexpected trailing data

Address issue https://redmine.openinfosecfoundation.org/issues/1889
for hostbits. This involves updating the regular expresssion
to capture any trailing data as the regex already keeps
spaces out of the name.

A unit test was converted to new macros to find out which
line it was failing at after updating regex.