stream: fix depth reached detection

When a segment only partially fit in streaming depth, the stream
depth reached flag was not set resulting in a continuous
inspection of the rest of the session.

By setting the stream depth reached flag when the segment partially
fit we avoid to reenter the code and we don't take anymore a code
path resulting in the flag not to be set.

detect: add detect engine for tls validity keywords

Add detect engine for tls validity keywords (tls_cert_notbefore and
tls_cert_notafter).

detect-dns: move DetectEngineInspectGenericList to detect-engine.c

Move DetectEngineInspectGenericList from detect-engine-dns.c to
detect-engine.c to enable it to be used other places as well.

lua: add lua functions for certificate validity dates

Add functions TlsGetCertNotBefore and TLSGetCertNotAfter to get notBefore
and notAfter fields from TLS certificate in lua scripts.

util-lua: add (wrapper) function to push integer to lua scripts

log-tls: add notBefore and notAfter fields to extended output

Add notBefore and NotAfter fields from TLS certificate to extended tls
log output.

output-json-tls: add notBefore and notAfter fields to extended output

Add notBefore and notAfter fields from TLS certificate to extended JSON
output.

util-time: add function to create a UTC time string

Add function CreateUtcIsoTimeString to create a UTC time string.

detect: add tls_cert_notbefore and tls_cert_notafter keywords

Detection plugin for TLS certificate fields notBefore and notAfter.

Supports equal to, less than, greater than, and range operations
for both keywords. Dates can be represented as either ISO 8601 or
epoch (Unix time).

Examples:
alert tls [...] tls_cert_notafter:1445852105; [...]
alert tls [...] tls_cert_notbefore:<2015-10-22T23:59:59; [...]
alert tls [...] tls_cert_notbefore:>2015-10-22; [...]
alert tls [...] tls_cert_notafter:2000-10-22<>2020-05-15; [...]

util-time: add function to parse a date string based on patterns

Add function SCStringPatternToTime to parse a date string based on an
array of pattern strings.

app-layer-ssl: add validity dates from certificate

Parsing of certificate validity dates to get notBefore and notAfter
fields.

util-time: add function to convert tm to time_t

Add function SCMkTimeUtc to convert broken-down time to Unix epoch in UTC.

util-decode-der: decode GeneralizedTime

Decode ASN.1 element type GeneralizedTime in DER-encoded
structures.

app-layer-ssl: use new unit test macros

detect-ssl-version: use new unit test macros

detect-tls-version: use new unit test macros

detect-tls-sni: use new unit test macros

detect: fix faulty tls_sni unittests

tls: fix faulty unittests

coverty: fix CID 1361873

rules: add rule for HANDSHAKE_INVALID_LENGTH event

tls: set event if input buffer overflows

Set HANDSHAKE_INVALID_LENGTH event if input buffer overflows while
decoding client_hello/server_hello.

app-layer-tls: add name to authors

tls: add function for decoding client_hello

Add function TLSDecodeHandshakeHello() to enable using the same code
for decoding both client_hello and server_hello.

rule parsing: check for balanced double quotes

If a rule option value starts with a double quote, ensure it
ends with a double quote, exclusive of white space which gets
trimmed anyways.

Catches errors like 'filemagic:"picture" sid:5555555;' reporting
that a missing semicolon may be the error.

unittests: fix tests

unittests: replace SCMutex* calls by FLOWLOCK_*

file: remove dead code

flow-manager: optimize hash walking

Until now the flow manager would walk the entire flow hash table on an
interval. It would thus touch all flows, leading to a lot of memory
and cache pressure. In scenario's where the number of tracked flows run
into the hundreds on thousands, and the memory used can run into many
hundreds of megabytes or even gigabytes, this would lead to serious
performance degradation.

This patch introduces a new approach. A timestamp per flow bucket
(hash row) is maintained by the flow manager. It holds the timestamp
of the earliest possible timeout of a flow in the list. The hash walk
skips rows with timestamps beyond the current time.

As the timestamp depends on the flows in the hash row's list, and on
the 'state' of each flow in the list, any addition of a flow or
changing of a flow's state invalidates the timestamp. The flow manager
then has to walk the list again to set a new timestamp.

A utility function FlowUpdateState is introduced to change Flow states,
taking care of the bucket timestamp invalidation while at it.

Empty flow buckets use a special value so that we don't have to take
the flow bucket lock to find out the bucket is empty.

This patch also adds more performance counters:

flow_mgr.flows_checked         | Total    | 929
flow_mgr.flows_notimeout       | Total    | 391
flow_mgr.flows_timeout         | Total    | 538
flow_mgr.flows_removed         | Total    | 277
flow_mgr.flows_timeout_inuse   | Total    | 261
flow_mgr.rows_checked          | Total    | 1000000
flow_mgr.rows_skipped          | Total    | 998835
flow_mgr.rows_empty            | Total    | 290
flow_mgr.rows_maxlen           | Total    | 2

flow_mgr.flows_checked: number of flows checked for timeout in the
                        last pass
flow_mgr.flows_notimeout: number of flows out of flow_mgr.flows_checked
                        that didn't time out
flow_mgr.flows_timeout: number of out of flow_mgr.flows_checked that
                        did reach the time out
flow_mgr.flows_removed: number of flows out of flow_mgr.flows_timeout
                        that were really removed
flow_mgr.flows_timeout_inuse: number of flows out of flow_mgr.flows_timeout
                        that were still in use or needed work

flow_mgr.rows_checked: hash table rows checked
flow_mgr.rows_skipped: hash table rows skipped because non of the flows
                        would time out anyway

The counters below are only relating to rows that were not skipped.

flow_mgr.rows_empty:   empty hash rows
flow_mgr.rows_maxlen:  max number of flows per hash row. Best to keep low,
                        so increase hash-size if needed.
flow_mgr.rows_busy:    row skipped because it was locked by another thread

flow: simplify timeout logic

Instead of a single big FlowProto array containing timeouts separately
for normal and emergency cases, plus the 'Free' pointer for the
protoctx, split up these arrays.

An array made of FlowProtoTimeout for just the normal timeouts and an
mirror of that for emergency timeouts are used through a pointer that
will be set at init and by swapped by the emergency logic. It's swapped
back when the emergency is over.

The free funcs are moved to their own array.

This simplifies the timeout lookup code and shrinks the data that is
commonly used.

flow: remove dead code

offloading: make disabling offloading configurable

Add a generic 'capture' section to the YAML:

  # general settings affecting packet capture
  capture:
    # disable NIC offloading. It's restored when Suricata exists.
    # Enabled by default
    #disable-offloading: false
    #
    # disable checksum validation. Same as setting '-k none' on the
    # commandline
    #checksum-validation: none

offloading: reduce verbosity to 'perf'

offloading: implement restoring settings for BSD

offloading: restore settings on exit

af-packet: optionally disable offloading

offloading: Linux ethtool offloading support

pcap: optionally disable offloading

netmap: optionally disable offloading

device: add global flag for disabling offloading

Add global flag to disable offloading or just warn on it.

offloading: preparation for disabling offload on BSD

Add functions for setting IFCAP flags.

detect-ssl-state: use new unit test macros

ssl: issue 1231 - support ssl state negation

Snort compatible SSL state negation. Adds "," as a state
separator, but keeps "|" for compatibility with existing
Suricata rules.

ssl: store current state separately from cumulative state

The ssl_state keyword needs the current state, not the cumulative state
in order be compatible with Snort's implementation.

detect-pcre: use new unit test macros

pcre: fix missing quote in pcre unit test

file-hashing: restore 'force-md5'

We don't want to break existing setups.

Do issue a warning that a new option is available.

file: introduce common flags handling function

common: introduce BIT_U16

file-hashing: added configuration options and common parsing code

file-hashing: added support for SHA-256 file hashing

file-hashing: added support for SHA-1 file hashing

file-hashing: common code added

Moved and adapted code from detect-filemd5 to util-detect-file-hash,
generalised code to work with SHA-1 and SHA-256 and added necessary
flags and other constants.

tls: add unit tests for tls_cert_issuer

tls: add unit tests for tls_cert_subject

tls: add (mpm) keyword tls_cert_subject

This keyword is a replacement for tls.subject.

tls: add (mpm) keyword tls_cert_issuer

This keyword is a replacement for tls.issuerdn.

iponly: fix unittests

detect: optimize rule address parsing

Many rules have the same address vars, so instead of parsing them
each time use a hash to store the string and the parsed result.

Rules now reference the stored result in the hash table.

util-decode-mime: remove quote from boundary= string.

remove quote from the end of the boundary= string.  This was throwing off
the mime parser so that it wouldn't always catch mime boundaries causing
things like missed attachments.

unix-socket: add auto mode

When running in live mode, the new default 'auto' value of
unix-command.enabled causes unix-command to be activated. This
will allow users of live capture to benefit from the feature and
result in no side effect for user running in offline capture.

util-time: new function to know if live or offline

configure: set correct cppflags for enabled nfqueue

This change sets the correct CPPFLAGS received by PKG_CHECK to resolve
building issues with some systems like OpenSuse.

rule-reload: remember pending USR2 signals

We did ignore additional USR2 signals while a rule-reload was running.
This changes the counter to be incremented with every additional USR2
signal so we don't ignore them anymore but it's still limited to prevent
huge overload or even overflow.

defrag: use frag_pkt_too_large instead of frag_too_large

The rules were using the wrong decoder event type, which was
only set in the unlikely event of a complete overlap, which
really had nothing to do with being too large.

Remove FRAG_TOO_LARGE as its no longer being used, an overlap
event is already set in the case where this event would be set.

decoder-event: BUG_ON on table mismatches

Abort when the event enum and the name<>event table are not matching.

setup-app-layer-logger.sh: update for logging changes

logging: proper failure on memory allocation error

unwinds all previous logger allocations

flow-vars: remove flow locks

Code is now entered under flow lock.

flow-bits: remove flow locks

Code is now entered under flow lock.

lua: remove flow locking from the lua layer

stream: remove lock from StreamTcpSegmentForEach

This is only entered from logging functions which are already
called with a locked flow.

logging: remove the packetqueue's from the logging path

They are not referenced by any loggers, and they probably
shouldn't be either.

logging: hook into flow worker thread

output-streaming: free thread store on deinit

logging: rename registration functions to not have tmm

As the logging modules are no longer threading modules, rename
them so they don't look like they are being registered as
threading modules.

Also, move the registration to the output.c which will handle
registration of the loggers.

logging: convert pcap log to non-thread module

logging: just return if no tx loggers

logging: use a single entry point for all loggers

Introduces a new thread module, TMM_LOGGER, which is the
root most logger.

Only handles loggers in the packet path, stats and flow
logging are not included.

The loggers are made up of a hierarchy of loggers. At the top we
have the root logger which is the main entry point to
logging. Under the root there exists parent loggers that are the
entry point for specific types of loggers such as packet logger,
transaction loggers, etc. Each parent logger may have 0 or more
loggers that actual handle the job of producing output to something
like a file.

logging: remove output priorities: not used

logging: remove dead code from output-json

The "parent" json logger was setup like a real logger, but
some of that code was never being called.

output.[ch]: consistent style

- Clean up function declaration.
- Consistenly use typedefs for function points.

No functional changes.

logging: add profiling back for non-tmm loggers

The loggers moved away from a TMM required a new
profiling support.

logging: convert lua output to non-thread module

logging: convert tls log to non-thread module

logging: convert alert debug log to non-thread module

logging: convert tcp data logging to non-thread module

logging: convert tls store logging to non-thread module

logging: convert file data logging to non-thread module

logging: convert file logging to non-thread module

logging: convert unified2 to non-thread module

logging: convert stats loggers to non-thread module

logging: convert http log to non-thread module

logging: convert alert syslog to non-thread module

logging: convert drop output to non-thread module

logging: convert json template output to non-thread module

tests: setup unit test framework earlier

Allows tests to be registered early, in support of moving
outputs away from thread modules.

logging: convert json drop output to non-thread module

logging: convert json smtp output to non-thread module

logging: convert json ssh output to non-thread module