eve alert: fix stream payload printing

detect: fix pass transaction handling

If a flow was 'pass'd, it means that no packet of it will flow be handled
by the detection engine. A side effect of this was that the per flow
inspect_id would never be moved forward. This in turn lead to a situation
where transactions wouldn't be freed.

This patch addresses this case by incrementing the inspect_id anyway for
the pass case.

detect: set flow noinspect on pass in applayer/stream

If a pass rule matches in the reassembled stream and/or in the
app-layer state, it means the rest of the flow should not be
inspected.

http: destroy htp_tx_t even if incomplete

detect: make http prefilter use disrupt flags

detect: optimize http prefilter handing

detect: pass flags to inspect_id update logic

output-tx: use disrupt flags

app-layer: pass full flags around in tx handling

app-layer: disruption flags

Stream GAPs and stream reassembly depth are tracked per direction. In
many cases they will happen in one direction, but not in the other.

Example:
HTTP requests a generally smaller than responses. So on the response
side we may hit the depth limit, but not on the request side.

The asynchronious 'disruption' has a side effect in the transaction
engine. The 'progress' tracking would never mark such transactions
as complete, and thus some inspection and logging wouldn't happen
until the very last moment: when EOF's are passed around.

Especially in proxy environments with _very_ many transactions in a
single TCP connection, this could lead to serious resource issues. The
EOF handling would suddenly have to handle thousands or more
transactions. These transactions would have been stored for a long time.

This patch introduces the concept of disruption flags. Flags passed to
the tx progress logic that are and indication of disruptions in the
traffic or the traffic handling. The idea is that the progress is
marked as complete on disruption, even if a tx is not complete. This
allows the detection and logging engines to process the tx after which
it can be cleaned up.

detect: clean up flag usage

detect: constify some DetectMpmPrefilter args

dns: fix state progress handling

app-layer: fix args to state progress calls

Sync alversion/appversion types

The app layer state 'version' field is incremented with each update
to the state. It is used by the detection engine to see if the current
version of the state has already been inspected. Since app layer and
detect always run closely together there is no need for a big number
here. The detect code really only checks for equal/not-equal, so wrap
arounds are not an issue.

http: harden tx inspection code

flow/stream: xfer noinspect flags to pseudo pkts

Set noinspection flags for payloads and packets on flow and stream
pseudo packets. Without these, the pseudo packets could trigger
inspection even though this was disabled for a flow.

detect: optimize Signature layout

detect: default to u32 for SigIntId

file-json: add file_id to message

This will allow to get the filename and by consequence the file
after a parsing of the EVEV log file.

af-packet: implement rollover option

This patch implements the rollover option in af_packet capture.
This should heavily minimize the packet drops as well as the
maximum bandwidth treated for a single flow.

The option has been deactivated by default but it is activated in
the af_packet default section. This ensure there is no change for
old users using an existing YAML. And new users will benefit from
the change.

This option is available since Linux 3.10. An analysis of af_packet
kernel code shows that setting the flag in all cases should not
cause any trouble for older kernel.

af-packet: implement new load balancing modes

This patch implements the fanout load balancing modes available
in kernel 4.0. The more interesting is cluster_qm that does the
load balancing based on the RSS queues. So if the network card
is doing a flow based load balancing then a given socket will
receive all packets of a flow indepently of the CPU affinity.

af-packet: sync header with latest features

Sync the replacement define with the latest Linux code.
This patch also updates the detection part in configure.ac
to do a declaration of all fields if the newest features are
not present.

netmap: support SW rings
Netmap uses SW rings to send and receive packets from OS.

netmap: strict check for zero copy mode
Netmap does not guarantees that mmap'ed regions for different interfaces would be the same.

netmap: fixed autofp mode.
Previous implementation does not work with this mode.

netmap: support non-equal count of Rx and Tx rings on interface.
Netmap does not guarantees that NIC will have equal number of transmit and receive rings.

Use unlikely for error treatment in alert-prelude.c

When handling error cases on creation of a new idmef field, we are in an unlikely case. This patch adds the unlikely() expression to indicate this to gcc.

introduce fatal error macro's

Add 'FatalError' and 'FatalErrorConditonal' that will take the same
args as SCLogError.

FatalError logs the error using SCLogError and then exits with return
code EXIT_FAILURE.

FatalErrorOnInit does the same only during init and with
--init-errors-fatal enabled, otherwise it just calls SCLogWarning. So
then the macro returns to the caller.

Implement this for output setup.

lua: dns support

dns: generic inspect engines for DNS

detect: add AppLayerTxMatch call

dns: generic request/response detect lists

dns: rename type so it's purpose is more clear

lua: dns extensions

Add DNS lua calls for getting queries, answers, authorities. Also
rcode and recusion desired flags.

lua: initial DNS logging support

tls-store: avoid log flooding

In case we can't write in the certs directory, this is possible
we flood the log for each TLS session or even worse each TLS
packet.  So this patch puts a limit in the number of logged
messages related to file creation.

filestore: use SCFree instead of free

tls-store: backward compatibility

This patch implements backward compatibility in suricata.yaml
file. In case the new 'tls-store' output is not present in the
YAML we have to use the value defined in 'tls-log'.

tls-store: now a separate module

An design error was made when doing the TLS storage module which
has been made dependant of the TLS logging. At the time there was
only one TLS logging module but there is now two different ones.

By putting the TLS store module in a separate module, we can now
use EVE output and TLS store at the same time.

Support for reconnecting unix domain socket log files
Issue #1423

logging: integrate rotation into SCConfLogOpenGeneric.

Addresses issue 1492, and will make it harder to omit
rotation on new outputs.

rule vars: strip leading white space before looking up var.

config: update yaml to show json logging option

Fix compile bad dereferences

The src/source-erf-dag.c code was not compiling. It looks like some stats counters were added but not tested as the dereferences are incorrect.

In non interactive mode, print errors to stderr

suricatasc: remove "u" prefix when printing JSON output.
If we want to parse suricatasc's output, python's unicode prefix
should be removed to make JSON parsers happy.

stream_size operator comparison (fix issue #1488)

`DetectStreamSizeParse` was first checking if mode[0] is '<', which is true for both '<' and '<=', thus '<=' (and resp. '>=') is never matched. This patch does the `strcmp` to '<=' (resp. '>=') within the if block of '<' (resp. '>') to fix #1488.

logging: json output

Make JSON output optional.

Cleanups.

logging: fix per output log formats

logging: optional colors output

Construct message per output method.

logging: change newline handling

output: cleanup

logging: cleanup output API

Make SCLogMessage master of the logging. Reduces complexity
of the SCLog macro's.

log: reorganize SCLogOPIfaceCtx to make it more efficient

detect: fix settings override for reloads

Disable pcap-config use during cross compilation

This allows cross compilation where the host system has pcap-config
installed and would create an invalid entry in the cross-CFLAGS.

Issue 1491: fix capabilities for pf_ring mode when running under non-root account

Fix issues #1493 and #1494

file_data: check for signature alproto and flow

Currently the following rule can't be loaded:
alert tcp any any -> any 25 (msg:"SMTP file_data test"; flow:to_server,established; file_data; content:"abc";sid:1;)
and produces the error output:
"Can't use file_data with flow:to_server or from_client with http or smtp."

This checks if the alproto is not http in a signature,
so permits to use flow keyword also.

Issue reported by rmkml.

Minor unittest cleanups

app-layer: fix coverity warnings

erspan: respect vlan.use-for-tracking setting

htp: hide BUG_ON's behind DEBUG_VALIDATION

smtp json: fix potential crash on malloc failure

** CID 1298888:    (FORWARD_NULL)
/src/output-json-email-common.c: 117 in JsonEmailLogJson()
/src/output-json-email-common.c: 140 in JsonEmailLogJson()

detect analizer: fix minor coverity warning

** CID 1298889:  Integer handling issues  (NEGATIVE_RETURNS)
/src/detect-engine-analyzer.c: 102 in EngineAnalysisFP()

file_data smtp: fix minor coverity warning

CID 1298891:  Null pointer dereferences  (REVERSE_INULL)
Null-checking "curr_file" suggests that it may be null, but it has already been dereferenced on all paths leading to the check.

smb: fix coverity warning

** CID 1298892:  Incorrect expression  (UNUSED_VALUE)
/src/app-layer-smb.c: 1486 in SMBProbingParser()

pfring runmode: remove set that is never read

counters: reduce global usage

dce_opnum: improve memory handling on parsing error

htp: fix test

fast log: clean up tests

detect hsbd: simplify resize logic

app-layer: update all protocols to accept NULL+EOF

Update all non-HTTP protocol parsers to accept a NULL+EOF input.

app-layer: improve EOF handling

On receiving TCP end of stream packets (e.g. RST, but also sometimes FIN
packets), in some cases the AppLayer parser would not be notified. This
could happen in IDS mode, but would especially be an issue in IPS mode.

This patch changes the logic of the AppLayer API to handle this. When no
new data is available, and the stream ends, the AppLayer API now gets
called with a NULL/0 input, but with the EOF flag set.

This allows the AppLayer parser to call it's final routines still in the
context of a real packet.

print: make PrintRawDataFp take a const arg

stream: update StreamMsg to don't have fixed size

StreamMsg would have a fixed size buffer. This patch replaces the buffer
by a dynamically allocated buffer.

Preparation of allowing bigger and customizable buffer sizes.

stream: remove STREAMTCP_STREAM_FLAG_CLOSE_INITIATED logic

http: rework UT

This reworks UT based on
commit 320355570863dfa6376c9d2af875495ccc8a199f

http: memcap HTTP server inspect body code

smtp file_data: fix wrong free

flow timeout: prevent dead locks

The flow timeout mechanism called both from the flow manager at run time
and at shutdown creates pseudo packets. For this it has it's own packet
pool, which can be depleted if the timeout logic is faster than the packet
processing threads. In this case the flow timeout would enter a wait loop.
The problem however, is that this wait loop would happen while keeping a
flow locked. This could lead to a race condition when the packet thread(s)
are waiting for the lock that the flow manager has.

This patch introduces a new packet pool call 'PacketPoolWaitForN', meant
to make sure that the thread's packet pool has at least N available
packets. The flow timeout paths use this to make sure enough packets are
available *before* grabbing the flow lock. If there aren't enough packets
available yet, the wait happens before the lock as well.

This still means the wait can happen while the flow hash row is locked, so
we do make sure some more packets are available when entering that. But
perhaps in the future we need a more precise logic there as well.

http: improve inline body tracking

Rewrite the sliding window handling for IPS mode for the server body.

The buffer used will have the following properties:
    left edge: inspected data - window_size
    right edge: the most recent data

Due to handling of compressed bodies, the data can be much bigger than
the configured window size.

http: body pruning update

Take inspect limits into account. Consider per direction inspect settings.

hsbd: inspect buffer depending on the engine mode

Currently, data is buffered up to response-body-minimal size
and response-body-inspect-window before being inspected.
With this, in IPS mode, inspect data as it comes in up.

The sliding window concept is used here,
some data chunks are copied into the window (buffer)
then it's inspected.

app-layer-htp: add http_body_inline setting

ips: move counters in common struct and funcs

nfq: add ips stats

decode: create util function for basic counter updates

json-stats: log deltas

If "deltas" is yes, log delta values as the name of the value
suffixed with _delta.

detect-state: remove/hide BUG_ON statements

file extract: add app_proto to logging

alproto: improve AppProtoToString

Make AppProtoToString compilation fail on missing 'case's.

app-layer: add modbus to AppProtoToString

It was missing causing protocol identified as modbus not to be
displayed in netflow events.

suppress: add track by_either mode

So far suppress rules would apply to src or dst addresses of a packet.
This meant that if a ip would need to suppressed both as src and as dst,
2 suppress rules would be needed.

This patch introduces track by_either, which means that the ip(s) in the
suppress rule are tested against both the packets source and dest ip's.
If either of them is on the suppress list, the alert is suppressed.

suppress: support ip-lists

Ticket: 1137

Support supplying a list of IP's to the suppress keyword. Variables from
the address-groups and negation is supported. The same logic (and code) is
used that is also used in parting the IP portions of regular detection
rules.

hostbits: ignore leading and trailing white space

Ignore leading and trailing space around the name and
direction tokens.

json-stats: reorg threads and totals

Totals are now placed at the top level instead of under a "Total"
object.

Threads are placed under a "threads" object.

json-stats: log uptime in seconds, instead of a string