Fix pfring so that zero-copy mode can work.

Detect when default_packet_size is zero, which enables zero-copy mode for
pfring and in that case, do what AF Packet does and set pkt_ext pointer to
the data and set PKT_ZERO_COPY flag.

Remove pkt variable from Packet structure.

The uint8_t *pkt in the Packet structure always points to the memory
immediately following the Packet structure. It is better to simply
calculate that value every time than store the 8 byte pointer.

Split AC-Tile MPM context into Search and Initialization structures.

Some of the fields in the SCACTileCtx struct are only used to create the MPM,
but are not needed to search the MPM. Create a new structure to contain just
the data needed by AC Search. After creating the MPM, copy the data into the
new structure and then free the memory only needed during initialization.

This reduces the size of the AC-Tile MPM context from 1360 bytes down to 296
bytes.

mpipe code cleanup: indent fixes

Add more suricata.yaml configuration options for mPIPE.

Add two new mPIPE load-balancing configuration options in suricata.yaml.
1) "sticky" which keep sending flows to one CPU, but if that queue is full,
don't drop the packet, move the flow to the least loaded queue.
2) Round-robin, which always picks the least full input queue for each
packet.

Allow configuring the number of packets in the input queue (iqueue) in
suricata.yaml.

For the mPipe.buckets configuration, which must be a power of 2, round
up to the next power of two, rather than report an error.

Added mpipe.min-buckets, which defaults to 256, so if the requested number
of buckets can't be allocated, Suricata will keep dividing by 2 until either
it succeeds in allocating buckets, or reaches the minimum number of buckets
and fails.

Fix configuring Prelude with -Werror

Running with:

CFLAGS="-Werror" ./configure

would fail when configuring libprelude because of an unused-result
warning. Ignore that one warning.

Mark pflow as a constant pointer.

Address review comment from Victor that the pflow pointer is constant, so
it can be marked as such.

Use pflow variable in place of p->flow to prevent reloading.

In SigMatchSignatures, the value p->flow doens't change, but GCC can't
figure that out, so it reloads p->flow many times during the function.
When p->flow is loaded into the variable pflow once at the start of the
function, the compile then doesn't need to reload it.

pfring: workaround potential librt deps

It seems some version of pfring needs to be link with librt.

suricata: ignore SIGHUP signal

This patch ignores the SIGHUP signal instead of having the default
behavior.

Check for compiler for -march=native support

Check all compilers to see if they support the -march=native flags, rather
than assuming gcc 4.2 or later does. Tile GCC doesn't currently support it,
so not checking break Tile compiles.

Fix compilation on systems that use the fallback SC_ATOMIC_ API.

Add DrMemory suppression for Bug #980. Suppress useless (likely) buggy leak message too

Remove DrMemory suppressions for Bug #979, it is fixed.

qa: prscript now output pastable line for PR.

coccinelle: fix malloc test

We can have more than an identifier to be assigned the result of
a malloc function.

coccinelle: add option to continue on errors

When a script has been updated or introduced, it is interesting to
detect all errors at once. With this patch it is now possible to
do so by using:
   NOT_TERMINAL=1 CONCURRENCY_LEVEL=12  qa/coccinelle/run_check.sh

error checking: add missing alloc error treatment

The return of some malloc like functions was not treated in some
places of the code.

Bug 1061: fix multiple vars per sig in ordering

In sigordering rules that had multiple vars doing the same operation,
like setting multiple flowbits, would not be considered correctly.

Bug 1061.

http header: improve realloc failure checking. Bug #1062.

port parsing: improve memory handling

cppcheck: add special BUG_ON so cppcheck understands we exit

port: don't lead memory on port parsing failure

[src/detect-engine-port.c:1354]: (error) Memory leak: gh

Fix small memleak in runmode setup

[src/runmodes.c:338]: (error) Memory leak: custom_mode

threading setup: fix small mem leak on failure

[src/tm-threads.c:1058]: (error) Memory leak: slot

Fix realloc error handling in threshold.config file parsing. Bug #1062.

Use %u for unsigned int in (console) output

Use %u for unsigned ints in checksum warning

htp: minor cleanup to silence cppcheck warning

[src/app-layer-htp.c:1967] -> [src/app-layer-htp.c:1978]: (warning) \
    Possible null pointer dereference: tx - otherwise it is redundant \
    to check it against null.

cppcheck: don't use likely/unlikely when -DCPPCHECK is passed to the checker

Fix small memory leak in classtype parsing

cppcheck: improve reporting cppcheck when passing -DCPPCHECK to the checker.

log-http: fix error check leading to null-deref on malloc failure during setup

log-http: enforce hostname print limit

Convert Flow macros to inline functions

Convert FlowReference and FlowDeReference to inline functions for
better readability and to aid static code analyzers.

flowvar: initialize new memory to prevent issues on error handling

pcap: fix stats dump logic

pcap has a callback function that is called for each packet. Once a
second, it's meant to 'dump stats'. However, the timing logic was
broken, so it would actually dump stats for each packet.

By moving the stats second timer into the thread vars, next calls of
the callback will be able to use the stored time.

flow timeout: remove now unused code

flow: fix typo in function name

FlowForceReassemblyNeedReassmbly -> FlowForceReassemblyNeedReassembly

flow timeout cleanup and fix

Flow timeout code worked by luck when checking if a flow still needed
reassembly for app layer inspection or logging. It would check for a
part of raw reassembly (smsg list) to determine if detection was
needed. In this case it would also process app layer cleanup,
including logging.

Introduced AppLayerTransactionGetActive which returns the lowest tx_id
in a direction that still needs some work.

FlowForceReassemblyNeedReassmbly now uses it to determine if the
applayer still needs work.

Converted FlowForceReassemblyForHash to use the checking function
FlowForceReassemblyNeedReassmbly as well, so that checking if a flow
needs work is now unified.

flow/stream: use named values in flow timeout code

stream: add option to disable raw reassembly

Raw reassembly is used only by the detection engine. For users only
caring about logging it's a significant overhead, both in cpu and
memory usage.

The option is called 'raw' and lives under the stream.reassembly
options.

stream:
  memcap: 32mb
  checksum-validation: yes      # reject wrong csums
  inline: auto                  # auto will use inline mode in IPS mode, yes or no set it statically
  reassembly:
    memcap: 64mb
    depth: 1mb                  # reassemble 1mb into a stream
    toserver-chunk-size: 2560
    toclient-chunk-size: 2560
    randomize-chunk-size: yes
    #randomize-chunk-range: 10
    raw: false # <- new option

erf-dag: fix typo in header guard

Spotted out by clang:
 source-erf-dag.h|25 col 9| warning: '__SOURCE_ERR_DAG_H__'
 is used as a header guard here, followed by #define of a different macro
 [-Wheader-guard]

yaml: remove no more present files

emerging-virus.rules is not present anymore in ET ruleset downloaded
by 'make install-rules'. This patch removes it from the list to avoid
an error message.

dns: rules files was not installed

Installed dns-events.rules files in rules directory with install-rules.

prscript: add support for pcap build

Now also start a pcap test build.

Use the stack for temporary memory buffers.

When setting final configuration nodes, set the whole tree as final.

Prevents benign log message of parent nodes of final values being
redefined (which ends up having no affect as the final nodes
are protected from being removed).

htp: display info about randomization

When randomizatin is used display a message about actual values.

htp: randomization of htp inspection sizes

This is an implementation of #940. It randomize libhtp request
and response size if the same way this has been done for stream
inspection.

lua: push correct length back through ScFlowvarGet, work around valgrind warning

lua: clear stack after each script run

luajit: pass calling rule's sid,gid,rev to script as SCRuleSid, SCRuleGid, SCRuleRev.

decode: fix failure in layered tunnel

If we have multiple layer of tunnel, the decoding of initial
Packet will recurse in DecodeTunnel function called in
PacketTunnelPktSetup. If we are not setting the pseudo
packet root before calling DecodeTunnel (as done in previous
code), then the tunnel root will no be correct for the lower
layer packets. This result in an counter problem and a suricata
failure after some time.

Fix alignment in usage.

Adds a defrag configuration example in suricata.yaml

Fix Conf api usage after rebase

Instead of exiting on memory failure, log a warning then return NULL
to signify an error to the caller.

Better document ConfSet and ConfSetFinal.

Subsequent configuration keys now override previous ones
instead of merging.

The exception is final values, for example, values like
default-log-dir that may be set on the command line.

Function to prune all non-final nodes from a configuration node.

More concise API for setting config values that
can be overrided or not (final values).

Cleanup ConfSet, ConfGet, make more concise.

Removes ifdef's for readability by using strchr instead
of strtok.

tls: allow matching for @ symbol in tls.subject

Also in tls.issuerdn keyword.

Original patch by Chris Wakelin.

Fixes #1042.

FTP parser updated to not use the archaic App layer feature of AppLayerParserResultElmt.

The parser otherwise remains pretty much the same.

Updated the ftp response handler to return without doing anything.

Currently the processing happening inside the handler is not being used
anywhere else in the engine.

Restructured flow_proto mapping enums.

Moved FLOW_PROTO_DEFAULT down the enum list.

Code cleanup.

Use the MpmAddPattern[CS|CI] wrapper to add patterns to the mpm context.

Also use MpmInitCtx() to init the mpm context.

Removed unused function MpmMatcherGetMaxPatternLength.

Reduce allocs in boyer moore prepare phase

Don't alloc for hash lookup in SCClassConfGetClasstype

Don't malloc temp var in SCRuleVarsGetConfVar

Don't use strdup in ip-only address parsing

Convert classtype keyword to pcre_copy_substring

Convert reference keyword to pcre_copy_substring

app layer: set event if proto detect disabled for a stream, but we see data anyway.

proto detection: add limit for one sided sessions

If a session only has data in one direction, like ftp data sessions,
protocol detection will only run in one direction. This led to a
situation where reassembly would hold all the segments as proto
detection was never flagged as complete.

This patch introduces a limit for protocol detection in this case.
If the limit is reached, detection will give up.

stream: add size debug code

stream: wait for protocol detection to complete

Wait for protocol detection to complete before removing segments
from the list.

decode: clean DecodeThreadVars counter

Speed counters are not compute anymore and can be removed from the
structure definition.

cmdline: add -k to specify checksum validation

This patch adds a '-k' option to suricata to be able to specify
the checksum validation to use. If '-k all' is used, checksum
validation is forced. If '-k none' is used, no checksum validation
is made.

Message output in case of detection of a pcap file with a probable
cheksum issue has been updated to indicate that '-k' is a solution.

pcap-file: add checksum-checks configuration variable

This patch adds support for checksum-checks in the pcap-file running
mode. This is the same functionnality as the one already existing for
live interface.

It can be setup in the YAML:
  pcap-file:
    checksum-checks: auto

A message is displayed for small pcap to warn that invalid checksum
rate is big on the pcap file and that checksum-check could
be set to no.

Set packet invalid flag during decoding.

This patch set a new value in pkt->flag to signal that a packet is
invalid during decoding. The patch has been obtained via a coccinelle
transformation.

Add invalid pkt counter.

This patch adds and increments a invalid packet counter. It
does this by introducing PacketDecodeFinalize function

This function is incrementing the invalid counter and is also
signalling the packet to CUDA.

Fix parsing of 'custom' detect grouping values

Also, add error checking

Bug 892

vars: optimize layout to reduce size requirements of flowbits and other vars

pcre: parsing cleanup

Remove all flags indicating the buffer type. They were only used
at parse time.

Because of this the DetectPcreData_ structure could shrink to 32
bytes.

stream: minor clean up of TcpSession structure

content: reorder DetectContentData member, shrinking the struct from 64 to 48 bytes.

defrag: clean up

Rename PacketDefragPktFinishSetup to PacketDefragPktSetupParent to
better refect it's function.

defrag: don't modify packet if defrag fails

If defrag fails dur to an invalid decoding, we are not modifying
the origin packet anymore.

decode: PacketTunnelPktSetup replaces PacketPseudoPktSetup

This patch replaces PacketPseudoPktSetup by a better named
PacketTunnelPktSetup function which is also in charge of doing
the decoding of the tunneled packet.
This allow to clean the code. But it also fixes an issue.
Previously, if the DecodeTunnel function was failling (cause of
an invalid packet mainly), the result was that the original packet
to be considered as a tunnel packet (and not inspected by payload
detection).

decode: update API to return error

In some cases, the decoding is not possible and some really invalid
packet can be created. This is in particular the case of tunnel. In
that case, it is more interesting to forget about the tunneled
packet and only consider the original packet.

DecodeTunnel function is maked as warn_unused_result because it is
meaningful for the decoder to know if the underlying data were not
correct. And in this case, only focus detection on the content.

rule setup: cleanup

Remove rule preparation logic that ran, but it's results were not
used.

Convert dsize keyword parsing to use pcre_copy_substring

Convert pcre keyword parsing to use pcre_copy_substring

rule parser: convert to use pcre_copy_string

detect: use macro for max rule size

Convert flowbits keyword parsing to use pcre_copy_substring

Convert flow keyword parsing to use pcre_copy_substring