flow timeout: remove now unused code

flow: fix typo in function name

FlowForceReassemblyNeedReassmbly -> FlowForceReassemblyNeedReassembly

flow timeout cleanup and fix

Flow timeout code worked by luck when checking if a flow still needed
reassembly for app layer inspection or logging. It would check for a
part of raw reassembly (smsg list) to determine if detection was
needed. In this case it would also process app layer cleanup,
including logging.

Introduced AppLayerTransactionGetActive which returns the lowest tx_id
in a direction that still needs some work.

FlowForceReassemblyNeedReassmbly now uses it to determine if the
applayer still needs work.

Converted FlowForceReassemblyForHash to use the checking function
FlowForceReassemblyNeedReassmbly as well, so that checking if a flow
needs work is now unified.

flow/stream: use named values in flow timeout code

stream: add option to disable raw reassembly

Raw reassembly is used only by the detection engine. For users only
caring about logging it's a significant overhead, both in cpu and
memory usage.

The option is called 'raw' and lives under the stream.reassembly
options.

stream:
  memcap: 32mb
  checksum-validation: yes      # reject wrong csums
  inline: auto                  # auto will use inline mode in IPS mode, yes or no set it statically
  reassembly:
    memcap: 64mb
    depth: 1mb                  # reassemble 1mb into a stream
    toserver-chunk-size: 2560
    toclient-chunk-size: 2560
    randomize-chunk-size: yes
    #randomize-chunk-range: 10
    raw: false # <- new option

erf-dag: fix typo in header guard

Spotted out by clang:
 source-erf-dag.h|25 col 9| warning: '__SOURCE_ERR_DAG_H__'
 is used as a header guard here, followed by #define of a different macro
 [-Wheader-guard]

yaml: remove no more present files

emerging-virus.rules is not present anymore in ET ruleset downloaded
by 'make install-rules'. This patch removes it from the list to avoid
an error message.

dns: rules files was not installed

Installed dns-events.rules files in rules directory with install-rules.

prscript: add support for pcap build

Now also start a pcap test build.

Use the stack for temporary memory buffers.

When setting final configuration nodes, set the whole tree as final.

Prevents benign log message of parent nodes of final values being
redefined (which ends up having no affect as the final nodes
are protected from being removed).

htp: display info about randomization

When randomizatin is used display a message about actual values.

htp: randomization of htp inspection sizes

This is an implementation of #940. It randomize libhtp request
and response size if the same way this has been done for stream
inspection.

lua: push correct length back through ScFlowvarGet, work around valgrind warning

lua: clear stack after each script run

luajit: pass calling rule's sid,gid,rev to script as SCRuleSid, SCRuleGid, SCRuleRev.

decode: fix failure in layered tunnel

If we have multiple layer of tunnel, the decoding of initial
Packet will recurse in DecodeTunnel function called in
PacketTunnelPktSetup. If we are not setting the pseudo
packet root before calling DecodeTunnel (as done in previous
code), then the tunnel root will no be correct for the lower
layer packets. This result in an counter problem and a suricata
failure after some time.

Fix alignment in usage.

Adds a defrag configuration example in suricata.yaml

Fix Conf api usage after rebase

Instead of exiting on memory failure, log a warning then return NULL
to signify an error to the caller.

Better document ConfSet and ConfSetFinal.

Subsequent configuration keys now override previous ones
instead of merging.

The exception is final values, for example, values like
default-log-dir that may be set on the command line.

Function to prune all non-final nodes from a configuration node.

More concise API for setting config values that
can be overrided or not (final values).

Cleanup ConfSet, ConfGet, make more concise.

Removes ifdef's for readability by using strchr instead
of strtok.

tls: allow matching for @ symbol in tls.subject

Also in tls.issuerdn keyword.

Original patch by Chris Wakelin.

Fixes #1042.

FTP parser updated to not use the archaic App layer feature of AppLayerParserResultElmt.

The parser otherwise remains pretty much the same.

Updated the ftp response handler to return without doing anything.

Currently the processing happening inside the handler is not being used
anywhere else in the engine.

Restructured flow_proto mapping enums.

Moved FLOW_PROTO_DEFAULT down the enum list.

Code cleanup.

Use the MpmAddPattern[CS|CI] wrapper to add patterns to the mpm context.

Also use MpmInitCtx() to init the mpm context.

Removed unused function MpmMatcherGetMaxPatternLength.

Reduce allocs in boyer moore prepare phase

Don't alloc for hash lookup in SCClassConfGetClasstype

Don't malloc temp var in SCRuleVarsGetConfVar

Don't use strdup in ip-only address parsing

Convert classtype keyword to pcre_copy_substring

Convert reference keyword to pcre_copy_substring

app layer: set event if proto detect disabled for a stream, but we see data anyway.

proto detection: add limit for one sided sessions

If a session only has data in one direction, like ftp data sessions,
protocol detection will only run in one direction. This led to a
situation where reassembly would hold all the segments as proto
detection was never flagged as complete.

This patch introduces a limit for protocol detection in this case.
If the limit is reached, detection will give up.

stream: add size debug code

stream: wait for protocol detection to complete

Wait for protocol detection to complete before removing segments
from the list.

decode: clean DecodeThreadVars counter

Speed counters are not compute anymore and can be removed from the
structure definition.

cmdline: add -k to specify checksum validation

This patch adds a '-k' option to suricata to be able to specify
the checksum validation to use. If '-k all' is used, checksum
validation is forced. If '-k none' is used, no checksum validation
is made.

Message output in case of detection of a pcap file with a probable
cheksum issue has been updated to indicate that '-k' is a solution.

pcap-file: add checksum-checks configuration variable

This patch adds support for checksum-checks in the pcap-file running
mode. This is the same functionnality as the one already existing for
live interface.

It can be setup in the YAML:
  pcap-file:
    checksum-checks: auto

A message is displayed for small pcap to warn that invalid checksum
rate is big on the pcap file and that checksum-check could
be set to no.

Set packet invalid flag during decoding.

This patch set a new value in pkt->flag to signal that a packet is
invalid during decoding. The patch has been obtained via a coccinelle
transformation.

Add invalid pkt counter.

This patch adds and increments a invalid packet counter. It
does this by introducing PacketDecodeFinalize function

This function is incrementing the invalid counter and is also
signalling the packet to CUDA.

Fix parsing of 'custom' detect grouping values

Also, add error checking

Bug 892

vars: optimize layout to reduce size requirements of flowbits and other vars

pcre: parsing cleanup

Remove all flags indicating the buffer type. They were only used
at parse time.

Because of this the DetectPcreData_ structure could shrink to 32
bytes.

stream: minor clean up of TcpSession structure

content: reorder DetectContentData member, shrinking the struct from 64 to 48 bytes.

defrag: clean up

Rename PacketDefragPktFinishSetup to PacketDefragPktSetupParent to
better refect it's function.

defrag: don't modify packet if defrag fails

If defrag fails dur to an invalid decoding, we are not modifying
the origin packet anymore.

decode: PacketTunnelPktSetup replaces PacketPseudoPktSetup

This patch replaces PacketPseudoPktSetup by a better named
PacketTunnelPktSetup function which is also in charge of doing
the decoding of the tunneled packet.
This allow to clean the code. But it also fixes an issue.
Previously, if the DecodeTunnel function was failling (cause of
an invalid packet mainly), the result was that the original packet
to be considered as a tunnel packet (and not inspected by payload
detection).

decode: update API to return error

In some cases, the decoding is not possible and some really invalid
packet can be created. This is in particular the case of tunnel. In
that case, it is more interesting to forget about the tunneled
packet and only consider the original packet.

DecodeTunnel function is maked as warn_unused_result because it is
meaningful for the decoder to know if the underlying data were not
correct. And in this case, only focus detection on the content.

rule setup: cleanup

Remove rule preparation logic that ran, but it's results were not
used.

Convert dsize keyword parsing to use pcre_copy_substring

Convert pcre keyword parsing to use pcre_copy_substring

rule parser: convert to use pcre_copy_string

detect: use macro for max rule size

Convert flowbits keyword parsing to use pcre_copy_substring

Convert flow keyword parsing to use pcre_copy_substring

Convert ParseSizeString to use pcre_copy_substring

rule parser: don't use uninitialized value

feature #417: add support for configuration per host timeout value

rule parsing cleanups

Clean up usage of array of pointers to the various parts of a rule.

rule parsing: reduce mallocs and clean up

Reduce mallocs during rule parsing. Also, no longer recursively
call the option parse function.

address and port: reduce memory allocs

Remove the single line if statements.

Support for configuration include files.

signature address parsing improvements and tests

Fix sigatures not supporting [10.0.0.0/24, !10.1.1.1] notation when
used directly in a rule instead of through a variable.

Add tests for Bugs #815 and #920.

valgrind: add suppression file

http: use body limit in inspection

When inspecting HTTP bodies there are several limits involved.
In this patch the reaching of the body limit will trigger body
inspection.

Without this, the body would only be inspected when inspection
limits "request-body-minimal-inspect-size" or
"response-body-minimal-inspect-size" were reached. If the body
limit was smaller than this value, the body would only be
inspected at the end of the tx or stream.

Fix using uninitialized memory (Bug #994)

util-ioctl: ioctl error should be a warning

pcap: add warning about GRO and LRO usage

Use the new GetIfaceOffloading function to display a warning message
if pcap capture is used on Linux with GRO or LRO activated. This is
helpful for kernel after 2.6.31 were pcap will use mmaped capture.
TPACKET_V2 is used and this limit the size of the packet resulting
in truncated packets when merged packets are received.

af-packet: add warning message if LRO or GRO are set

This patch query the network interface to detect if LRO or GRO are
used in mmap TPACKET_V2 mode.

util-ioctl: add GRO/LRO detection capabilities

This patch adds a new function GetIfaceOffloading which return 0
if LRO and GRO are not set on a interface and 1 if not the case.

util-ioctl: minor code cleaning.

Fix author e-mail and simplify an indentation.

pfring: improve error reporting at device opening

This patch improves the error message displayed if pfring_open fails.

detect: don't consider smsgs for no inspect flag

When the PKT_NOPAYLOAD_INSPECTION flag is set, don't apply it to smsgs.
This way we can still inspect the outstanding smsgs.

The PKT_NOPAYLOAD_INSPECTION is set for encrypted traffic, and is combined
with disabling stream reassembly. So we only inspect the smsgs up to the
point of the disable detection point.

stream: improve raw reassembly

When checking the reassembly limit for raw reassembly, consider the
STREAMTCP_STREAM_FLAG_NOREASSEMBLY a trigger immediately. We won't
process any more segments in the reassembly engine anyway.

Fix autofp flow queue handler optimization

build-info: add a nicer way of printing atomics support

flow: aligned flow balance structures (used by autofp) to CLS to reduce false sharing

http: add meta-field-limit option

The meta-field-option allows for setting the hard limit of request
and response fields in HTTP. In requests this applies to the request
line and headers, not the body. In responses, this applies to the
response line and headers, not the body.

Libhtp uses a default limit of 18k. If this is reached an event is
raised.

Ticket 986.

SSE 4.2 memcmp: don't read beyond var boundary

In the SSE 4.2 SCMemcmpLowercase implementation, there would be a
_mm_load_si128 of a 2 byte array. However, _mm_load_si128 loads
16 bytes, causing it to read beyond the var. I don't think this lead
to crashes, as it was a static var, but clangs ASAN complained about
it.

Reduce the size of Packet structure

Share memory space for IPV4Vars and (IPV6Vars, IPV6ExtHdrs), since a
packet can only be either IPv4 or IPv6, but not both.

Share memory for TCPVars, UDPVars, ICMPV4Vars and ICMPV6Vars, since a
packet can only be only of these.

Then move other structure members around to remove holes reported by pahole.

This reduces the size of the Packet structure from 2944 bytes (46 cachelines)
down to 1976 (31 cachelines), a 33% reduction.

http: strip 'proxy' part of http_uri

Strip the 'proxy' parts from the normalized uri as inspected by http_uri,
urilen, pcre /U and others.

  In a request line like:
    GET http://suricata-ids.org/blah/ HTTP/1.1
  the normalized URI will now be:
    /blah/

This doesn't affect http_raw_uri. So matching the hostname, etc is still
possible through this keyword.

Additionally, a new per HTTP 'personality' option was added to change
this behavior: "uri-include-all":

  uri-include-all: <true|false>
    Include all parts of the URI. By default the
    'scheme', username/password, hostname and port
    are excluded. Setting this option to true adds
    all of them to the normalized uri as inspected
    by http_uri, urilen, pcre with /U and the other
    keywords that inspect the normalized uri.
    Note that this does not affect http_raw_uri.

So adding uri-include-all:true to all personalities in the yaml will
restore the old default behavior.

Ticket 1008.

Allocate mPIPE packet ingress queue in each worker thread.

Move the allocation of the mPipe ingress queue from a loop over
the number of workers in the main init function to being done inside
each worker thread. This allows allocating the memory locally on the
worker's CPU without needing to figure out ahead of time where that thread
will be running. This fixes one case of static mapping of workers to CPUs.

Use __thread to hold the queue rather than a global tables of queues.

Cleanup Tile build for -Werror

Just the changes needed for the Tile architecture to compile cleanly with
-Werror.

Rename checksums to level3_comp_csum and level4_comp_csum.

This will also sharing even more memory in the Packet_ structure.

suricata: move some code into PostConfLoadedSetup

All functions before daemonization are initialisation functions and thus the
call can be moved in PostConfLoadedSetup.

Remove mkinstalldirs (bug #1041)

Add SSE support to --build-info

memcmp: don't use SSE intrinsics if less that 16 bytes are available in SSE_4_2 version.

profiling: don't init rule profiling ctx if rule profiling is disabled

profiling: when config is missing, keyword profiling is disabled

pcap: register counters for old pcap versions as well