Napatech 3GD Support

For use with Network Cards from Napatech utilizing the 3GD driver/api.

    - Implemented new run modes in runmode-napatech-3gd.*
    - Implemented capture/decode threads in source-napatech-3gd.*
    - Integrated the new run modes and source into the build infrastructure.

    New configure switches
    --enabled-napatech-3gd : Turns on the NT 3GD support
    --with-napatech-3gd-includes : The directory containing the NT 3GD header files
    --with-napatech-3gd-libraries : The directory containing the NT 3GD libraries to link against.

    New CLI switch
    --napatech-3gd : Uses the Napatech 3GD run mode

    Runmodes Supported:
    - auto
    - autofp
    - workers

    Notes:
    - tested with 1 Gbps sustained traffic (no drops)

Signed-off-by: Matt Keeler <mk@npulsetech.com>

gcc: construct use for warning was too recent.

fix wrong record hdr len check in ssl parser

Fix GetUsed functions for Host, Flow and Defrag.

build: error on implicit function declaration

This patch modifies gcc options to error in case of implicit
declaration. Bug #612 has shown this kind of bugs can be very
costly.

ipfw: suppress non loop receive function

nfq: suppress non loop receive function

flow: fix crash when flow engine under extreme stress, and unable to force free any existing flow

libhtp: harden code against malloc failures. Bug #587.

http: don't assume http tx to have header alloc'd. Can happen in OOM conditions. Bug #587.

Don't use SCStrdup in SCLogMessage as we call it on OOM condition, leading to endless recursion. SCStrdup failure calling SCLogMessage...

filestore: fix logic flag in continued stateful detection

pf-ring: fix build

Remove pcre jit warning. Bug #579.

pf_ring: don't set cluster for DNA interface.

feature #558.

Print FP info in rule analysis + other cleanup.

OpenBSD: no support for profiling

Local thread storage are not available so profiling is not supported.

OpenBSD: magic.mc path has changed in OpenBSD 5.1

filestore: fix a case where a matching non-filestore sig could trigger the store of a partially matching filestore sig.

http: fix client and server body sometimes being inspected in wrong order

stream.inline: add 'auto' mode

stream.inline YAML configuration variable now support the 'auto' value.
In this case, inline mode is activated for IPS running mode (NFQ and
IPFW) and is deactivated for IDS mode. This patch should fix bug #592.

af-packet: fix possible infinite loop.

If no packet arrives to a capture thread, it is possible that the
AFPReadLoop() function goes into an infinite loop. This could cause
suricata to hang at exit on non busy system.
This patch adds a counter to detect when Suricata start looping in
the ring to stop when it reaches this point.

af-packet: dump counter every seconds.

This patch updates to kernel counters handling to be almost sure to
update at least once per second.

pf-ring: add counter for kernel drop and packets

This patch adds a counter for kernel drop and packets by using the
same strategy as the one used in af-packet.

Fix drop (and other actions) not being applied to thresholded packets. Bug #613.

change default mpm to ac. Also default sgh-mpm-context is full.

Bug 585: use per detect thread libmagic ctx

magic: add test showing payload resulting in libmagic invalid read as reported by valgrind.

fix flow deadlock issue in detection engine state introduced by tx api.

Issue discovered by coverity.

suricata: list-keywords does not depend on unittest

luajit: suppress compiler warning

fix segv in hcbd and hsbd buffering.

Increase bufffers_list_len, only we open up a space for a new tx.

unittest to reveal a bug/segv in our hsbd buffering code.

http: fix http header reassembly bug causing some headers to be left out of the inspected buffer

http: now that htp_state has a cfg reference, use it for body limits

http: allow configuration of request and response body inspection limits. Issue #560.

New app inspection engine introduced.  Moved existing inspecting engines to use it.

Change all inspect callbacks to accept TV and a tx_id param.

Engine cleanup.  Remove all old engine inspection and mpm functions.

update client/server/http_header to use a different form of
buffering/buffer_retrieval.

Now it happens per tx, based on tx id.  Also notice a perf improvement with
this.

stream: change how retransmissions are handled and detected.

stream: fix retransmission on closewait being considered out of window

stream: detect retransmissions on timewait state

stream: accept ack with next_seq + 1 on last_ack state

stream: disable retransmission packet before last ack sig as it is fairly common in regular traffic

stream: detect retransmissions on closewait and finwait2 states

stream: don't flag zero window probe packets as out of window. Bug #604.

stream: detect keep-alive packets so we don't consider those invalid

stream: ignore ack value if ack flag is not set. Add stream.pkt_broken_ack event for when ack value is not 0 and ack flag not set.

stream: handle retransmission of lost data packet on TIME_WAIT state

stream: go from FIN_WAIT_1 to CLOSING on simultaneous close.

stream: don't reject RST as response to SYN because of ACK

stream: add option to match on overlapping data

Set event on overlapping data segments that have different data.

Add stream-events option stream-event:reassembly_overlap_different_data and
add an example rule.

Issue 603.

libhtp: don't use internal iterator

It violates thread safety. #601.

Suricata assures thread safety on the flow level for HTTP tracking. Part of the flow is (in case of HTTP) libhtp's htp_connp_t state. At startup the libhtp glue layer, app-layer-htp initializes as many htp_cfg_t instances as there are libhtp server configurations in the yaml. At HTTP session start, we look up the proper htp_cfg_t based on the server ip and pass it to htp_connp_create.  A ptr to the relevant htp_cfg_t is part of the htp_connp_t. The htp_cfg_t contains "hooks". The are registered based on yaml config at init time.

The hooks have lists of type list_t. The list is run with a built in iterator. The iterator is reset at the start of each "hook_run_all". Since multiple flows share the same htp_cfg_t flow A can reset the iterator while flow B is using it. The flow lock has no effect as flows share the htp_cfg_t.

This has been observed in real traffic. hook_response_body_data was run on the same data multiple times, leading to corrupt extracted files.

Fix/suppress a couple of harmless compiler warnings.

Remove dead comment about flow reference api duplicate

Move Flow Reference/Dereferene api from flow-util.h to flow.h.

Remove duplicate FlowDeReference from decode.h

Update suricata to use FlowReference/FlowDeReference for the ones left out
from last update.

yaml: default to cluster_flow type for AF_PACKET and PF_RING

profiling: fix rule profiling output sometimes missing sid,rev,gid. Bug #576.

Add dsize check to prefilter stage

Many sigs with dsize have a weak fast_pattern. Those patterns
are likely to match. By filtering on dsize early, we safe a lot
of cycles later.

For signatures with the dsize option set depth on any content match in that sig.

Update changelog to reflect 1.4beta2 changes

Clean up and update bundled docs

remove reference to non-existing file from Makefile.am

packet src: move pkt_src field up in the structure to fix in an existing hole (found with pahole -C Packet_ src/.libs/suricata).

Add a packet src for every packet generated inside suricata.

nfq: fix detection of type nfq_get_payload function.

nfq: close the queue when leaving acquisition.

This patch adds a call to close the queue when the acquisition
loop is ending. This way the incoming packets will be accepted
during all the shutdown phase (if the queue-bypass option of
NFQUEUE is used). At the same time the currently processed packets
will be dropped but the time scale are different: suricata will
drop 20 ms of packets and the shutdown can take 0.5 seconds.

Patch based on an idea of Victor Julien.

fast_pattern: don't consider http_method, http_stat_code and http_stat_msg when automatically giving preference to a HTTP pattern over a stream pattern.

pf-ring: suppress unused variable.

pf-ring: add missing header.

pf-ring: protect definition of (un)likely

This patch makes (un)likely declared if and only if they are not
declared before.

fix for bug #574.

More of a temporary solution to prevent any possible FPs.  Disable content
inspection bypass for mpm patterns.

fix for bug #577.

If a pattern has matched on mpm, don't re-inspect it later, subject to certain
conditions met by the pattern - namely, not negated, right chop, no replacet
attached to it.

htp: update version numbers of bundled htp

http: fix multipart parsing leading to missing chunks of files in file extraction.

Make available custom features of libhtp.

The power of libhtp customisation now available to users.

Options available -

path-backslash-separators: yes
path-compress-separators: yes
path-control-char-handling: none
path-convert-utf8: yes
path-decode-separators: yes
path-decode-u-encoding: yes
path-invalid-encoding-handling: preserve_percent
path-invalid-utf8-handling: none
path-nul-encoded-handling: none
path-nul-raw-handling: none
set-path-replacement-char: ?
set-path-unicode-mapping: bestfit

You can use this for your libhtp customisation.  Options explained in our
wiki.

https://redmine.openinfosecfoundation.org/projects/suricata/wiki/Advanced_libhtp_customization

refactor htpconfigure()

bug #572: make sure we use profiling fallback for all architectures except x86_64 and i386.

Fix flow keyword compilation failure.

Update all flow referencing to use the new FlowReference and FlowDeReference
macros.

fix for bug #557.

In FFRv2, dereference flow from a packet using the new reference/dereference
util macros.  This allows the decr use_cnt for flow and reseting the flow
pointer to NULL for the pseudo pkt to happen simultaneously, in case there we
fail to retrieve a pseudo_packet and have to return the already obtained
pseudo packets, back to the packetpool.

Introduce utility flow macros to help referencing/dereferencing flows.

fix for bug #557.

Reset hhd buffers list len if we exit before allocating the buffer.

fix for bug #575.

If sig has no_stream set, don't mask it as requiring flow.  Should get rid of
FNs any.

detect: properly store a stateful match if it happens at the start of inspection

Dead code cleanup. Coverity 728047, 728048, 728049.

profiling: fix some profiling info missing from output

tm-thread: detect thread death

When a thread is dead at init the THV_INIT_DONE flag is not set
and the spawn function can freeze (see bug #553 for an example).
In this case THV_RUNNING_DONE is set and we can also check on this
state for leaving the function. This should fix #bug553

threshold: improve comments of shipped threshold.config, add links to wiki.

fix http server/client body handling.  Update body status based on tx state.

threshold: allow threshold.config to override rule

Allow threshold.conf to override rule thresholds in the following
cases:

- threshold.config rule uses threshold or event_filter AND
- threshold.config rule applies to a single signature (so no
  gid 0 or sid 0)

Confirmed to work with both threshold and detection_filter rule
keywords.

Part of bug #425.

Minor parsing cleanups in detect-engine options.

yaml: add addr and port vars commonly used by ET/ETpro

coccinelle: add test on malloc error check.

This patch adds a coccinelle code check on SCMalloc, SCCalloc and
SCStrdup and other memory handling functions. It verifies that the
error checking is made.

Fix indentation of win32 files.

Add missing sctrdup test

coccinelle: don't test UNITTEST code

Use unlikely for error treatment.

When handling error case on SCMallog, SCCalloc or SCStrdup
we are in an unlikely case. This patch adds the unlikely()
expression to indicate this to gcc.

This patch has been obtained via coccinelle. The transformation
is the following:

@istested@
identifier x;
statement S1;
identifier func =~ "(SCMalloc|SCStrdup|SCCalloc)";
@@

x = func(...)
... when != x
- if (x == NULL) S1
+ if (unlikely(x == NULL)) S1