napatech: treat malloc error

coccinelle: improve run_check

This patch adds two features to run_check.sh, it is now posssible
to specify a list of files to check:
 ./run_check.sh ../../src/suricata.c ../../src/detect.c
It is also possible to ask a review of the files modified by a commit.
To so simply put the SHA1 as argument
 ./run_check.sh HEAD
 ./run_check 6af7d5f
It is also possible to check all the files for an arbitrary range:
 ./run_check.sh origin/master..buildbot-fixes

Last improvement of this patch is to get a real error message in case
of problem as 2 is not redirected anymore to /dev/null.

coccinelle: add new correct case to error treatment

suricata: add daemon-directory config variable

It is now possible to use the 'daemon-directory' configuration
variable to specify the working directory of suricata in daemon
mode. This will permit to specify the place for core and other
related files.

suricata: avoid concurrent run in daemon mode

This patch creates a pid file per default and use it to avoid to be
able to run two Suricata. Separate pid file have to be provided to
be able to do it.

suricata: change dir to / in daemon mode.

By changing directory to /, we will not block the directory where
suricata has been started.

Refactor Napatech 3GD to just Napatech as Suricata is only going to support 3GD.

Signed-off-by: Matt Keeler <mk@npulsetech.com>

Remove Napatech 2GD support

Removed the Napatech 2GD support

runmode-napatech-3gd.c had an include from runmode-napatech.h which was erroneous and has been removed as well.

Signed-off-by: Matt Keeler <mk@npulsetech.com>

configure: fix small typo.

configure: improve march=native detection

clang is supposed to support march=native but if the CPU is too
recent for clang, this can cause an invalid detection of arch and
result in a incapability of clang to compile any binary.
This patch updates the test to try a compilation with march=native
when clang is the used compiler.

configure: differentiate gcc and clang options

The version checking was made similarly for clang and gcc. This
patch modifies this to check on compiler name. This way we can
avoid to set march=native which is not supported by clang on
some system.
At the same time, this fix the annoying warning about no-fp-tree
being unsupported by clang.

Remove unnecessary debug message

OpenBSD 5.2 build fixes, Unit test fix.

suricata: add run-as.user and run-as.group yaml var

This patch update the YAML to be able to specify the user or the
group to run Suricata as:
 run-as:
   user: suri
   group: suri

pcap: ref config according to threads count

yaml: document the threads setting in pcap section.

Silence compiler warning if napatech3 support is disabled

Napatech 3GD Support

For use with Network Cards from Napatech utilizing the 3GD driver/api.

    - Implemented new run modes in runmode-napatech-3gd.*
    - Implemented capture/decode threads in source-napatech-3gd.*
    - Integrated the new run modes and source into the build infrastructure.

    New configure switches
    --enabled-napatech-3gd : Turns on the NT 3GD support
    --with-napatech-3gd-includes : The directory containing the NT 3GD header files
    --with-napatech-3gd-libraries : The directory containing the NT 3GD libraries to link against.

    New CLI switch
    --napatech-3gd : Uses the Napatech 3GD run mode

    Runmodes Supported:
    - auto
    - autofp
    - workers

    Notes:
    - tested with 1 Gbps sustained traffic (no drops)

Signed-off-by: Matt Keeler <mk@npulsetech.com>

gcc: construct use for warning was too recent.

fix wrong record hdr len check in ssl parser

Fix GetUsed functions for Host, Flow and Defrag.

build: error on implicit function declaration

This patch modifies gcc options to error in case of implicit
declaration. Bug #612 has shown this kind of bugs can be very
costly.

ipfw: suppress non loop receive function

nfq: suppress non loop receive function

flow: fix crash when flow engine under extreme stress, and unable to force free any existing flow

libhtp: harden code against malloc failures. Bug #587.

http: don't assume http tx to have header alloc'd. Can happen in OOM conditions. Bug #587.

Don't use SCStrdup in SCLogMessage as we call it on OOM condition, leading to endless recursion. SCStrdup failure calling SCLogMessage...

filestore: fix logic flag in continued stateful detection

pf-ring: fix build

Remove pcre jit warning. Bug #579.

pf_ring: don't set cluster for DNA interface.

feature #558.

Print FP info in rule analysis + other cleanup.

OpenBSD: no support for profiling

Local thread storage are not available so profiling is not supported.

OpenBSD: magic.mc path has changed in OpenBSD 5.1

filestore: fix a case where a matching non-filestore sig could trigger the store of a partially matching filestore sig.

http: fix client and server body sometimes being inspected in wrong order

stream.inline: add 'auto' mode

stream.inline YAML configuration variable now support the 'auto' value.
In this case, inline mode is activated for IPS running mode (NFQ and
IPFW) and is deactivated for IDS mode. This patch should fix bug #592.

af-packet: fix possible infinite loop.

If no packet arrives to a capture thread, it is possible that the
AFPReadLoop() function goes into an infinite loop. This could cause
suricata to hang at exit on non busy system.
This patch adds a counter to detect when Suricata start looping in
the ring to stop when it reaches this point.

af-packet: dump counter every seconds.

This patch updates to kernel counters handling to be almost sure to
update at least once per second.

pf-ring: add counter for kernel drop and packets

This patch adds a counter for kernel drop and packets by using the
same strategy as the one used in af-packet.

Fix drop (and other actions) not being applied to thresholded packets. Bug #613.

change default mpm to ac. Also default sgh-mpm-context is full.

Bug 585: use per detect thread libmagic ctx

magic: add test showing payload resulting in libmagic invalid read as reported by valgrind.

fix flow deadlock issue in detection engine state introduced by tx api.

Issue discovered by coverity.

suricata: list-keywords does not depend on unittest

luajit: suppress compiler warning

fix segv in hcbd and hsbd buffering.

Increase bufffers_list_len, only we open up a space for a new tx.

unittest to reveal a bug/segv in our hsbd buffering code.

http: fix http header reassembly bug causing some headers to be left out of the inspected buffer

http: now that htp_state has a cfg reference, use it for body limits

http: allow configuration of request and response body inspection limits. Issue #560.

New app inspection engine introduced.  Moved existing inspecting engines to use it.

Change all inspect callbacks to accept TV and a tx_id param.

Engine cleanup.  Remove all old engine inspection and mpm functions.

update client/server/http_header to use a different form of
buffering/buffer_retrieval.

Now it happens per tx, based on tx id.  Also notice a perf improvement with
this.

stream: change how retransmissions are handled and detected.

stream: fix retransmission on closewait being considered out of window

stream: detect retransmissions on timewait state

stream: accept ack with next_seq + 1 on last_ack state

stream: disable retransmission packet before last ack sig as it is fairly common in regular traffic

stream: detect retransmissions on closewait and finwait2 states

stream: don't flag zero window probe packets as out of window. Bug #604.

stream: detect keep-alive packets so we don't consider those invalid

stream: ignore ack value if ack flag is not set. Add stream.pkt_broken_ack event for when ack value is not 0 and ack flag not set.

stream: handle retransmission of lost data packet on TIME_WAIT state

stream: go from FIN_WAIT_1 to CLOSING on simultaneous close.

stream: don't reject RST as response to SYN because of ACK

stream: add option to match on overlapping data

Set event on overlapping data segments that have different data.

Add stream-events option stream-event:reassembly_overlap_different_data and
add an example rule.

Issue 603.

libhtp: don't use internal iterator

It violates thread safety. #601.

Suricata assures thread safety on the flow level for HTTP tracking. Part of the flow is (in case of HTTP) libhtp's htp_connp_t state. At startup the libhtp glue layer, app-layer-htp initializes as many htp_cfg_t instances as there are libhtp server configurations in the yaml. At HTTP session start, we look up the proper htp_cfg_t based on the server ip and pass it to htp_connp_create.  A ptr to the relevant htp_cfg_t is part of the htp_connp_t. The htp_cfg_t contains "hooks". The are registered based on yaml config at init time.

The hooks have lists of type list_t. The list is run with a built in iterator. The iterator is reset at the start of each "hook_run_all". Since multiple flows share the same htp_cfg_t flow A can reset the iterator while flow B is using it. The flow lock has no effect as flows share the htp_cfg_t.

This has been observed in real traffic. hook_response_body_data was run on the same data multiple times, leading to corrupt extracted files.

Fix/suppress a couple of harmless compiler warnings.

Remove dead comment about flow reference api duplicate

Move Flow Reference/Dereferene api from flow-util.h to flow.h.

Remove duplicate FlowDeReference from decode.h

Update suricata to use FlowReference/FlowDeReference for the ones left out
from last update.

yaml: default to cluster_flow type for AF_PACKET and PF_RING

profiling: fix rule profiling output sometimes missing sid,rev,gid. Bug #576.

Add dsize check to prefilter stage

Many sigs with dsize have a weak fast_pattern. Those patterns
are likely to match. By filtering on dsize early, we safe a lot
of cycles later.

For signatures with the dsize option set depth on any content match in that sig.

Update changelog to reflect 1.4beta2 changes

Clean up and update bundled docs

remove reference to non-existing file from Makefile.am

packet src: move pkt_src field up in the structure to fix in an existing hole (found with pahole -C Packet_ src/.libs/suricata).

Add a packet src for every packet generated inside suricata.

nfq: fix detection of type nfq_get_payload function.

nfq: close the queue when leaving acquisition.

This patch adds a call to close the queue when the acquisition
loop is ending. This way the incoming packets will be accepted
during all the shutdown phase (if the queue-bypass option of
NFQUEUE is used). At the same time the currently processed packets
will be dropped but the time scale are different: suricata will
drop 20 ms of packets and the shutdown can take 0.5 seconds.

Patch based on an idea of Victor Julien.

fast_pattern: don't consider http_method, http_stat_code and http_stat_msg when automatically giving preference to a HTTP pattern over a stream pattern.

pf-ring: suppress unused variable.

pf-ring: add missing header.

pf-ring: protect definition of (un)likely

This patch makes (un)likely declared if and only if they are not
declared before.

fix for bug #574.

More of a temporary solution to prevent any possible FPs.  Disable content
inspection bypass for mpm patterns.

fix for bug #577.

If a pattern has matched on mpm, don't re-inspect it later, subject to certain
conditions met by the pattern - namely, not negated, right chop, no replacet
attached to it.

htp: update version numbers of bundled htp

http: fix multipart parsing leading to missing chunks of files in file extraction.

Make available custom features of libhtp.

The power of libhtp customisation now available to users.

Options available -

path-backslash-separators: yes
path-compress-separators: yes
path-control-char-handling: none
path-convert-utf8: yes
path-decode-separators: yes
path-decode-u-encoding: yes
path-invalid-encoding-handling: preserve_percent
path-invalid-utf8-handling: none
path-nul-encoded-handling: none
path-nul-raw-handling: none
set-path-replacement-char: ?
set-path-unicode-mapping: bestfit

You can use this for your libhtp customisation.  Options explained in our
wiki.

https://redmine.openinfosecfoundation.org/projects/suricata/wiki/Advanced_libhtp_customization

refactor htpconfigure()

bug #572: make sure we use profiling fallback for all architectures except x86_64 and i386.

Fix flow keyword compilation failure.

Update all flow referencing to use the new FlowReference and FlowDeReference
macros.

fix for bug #557.

In FFRv2, dereference flow from a packet using the new reference/dereference
util macros.  This allows the decr use_cnt for flow and reseting the flow
pointer to NULL for the pseudo pkt to happen simultaneously, in case there we
fail to retrieve a pseudo_packet and have to return the already obtained
pseudo packets, back to the packetpool.