pool: add error msgs and improve memory layout

Add a per threadvars thread local thread id, that starts at 0 and increments for each thread.

Coverity 1038959: DNS mpm might use initialized variable

Remove mpm ctxs in the wrong direction.

A lot of http mpm ctxs have now been removed as a result of this.

Update mpm init ctx to not accept the final cuda_rc_module argument.

It was a part of our older architecture and is no longer used.

DNS: fix CUDA build

DNS: fix warning when debug is not enabled

DNS: disable logging by default

DNS: add support for per TX decoder events.

app layer: add support for per TX decoder events

Reset app layer events when we start inspecting a new TX

DNS: add test for app layer event match

Merge SIG_FLAG_MPM_HTTP and SIG_FLAG_MPM_DNS into SIG_FLAG_MPM_APPLAYER, do the same for the _NEG variant.

DNS: enable mpm/fast_pattern support for dns_query

DNS: add /F modifier to pcre to inspect DNS query name

DNS: add event rules file

DNS: add unittests for UDP and TCP for dns_query keyword

DNS: adding dns_request content modifier

DNS: add per tx internal id

Add per TX id. Rename transaction_cnt to transaction_max (id) and increment it on tx creation.

Hacks to enable alert dns even though we have dnstcp and dnsudp parsers. Needs proper solution later.

DNS TCP and UDP parser and DNS response logger

Use PACKET_* macro instead of UPDATE

Setting the ACTION_DROP flag can be done via PACKET_DROP instead
of using PACKET_UPDATE_ACTION.

decode: factorize macro code

PACKET_* are now wrapper to the newly introduced PACKET_SET_ACTION
macro.

decode: Packet action start with PACKET

Rename all Packet action macro to have them prefixed by PACKET.

Don't let geoip match on pseudo packets.

Coverity 1038523: Fix using cuda buffer slice that has been returned to the pool.

stream: detect keep-alive and keep-alive ACK

stream: fix typo in function name

Coverity 1038106: fix FP out-of-bond access

A cast during the reading of a configuration variable was invalid
because a 16 bit integer was cast to a 32 bit integer. The called
function is only setting the pointer value to 1 or 0 so there is
no real issue there.

Coverity: 1038139 suppress sanity check

The sanity check was really useless as the NULL value is checked in
the code flow.

Coverity 1038515: check function return

This is more cosmetic than useful but it is cleaner anyway.

Cuda make distcheck fix for cuda-ptxdump.h

Coverity 1038522: fix memset inside cuda code.  Wrong size specified to memset.

Coverity 1038085: remove 'default' statement in SCErrorToString. This way a warning will be given if an error is defined w/o updating this function.

Coverity 1038092 & 1038093: remove dead code

Coverity 1038518: fix wrong error check

Coverity 1038124: memory leak on 'seq' keyword parsing failure

Coverity 1038123: memory leak on 'flowint' keyword parsing failure

Coverity 1038116 & 1038117: memory leaks on 'app-layer-event' keyword parsing failure

Coverity 1038115: memory leak on 'ack' keyword parsing failure

Coverity 1038113: possibly out of bounds read

Minor cosmetic changes to the cuda code.

Moved a couple of functions to more cuda relevant files;
Re-structured some data types.

Modified CudaBufferCullCompletedSlices.

Allow readers specify max size of data they want to read.

Add a usleep to CudaBuffer culling process. Would lead to a situation where the thread wouldn't care to yield to others."

Version 1 of AC Cuda.

Version 1 of CudaBuffer API. Introduced to buffer data to the gpu.

This version allows async writes to a buffer by threads.  Allows only
sequential reads though.

We call packet and stream mpm as late as possible now. Won't affect the working of the engine.

The rationale behind this is, if we have pkt buffered to the gpu, we'd want
to delay processing the pkt as much as possible.

pool now uses a queue kinda behaviour when getting/inserting data through poolbuckets.

code refactoring. Call mpmprefilter slightly later than where it's called atm

Remove all cuda related code in the engine except for the cuda api wrappers

update cuda API wrappers

Add one shot run option to suri-graphite.

Import suri-graphite script

This patch import suri-graphite into suricata contrib directory.
This script reads counters from suricata unix socket and send them
to a Graphite graphing server.

unix-socket: fix OSX build

MSG_NOSIGNAL is not defined on macOSX and SO_NOSIGPIPE is used
instead.

action handling: add test to avoid direct access

Direct access to the action field of Packet structure is not
allowed.

action handling: use macro for test.

Use test macro instead of direct access to action field.

This patch has been obtained by using the following
spatch file:

  @@
  Packet *p;
  expression E;
  @@

  - p->action & E
  + TEST_PACKET_ACTION(p, E)

action handling: define and use macros

The action field in Packet structure should not be accessed
directly as the tunneled packet needs to update the root packet
and not the initial packet.

This patch is fixing issue #819 where suricata was not able to
drop fragmented packets in AF_PACKET IPS mode. It also fixes
drop capability for tunneled packets.

Fix magic unittets.

Fix segv, when magic_load() fails due to the non-availability of default
magic files.

Fix wrong casting of htp pointer.  Fixed it back to (HTPState *) inside
htp utility functions.

discontinue matching on buffer if urilen returns a match failure.

bytetest: add unittest showing missed detection

Tests recursive and relative negative byte_test matching.

Fix the bug specified in the previous commit.

Bug emanates from byte_test, byte_jump and byte_extract keyword being
unable to handle negative offsets when the inspection pointer is at the
end of the buffer.

Unit-tests exposing a bug in byte_test, byte_jump and byte_extract.

Bug emanates from all the keywords being unable to handle negative offsets
when the inspection pointer is at the end of the buffer.

bytetest: fix debug messages not printing negative offset correctly

Adding an updated doxygen config file, because the old one was created a couple major versions ago.

Http trailer headers unittests added.

fix for #788.

Now depth is kept in mind when we inspect chunks in client/server body.
This takes care of FPs originating from inspecting subsequent chunks that
match with depth, but shouldn't.

luajit/flowint: add ScFlowintIncr & ScFlowintDecr

Add flowint lua functions for incrementing and decrementing flowints.

First use creates the var and inits to 0. So a call:

    a = ScFlowintIncr(0)

Results in a == 1.

If the var reached UINT_MAX (2^32), it's not further incremented. If the
var reaches 0 it's not decremented further.

Calling ScFlowintDecr on a uninitialized var will init it to 0.

Example script:

    function init (args)
        local needs = {}
        needs["http.request_headers"] = tostring(true)
        needs["flowint"] = {"cnt_incr"}
        return needs
    end

    function match(args)
        a = ScFlowintIncr(0);
        if a == 23 then
            return 1
        end

        return 0
    end
    return 0

This script matches the 23rd time it's invoked on a flow.

flowvar/luajit: make 'sets' real time. Needed for cross HTTP-header matching.

luajit: add flowint support

Expose ScFlowintGet and ScFlowintSet functions to luajit. These set
flowints in real time, regardless of rule and/or script match.

Example:

function init (args)
    local needs = {}
    needs["http.request_headers"] = tostring(true)
    needs["flowint"] = {"cnt"}
    return needs
end

function match(args)
    a = ScFlowintGet(0);
    if a then
        ScFlowintSet(0, a + 1)
    else
        ScFlowintSet(0, 1)
    end

    a = ScFlowintGet(0);
    if a == 23 then
        return 1
    end

    return 0
end

return 0

Script's init call first registers "cnt" at id 0, then 0 is used to use
this var.

flowvar/flowint: split set functions into normal and NoLock version, where the latter won't lock the flow.

flowvar/flowint: make local function static

luajit flowvar support

This patch adds flowvar support to luajit. It does so by exposing two special
C functions to the luajit scripts: ScFlowvarGet and ScFlowvarSet.

Update configure.ac to detect Tile architecture.

Detect if the architecture supports the Tilera mPipe packet processing
hardware. It it does, add the requried libraries and define HAVE_MPIPE.

Clear the PKT_ALLOC flag when storing Packets into the Packet pool.

The PKT_ALLOC flag is set by PacketGetFromAlloc(), which needs to be
cleared for Packets in the Packet Pool, so clear the flag here.

More PacketGetFromMalloc() to allocate packets.

Use PacketGetfromAlloc() for packet allocation instead of SCMalloc.

Only changed in one file for testing.

Removed Signature->order_id and replaced it with Signature->num.

1. Fix assignment of signums, which affected how we used read
   sigs(priority wise) inside staging.

   Previously we would assign signums before sig ordering, and hence the
   order didn't actually reflect the order of the sig in the
   sig_list(assuming sig reordering changed the sig_list).  Staging would
   use the old sig_nums to decide the priority of sigs.
2. Fix sig ordering for flowvar, flowbits, flowint, pktvar sigs.   We have
   introduced a new priority to treat sigs with set + read as lower
   priority compared to set only sigs.
3. Previously we treated sigs with a "priority(keyword)" > another sig's
   priority, as a sig with greater priority than the later.  We have
   reversed it.  Now the sig priority ordering is 1,2,.etc.  Updated
   sigordering unittests to reflect the same.

Allow protocols to have both app layer keywords, as well as transaction
based ones.

Our general logic and assumption is protocols either support one of the
above and not have both.

More lock fixes for the transaction update.  Issues reported by Coverity.

Fix luajit compilation failure introduced by the transaction update.
Fix coverity lock issues reported by transaction update as well.

Transaction engine redesigned.

Improved accuracy, improved performance.  Performance improvement
noticeable with http heavy traffic and ruleset.

A lot of other cosmetic changes carried out as well.  Wrappers introduced
for a lot of app layer functions.

Failing dce unittests disabled.  Will be reintroduced in the updated dce
engine.

Cross transaction matching taken care of.  FPs emanating from these
matches have now disappeared.  Double inspection of transactions taken
care of as well.

Track transaction progress separately for each direction in libhtp.

Currently libhtp tracks it using the same var.  This can lead to misleading
states, since a response can come in without a full request.

hsbd mpm and packet mpm share same mpm ctx id.

This is a bug emanating from we having a var reference for hsbd mpm,
but failing to initialize it, and we default to using the packet mpm.

coccinelle: update pkt not set test

This patch updates the test to add the support of initialization
of a Packet via the INITIALIZE macro.

Preserve PKT_ALLOC flag inside PACKET_RECYCLE().

The PKT_ALLOC flag was being cleared by PACKET_RECYCLE(), which could
then result in a packet being pushed back to the Packet ring buffer
incorrectly.

Move memset() out of PACKET_INITIALIZE()

The memset() inside PACKET_INITIALIZE() is redundant in some cases and
it is cleaner to do as part of the memory allocation. This simplifies
changes for integrating Tilera mPIPE support because the size of memory
cleared in that case is different from SIZE_OF_PACKET.

For the cases where Packets are directly allocated and then call
PACKET_INITIALIZE() without memset() first, this patch adds memset() calls.

A further change would use GetPacketFromAlloc() directly.

Move fallback to CLS detection to configure script.

Fix CLS detection on systems that have getconf, but don't support the LEVEL1_DCACHE_LINESIZE option.

Detect L1 cache line size at build time. Fall back to 64 bytes if detection failed.

NFQ: convert batchcount related yaml errors to warnings.

NFQ: fix configure check for finding out signed/unsigned args for nfq_get_payload

nfq: add errno display when verdict fail

In case of error, errno is set by sendmsg which is called by
nfnetlink and which is called by libnetfilter_queue. This patch
displays the string expression of errno if verdict has failed.

nfq: add support for batch verdicts

Normally, there is one verdict per packet, i.e., we receive a packet,
process it, and then tell the kernel what to do with that packet (eg.
DROP or ACCEPT).

recv(), packet id x
send verdict v, packet id x
recv(), packet id x+1
send verdict v, packet id x+1
[..]
recv(), packet id x+n
send verdict v, packet id x+n

An alternative is to process several packets from the queue, and then send
a batch-verdict.

recv(), packet id x
recv(), packet id x+1
[..]
recv(), packet id x+n
send batch verdict v, packet id x+n

A batch verdict affects all previous packets (packet_id <= x+n),
we thus only need to remember the last packet_id seen.

Caveats:
- can't modify payload
- verdict is applied to all packets
- nfmark (if set) will be set for all packets
- increases latency (packets remain queued by the kernel
  until batch verdict is sent).

To solve this, we only defer verdict for up to 20 packets and
send pending batch-verdict immediately if:
- no packets are currently queue
- current packet should be dropped
- current packet has different nfmark
- payload of packet was modified

This patch adds a configurable batch verdict support for workers runmode.
The batch verdicts are turned off by default.

Problem is that batch verdicts only work with kernels >= 3.1, i.e.
using newer libnetfilter_queue with an old kernel means non-working
suricata. So the functionnality has to be disabled by default.

nfq: avoid extra copy when running in workers mode

currently, the packet payload recv()d from the nfqueue netlink
socket is copied into a new packet buffer.

This is required because the recv-buffer space used is tied
to the current thread, but a packet may be handed off to other
threads, and the recv-buffer can be re-used while the packet
is handled by another thread.

However, in worker runmode, the packet will always be handled
by the current thread, and the recv-buffer will only be reused
after the entire packet processing stack is done with the packet.

Thus, in worker runmode, we can avoid the copy and assign
the packet data area directly.

alert-debuglog: cleanup TCP check

unified2: more udp fixes

profiling: enabled app layer profiling for UDP app layer modules

prelude: only call stream callback for TCP