Suricata upgrade to libhtp 0.5.x.

Remove the support for now unsupported personalities from libhtp -
TOMCAT_6_0, APACHE and APACHE_2_2.  We instead use the APACHE_2
personality.

Enable libhtp 0.3.0 compilation and crash free UT run. Still see 5 failed tests.

Fix sgh mpm flags assignment

detect-engine: do a direct update of flag

There is no reason not to update the flag directly. So do it
to avoid to crash the test.

coccinelle: dynamic testing through make check

This patch modify build system to have make to create the
struct-flags.cocci file by running struct-flags.py.

This way 'make check' is running the test defined from source
code.

coccinelle: add script to generate flags test

This patch adds a script which can be used to generate a test
on coherence of flag usage.

By adding comment in the code, it is possible to declare that we
link a flag in a structure to a specific family of constant:

For example:
/* coccinelle: Packet:flowflags:FLOW_PKT_ */
will trigger the generation on a test which verifies that the
flowflags field in Packet structure is only used with constant
starting by FLOW_PKT_.

ccccinelle: add formatted comment for flag test

Use relative dir instead of ac_builddir

When generating src/build-info.h the use of ac_builddir was problematic.
There were several cases where it was undefined leading to the absolute
path /src/build-info.h. ./configure should be called from the parent dir
to the actual src dir, so this should work. Make distcheck and normal builds
complete fine.

Autotools: move libhtp conditionals to configure

In preparation of the libhtp upgrade, move all libhtp related conditionals
to configure. This allows for one set of build scripts that works regardless
of the presence of a local libhtp dir.

Generate proper errors if sid,gid,rev values are out of range. Bug #779.

Yaml: give a more detailed error if the user supplies a directory instead of a yaml file. Bug #803.

TLS: create certs dir on 'make install-full'. Bug #711.

TLS: create certs directory during startup if it doesn't exist yet. Bug #710.

TLS: add missing options to shipped yaml. Bug #709.

DNS: rename dns.rules to dns-events.rules, include it in yaml

nfq: be sure to always verdict packets

To be sure to always verdict packets (bug #769), this patch adds
a ReleaseData function to NFQ packets. The release function simply
drop the packet if it has not been verdicted before.

Print pkt src to alert-debug log

DNS: better handle TX' with lost replies

HTP: free TX from transaction free API call

App layer: clean up TX before lowest active one

Update DNS to handle cleaning up this way.

DNS: suppress log-dns registration message

Applayer: remove obsolete StateUpdateTransactionId

Also, update StateTransactionFree to take an u64 tx id, so it's
consistant with the rest of the engine.

To reflect these changes, AppLayerRegisterTransactionIdFuncs has
been renamed to AppLayerRegisterTxFreeFunc.

HTP, DNS, SMB, DCERPC parsers updated.

DNS: move internal tx id tracking to u64

App layer: add 'StateHasEvents' API call

Per TX decoder events resulted in significant overhead to the
detection engine, as it walked all TX' all the time to check
if decoder events were available.

This commit introduces a new API call StateHasEvents, which speeds
up this process, at the expense of keeping a counter in the state.

Implement this for DNS as well.

remove unused pattern id assignment functions.  Goodbye

Update configure.ac to use the default value of 64 for the cache line size
for systems which return a value of 0.

DNS: convert dns_query to sticky buffer

Content: set up sticky buffers like file_data and dce_stub_data w/o flags, but with a list variable

Coverity 1040312, 1040313, 1040314 1040315: improve pool thread error handling.

Thread: remove thread id

Stream: use per thread ssn_pool_id instead of thread id.

Improve memory cleanup in some unittests

Stream: fix unittests after ssn pool changes.

Stream: use per thread ssn pool

Use per thread pools to store and retrieve SSN's from. Uses PoolThread
API.

Remove max-sessions setting. Pools are set to unlimited, but TCP memcap
limits the amount of sessions.

The prealloc_session settings now applies to each thread, so lowered the
default from 32k to 2k.

pool: add error msgs and improve memory layout

pool: add api for per thread pools

This API is a wrapper around the regular pools where the thread pools
are arrays of locks+pools.

pool: add error msgs and improve memory layout

Add a per threadvars thread local thread id, that starts at 0 and increments for each thread.

Coverity 1038959: DNS mpm might use initialized variable

Remove mpm ctxs in the wrong direction.

A lot of http mpm ctxs have now been removed as a result of this.

Update mpm init ctx to not accept the final cuda_rc_module argument.

It was a part of our older architecture and is no longer used.

DNS: fix CUDA build

DNS: fix warning when debug is not enabled

DNS: disable logging by default

DNS: add support for per TX decoder events.

app layer: add support for per TX decoder events

Reset app layer events when we start inspecting a new TX

DNS: add test for app layer event match

Merge SIG_FLAG_MPM_HTTP and SIG_FLAG_MPM_DNS into SIG_FLAG_MPM_APPLAYER, do the same for the _NEG variant.

DNS: enable mpm/fast_pattern support for dns_query

DNS: add /F modifier to pcre to inspect DNS query name

DNS: add event rules file

DNS: add unittests for UDP and TCP for dns_query keyword

DNS: adding dns_request content modifier

DNS: add per tx internal id

Add per TX id. Rename transaction_cnt to transaction_max (id) and increment it on tx creation.

Hacks to enable alert dns even though we have dnstcp and dnsudp parsers. Needs proper solution later.

DNS TCP and UDP parser and DNS response logger

Use PACKET_* macro instead of UPDATE

Setting the ACTION_DROP flag can be done via PACKET_DROP instead
of using PACKET_UPDATE_ACTION.

decode: factorize macro code

PACKET_* are now wrapper to the newly introduced PACKET_SET_ACTION
macro.

decode: Packet action start with PACKET

Rename all Packet action macro to have them prefixed by PACKET.

Don't let geoip match on pseudo packets.

Coverity 1038523: Fix using cuda buffer slice that has been returned to the pool.

stream: detect keep-alive and keep-alive ACK

stream: fix typo in function name

Coverity 1038106: fix FP out-of-bond access

A cast during the reading of a configuration variable was invalid
because a 16 bit integer was cast to a 32 bit integer. The called
function is only setting the pointer value to 1 or 0 so there is
no real issue there.

Coverity: 1038139 suppress sanity check

The sanity check was really useless as the NULL value is checked in
the code flow.

Coverity 1038515: check function return

This is more cosmetic than useful but it is cleaner anyway.

Cuda make distcheck fix for cuda-ptxdump.h

Coverity 1038522: fix memset inside cuda code.  Wrong size specified to memset.

Coverity 1038085: remove 'default' statement in SCErrorToString. This way a warning will be given if an error is defined w/o updating this function.

Coverity 1038092 & 1038093: remove dead code

Coverity 1038518: fix wrong error check

Coverity 1038124: memory leak on 'seq' keyword parsing failure

Coverity 1038123: memory leak on 'flowint' keyword parsing failure

Coverity 1038116 & 1038117: memory leaks on 'app-layer-event' keyword parsing failure

Coverity 1038115: memory leak on 'ack' keyword parsing failure

Coverity 1038113: possibly out of bounds read

Minor cosmetic changes to the cuda code.

Moved a couple of functions to more cuda relevant files;
Re-structured some data types.

Modified CudaBufferCullCompletedSlices.

Allow readers specify max size of data they want to read.

Add a usleep to CudaBuffer culling process. Would lead to a situation where the thread wouldn't care to yield to others."

Version 1 of AC Cuda.

Version 1 of CudaBuffer API. Introduced to buffer data to the gpu.

This version allows async writes to a buffer by threads.  Allows only
sequential reads though.

We call packet and stream mpm as late as possible now. Won't affect the working of the engine.

The rationale behind this is, if we have pkt buffered to the gpu, we'd want
to delay processing the pkt as much as possible.

pool now uses a queue kinda behaviour when getting/inserting data through poolbuckets.

code refactoring. Call mpmprefilter slightly later than where it's called atm

Remove all cuda related code in the engine except for the cuda api wrappers

update cuda API wrappers

Add one shot run option to suri-graphite.

Import suri-graphite script

This patch import suri-graphite into suricata contrib directory.
This script reads counters from suricata unix socket and send them
to a Graphite graphing server.

unix-socket: fix OSX build

MSG_NOSIGNAL is not defined on macOSX and SO_NOSIGPIPE is used
instead.

action handling: add test to avoid direct access

Direct access to the action field of Packet structure is not
allowed.

action handling: use macro for test.

Use test macro instead of direct access to action field.

This patch has been obtained by using the following
spatch file:

  @@
  Packet *p;
  expression E;
  @@

  - p->action & E
  + TEST_PACKET_ACTION(p, E)

action handling: define and use macros

The action field in Packet structure should not be accessed
directly as the tunneled packet needs to update the root packet
and not the initial packet.

This patch is fixing issue #819 where suricata was not able to
drop fragmented packets in AF_PACKET IPS mode. It also fixes
drop capability for tunneled packets.

Fix magic unittets.

Fix segv, when magic_load() fails due to the non-availability of default
magic files.

Fix wrong casting of htp pointer.  Fixed it back to (HTPState *) inside
htp utility functions.

discontinue matching on buffer if urilen returns a match failure.

bytetest: add unittest showing missed detection

Tests recursive and relative negative byte_test matching.

Fix the bug specified in the previous commit.

Bug emanates from byte_test, byte_jump and byte_extract keyword being
unable to handle negative offsets when the inspection pointer is at the
end of the buffer.

Unit-tests exposing a bug in byte_test, byte_jump and byte_extract.

Bug emanates from all the keywords being unable to handle negative offsets
when the inspection pointer is at the end of the buffer.

bytetest: fix debug messages not printing negative offset correctly