Host: use global free storage function

This patch is here to avoid that all modules using a local storage
have to update host code to add their free function. It modifies
previous behavior by calling HostFreeStorage in any case.

Use Host Storage API for per host thresholding

Init storage api at start up

Storage API: add registration check closed test in debug mode.

Move Host Tag storage to Host Storage API.

Add Host specific wrapper to StorageRegister()

storage: allow preallocated storage

host: use storage api

Initial storage api work

Misc fixes after make check feedback

Add TILE-Gx mPIPE packet processing support.

The TILE-Gx processor includes a packet processing engine, called
mPIPE, that can deliver packets directly into user space memory. It
handles buffer allocation and load balancing (either static 5-tuple
hashing, or dynamic flow affinity hashing are used here). The new
packet source code is in source-mpipe.c and source-mpipe.h

A new Tile runmode is added that configures the Suricata pipelines in
worker mode, where each thread does the entire packet processing
pipeline.  It scales across all the Gx chips sizes of 9, 16, 36 or 72
cores. The new runmode is in runmode-tile.c and runmode-tile.h

The configure script detects the TILE-Gx architecture and defines
HAVE_MPIPE, which is then used to conditionally enable the code to
support mPIPE packet processing. Suricata runs on TILE-Gx even without
mPIPE support enabled.

The Suricata Packet structures are allocated by the mPIPE hardware by
allocating the Suricata Packet structure immediatley before the mPIPE
packet buffer and then pushing the mPIPE packet buffer pointer onto
the mPIPE buffer stack.  This way, mPIPE writes the packet data into
the buffer, returns the mPIPE packet buffer pointer, which is then
converted into a Suricata Packet pointer for processing inside
Suricata. When the Packet is freed, the buffer is returned to mPIPE's
buffer stack, by setting ReleasePacket to an mPIPE release specific
function.

The code checks for the largest Huge page available in Linux when
Suricata is started. TILE-Gx supports Huge pages sizes of 16MB, 64MB,
256MB, 1GB and 4GB. Suricata then divides one of those page into
packet buffers for mPIPE.

The code is not yet optimized for high performance. Performance
improvements will follow shortly.

The code was originally written by Tom Decanio and then further
modified by Tilera.

This code has been tested with Tilera's Multicore Developement
Environment (MDE) version 4.1.5. The TILEncore-Gx36 (PCIe card) and
TILEmpower-Gx (1U Rack mount).

ipv6: fix parsing of malformed ext hdr. Bug #908.

icmpv6: fix icmp_id and icmp_seq keywords

Bug #907

Fix compiler warning due to missing include

decode.c: In function 'DecodeThreadVarsAlloc':
decode.c:437: error: implicit declaration of function 'ConfGetBool'

vlan: add rule for new 'too many layers' event

Add yaml option to disable vlan ids hashing

In some cases using the vlan id(s) in flow hashing is problematic. Cases
of broken routers have been reported. So this option allows for disabling
the use of vlan id(s) while calculating the flow hash, and in the future
other hashes.

Vlan tracking for flow is enabled by default.

flow: take vlan_id's into account in the flow hash

In VLAN we can have 2 layers of encapsulation. In this patch both
layers are used in the flow hash to distinguish between encapsulated
traffic.

Remove obsolete code: flow alert sid storage

Add --unittests-coverage option to list how many code modules have tests

Rename GetIfaceMaxPayloadSize to GetIfaceMaxPacketSize to reflect the actual function.

Pcap: fix snaplen autodetection, GetIfaceMTU doesn't include link layer length

Fix typo in configure.ac echo message

fix bug where we were not printing http hostname(printing <unknown>
previously) in httplog, filestore meta and file log.

NFQ: fix packets not getting freed

fix for #882.

Refactor the code that initializes the cuda mpm environment.

NFQ: adapt to ReleasePacket API

Replace ReleaseData function on Packet Structure with ReleasePacket.

This commit allows handling Packets allocated by different methods.
The ReleaseData function pointer in the Packet structure is replaced
with ReleasePacket function pointer, which is then always called to
release the memory associated with a Packet.

Currently, the only usage of ReleaseData is in AF Packet. Previously
ReleaseData was only called when it was not NULL. To implement the
same functionality as before in AF Packet, a new function is defined
in AF Packet to first call the AFP specific ReleaseData function and
then releases the Packet structure.

Three new general functions are defined for releasing packets in the
default case:
    1) PacketFree() - To release a packet alloced with SCMalloc()
    2) PacketPoolReturnPacket() - For packets allocated from the Packet Pool.
                                  Calls RECYCLE_PACKET(p)
    3) PacketFreeOrRelease() - Calls PacketFree() or PacketPoolReturnPacket()
                                 based on the PKT_ALLOC flag.

Having these functions removes the need to check the PKT_ALLOC flag
when releasing a packet in most cases, since the ReleasePacket
function encodes how the Packet was allocated. The PKT_ALLOC flag is
still set and is needed when AF Packet releases a packet, since it
replaces the ReleasePacket function pointer with its own function and
then calls PacketFreeOfRelease(), which uses the PKT_ALLOC flag.

Update changelog for 2.0beta1

fix for #875.

Update configure.ac to check for either 0.5.5 and 0.5.x version of libhtp.

Code to enable cuda support for pfring live mode.

DNS: break out of DNSResponseGetNameByOffset if we're in there too long. Can happen on bad data.

Stream: don't inject stream end pseudo pkt on FinWait2 state. Bug #883.

DNS: convert info logs to debugs

Fix ac-bs and ac-gfbs mpm-algo settings leading to fatal error if CUDA is enabled. Workaround for #882.

configure: add iconv.h check to configure if bundled libhtp is used

Fix autogen on older systems

autotools: workaround on partial cleaning

configure: minor cleaning

unix socket: fix typo in error message

autotools: AM_INIT_AUTOMAKE with args is deprecated

autotool: INCLUDES usage is deprecated

Fix compilation warning

A goto could lead to the use de_ctx without declaring it.

Add file needed for some autotools version.

It seems config.rpath is a file needed in some cases. If the
file is not present libhtp autogen.sh is failling.

configure: check for iconv in htp embedded mode

At least on freebsd, suricata fails to build in htp embedded mode
due to iconv linking issue.

Check for local include first.

In case of fragments, don't consider ports. Bug #847.

Code to enable cuda support for live mode pcap and af-packet.  Keep an eye
out on the mailing list and http://planet.suricata-ids.org for performance
and other profiling data.

Luajit: fix compilation and tests after libhtp upgrade

Fix CLS configure check

libhtp: remove libhtp from repo

Suricata upgrade to libhtp 0.5.x.

Remove the support for now unsupported personalities from libhtp -
TOMCAT_6_0, APACHE and APACHE_2_2.  We instead use the APACHE_2
personality.

Enable libhtp 0.3.0 compilation and crash free UT run. Still see 5 failed tests.

Fix sgh mpm flags assignment

detect-engine: do a direct update of flag

There is no reason not to update the flag directly. So do it
to avoid to crash the test.

coccinelle: dynamic testing through make check

This patch modify build system to have make to create the
struct-flags.cocci file by running struct-flags.py.

This way 'make check' is running the test defined from source
code.

coccinelle: add script to generate flags test

This patch adds a script which can be used to generate a test
on coherence of flag usage.

By adding comment in the code, it is possible to declare that we
link a flag in a structure to a specific family of constant:

For example:
/* coccinelle: Packet:flowflags:FLOW_PKT_ */
will trigger the generation on a test which verifies that the
flowflags field in Packet structure is only used with constant
starting by FLOW_PKT_.

ccccinelle: add formatted comment for flag test

Use relative dir instead of ac_builddir

When generating src/build-info.h the use of ac_builddir was problematic.
There were several cases where it was undefined leading to the absolute
path /src/build-info.h. ./configure should be called from the parent dir
to the actual src dir, so this should work. Make distcheck and normal builds
complete fine.

Autotools: move libhtp conditionals to configure

In preparation of the libhtp upgrade, move all libhtp related conditionals
to configure. This allows for one set of build scripts that works regardless
of the presence of a local libhtp dir.

Generate proper errors if sid,gid,rev values are out of range. Bug #779.

Yaml: give a more detailed error if the user supplies a directory instead of a yaml file. Bug #803.

TLS: create certs dir on 'make install-full'. Bug #711.

TLS: create certs directory during startup if it doesn't exist yet. Bug #710.

TLS: add missing options to shipped yaml. Bug #709.

DNS: rename dns.rules to dns-events.rules, include it in yaml

nfq: be sure to always verdict packets

To be sure to always verdict packets (bug #769), this patch adds
a ReleaseData function to NFQ packets. The release function simply
drop the packet if it has not been verdicted before.

Print pkt src to alert-debug log

DNS: better handle TX' with lost replies

HTP: free TX from transaction free API call

App layer: clean up TX before lowest active one

Update DNS to handle cleaning up this way.

DNS: suppress log-dns registration message

Applayer: remove obsolete StateUpdateTransactionId

Also, update StateTransactionFree to take an u64 tx id, so it's
consistant with the rest of the engine.

To reflect these changes, AppLayerRegisterTransactionIdFuncs has
been renamed to AppLayerRegisterTxFreeFunc.

HTP, DNS, SMB, DCERPC parsers updated.

DNS: move internal tx id tracking to u64

App layer: add 'StateHasEvents' API call

Per TX decoder events resulted in significant overhead to the
detection engine, as it walked all TX' all the time to check
if decoder events were available.

This commit introduces a new API call StateHasEvents, which speeds
up this process, at the expense of keeping a counter in the state.

Implement this for DNS as well.

remove unused pattern id assignment functions.  Goodbye

Update configure.ac to use the default value of 64 for the cache line size
for systems which return a value of 0.

DNS: convert dns_query to sticky buffer

Content: set up sticky buffers like file_data and dce_stub_data w/o flags, but with a list variable

Coverity 1040312, 1040313, 1040314 1040315: improve pool thread error handling.

Thread: remove thread id

Stream: use per thread ssn_pool_id instead of thread id.

Improve memory cleanup in some unittests

Stream: fix unittests after ssn pool changes.

Stream: use per thread ssn pool

Use per thread pools to store and retrieve SSN's from. Uses PoolThread
API.

Remove max-sessions setting. Pools are set to unlimited, but TCP memcap
limits the amount of sessions.

The prealloc_session settings now applies to each thread, so lowered the
default from 32k to 2k.

pool: add error msgs and improve memory layout

pool: add api for per thread pools

This API is a wrapper around the regular pools where the thread pools
are arrays of locks+pools.

pool: add error msgs and improve memory layout

Add a per threadvars thread local thread id, that starts at 0 and increments for each thread.

Coverity 1038959: DNS mpm might use initialized variable

Remove mpm ctxs in the wrong direction.

A lot of http mpm ctxs have now been removed as a result of this.

Update mpm init ctx to not accept the final cuda_rc_module argument.

It was a part of our older architecture and is no longer used.

DNS: fix CUDA build

DNS: fix warning when debug is not enabled

DNS: disable logging by default

DNS: add support for per TX decoder events.

app layer: add support for per TX decoder events

Reset app layer events when we start inspecting a new TX

DNS: add test for app layer event match

Merge SIG_FLAG_MPM_HTTP and SIG_FLAG_MPM_DNS into SIG_FLAG_MPM_APPLAYER, do the same for the _NEG variant.

DNS: enable mpm/fast_pattern support for dns_query