pf_ring: avoid to ask for extended header.

This patch update pf_ring capture to avoid to ask for extended
header. They are only needed when rxonly checksum checks is used
and this is only possible when interface is not a DNA interface.

Fix Tile compile

fix pf_ring build

suricata: rename SuriInstance to SCInstance.

suricata: suppress Suri prefix

Suppress Suri prefix in internal function name.

Use a typedef for SuriInstance.

Add offline flag to SuriInstance and some refactoring

Prefix util-conf function with Config

Move CreateLowercaseTable to GLobalInits

Generic code don't need ifdef

Use function for delayed detect setup.

Add functions for elapsed time computation.

Factorize Signature loading

Use function for daemonification and signal handler

set rule_reload as part of SuriInstance

SetBPfString is part of command line parsing

suricata: use function to print version

Add function for internal running mode

suricata: windows specific in one function

Running mode is set earlier so out earlier

kill remaining run_mode usage

engine analysis is a running mode

get (almost) rid of run_mode variable.

add internal running mode

Add SuriInstance structure

To be able to split code in functions in main, we need to pass
information about the current running Suricata to functions.
For that we create a structure to store suricata run parameters.

In this patch it allows to separate command line parsing and to
treat internal running mode in a switch just after command line
parsing.

Export IsRuleReloadSet and use it.

unittest: make check use a qa/log dir for logging

This patch is using the qa/log directory to store the output
of the check. In case of success, the directory is deleted.
In case of failure, the directory remains in place.

This should fixes #910.

af-packet: add sanity check in free function

Suppress Suri prefix.

suricata: function for lowercase table creation

Simplify code by removing comment

suricata: add wrapper for interface listing

Use new function GetLogDirectory()

Add util-conf for config util

suricata: add some wrapper for config file handling

move unittest out of suricata.c

suricata: list cuda cards in separate function

suricata: separate keyword and app layer listing code

The list-keyword and app-layer listing code was spread over all the
init code. This patch introduces a separate file to store non standard
running mode like these ones.

runmodes: fix comment

Storage: rename Init to Alloc to reflect actual functioning. Comment updates.

Storage API: add safety check for cases when there is no storage used.

engine-tag: rename var and add sanity check

flow tag: conversion to flow storage API

This patch is updating the flow tag system to use the flow
storage API. The tag_list member of Flow structure is suppressed
and its cleaning operation are suppressed too as this is handled
transparently by the flow storage API.

Add per-flow generic storage

This patch adds a per-flow storage that can be created via the functions
available in flow-storage.c.

Host: use global free storage function

This patch is here to avoid that all modules using a local storage
have to update host code to add their free function. It modifies
previous behavior by calling HostFreeStorage in any case.

Use Host Storage API for per host thresholding

Init storage api at start up

Storage API: add registration check closed test in debug mode.

Move Host Tag storage to Host Storage API.

Add Host specific wrapper to StorageRegister()

storage: allow preallocated storage

host: use storage api

Initial storage api work

Misc fixes after make check feedback

Add TILE-Gx mPIPE packet processing support.

The TILE-Gx processor includes a packet processing engine, called
mPIPE, that can deliver packets directly into user space memory. It
handles buffer allocation and load balancing (either static 5-tuple
hashing, or dynamic flow affinity hashing are used here). The new
packet source code is in source-mpipe.c and source-mpipe.h

A new Tile runmode is added that configures the Suricata pipelines in
worker mode, where each thread does the entire packet processing
pipeline.  It scales across all the Gx chips sizes of 9, 16, 36 or 72
cores. The new runmode is in runmode-tile.c and runmode-tile.h

The configure script detects the TILE-Gx architecture and defines
HAVE_MPIPE, which is then used to conditionally enable the code to
support mPIPE packet processing. Suricata runs on TILE-Gx even without
mPIPE support enabled.

The Suricata Packet structures are allocated by the mPIPE hardware by
allocating the Suricata Packet structure immediatley before the mPIPE
packet buffer and then pushing the mPIPE packet buffer pointer onto
the mPIPE buffer stack.  This way, mPIPE writes the packet data into
the buffer, returns the mPIPE packet buffer pointer, which is then
converted into a Suricata Packet pointer for processing inside
Suricata. When the Packet is freed, the buffer is returned to mPIPE's
buffer stack, by setting ReleasePacket to an mPIPE release specific
function.

The code checks for the largest Huge page available in Linux when
Suricata is started. TILE-Gx supports Huge pages sizes of 16MB, 64MB,
256MB, 1GB and 4GB. Suricata then divides one of those page into
packet buffers for mPIPE.

The code is not yet optimized for high performance. Performance
improvements will follow shortly.

The code was originally written by Tom Decanio and then further
modified by Tilera.

This code has been tested with Tilera's Multicore Developement
Environment (MDE) version 4.1.5. The TILEncore-Gx36 (PCIe card) and
TILEmpower-Gx (1U Rack mount).

ipv6: fix parsing of malformed ext hdr. Bug #908.

icmpv6: fix icmp_id and icmp_seq keywords

Bug #907

Fix compiler warning due to missing include

decode.c: In function 'DecodeThreadVarsAlloc':
decode.c:437: error: implicit declaration of function 'ConfGetBool'

vlan: add rule for new 'too many layers' event

Add yaml option to disable vlan ids hashing

In some cases using the vlan id(s) in flow hashing is problematic. Cases
of broken routers have been reported. So this option allows for disabling
the use of vlan id(s) while calculating the flow hash, and in the future
other hashes.

Vlan tracking for flow is enabled by default.

flow: take vlan_id's into account in the flow hash

In VLAN we can have 2 layers of encapsulation. In this patch both
layers are used in the flow hash to distinguish between encapsulated
traffic.

Remove obsolete code: flow alert sid storage

Add --unittests-coverage option to list how many code modules have tests

Rename GetIfaceMaxPayloadSize to GetIfaceMaxPacketSize to reflect the actual function.

Pcap: fix snaplen autodetection, GetIfaceMTU doesn't include link layer length

Fix typo in configure.ac echo message

fix bug where we were not printing http hostname(printing <unknown>
previously) in httplog, filestore meta and file log.

NFQ: fix packets not getting freed

fix for #882.

Refactor the code that initializes the cuda mpm environment.

NFQ: adapt to ReleasePacket API

Replace ReleaseData function on Packet Structure with ReleasePacket.

This commit allows handling Packets allocated by different methods.
The ReleaseData function pointer in the Packet structure is replaced
with ReleasePacket function pointer, which is then always called to
release the memory associated with a Packet.

Currently, the only usage of ReleaseData is in AF Packet. Previously
ReleaseData was only called when it was not NULL. To implement the
same functionality as before in AF Packet, a new function is defined
in AF Packet to first call the AFP specific ReleaseData function and
then releases the Packet structure.

Three new general functions are defined for releasing packets in the
default case:
    1) PacketFree() - To release a packet alloced with SCMalloc()
    2) PacketPoolReturnPacket() - For packets allocated from the Packet Pool.
                                  Calls RECYCLE_PACKET(p)
    3) PacketFreeOrRelease() - Calls PacketFree() or PacketPoolReturnPacket()
                                 based on the PKT_ALLOC flag.

Having these functions removes the need to check the PKT_ALLOC flag
when releasing a packet in most cases, since the ReleasePacket
function encodes how the Packet was allocated. The PKT_ALLOC flag is
still set and is needed when AF Packet releases a packet, since it
replaces the ReleasePacket function pointer with its own function and
then calls PacketFreeOfRelease(), which uses the PKT_ALLOC flag.

Update changelog for 2.0beta1

fix for #875.

Update configure.ac to check for either 0.5.5 and 0.5.x version of libhtp.

Code to enable cuda support for pfring live mode.

DNS: break out of DNSResponseGetNameByOffset if we're in there too long. Can happen on bad data.

Stream: don't inject stream end pseudo pkt on FinWait2 state. Bug #883.

DNS: convert info logs to debugs

Fix ac-bs and ac-gfbs mpm-algo settings leading to fatal error if CUDA is enabled. Workaround for #882.

configure: add iconv.h check to configure if bundled libhtp is used

Fix autogen on older systems

autotools: workaround on partial cleaning

configure: minor cleaning

unix socket: fix typo in error message

autotools: AM_INIT_AUTOMAKE with args is deprecated

autotool: INCLUDES usage is deprecated

Fix compilation warning

A goto could lead to the use de_ctx without declaring it.

Add file needed for some autotools version.

It seems config.rpath is a file needed in some cases. If the
file is not present libhtp autogen.sh is failling.

configure: check for iconv in htp embedded mode

At least on freebsd, suricata fails to build in htp embedded mode
due to iconv linking issue.

Check for local include first.

In case of fragments, don't consider ports. Bug #847.

Code to enable cuda support for live mode pcap and af-packet.  Keep an eye
out on the mailing list and http://planet.suricata-ids.org for performance
and other profiling data.

Luajit: fix compilation and tests after libhtp upgrade

Fix CLS configure check

libhtp: remove libhtp from repo

Suricata upgrade to libhtp 0.5.x.

Remove the support for now unsupported personalities from libhtp -
TOMCAT_6_0, APACHE and APACHE_2_2.  We instead use the APACHE_2
personality.

Enable libhtp 0.3.0 compilation and crash free UT run. Still see 5 failed tests.

Fix sgh mpm flags assignment

detect-engine: do a direct update of flag

There is no reason not to update the flag directly. So do it
to avoid to crash the test.

coccinelle: dynamic testing through make check

This patch modify build system to have make to create the
struct-flags.cocci file by running struct-flags.py.

This way 'make check' is running the test defined from source
code.

coccinelle: add script to generate flags test

This patch adds a script which can be used to generate a test
on coherence of flag usage.

By adding comment in the code, it is possible to declare that we
link a flag in a structure to a specific family of constant:

For example:
/* coccinelle: Packet:flowflags:FLOW_PKT_ */
will trigger the generation on a test which verifies that the
flowflags field in Packet structure is only used with constant
starting by FLOW_PKT_.