Improve check of min requirement for AF_PACKET.

As pointed out by #416, AF_PACKET detection support was not accurate
enough. This patch improves the check by doing a verification of
the availability of the feature level needed to build AF_PACKET.
We need TPACKET_V2 which is available after 2.6.27.

cuda pb tm should be in a thread of its own + pkt_acq should be as free as possible

b2g cuda up, compiling and running

clean log pcap

restructure log pcap to use a different setup, which is resilient to thread failure/restarts

don't return TM failure on failing to remove log file

init every new pf instance in log pcap

host: convert host hash to use lookup3.c

flow: make flow use lookup3.c hashing algorithm. Improves hash table distribution.

hash: add lookup3.c by Bob Jenkins

Found here:
http://burtleburtle.net/bob/hash/doobs.html
http://burtleburtle.net/bob/c/lookup3.c

From the file header:

lookup3.c, by Bob Jenkins, May 2006, Public Domain.

These are functions for producing 32-bit hashes for hash table lookup.
hashword(), hashlittle(), hashlittle2(), hashbig(), mix(), and final()
are externally useful functions.  Routines to test the hash are included
if SELF_TEST is defined.  You can use this free for any purpose.  It's in
the public domain.  It has no warranty.

flow: create a flow lock macro API, implement it for mutex and rwlocks. Mutex remains the default.

Include conf_test in special cases for unset RUNMODE

Make conf_test local. Simplify if/else to if.

Do not spawn threads for conf test

Added conf_test flag and behavior

file magic: don't disable inspecting magic for both directions if files in only one direction don't need magic.

Add host section to stock yaml.

Enforce memcap limit before allocating hash table in host and flow engines.

Fix typo in spm prototype declaration.

update all spm algos to use 16 bit pattern lengths. Should compress a lot of tables

Make 'autofp' the default runmode. Increase default max-pending-packets to 1024. Move some advanced and uncommonly changed settings down in the stock suricata.yaml. Closes #433.

fix misleading comment

reject rules with invalid hex digits in content

reject rules with an invalid ttl range

Various small flow and host table fixes.

http: 'HTTP Host header ambiguous' after libhtp update. It now fires if hostname is present both in URL and Host header and the 2 are not equal.

libhtp: update to sync with upstream 0.2.x

Patches applied are:

commit 85f5bbc39dda2eaf03ccb6111cbf5daf1c7b75f9
Author: Craig Forbes <cforbes@qualys.com>
Date:   Wed Mar 21 16:45:04 2012 +0000

    Backport of STREAM_STATE_TUNNEL fix to 0.2.x.

    Return STREAM_STATE_TUNNEL after entering a tunnel.

commit cfbe28cd4ddde6d77c5b0d5935c8717834971441
Author: Craig Forbes <cforbes@qualys.com>
Date:   Wed Feb 29 16:52:44 2012 +0000

    Backport of the fix for HTP_AMBIGUOUS_HOST flag.

    The flag is only set when the URI host on the request line is different
    than the value in the Host: request header.

    Resolves https://github.com/ironbee/libhtp/issues/20

commit 196dfb1c8b7a5996389c719e2c912163c5607916
Author: Brian Rectanus <brectanus@qualys.com>
Date:   Wed Feb 8 08:35:46 2012 -0600

    Add missing function declaration in header.

commit 7878fec818167fcdf7c8c4852ac0dafa1ae445f1
Author: Brian Rectanus <brectanus@qualys.com>
Date:   Wed Feb 8 08:35:07 2012 -0600

    Revert part of previous patch, which was invalid.

commit bafef3d4cbfc307960677c6bd682ae195fe986cd
Author: Brian Rectanus <brectanus@qualys.com>
Date:   Wed Feb 8 08:36:06 2012 -0600

    Update version to next dev release.

commit 62cfdb41ba84f2666c7526e2e5d9e10ab8e220f1
Author: William Metcalf <wmetcalf@qualys.com>
Date:   Wed Feb 1 13:19:48 2012 -0600

Many thanks to Will, Brian and Craig.

Bail out early if we're in http tunnel mode.

Silence ac-gfbs debug message.

Minor error message cleanups

profiling: fix lock profiling int print issue.

flow: fix atomic var not being initialized and destroyed.

Fix bug in app layer event handling causing http event rules to fail loading.

Minor flowq updates.

Introduce the address hash based flow q handler

Adapt flow tmqh counters to be atomic vars. Remove support for active flows q handler. Introduce SC_ATOMIC_SET

Support freeing flow q handler out ctx. Adapt unittests to use the same

neaten flow q handler code

Enable unittests for flow q handler

support flow q handler schedulers active_flows and active_packets. Support new yaml option autofp_scheduler. Support for printing q handler stats as well

support for custom flow qhandlers - round robin support added

TLS: add variable to store the error code in the decoder

Use a variable to store the decoding error code if required, and remove
the calls to SCLogInfo and SCLogDebug.

TLS app layer: misc fixes, reorder some fields to same memory

Add TLS decode events

TLS: replace SigMatchAppendAppLayer with SigMatchAppendSMToList

tls-handshake: add sanity checks.

tls-handshake: Add some missing free in error handling.

When DecodeAsn1BuildValue function fails, it may be necessary to
do some clean-up in the calling functions.

tls-handshake: DecodeAsn1BuildValue should return -1 for error

This patch modifies DecodeAsn1BuildValue to have it return -1 when
there is a too big number of bytes announced in the ASN.1 message.

TLS parser: add sanity checks on loop

It was possible in some loop to read data placed after the buffer
resulting in invalid/unpredictable value. This patch fixes two of
this issues.

TLS parser: add sanity check

TLS parser: modify OCTETSTRING

This patch does on over allocation of 1 for the OCTETSTRING
to be able to add a 0 at the end. This will then
allow us to use the string in printf.

TLS parser: add handing of UTF8STRING

Some certificate contains UTF8STRING which is a subset of
OCTETSTRING. This patch adds support for this type of string.

TLS keywords: fix match regex (remove extra space)

TLS app layer: rewrite decoder to handle multiple messages in records

Since we now parse the content of the TLS messages, we need to handle
the case multiple messages are shipped in a single TLS record, and
taking care of the multiple levels of fragmentation (message, record,
and TCP).
Additionally, fix a bug where the parser state was not reset after an
empty record.

TLS app layer: fix number of bytes processed on SERVER_CERTIFICATE message.

Change the function to return the number of bytes processed, and fix a bug
where the input buffer was wrong.

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

tls app layer: add missing free

issuerdn was not freed at exit.

tls app layer: handle negation on subject and issuerdn.

This patch adds negation support for tls.subject and tls.issuerdn
matches.

TLS app layer: Add tls.issuerdn keyword.

decode ASN.1: Factorize value reading

This patch factorizes the reading of integer value and fix some
indentation. By convention, a value of 0xffffffff is returned
if the size of the integer is too big. In this case, the hexadecimal
value (which is also read) must be used.

TLS handshake: get TLS ciphersuite and compression

Decode the SERVER_HELLO message to extract the ciphersuite and compression
chosen by the server.

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

TLS handshake: decode the SERVER_CERTIFICATE message

Add a decoder for the SERVER_CERTIFICATE during a TLS handshake, extracts the
certificates and keep the subject name.
Add the tls.subject keyword for substring match in rules (TLS layer).

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

Add ASN.1 parser for X509 certificates (in DER format)

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

Make list-app-layer-protos option name match the help explanation. Make sure it works w/o passing a config.

Add new command line option --list-app-layer-protocols to list supported app layer protocols in sigs

Add BUG_ON to avoid overruning AppLayerDetectDirection map array

reject rules with duplicate content modifiers

reject rules that have multiple depths, offsets, distances, fast_patterns, nocases, or rawbytes for the same content.

added null checks for init_hash to all ac mpms

reject http_client_body with inconsistent flow dir

reject http_client_body with flow: to_client or from_server

Clean up error message.

disallow-use-of-configuration-file-with-unittests

profiling: add per lock location profiling

Add profiling per lock location in the code. Accounts how often a
lock is requested, how often it was contended, the max number of
ticks spent waiting for it, avg number of ticks waiting for it and
the total ticks for that location.

Added a new configure flag --enable-profiling-locks to enable this
feature.

Profile pcap file callback.

Make sure stream debug code is only used in debug mode.

Small http.log improvement: bail out early if there is nothing to log. Make output locking more fine grained.

Fix 2 compilation issues.

Move over src and dst thresholding to use host table. Fix a bug in threshold 'both' handling.

Introduce host table, make tag use it

Add a host table similar to the flow table. A hash using fine grained
locking. Flow manager for now takes care of book keeping / garbage
collecting.

Tag subsystem now uses this for host based tagging instead of the
global tag hash table. Because the latter used a global lock and the
new code uses very fine grained locking this patch should improve
scalability.

Undo changes from 88b8f15663076560b2237e6d8b8cae7e23d92bb6. Atomic stack implementation had a-b-a problem.

Add atomic stack implementation. Convert flow spare queue to use this stack. Remove now unused flow-queue code.

Fix invalid declaration of enable_nss and enable_nspr in configure.in.

Add way to profile mutex/spin locks per thread module.

Implement stream memcap enforcements using atomics instead of spinlocked counters.

Misc fixes.

Remove trailing zero's from some counters output.

flow engine: improve scalability

Major redesign of the flow engine. Remove the flow queues that turned
out to be major choke points when using many threads. Flow manager now
walks the hash table directly. Simplify the way we get a new flow in
case of emergency.

Fix broken unittest.

add null checks to fix bugs in StreamTcpTest23

fix more invalid content unittests

fix invalid unittests with mixed relative and non-relative content modifiers and other issues; DetectContentParse19 still contains some failing dce_stub tests which are commented out.

fix invalid unittests with mixed content modifiers

Fixed some unittests that were incorrectly mixing relative and non-relative content modifiers.

reject mixed relative and non-relative keywords

reject signatures using relative and non-relative positional keywords for the same content (depth or offset with distance or within)

reject invalid combinations of pcre modifiers

don't allow /B with normalized buffers, and don't mix modifiers for normalized and raw buffers

Add libnss/libnspr support output to configure. Clean up configure.in.

Do not assume the include dir for nss to be nss. On F16 it's nss3.

Do not assume the include dir for nspr to be nspr. On F16 it's nspr4.

Fix json output typo.

Fix issue discovered by Anoop. Passing u32 ptr to a size_t can caused badness.

Fix minor memleak in case af-packet init fails.

Fix UTHBuildFlow setup using wrong address.

Improve http filename parsing.

Fix compilation with profiling enabled. Minor unittest fixes.