Small compile fix.

update util-print.c to use new print macro

provide generic macro to buffer data using snprintf

update util-print.c to use snprintf

restructure http logging to use fine grained locking

Minor unittest fixes to make Coverity happy.

flow: add missing unlocks for rare error condition at flow shut down.

host: convert use_cnt to a atomic var (like in flow).

ipv6: fix routing header parsing leading to rejection of valid packets.

ipv6: properly deal with packets containing a FH header that has offset 0 and no more frags flag set.

ipv6: fix detection engine using the originals IPv6 header's nxt hdr value instead of the upper layer one.

Fix parsing of tcp-pkt and tcp-stream sigs, add unittest.

fix cppcheck analyzer warnings - bug 439

restructure disabling receive threads. Introduce new flag to indicate that threads have finised running

pcap: fix "work by luck" code.

af_packet: misc improvements.

Improve block count and only copy snaplen length to avoid overflow.

Fix some minor clang scan-build warnings.

nfq: switch locking code to macro's to lock profiling can track the exact lock locations.

Fix CUDA build from a release tarball.

cleanup killing threads. As a consequence fixes invalid read/writes in tmqh flow

cleanup junk code in flow qh

Fix misc issues picked up by coccinelle.

fix compiler warnings

Fix __WORDSIZE redeclaration warning on Windows builds.

Implement single, autofp and workers run modes for DAG interfaces. Includes multiple interface support.

Remove auto mode due to bad performance.

Fix compilation of atomic api spinlocked fallback code.

Improve check of min requirement for AF_PACKET.

As pointed out by #416, AF_PACKET detection support was not accurate
enough. This patch improves the check by doing a verification of
the availability of the feature level needed to build AF_PACKET.
We need TPACKET_V2 which is available after 2.6.27.

cuda pb tm should be in a thread of its own + pkt_acq should be as free as possible

b2g cuda up, compiling and running

clean log pcap

restructure log pcap to use a different setup, which is resilient to thread failure/restarts

don't return TM failure on failing to remove log file

init every new pf instance in log pcap

host: convert host hash to use lookup3.c

flow: make flow use lookup3.c hashing algorithm. Improves hash table distribution.

hash: add lookup3.c by Bob Jenkins

Found here:
http://burtleburtle.net/bob/hash/doobs.html
http://burtleburtle.net/bob/c/lookup3.c

From the file header:

lookup3.c, by Bob Jenkins, May 2006, Public Domain.

These are functions for producing 32-bit hashes for hash table lookup.
hashword(), hashlittle(), hashlittle2(), hashbig(), mix(), and final()
are externally useful functions.  Routines to test the hash are included
if SELF_TEST is defined.  You can use this free for any purpose.  It's in
the public domain.  It has no warranty.

flow: create a flow lock macro API, implement it for mutex and rwlocks. Mutex remains the default.

Include conf_test in special cases for unset RUNMODE

Make conf_test local. Simplify if/else to if.

Do not spawn threads for conf test

Added conf_test flag and behavior

file magic: don't disable inspecting magic for both directions if files in only one direction don't need magic.

Add host section to stock yaml.

Enforce memcap limit before allocating hash table in host and flow engines.

Fix typo in spm prototype declaration.

update all spm algos to use 16 bit pattern lengths. Should compress a lot of tables

Make 'autofp' the default runmode. Increase default max-pending-packets to 1024. Move some advanced and uncommonly changed settings down in the stock suricata.yaml. Closes #433.

fix misleading comment

reject rules with invalid hex digits in content

reject rules with an invalid ttl range

Various small flow and host table fixes.

http: 'HTTP Host header ambiguous' after libhtp update. It now fires if hostname is present both in URL and Host header and the 2 are not equal.

libhtp: update to sync with upstream 0.2.x

Patches applied are:

commit 85f5bbc39dda2eaf03ccb6111cbf5daf1c7b75f9
Author: Craig Forbes <cforbes@qualys.com>
Date:   Wed Mar 21 16:45:04 2012 +0000

    Backport of STREAM_STATE_TUNNEL fix to 0.2.x.

    Return STREAM_STATE_TUNNEL after entering a tunnel.

commit cfbe28cd4ddde6d77c5b0d5935c8717834971441
Author: Craig Forbes <cforbes@qualys.com>
Date:   Wed Feb 29 16:52:44 2012 +0000

    Backport of the fix for HTP_AMBIGUOUS_HOST flag.

    The flag is only set when the URI host on the request line is different
    than the value in the Host: request header.

    Resolves https://github.com/ironbee/libhtp/issues/20

commit 196dfb1c8b7a5996389c719e2c912163c5607916
Author: Brian Rectanus <brectanus@qualys.com>
Date:   Wed Feb 8 08:35:46 2012 -0600

    Add missing function declaration in header.

commit 7878fec818167fcdf7c8c4852ac0dafa1ae445f1
Author: Brian Rectanus <brectanus@qualys.com>
Date:   Wed Feb 8 08:35:07 2012 -0600

    Revert part of previous patch, which was invalid.

commit bafef3d4cbfc307960677c6bd682ae195fe986cd
Author: Brian Rectanus <brectanus@qualys.com>
Date:   Wed Feb 8 08:36:06 2012 -0600

    Update version to next dev release.

commit 62cfdb41ba84f2666c7526e2e5d9e10ab8e220f1
Author: William Metcalf <wmetcalf@qualys.com>
Date:   Wed Feb 1 13:19:48 2012 -0600

Many thanks to Will, Brian and Craig.

Bail out early if we're in http tunnel mode.

Silence ac-gfbs debug message.

Minor error message cleanups

profiling: fix lock profiling int print issue.

flow: fix atomic var not being initialized and destroyed.

Fix bug in app layer event handling causing http event rules to fail loading.

Minor flowq updates.

Introduce the address hash based flow q handler

Adapt flow tmqh counters to be atomic vars. Remove support for active flows q handler. Introduce SC_ATOMIC_SET

Support freeing flow q handler out ctx. Adapt unittests to use the same

neaten flow q handler code

Enable unittests for flow q handler

support flow q handler schedulers active_flows and active_packets. Support new yaml option autofp_scheduler. Support for printing q handler stats as well

support for custom flow qhandlers - round robin support added

TLS: add variable to store the error code in the decoder

Use a variable to store the decoding error code if required, and remove
the calls to SCLogInfo and SCLogDebug.

TLS app layer: misc fixes, reorder some fields to same memory

Add TLS decode events

TLS: replace SigMatchAppendAppLayer with SigMatchAppendSMToList

tls-handshake: add sanity checks.

tls-handshake: Add some missing free in error handling.

When DecodeAsn1BuildValue function fails, it may be necessary to
do some clean-up in the calling functions.

tls-handshake: DecodeAsn1BuildValue should return -1 for error

This patch modifies DecodeAsn1BuildValue to have it return -1 when
there is a too big number of bytes announced in the ASN.1 message.

TLS parser: add sanity checks on loop

It was possible in some loop to read data placed after the buffer
resulting in invalid/unpredictable value. This patch fixes two of
this issues.

TLS parser: add sanity check

TLS parser: modify OCTETSTRING

This patch does on over allocation of 1 for the OCTETSTRING
to be able to add a 0 at the end. This will then
allow us to use the string in printf.

TLS parser: add handing of UTF8STRING

Some certificate contains UTF8STRING which is a subset of
OCTETSTRING. This patch adds support for this type of string.

TLS keywords: fix match regex (remove extra space)

TLS app layer: rewrite decoder to handle multiple messages in records

Since we now parse the content of the TLS messages, we need to handle
the case multiple messages are shipped in a single TLS record, and
taking care of the multiple levels of fragmentation (message, record,
and TCP).
Additionally, fix a bug where the parser state was not reset after an
empty record.

TLS app layer: fix number of bytes processed on SERVER_CERTIFICATE message.

Change the function to return the number of bytes processed, and fix a bug
where the input buffer was wrong.

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

tls app layer: add missing free

issuerdn was not freed at exit.

tls app layer: handle negation on subject and issuerdn.

This patch adds negation support for tls.subject and tls.issuerdn
matches.

TLS app layer: Add tls.issuerdn keyword.

decode ASN.1: Factorize value reading

This patch factorizes the reading of integer value and fix some
indentation. By convention, a value of 0xffffffff is returned
if the size of the integer is too big. In this case, the hexadecimal
value (which is also read) must be used.

TLS handshake: get TLS ciphersuite and compression

Decode the SERVER_HELLO message to extract the ciphersuite and compression
chosen by the server.

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

TLS handshake: decode the SERVER_CERTIFICATE message

Add a decoder for the SERVER_CERTIFICATE during a TLS handshake, extracts the
certificates and keep the subject name.
Add the tls.subject keyword for substring match in rules (TLS layer).

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

Add ASN.1 parser for X509 certificates (in DER format)

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

Make list-app-layer-protos option name match the help explanation. Make sure it works w/o passing a config.

Add new command line option --list-app-layer-protocols to list supported app layer protocols in sigs

Add BUG_ON to avoid overruning AppLayerDetectDirection map array

reject rules with duplicate content modifiers

reject rules that have multiple depths, offsets, distances, fast_patterns, nocases, or rawbytes for the same content.

added null checks for init_hash to all ac mpms

reject http_client_body with inconsistent flow dir

reject http_client_body with flow: to_client or from_server

Clean up error message.

disallow-use-of-configuration-file-with-unittests

profiling: add per lock location profiling

Add profiling per lock location in the code. Accounts how often a
lock is requested, how often it was contended, the max number of
ticks spent waiting for it, avg number of ticks waiting for it and
the total ticks for that location.

Added a new configure flag --enable-profiling-locks to enable this
feature.

Profile pcap file callback.

Make sure stream debug code is only used in debug mode.

Small http.log improvement: bail out early if there is nothing to log. Make output locking more fine grained.