ipv6: improve handling of packets with duplicate (or more) ipv6 extension headers.

http: body inspection improvement

Improve http_client_body and file_data performance when request and
response body limits are set to high values.

Add htp error debug printing.

Flag napatech receive tm as well.

flag recieve acq tms that previously missed the receive_tm flag

Misc buffer API update.

reject pcre modifiers U with B

allow only one content to use fast_pattern

Add missing space to http.log.

Fix minor memleak in an start up error condition.

Introduce new buffer API that lets you create and manage a buffer. Update http log to use this as well

csum function fixes. Improves alert accuracy. FPs on invalid-csums decoder rules fixed

minor code cleanup

update handling negative offsets in byte_extract. Also improve validation in byte_extract to not extract values out of the buffer range

http: improve multipart parsing, skip empty records.

Update Changelog for 1.3beta1

Fix minor compiler warning.

defrag: don't increment recursion level for reassembled packets. Fixes defragged packets not seeing the same flow.

Update the ERF file runmodes to support autofp and single.

Apply changes recommended by Stephen Donnely of Endace: - Skip pad records. - Don't log error on EGAIN, just try again. - Skip over extension headers. - Check we have the full packet (skip partial packets) - Remove obsolete rlen check. Also remove max_pending_packets to process more packets per iteration.

ipv6: make sure we pass the defragged packet from the ipv6 layer to the decoder.

Fix error in proto handling for ipv6 in fast.log.

Apply http.log formatting fix by Chris Wakelin.

Fix error in per packet detection engine profiling.

Minor stream optimization.

Make fast.log use finer grained locking, move protocol lookup outside of the lock.

Minor optimizations to unified2 and fast.log.

Small compile fix.

update util-print.c to use new print macro

provide generic macro to buffer data using snprintf

update util-print.c to use snprintf

restructure http logging to use fine grained locking

Minor unittest fixes to make Coverity happy.

flow: add missing unlocks for rare error condition at flow shut down.

host: convert use_cnt to a atomic var (like in flow).

ipv6: fix routing header parsing leading to rejection of valid packets.

ipv6: properly deal with packets containing a FH header that has offset 0 and no more frags flag set.

ipv6: fix detection engine using the originals IPv6 header's nxt hdr value instead of the upper layer one.

Fix parsing of tcp-pkt and tcp-stream sigs, add unittest.

fix cppcheck analyzer warnings - bug 439

restructure disabling receive threads. Introduce new flag to indicate that threads have finised running

pcap: fix "work by luck" code.

af_packet: misc improvements.

Improve block count and only copy snaplen length to avoid overflow.

Fix some minor clang scan-build warnings.

nfq: switch locking code to macro's to lock profiling can track the exact lock locations.

Fix CUDA build from a release tarball.

cleanup killing threads. As a consequence fixes invalid read/writes in tmqh flow

cleanup junk code in flow qh

Fix misc issues picked up by coccinelle.

fix compiler warnings

Fix __WORDSIZE redeclaration warning on Windows builds.

Implement single, autofp and workers run modes for DAG interfaces. Includes multiple interface support.

Remove auto mode due to bad performance.

Fix compilation of atomic api spinlocked fallback code.

Improve check of min requirement for AF_PACKET.

As pointed out by #416, AF_PACKET detection support was not accurate
enough. This patch improves the check by doing a verification of
the availability of the feature level needed to build AF_PACKET.
We need TPACKET_V2 which is available after 2.6.27.

cuda pb tm should be in a thread of its own + pkt_acq should be as free as possible

b2g cuda up, compiling and running

clean log pcap

restructure log pcap to use a different setup, which is resilient to thread failure/restarts

don't return TM failure on failing to remove log file

init every new pf instance in log pcap

host: convert host hash to use lookup3.c

flow: make flow use lookup3.c hashing algorithm. Improves hash table distribution.

hash: add lookup3.c by Bob Jenkins

Found here:
http://burtleburtle.net/bob/hash/doobs.html
http://burtleburtle.net/bob/c/lookup3.c

From the file header:

lookup3.c, by Bob Jenkins, May 2006, Public Domain.

These are functions for producing 32-bit hashes for hash table lookup.
hashword(), hashlittle(), hashlittle2(), hashbig(), mix(), and final()
are externally useful functions.  Routines to test the hash are included
if SELF_TEST is defined.  You can use this free for any purpose.  It's in
the public domain.  It has no warranty.

flow: create a flow lock macro API, implement it for mutex and rwlocks. Mutex remains the default.

Include conf_test in special cases for unset RUNMODE

Make conf_test local. Simplify if/else to if.

Do not spawn threads for conf test

Added conf_test flag and behavior

file magic: don't disable inspecting magic for both directions if files in only one direction don't need magic.

Add host section to stock yaml.

Enforce memcap limit before allocating hash table in host and flow engines.

Fix typo in spm prototype declaration.

update all spm algos to use 16 bit pattern lengths. Should compress a lot of tables

Make 'autofp' the default runmode. Increase default max-pending-packets to 1024. Move some advanced and uncommonly changed settings down in the stock suricata.yaml. Closes #433.

fix misleading comment

reject rules with invalid hex digits in content

reject rules with an invalid ttl range

Various small flow and host table fixes.

http: 'HTTP Host header ambiguous' after libhtp update. It now fires if hostname is present both in URL and Host header and the 2 are not equal.

libhtp: update to sync with upstream 0.2.x

Patches applied are:

commit 85f5bbc39dda2eaf03ccb6111cbf5daf1c7b75f9
Author: Craig Forbes <cforbes@qualys.com>
Date:   Wed Mar 21 16:45:04 2012 +0000

    Backport of STREAM_STATE_TUNNEL fix to 0.2.x.

    Return STREAM_STATE_TUNNEL after entering a tunnel.

commit cfbe28cd4ddde6d77c5b0d5935c8717834971441
Author: Craig Forbes <cforbes@qualys.com>
Date:   Wed Feb 29 16:52:44 2012 +0000

    Backport of the fix for HTP_AMBIGUOUS_HOST flag.

    The flag is only set when the URI host on the request line is different
    than the value in the Host: request header.

    Resolves https://github.com/ironbee/libhtp/issues/20

commit 196dfb1c8b7a5996389c719e2c912163c5607916
Author: Brian Rectanus <brectanus@qualys.com>
Date:   Wed Feb 8 08:35:46 2012 -0600

    Add missing function declaration in header.

commit 7878fec818167fcdf7c8c4852ac0dafa1ae445f1
Author: Brian Rectanus <brectanus@qualys.com>
Date:   Wed Feb 8 08:35:07 2012 -0600

    Revert part of previous patch, which was invalid.

commit bafef3d4cbfc307960677c6bd682ae195fe986cd
Author: Brian Rectanus <brectanus@qualys.com>
Date:   Wed Feb 8 08:36:06 2012 -0600

    Update version to next dev release.

commit 62cfdb41ba84f2666c7526e2e5d9e10ab8e220f1
Author: William Metcalf <wmetcalf@qualys.com>
Date:   Wed Feb 1 13:19:48 2012 -0600

Many thanks to Will, Brian and Craig.

Bail out early if we're in http tunnel mode.

Silence ac-gfbs debug message.

Minor error message cleanups

profiling: fix lock profiling int print issue.

flow: fix atomic var not being initialized and destroyed.

Fix bug in app layer event handling causing http event rules to fail loading.

Minor flowq updates.

Introduce the address hash based flow q handler

Adapt flow tmqh counters to be atomic vars. Remove support for active flows q handler. Introduce SC_ATOMIC_SET

Support freeing flow q handler out ctx. Adapt unittests to use the same

neaten flow q handler code

Enable unittests for flow q handler

support flow q handler schedulers active_flows and active_packets. Support new yaml option autofp_scheduler. Support for printing q handler stats as well

support for custom flow qhandlers - round robin support added

TLS: add variable to store the error code in the decoder

Use a variable to store the decoding error code if required, and remove
the calls to SCLogInfo and SCLogDebug.

TLS app layer: misc fixes, reorder some fields to same memory

Add TLS decode events

TLS: replace SigMatchAppendAppLayer with SigMatchAppendSMToList

tls-handshake: add sanity checks.

tls-handshake: Add some missing free in error handling.

When DecodeAsn1BuildValue function fails, it may be necessary to
do some clean-up in the calling functions.