libhtp: updated bundled libhtp to 0.2.11

fix wrong record hdr len check in ssl parser

coccinelle: fix distcheck

distcheck is running run_check.sh from another directory and
run_check.sh was not ready for this.

coccinelle: improve run_check

This patch adds two features to run_check.sh, it is now posssible
to specify a list of files to check:
 ./run_check.sh ../../src/suricata.c ../../src/detect.c
It is also possible to ask a review of the files modified by a commit.
To so simply put the SHA1 as argument
 ./run_check.sh HEAD
 ./run_check 6af7d5f
It is also possible to check all the files for an arbitrary range:
 ./run_check.sh origin/master..buildbot-fixes

Last improvement of this patch is to get a real error message in case
of problem as 2 is not redirected anymore to /dev/null.

Conflicts:
qa/coccinelle/run_check.sh

byte_jump: when from_beginning option is used, the number of bytes to convert should not be used in the jump. Bug 626.

backport oom fixes

This is a backport of
https://github.com/ironbee/libhtp/commit/9ea5e0e3e4f84f54914d10ee50f618aa575bafe1

OpenBSD 5.2 build fixes, Unit test fix.

yaml: update defrag variable

This patch synchronizes the variable shown in the YAML with what
is really used in the code.

Fix GetUsed functions for Host and Flow.

flow: fix crash when flow engine under extreme stress, and unable to force free any existing flow

Update changelog to reflect 1.3.3 changes.

libhtp: harden code against malloc failures. Bug #587.

http: don't assume http tx to have header alloc'd. Can happen in OOM conditions. Bug #587.

Don't use SCStrdup in SCLogMessage as we call it on OOM condition, leading to endless recursion. SCStrdup failure calling SCLogMessage...

ipfw: add missing include

RunmodeGetActive() was used but not declared. This patch fixes
bug #612: on amd64 implicit declaration was triggering the conversion
of an int to a pointer during assignement and this was causing an
invalid read.

defensive set of variable.

FreeBSD: add missing include

filestore: fix logic flag in continued stateful detection

Backport from 70bc9e2494f287312a2ecc137e6ae1b98ba2a510 from
master branch.

Remove pcre jit warning. Bug #579.

pf_ring: don't set cluster for DNA interface.

http: fix client and server body sometimes being inspected in wrong order

Fix drop (and other actions) not being applied to thresholded packets. Bug #615.

http: fix http header reassembly bug causing some headers to be left out of the inspected buffer

Move Flow Reference/Dereferene api from flow-util.h to flow.h.

Remove duplicate FlowDeReference from decode.h

Update all flow referencing to use the new FlowReference and FlowDeReference macros

fix for bug #557.

In FFRv2, dereference flow from a packet using the new reference/dereference
util macros.  This allows the decr use_cnt for flow and reseting the flow
pointer to NULL for the pseudo pkt to happen simultaneously, in case there we
fail to retrieve a pseudo_packet and have to return the already obtained
pseudo packets, back to the packetpool.

Introduce utility flow macros to help referencing/dereferencing flows.

fix for bug #557.

Reset hhd buffers list len if we exit before allocating the buffer.

libhtp: don't use internal iterator

It violates thread safety. #601.

Suricata assures thread safety on the flow level for HTTP tracking. Part of the flow is (in case of HTTP) libhtp's htp_connp_t state. At startup the libhtp glue layer, app-layer-htp initializes as many htp_cfg_t instances as there are libhtp server configurations in the yaml. At HTTP session start, we look up the proper htp_cfg_t based on the server ip and pass it to htp_connp_create.  A ptr to the relevant htp_cfg_t is part of the htp_connp_t. The htp_cfg_t contains "hooks". The are registered based on yaml config at init time.

The hooks have lists of type list_t. The list is run with a built in iterator. The iterator is reset at the start of each "hook_run_all". Since multiple flows share the same htp_cfg_t flow A can reset the iterator while flow B is using it. The flow lock has no effect as flows share the htp_cfg_t.

This has been observed in real traffic. hook_response_body_data was run on the same data multiple times, leading to corrupt extracted files.

Fix/suppress a couple of harmless compiler warnings.

yaml: default to cluster_flow type for AF_PACKET and PF_RING

fix for #588.

Respect pcre's anchor during content inspection.

detect-pcre.c cleanup. Delete old pcre functions that we no longer use.

Unittest to display #bug 588. pcre anchor not respected.

htp: update version numbers of bundled htp

Update Changelog to reflect changes in 1.3.2 release.

http: fix multipart parsing leading to missing chunks of files in file extraction.

fix for #562.

disable inspection bypass for stream mpm patterns.

bug #572: make sure we use profiling fallback for all architectures except x86_64 and i386.

Fix flow keyword compilation failure.

fix for bug #575.

If sig has no_stream set, don't mask it as requiring flow.  Should get rid of
FNs any.

http: fix multipart parsing bug

stream: never resend reassembled data to app layer.

pf_ring: set cluster_id even if only one thread is used.

defrag: don't use message for repetitive error

When nothing can be fetch from the pool, this can repeat frequently.
Thus displaying a message in the log will not help. This patch
uses a counter instead of a log message. As this is a sort of memcap
this is conformed to what is done for other issues of the same type.

ipfw: avoid critical error for broadcast

In some setup, suricata may receive broadcast packets and the call
to sendto may fail if the wrong interface is choosen by kernel.
This patch change the error treatment to avoid to leave when
this problem occurs.

freebsd: fix function usage.

The unlock function was not correctly used in error treatment.

af-packet: fix kernel offset issue

It seems that, in some case, there is a read waiting but the
offset in the ring buffer is not correct and Suricata need to
walk the ring to find the correct place and make the read.

fix regression (clobbered register; redmine #534)

Update Changelog to include 1.3.1 changes.

rule analyzer: make analyzer aware of http_user_agent pcre flag /V.

http: after path double decoding, also normalize the path again. #504.

Http: don't double decode URI path and query by default. Instead add per server options to enable double decoding for both cases. #464 #504.

Only set SIG_FLAG_REQUIRE_STREAM if signature inspects TCP.

rule analyzer: fix fast pattern analyzer reporting wrong filename (same as rule analyzer).

stream-tcp: no checksum alert if validation is off

This patch disables checksum alert if checksum-validation is set
to no in the configuration file. Without this patch, when parsing
a pcap which checksum offloading, it was not possible to get rid
of event caused by checksum validation.

stream: handle case where Suricata sees 3whs-ACK but server doesn't. Bug #523.

stream: fix unittest broken by new flags handling.

http: add more decoding unittests.

Bug #510. Produce error if max-pending-packets is higher than 65534.

profiling: fix 'match' counter sometimes not incrementing. #460.

Use SCFree instead of free in DER decoder.

stream: improve TCP flags handling

af-packet: fix reconnect code

Reconnect code was in a "work by luck" stage as we did not update
the socket number after reconnect.

Update fast_pattern engine to not use negated content as fast_pattern if we have non-negated content in the sig.

Noticing a good spike in perf with et_pro ruleset.

Thanks to Will Metcalf for the suggestion.

bug #466 - Updated getticks() to serialize execution of rdtsc with cpuid

bug 508 - List (ack | cwr | ecn) combination to be accepted by our stream engine.

This isn't a perfect solution.  More like we have patched this for the case we
are in tcp's established state.  The right solution would be to accept states
based on the presence(using operator OR) of certain flags in the tcp header,
rather than list out all possible flag combinations.

invalidate sigs if depth > content_length

tls: fix keyword regular expression

Space, dash and comma are valid.

af-packet: loop on ring if there is data to read.

This patch should bring some improvements by looping on the
ring when there is some data available instead of getting back
to the poll. It also fix recovery in case of drops on the ring
because the poll command will not return correctly in this case.

defrag: use IP ID in hash

This patch fixes the collision issue observed on an intensive network
trafic. When there is fragmentation it is the case for all data
exchanged between two hosts. Thus using a hash func only involving
IP addresses (and protocol) was leading to a collision for all
exchanges between the hosts. At a larger scale, it was resulting in
a packet loss. By using the IP ID instead of the protocol family, we
introduce a real difference between the trackers.

flow: remove unused prune-flows option

if a sig's set as stream sig only, don't updated it as both stream and pkt sig if offset/depth's present

bug #495 - update rule analyzer to not warn on offset_depth-tcp_pkt update if sig is stream only

bug #497 - rule_warnings fixed

Set thread name Suricata-Main for main thread and LiveRuleSwap for live swap thread

bug 499 - update host os info enum map to use - instead of _ + add new unittests

bug #496 - don't warn about offset/depth for packet sigs

Windows build and other misc fixes.

Update changelog for 1.3 release.

Rename 'worker' running mode to 'workers'

This patch renamed the 'worker' running mode into 'workers'. Thus,
there is only one name in Suricata for the same thing. Backward
compatibility is ensured by replacing "worker" by "workers" when
the old name is used. A warning is printed in the log when the old
name is used.

check if all packets are processed before disabling detect threads + kill all threads <= detect after FFR + other minor fixes

conf api: remove dead code

rule analyzer: fix detecting stream match

rule analyzer updated for sigs with offset/depth set + alproto set

Update SigValidate() to allow http keywords to be specified in the right flow direction

autotools: pthread deps is needed on ubuntu.

It is weird but adding pthread in needed on ubuntu 1204.

Make live reloads optional and disabled by default.

stream: don't NULL dereference p->flow->protoctx in StreamTcpReassembleDepthReached

file inspection: improve logging when stream.depth limit is reached. #493.

Improve warning if prelude output is selected but support not compiled in. #320.

Improve pktvar keyword parsing and error handling.

Minor fixes for coverity issues.

Fix detect tag error handling.

file detect: improve cleanup

filemd5: free hash during cleanup

ac-bs and ac-gfbs mem cleanup

more mpm engine mem cleanup

mpm engine and ac mem free fixes

Fix SCSetThreadName() macros in threads.h Add FreeBSD thread naming implementation.

bug #455 - Warn users on signature event vars having precedence over threshold.conf ones

Free all sig match structs when freeing a signature.