stream: detect keep-alive packets so we don't consider those invalid

stream: ignore ack value if ack flag is not set. Add stream.pkt_broken_ack event for when ack value is not 0 and ack flag not set.

stream: handle retransmission of lost data packet on TIME_WAIT state

stream: go from FIN_WAIT_1 to CLOSING on simultaneous close.

stream: don't reject RST as response to SYN because of ACK

stream: add option to match on overlapping data

Set event on overlapping data segments that have different data.

Add stream-events option stream-event:reassembly_overlap_different_data and
add an example rule.

Issue 603.

libhtp: don't use internal iterator

It violates thread safety. #601.

Suricata assures thread safety on the flow level for HTTP tracking. Part of the flow is (in case of HTTP) libhtp's htp_connp_t state. At startup the libhtp glue layer, app-layer-htp initializes as many htp_cfg_t instances as there are libhtp server configurations in the yaml. At HTTP session start, we look up the proper htp_cfg_t based on the server ip and pass it to htp_connp_create.  A ptr to the relevant htp_cfg_t is part of the htp_connp_t. The htp_cfg_t contains "hooks". The are registered based on yaml config at init time.

The hooks have lists of type list_t. The list is run with a built in iterator. The iterator is reset at the start of each "hook_run_all". Since multiple flows share the same htp_cfg_t flow A can reset the iterator while flow B is using it. The flow lock has no effect as flows share the htp_cfg_t.

This has been observed in real traffic. hook_response_body_data was run on the same data multiple times, leading to corrupt extracted files.

Fix/suppress a couple of harmless compiler warnings.

Remove dead comment about flow reference api duplicate

Move Flow Reference/Dereferene api from flow-util.h to flow.h.

Remove duplicate FlowDeReference from decode.h

Update suricata to use FlowReference/FlowDeReference for the ones left out
from last update.

yaml: default to cluster_flow type for AF_PACKET and PF_RING

profiling: fix rule profiling output sometimes missing sid,rev,gid. Bug #576.

Add dsize check to prefilter stage

Many sigs with dsize have a weak fast_pattern. Those patterns
are likely to match. By filtering on dsize early, we safe a lot
of cycles later.

For signatures with the dsize option set depth on any content match in that sig.

Update changelog to reflect 1.4beta2 changes

Clean up and update bundled docs

remove reference to non-existing file from Makefile.am

packet src: move pkt_src field up in the structure to fix in an existing hole (found with pahole -C Packet_ src/.libs/suricata).

Add a packet src for every packet generated inside suricata.

nfq: fix detection of type nfq_get_payload function.

nfq: close the queue when leaving acquisition.

This patch adds a call to close the queue when the acquisition
loop is ending. This way the incoming packets will be accepted
during all the shutdown phase (if the queue-bypass option of
NFQUEUE is used). At the same time the currently processed packets
will be dropped but the time scale are different: suricata will
drop 20 ms of packets and the shutdown can take 0.5 seconds.

Patch based on an idea of Victor Julien.

fast_pattern: don't consider http_method, http_stat_code and http_stat_msg when automatically giving preference to a HTTP pattern over a stream pattern.

pf-ring: suppress unused variable.

pf-ring: add missing header.

pf-ring: protect definition of (un)likely

This patch makes (un)likely declared if and only if they are not
declared before.

fix for bug #574.

More of a temporary solution to prevent any possible FPs.  Disable content
inspection bypass for mpm patterns.

fix for bug #577.

If a pattern has matched on mpm, don't re-inspect it later, subject to certain
conditions met by the pattern - namely, not negated, right chop, no replacet
attached to it.

htp: update version numbers of bundled htp

http: fix multipart parsing leading to missing chunks of files in file extraction.

Make available custom features of libhtp.

The power of libhtp customisation now available to users.

Options available -

path-backslash-separators: yes
path-compress-separators: yes
path-control-char-handling: none
path-convert-utf8: yes
path-decode-separators: yes
path-decode-u-encoding: yes
path-invalid-encoding-handling: preserve_percent
path-invalid-utf8-handling: none
path-nul-encoded-handling: none
path-nul-raw-handling: none
set-path-replacement-char: ?
set-path-unicode-mapping: bestfit

You can use this for your libhtp customisation.  Options explained in our
wiki.

https://redmine.openinfosecfoundation.org/projects/suricata/wiki/Advanced_libhtp_customization

refactor htpconfigure()

bug #572: make sure we use profiling fallback for all architectures except x86_64 and i386.

Fix flow keyword compilation failure.

Update all flow referencing to use the new FlowReference and FlowDeReference
macros.

fix for bug #557.

In FFRv2, dereference flow from a packet using the new reference/dereference
util macros.  This allows the decr use_cnt for flow and reseting the flow
pointer to NULL for the pseudo pkt to happen simultaneously, in case there we
fail to retrieve a pseudo_packet and have to return the already obtained
pseudo packets, back to the packetpool.

Introduce utility flow macros to help referencing/dereferencing flows.

fix for bug #557.

Reset hhd buffers list len if we exit before allocating the buffer.

fix for bug #575.

If sig has no_stream set, don't mask it as requiring flow.  Should get rid of
FNs any.

detect: properly store a stateful match if it happens at the start of inspection

Dead code cleanup. Coverity 728047, 728048, 728049.

profiling: fix some profiling info missing from output

tm-thread: detect thread death

When a thread is dead at init the THV_INIT_DONE flag is not set
and the spawn function can freeze (see bug #553 for an example).
In this case THV_RUNNING_DONE is set and we can also check on this
state for leaving the function. This should fix #bug553

threshold: improve comments of shipped threshold.config, add links to wiki.

fix http server/client body handling.  Update body status based on tx state.

threshold: allow threshold.config to override rule

Allow threshold.conf to override rule thresholds in the following
cases:

- threshold.config rule uses threshold or event_filter AND
- threshold.config rule applies to a single signature (so no
  gid 0 or sid 0)

Confirmed to work with both threshold and detection_filter rule
keywords.

Part of bug #425.

Minor parsing cleanups in detect-engine options.

yaml: add addr and port vars commonly used by ET/ETpro

coccinelle: add test on malloc error check.

This patch adds a coccinelle code check on SCMalloc, SCCalloc and
SCStrdup and other memory handling functions. It verifies that the
error checking is made.

Fix indentation of win32 files.

Add missing sctrdup test

coccinelle: don't test UNITTEST code

Use unlikely for error treatment.

When handling error case on SCMallog, SCCalloc or SCStrdup
we are in an unlikely case. This patch adds the unlikely()
expression to indicate this to gcc.

This patch has been obtained via coccinelle. The transformation
is the following:

@istested@
identifier x;
statement S1;
identifier func =~ "(SCMalloc|SCStrdup|SCCalloc)";
@@

x = func(...)
... when != x
- if (x == NULL) S1
+ if (unlikely(x == NULL)) S1

Add some missing checks of SCStrdup return.

Add some missing checks of SCMalloc return.

threshold: allow suppression for sigs with threshold set. Part of #425.

fix for #529

Respect pcre's anchor during content inspection.

Unittest to display #bug 529.  pcre anchor not respected

detect-pcre.c cleanup.  Delete old pcre functions that we no longer use.

af-packet: clean APFPacketVar before release.

This patch resets the AFPPacketVar linked to a Packet in the release
function to avoid any side effect when the packet is reused. To do
so a new AFPV_CLEANUP macro has been introduced.

decode: clean release function

Give priority to non stream content over stream content when selecting fast
pattern.

Minor output cleanup

Fix defrag compilation warning.

Fix compilation if luajit is disabled.

luajit: correct offset passed to script for lua's array idx starting at 1. Add http.response_headers and http.response_headers.raw buffers.

reintroduce pool free func for cases where block alloc is not used.

luajit: prealloc lua states to increases chances of alloc success. Luajit requires them to be in memory <2GB.

pool: only alloc one large block if it will actually be used.

luajit: fix crash at shutdown / rule reload if lua script didn't properly init.

Add missing include in flow-manager

DefragTimeoutHash was not declared before being used.

luajit: fix crash if luaL_newstate fails

luajit: buffer selection fixes

http: fix multipart parsing bug

stream: never resend reassembled data to app layer.

app layer events: prefilter sigs that need an event

engine events: prefilter sigs that need a event

af-packet: little code cleaning

This patch cleans the code were two almost identical treatment on
the packet we're made. It may be linked by a merge error I've done
or to a simple mistake on my side.

af-packet: fix IPS mode

There was an inversion in code resulting as all sockets being seen
as non IPS mode when doing the peering. This resulted in a crash at
first packet because it has no peer.

Fix logic operator.

Previous patches on the same subject did not fixed this error as it
was undetected because the code was not compiled on my setup.

Defrag engine

Big rewrite of defrag engine to make it more scalable and fix some
locking logic flaws.

Now uses a hash of trackers similar to Flow and Host hashes.

profiling: fix build on older systems

autotools: fix doc install on old systems.

profiling: remove obsolete unit test

pf_ring: set cluster_id even if only one thread is used.

profiling: minor cleanup

profiling: make sure counters are reset after a reload.

profiling: fix memory error in case of rule reload.

Rule profiling update

- Remove usage of counters api.
- Store stats in detect engine thread ctx to remove locking
- Support rule reloads

luajit: add http.uri.raw, cookie, ua, headers, headers.raw buffers.

Fix build if luajit is not available.

defrag: don't return after a cleaning.

This patch changes the policy of the timeout function by cleaning
every timeouted trackers.
Previous code was only freeing the first tracker and this was resulting
in calling the timeout function continuously. One of my previous patch
has modified the function to avoid to run it more than twice a second.
But as it was not taken into account the fact only the first tracker was
freed, the result was that a lot of tracker could not be allocated.

luajit: support http.request_body (http_client_body) and http.response_body (file_data/http_server_body).

luajit: clean up initialization

Install documentation with 'make install'.

pool: rename Free function to Cleanup

This patch renames Free functions to Cleanup as the free is made
by the pool system.

defrag: don't use message for repetitive error

When nothing can be fetch from the pool, this can repeat frequently.
Thus displaying a message in the log will not help. This patch
uses a counter instead of a log message. As this is a sort of memcap
this is conformed to what is done for other issues of the same type.

SC_LOG_ERROR is not an error.

Fix warning about unused return of SC_ATOMIC func.

Fix invalid usage of operator.