tm-thread: detect thread death

When a thread is dead at init the THV_INIT_DONE flag is not set
and the spawn function can freeze (see bug #553 for an example).
In this case THV_RUNNING_DONE is set and we can also check on this
state for leaving the function. This should fix #bug553

threshold: improve comments of shipped threshold.config, add links to wiki.

fix http server/client body handling.  Update body status based on tx state.

threshold: allow threshold.config to override rule

Allow threshold.conf to override rule thresholds in the following
cases:

- threshold.config rule uses threshold or event_filter AND
- threshold.config rule applies to a single signature (so no
  gid 0 or sid 0)

Confirmed to work with both threshold and detection_filter rule
keywords.

Part of bug #425.

Minor parsing cleanups in detect-engine options.

yaml: add addr and port vars commonly used by ET/ETpro

coccinelle: add test on malloc error check.

This patch adds a coccinelle code check on SCMalloc, SCCalloc and
SCStrdup and other memory handling functions. It verifies that the
error checking is made.

Fix indentation of win32 files.

Add missing sctrdup test

coccinelle: don't test UNITTEST code

Use unlikely for error treatment.

When handling error case on SCMallog, SCCalloc or SCStrdup
we are in an unlikely case. This patch adds the unlikely()
expression to indicate this to gcc.

This patch has been obtained via coccinelle. The transformation
is the following:

@istested@
identifier x;
statement S1;
identifier func =~ "(SCMalloc|SCStrdup|SCCalloc)";
@@

x = func(...)
... when != x
- if (x == NULL) S1
+ if (unlikely(x == NULL)) S1

Add some missing checks of SCStrdup return.

Add some missing checks of SCMalloc return.

threshold: allow suppression for sigs with threshold set. Part of #425.

fix for #529

Respect pcre's anchor during content inspection.

Unittest to display #bug 529.  pcre anchor not respected

detect-pcre.c cleanup.  Delete old pcre functions that we no longer use.

af-packet: clean APFPacketVar before release.

This patch resets the AFPPacketVar linked to a Packet in the release
function to avoid any side effect when the packet is reused. To do
so a new AFPV_CLEANUP macro has been introduced.

decode: clean release function

Give priority to non stream content over stream content when selecting fast
pattern.

Minor output cleanup

Fix defrag compilation warning.

Fix compilation if luajit is disabled.

luajit: correct offset passed to script for lua's array idx starting at 1. Add http.response_headers and http.response_headers.raw buffers.

reintroduce pool free func for cases where block alloc is not used.

luajit: prealloc lua states to increases chances of alloc success. Luajit requires them to be in memory <2GB.

pool: only alloc one large block if it will actually be used.

luajit: fix crash at shutdown / rule reload if lua script didn't properly init.

Add missing include in flow-manager

DefragTimeoutHash was not declared before being used.

luajit: fix crash if luaL_newstate fails

luajit: buffer selection fixes

http: fix multipart parsing bug

stream: never resend reassembled data to app layer.

app layer events: prefilter sigs that need an event

engine events: prefilter sigs that need a event

af-packet: little code cleaning

This patch cleans the code were two almost identical treatment on
the packet we're made. It may be linked by a merge error I've done
or to a simple mistake on my side.

af-packet: fix IPS mode

There was an inversion in code resulting as all sockets being seen
as non IPS mode when doing the peering. This resulted in a crash at
first packet because it has no peer.

Fix logic operator.

Previous patches on the same subject did not fixed this error as it
was undetected because the code was not compiled on my setup.

Defrag engine

Big rewrite of defrag engine to make it more scalable and fix some
locking logic flaws.

Now uses a hash of trackers similar to Flow and Host hashes.

profiling: fix build on older systems

autotools: fix doc install on old systems.

profiling: remove obsolete unit test

pf_ring: set cluster_id even if only one thread is used.

profiling: minor cleanup

profiling: make sure counters are reset after a reload.

profiling: fix memory error in case of rule reload.

Rule profiling update

- Remove usage of counters api.
- Store stats in detect engine thread ctx to remove locking
- Support rule reloads

luajit: add http.uri.raw, cookie, ua, headers, headers.raw buffers.

Fix build if luajit is not available.

defrag: don't return after a cleaning.

This patch changes the policy of the timeout function by cleaning
every timeouted trackers.
Previous code was only freeing the first tracker and this was resulting
in calling the timeout function continuously. One of my previous patch
has modified the function to avoid to run it more than twice a second.
But as it was not taken into account the fact only the first tracker was
freed, the result was that a lot of tracker could not be allocated.

luajit: support http.request_body (http_client_body) and http.response_body (file_data/http_server_body).

luajit: clean up initialization

Install documentation with 'make install'.

pool: rename Free function to Cleanup

This patch renames Free functions to Cleanup as the free is made
by the pool system.

defrag: don't use message for repetitive error

When nothing can be fetch from the pool, this can repeat frequently.
Thus displaying a message in the log will not help. This patch
uses a counter instead of a log message. As this is a sort of memcap
this is conformed to what is done for other issues of the same type.

SC_LOG_ERROR is not an error.

Fix warning about unused return of SC_ATOMIC func.

Fix invalid usage of operator.

freebsd: fix warning about redeclaration.

freebsd: fix warning

ipfw: avoid critical error for broadcast

In some setup, suricata may receive broadcast packets and the call
to sendto may fail if the wrong interface is choosen by kernel.
This patch change the error treatment to avoid to leave when
this problem occurs.

ipfw: add missing include

autotools: fix default path for magic file.

freebsd: fix function usage.

The unlock function was not correctly used in error treatment.

Do not trim the FCS, pcaps converted to ERF will have have an FCS.

af-packet: fix looping in ring buffer.

A crash can occurs in the following conditions:
 * Suricata running in other mode than "workers"
 * Kernel fill in the ring buffer
Under this conditions, it is possible that the capture thread reads
a packet that has not yet released by one of the treatment threads
because there is no modification done on the ring buffer entry when
a packet is read. Doing, this it access to memory which can be
released to the kernel and modified. This results in a kind of memory
corruption.

This bug has only been seen recently and this has to be linked with the
read speed improvement recently made in AF_PACKET support.

The patch fixes the issue by modifying the tp_status bitmask in the
ring buffer. It sets the TP_STATUS_USER_BUSY flag when it is confirmed
that the packet will be treated. And at the start of the read, it exits
from the reading loop (returning to poll) when it reaches a packet with
the flag set. As tp_status is set to 0 during packet release the flag
is destroyed when releasing the packet.

Regarding concurrency, we've got a sequence of modification. The
capture thread read the packet and set the flag, then it passes the
queue and the packet get processed by other threads. The change on
tp_status are thus made at different time.

Regarding the value of the flag, the patch uses the last bit of
tp_status to avoid be impacting by a change in kernel. I will
propose a patch to have TP_STATUS_USER_BUSY included in kernel
as this is a generic issue for multithreading application using
AF_PACKET mechanism.

luajit: add http.uri and http.request_line buffers.

luajit: fix filtering payload or pkt when not available yet

luajit: force scripts to have 'init' function that returns a table of 'needs' such as packet or payload.

Update changelog for 1.4beta1

pool: improve error handling

Error handling during Pool creation was not perfect as a PoolBucket
could leak.

Make sure defrag pool sizes are not initialized to 0, see #540.

tls: fix error handling

Handling of error case was correct as pointed out by Coverity
717439.

tls: avoid double close.

This should fix issue 717441 reported by Coverity.

defrag: be sure to output NULL tracker

Coverity 720337 pointed out a use after free. We can't be dependent
to HashListTableAdd outputting a NULL tracker.

Fix coverity warnings 718636 and 718635

The result of the swap was not checked.

defrag: fix potential use after free.

Coverity pointed out that PoolReturn is almost like free and detected
a use after free when accessing to tracker->af (issue 720339).
This patch fixes this by storing the value in a local variable.

defrag: avoid to run cleaning repetitively

af-packet: handle possible exit of capture loop.

If a capture loop does exit, the thread needs to start without
synchronization with the other threads. This patch fixes this
by resetting the turn count on the peerslist structure and
adding a test on this condition in the wait function.

af-packet: fix kernel offset issue

It seems that, in some case, there is a read waiting but the
offset in the ring buffer is not correct and Suricata need to
walk the ring to find the correct place and make the read.

af-packet: fix emergency mode

This patch fixes emergency mode by setting the variable even if we
have a non kernel checksum check. It also does a call to
AFPDUmpCounters() as it seems to improve thing to do it ASAP.

af-packet: implement late open

This patch implements "late open". On high performance system, it
is needed to create the AF_PACKET just before reading to avoid
overflow. Socket creation has to be done with respect to the order
of thread creation to respect affinity settings.
This patch adds a counter to AFPPeer to be ale to synchronize the
initial socket creation.

af-packet: improve logged messages.

af-packet: rework socket transition phase.

Suricata was not able to start cleanly in AF_PACKET with default
suricata.yaml file if there was no eth1 on the system. This patch
fixes this issue and rework the socket transition phase to fix
some serious issues (file descriptor leak) found when fixing this
problem.
Every 20 seconds it displays a message to the user to warn him about
the interface not being accessible:
  [ERRCODE: SC_ERR_AFP_CREATE(196)] - Can not open iface 'eth1'

af-packet: ring mode is not optionnal in AFPReadFromRing

Fix 'no effect' check in timestamp print logic. Coverity 717437.

Check response headers in custom http logging before using them. Coverity 717436.

decode: use pointer inside packet area as param

DecodeTeredo, DecodeIPv6InIPv6 and DecodeIPv4inIPv6 were calling
DecodeTunnel with packet being a pseudo packet and data being
data from initial packet:
        DecodeTunnel(tv, dtv, tp, start, blen,
                     pq, IPPROTO_IPV6);
In decoding functions, arithmetic was done on pkt to set some values?
It was resulting in field of packet  pointing outside of the scope of
packet data.
This patch switch to what has been done in DecodeGre(), I mean:
        DecodeTunnel(tv, dtv, tp, GET_PKT_DATA(tp),
                     GET_PKT_LEN(tp), pq, IPPROTO_IP);
Data buffer is then relative to the packet and the arithmetic is
correct.

affinity: drop capability after setting thread prio

Setting thread priority can require privilege if a low nice value
has to be set up.

affinity: add call to setup function in threads

Threads created through TMThreadSpawn need to call the affinity
function by themselves.

affinity: tag management threads as such

The management threads were not tagged for CPU affinity and thus
the setting was not applied.

affinity: add log message

Add threshold.config example to EXTRA_DIST as well.

Add threshold.config file.

This patch adds an example file and modify Makefile to have it
installed by 'make install-conf' command.

Add --enable-luajit option to configure

erf: fix logical operator usage.

Implement logic of luajit keyword to match on full packet data and/or payload.

Thread local ctx for detection keywords

Some detection keywords need thread local ctx storage. Example is the
filemagic keyword that has a ctx that is modified with each call. That
is not thread safe. This functionality allows registration of thread
local ctxs so that each detect thread works on it's own copy.

luajit: stub detection keyword

luajit: tell build sys about it