Add support for IPv4-in-IPv6

This patch adds support for IPv4-in-IPv6 and should fix #462.

nfq: implement "fail-open" support.

On linux >= 3.6, you can use the fail-open option on a NFQ queue
to have the kernel accept the packet if userspace is not able to keep
pace.

Please note that the kernel will not trigger an error if the feature is activated
in userspace libraries but not available in kernel.

This patch implements the option for suricata by adding a nfq.fail-open
configuration variable which is desactivated by default.

yaml: suppress old variable in pfring section.

autotools: error on autoreconf is an error

autotools: fix detection with clang

This patch improve detection of type of nfq_get_payload() by only
converting to error the warning we have when using the wrong type.

autotools: rename configure.in to configure.ac

configure.in is deprecated since long and will be replaced by
configure.ac. For more information, see:
  http://lists.gnu.org/archive/html/automake/2012-08/msg00023.html

tm-thread: exit loop if suri want to quit

tm-thread: run thread init function sequentially.

On some setup you want to run each thread init function sequentially.
For example, if I use flow_cpu load balancing on AF_PACKET, my target
is to have CPU 0 (first socket in the group) to be link with the
thread 0 in detect cpu set (first thread to be initialised). A good
way to achieve this is to run only one thread init function at a time
to avoid any possible race condition.

Update Changelog to include 1.3.1 changes.

rule analyzer: make analyzer aware of http_user_agent pcre flag /V.

http: after path double decoding, also normalize the path again. #504.

Http: don't double decode URI path and query by default. Instead add per server options to enable double decoding for both cases. #464 #504.

Only set SIG_FLAG_REQUIRE_STREAM if signature inspects TCP.

rule analyzer: fix fast pattern analyzer reporting wrong filename (same as rule analyzer).

stream-tcp: no checksum alert if validation is off

This patch disables checksum alert if checksum-validation is set
to no in the configuration file. Without this patch, when parsing
a pcap which checksum offloading, it was not possible to get rid
of event caused by checksum validation.

stream: handle case where Suricata sees 3whs-ACK but server doesn't. Bug #523.

stream: fix unittest broken by new flags handling.

http: add more decoding unittests.

Bug #510. Produce error if max-pending-packets is higher than 65534.

profiling: fix 'match' counter sometimes not incrementing. #460.

Use SCFree instead of free in DER decoder.

stream: improve TCP flags handling

af-packet: fix reconnect code

Reconnect code was in a "work by luck" stage as we did not update
the socket number after reconnect.

Update fast_pattern engine to not use negated content as fast_pattern if we have non-negated content in the sig.

Noticing a good spike in perf with et_pro ruleset.

Thanks to Will Metcalf for the suggestion.

bug #466 - Updated getticks() to serialize execution of rdtsc with cpuid

bug 508 - List (ack | cwr | ecn) combination to be accepted by our stream engine.

This isn't a perfect solution.  More like we have patched this for the case we
are in tcp's established state.  The right solution would be to accept states
based on the presence(using operator OR) of certain flags in the tcp header,
rather than list out all possible flag combinations.

invalidate sigs if depth > content_length

tls: fix keyword regular expression

Space, dash and comma are valid.

af-packet: loop on ring if there is data to read.

This patch should bring some improvements by looping on the
ring when there is some data available instead of getting back
to the poll. It also fix recovery in case of drops on the ring
because the poll command will not return correctly in this case.

defrag: use IP ID in hash

This patch fixes the collision issue observed on an intensive network
trafic. When there is fragmentation it is the case for all data
exchanged between two hosts. Thus using a hash func only involving
IP addresses (and protocol) was leading to a collision for all
exchanges between the hosts. At a larger scale, it was resulting in
a packet loss. By using the IP ID instead of the protocol family, we
introduce a real difference between the trackers.

flow: remove unused prune-flows option

if a sig's set as stream sig only, don't updated it as both stream and pkt sig if offset/depth's present

bug #495 - update rule analyzer to not warn on offset_depth-tcp_pkt update if sig is stream only

bug #497 - rule_warnings fixed

Set thread name Suricata-Main for main thread and LiveRuleSwap for live swap thread

bug 499 - update host os info enum map to use - instead of _ + add new unittests

bug #496 - don't warn about offset/depth for packet sigs

Windows build and other misc fixes.

Update changelog for 1.3 release.

Rename 'worker' running mode to 'workers'

This patch renamed the 'worker' running mode into 'workers'. Thus,
there is only one name in Suricata for the same thing. Backward
compatibility is ensured by replacing "worker" by "workers" when
the old name is used. A warning is printed in the log when the old
name is used.

check if all packets are processed before disabling detect threads + kill all threads <= detect after FFR + other minor fixes

conf api: remove dead code

rule analyzer: fix detecting stream match

rule analyzer updated for sigs with offset/depth set + alproto set

Update SigValidate() to allow http keywords to be specified in the right flow direction

autotools: pthread deps is needed on ubuntu.

It is weird but adding pthread in needed on ubuntu 1204.

Make live reloads optional and disabled by default.

stream: don't NULL dereference p->flow->protoctx in StreamTcpReassembleDepthReached

file inspection: improve logging when stream.depth limit is reached. #493.

Improve warning if prelude output is selected but support not compiled in. #320.

Improve pktvar keyword parsing and error handling.

Minor fixes for coverity issues.

Fix detect tag error handling.

file detect: improve cleanup

filemd5: free hash during cleanup

ac-bs and ac-gfbs mem cleanup

more mpm engine mem cleanup

mpm engine and ac mem free fixes

Fix SCSetThreadName() macros in threads.h Add FreeBSD thread naming implementation.

bug #455 - Warn users on signature event vars having precedence over threshold.conf ones

Free all sig match structs when freeing a signature.

Fix memleak in tag parsing.

Properly clean signature's ip only data.

Fix a reload memleak in thread local detection engine ctx.

Fix a reload memleak in the duplicate sig detection hash.

Clean up packet pool at shut down.

Update Changelog for 1.3rc1 release

sc_atomic_cas replaced with sc_atomic_set

http: add unittest to test \r in header line.

htp: keep track of header line terminators so http_raw_header can reconstruct exact headers.

http_raw_header: add some debug code.

icmpv6: for ICMPv6 info messages set payload ptr and length to right after 4 byte hdr.

afpacket: fix compilation in debug mode.

Update coccinelle script to match syntax evolution.

cleaning: fix warning when building with clang.

clang was issuing some warnings related to unused return in function.
This patch adds some needed error treatment and ignore the rest of the
warnings by adding a cast to void.

af-packet: use counter for drop and accept

This patch adds counters for kernel drops and accepts to af-packet
capture module. This information are periodically displayed in
stats.log:
capture.kernel_packets    | RxAFP1                    | 1792
capture.kernel_drops      | RxAFP1                    | 0
The statistic is fetch via a setsockopt call every 255 packets.

af-packet: add support for BPF filter.

This patch adds support for BPF in AF_PACKET running
mode. The command line syntax is the same as the one
used of PF_RING.
The method is the same too: The pcap_compile__nopcap()
function is used to build the BPF filter. It is then
injected into the kernel with a setsockopt() call. If
the adding of the BPF fail, suricata exit.

af-packet: get datalink for each socket creation.

This patch will allow us to use the datalink when computing the filter.
It also fixes a potential issue where an interface data type change
after the interface if going down/up.

http body inspection: force body inspection on stream eof.

default config: add engine-analysis.rules directive.

inline: fix unified2 alert direction selection

filemd5: fix compilation if libnss isn't available

filemd5: add support code for md5 handling for signatures.

Don't display a warning when log-pcap tries to remove an already removed file.

http header won't inspect set-cookie headers. Set-cookie part of cookie keyword now. Also update the http header inspection engine

Free pcre study structs for classification, threshold and reference parsing.

code cleanup for live swap

Fix compiler warning.

update clean up of old detection engine contexts for live rule swap

DetectEngineCtxFree() cleanup, also in main

Replace the old atomic sets using cas with the new sc_atomic_set macro

free flowvar entries in flow after live rule swap. Sync flowbits entries into packet struct to be used by alert debuglog when alert debuglog is enabled

disable live rule swap when -s or -S option's used at startup

Introduce util-signal.[ch]. Move our signal setup functions here

Simplify flow resetting on de_ctx update. Detect ctx id starts at 1. So in a flow 0 means uninitialized (thus set) and if we detect flow is not equal to detect id, we reset the sgh storage and de_state.

If new ruleset requires any htp callbacks that aren't already set, don't load new ruleset; request user to restart suricata + disable setting fileinsepection flags unconditionally in main

add unittest for atomic operation with void *

live rule support added

To reload ruleset during engine runtime, send the USR2 signal to the engine, and the ruleset would be reloaded from the same yaml file supplied at engine startup

cleanup threshold config de-init

slot_data updated as an atomic var no

byte_extract_id var now a non-global de_ctx specific var

make mpm ctx container de_ctx specific. Also introduce global variable in mpm_ctx. this is a workaround for cleaning non global mpm_ctx's since we now don't supply the de_ctx around the detection engine API