capture: add data release mechanism

This patch adds a data release mechanism. If the capture module
has a call to indicate that userland has finished with the data,
it is possible to use this system. The data will then be released
when the treatment of the packet is finished.

To do so the Packet structure has been modified:
+    TmEcode (*ReleaseData)(ThreadVars *, struct Packet_ *);
If ReleaseData is null, the function is called when the treatment
of the Packet is finished.
Thus it is sufficient for the capture module to code a function
wrapping the data release mechanism and to assign it to ReleaseData
field.

This patch also includes an implementation of this mechanism for
AF_PACKET.

af-packet: improve mmaped running mode.

The mmaped mode was using a too small ring buffer size which was
not able to handle burst of packets coming from the network. This
may explain the important packet loss rate observed by Edward
Fjellskål.
This patch increases the default value and adds a ring-size
variable which can be used to manually tune the value.

af-packet: delete design comments

Make sure we never underflow len in DetectLoadSigFile

Add counters for IPv4 in IPv6 and IPv6 in IPv6

file: convert filesize to new FileMatch api.

stream/app layer: call new Truncate callback for data gap case as well.

stream/app layer: add Truncate app layer callback that is called if stream depth is reached. Use it to trunc open files in HTTP.

file: implement filesize keyword. #489.

detection engine port api unittests cleanup

Create separate detect API call (FileMatch) for file detection keywords. #531.

tls-log: add protocol version to log message.

fix regression (clobbered register; redmine #534)

spelling corrections documented in redmine bug#533

rule reloads: don't lock up main thread so clean shutdown is impossible

pcap: fix compilation on old libpcap

tm-thread: suppress rarely used variable.

Convert to atomic and disable check on HTP config change.

This patch converts the series of variable to an atomic.

Furthermore, as the callbacks are now always run, it is not
necessary anymore to refuse a ruleswap if HTP parameters are
changing.

Get rid of AppLayerHtpRegisterExtraCallbacks

This patch add a early exit condition to the body handling callback.
This permits to avoid to avoid a complex system to handle htp
object change.

Delay Detect threads initialization

This patch modifies the init of Detect threads. They are now started
with a dummy function and their initialisation is done after the
signatures are loaded. Just after this, the dummy function is switched
to normal one.

In IPS mode, this permit to route packets without waiting for the
signature to start and should fix #488.

Offline mode such as pcap file don't use this mode to be sure to
analyse all packets in the file.

The patch introduces a "delayed-detect" configuration variable
under detect-engine. It can be used to activate the feature
(set to "yes" to have signature loaded after capture is started).

pcap: handle failure of packet treatment

If the loop is breaked, this means we've got a treatment error. We
don't need to reconnect but we must exit with correct status.

tls: suppress always true condition.

detect-tls: various indent fixes.

And delete a useless FIXME.

tls: store all the certificates chain in the written PEM file.

When using the tls.store command, a dump of all certificates in
the chain is now done on the disk.

tls: keep pointers to all certificates in chain

When multiple certificates forming a chain are sent. A pointer to
the start of each certificate is kept. This will allow treatment
on certificates chains.

tls: adding store option for TLS

This patch adds a TLS store option to save certificate in PEM format.
Each time the store action is met, a file and a metafile are created.

Reworked-by: Eric Leblond <eric@regit.org>

tls: adding support for fingerprint rule matching.

Add the support for tls.fingerprint keyword in rules.

tls: adding fingerprint to TLS Log information.

Improve TLS logging by adding the certificate fingerprint to TLS Log file.
Add the extending option to the tls-log entry in suricata.yaml.

tls: adding fingerprint calculation.

Adding a pointer in ssl_state struct and compute fingerprint during
certificate decoding.

tls: add NSS version for SHA1 computing function.

tls: adding cryptographic functions.

Adding util-crypt containing cryptographic functions as SHA1 and Base64.

tls: adding TLS Log support

Creation of the log-tlslog file in order to log tls message.
Need to add some information into suricata.yaml to work.

  - tls-log:
      enabled: yes # Log TLS connections.
      filename: tls.log # File to store TLS logs.

Don't wait for packetpool to be back to full state before continuing with the shutdown process, on received shutdown signal

Suricata shutdown updates + minor cleanup

rx TMs shouldn't return TM_ECODE_FAILED if engine is in shutdown mode + minor cleanup

Custom logging feature for log-httplog

decode: decode IPv6-in-IPv6

This patch adds decoding of IPv6-in-IPv6. It also adds some events
for invalid packets.

This patch should fix #514.

Update version number to reflect we're working towards 1.4 now.

Add teredo counter.

defrag: prealloc more frags.

defrag: Fix description of params

The max-frags params is not what it is.

defrag: add some events relative to defragmentation

defrag: Fix unittest logic.

We've linked the size of hash with trackers. Thus calling DefragInit()
after setting the configuration variable is more logic.

defrag: link hash size with number of frags.

We set defrag_hash_size by using the number of trackers. This is
effective to avoid collision.

defrag: fix some integer type warning.

defrag: really use 'max-frags' variable.

The 'max-frags' variable was not used and the 'trackers' variable was
not documented. This patch fixes the two issues.

Teredo tunnel supports

This patch should fix #480 by adding the support of Teredo tunnel.
The IPv6 content of the tunnel will be parsed in a similar way as
what is done the GRE tunnel. Signatures will then be matched on the
IPv6 content.

Add support for IPv4-in-IPv6

This patch adds support for IPv4-in-IPv6 and should fix #462.

nfq: implement "fail-open" support.

On linux >= 3.6, you can use the fail-open option on a NFQ queue
to have the kernel accept the packet if userspace is not able to keep
pace.

Please note that the kernel will not trigger an error if the feature is activated
in userspace libraries but not available in kernel.

This patch implements the option for suricata by adding a nfq.fail-open
configuration variable which is desactivated by default.

yaml: suppress old variable in pfring section.

autotools: error on autoreconf is an error

autotools: fix detection with clang

This patch improve detection of type of nfq_get_payload() by only
converting to error the warning we have when using the wrong type.

autotools: rename configure.in to configure.ac

configure.in is deprecated since long and will be replaced by
configure.ac. For more information, see:
  http://lists.gnu.org/archive/html/automake/2012-08/msg00023.html

tm-thread: exit loop if suri want to quit

tm-thread: run thread init function sequentially.

On some setup you want to run each thread init function sequentially.
For example, if I use flow_cpu load balancing on AF_PACKET, my target
is to have CPU 0 (first socket in the group) to be link with the
thread 0 in detect cpu set (first thread to be initialised). A good
way to achieve this is to run only one thread init function at a time
to avoid any possible race condition.

Update Changelog to include 1.3.1 changes.

rule analyzer: make analyzer aware of http_user_agent pcre flag /V.

http: after path double decoding, also normalize the path again. #504.

Http: don't double decode URI path and query by default. Instead add per server options to enable double decoding for both cases. #464 #504.

Only set SIG_FLAG_REQUIRE_STREAM if signature inspects TCP.

rule analyzer: fix fast pattern analyzer reporting wrong filename (same as rule analyzer).

stream-tcp: no checksum alert if validation is off

This patch disables checksum alert if checksum-validation is set
to no in the configuration file. Without this patch, when parsing
a pcap which checksum offloading, it was not possible to get rid
of event caused by checksum validation.

stream: handle case where Suricata sees 3whs-ACK but server doesn't. Bug #523.

stream: fix unittest broken by new flags handling.

http: add more decoding unittests.

Bug #510. Produce error if max-pending-packets is higher than 65534.

profiling: fix 'match' counter sometimes not incrementing. #460.

Use SCFree instead of free in DER decoder.

stream: improve TCP flags handling

af-packet: fix reconnect code

Reconnect code was in a "work by luck" stage as we did not update
the socket number after reconnect.

Update fast_pattern engine to not use negated content as fast_pattern if we have non-negated content in the sig.

Noticing a good spike in perf with et_pro ruleset.

Thanks to Will Metcalf for the suggestion.

bug #466 - Updated getticks() to serialize execution of rdtsc with cpuid

bug 508 - List (ack | cwr | ecn) combination to be accepted by our stream engine.

This isn't a perfect solution.  More like we have patched this for the case we
are in tcp's established state.  The right solution would be to accept states
based on the presence(using operator OR) of certain flags in the tcp header,
rather than list out all possible flag combinations.

invalidate sigs if depth > content_length

tls: fix keyword regular expression

Space, dash and comma are valid.

af-packet: loop on ring if there is data to read.

This patch should bring some improvements by looping on the
ring when there is some data available instead of getting back
to the poll. It also fix recovery in case of drops on the ring
because the poll command will not return correctly in this case.

defrag: use IP ID in hash

This patch fixes the collision issue observed on an intensive network
trafic. When there is fragmentation it is the case for all data
exchanged between two hosts. Thus using a hash func only involving
IP addresses (and protocol) was leading to a collision for all
exchanges between the hosts. At a larger scale, it was resulting in
a packet loss. By using the IP ID instead of the protocol family, we
introduce a real difference between the trackers.

flow: remove unused prune-flows option

if a sig's set as stream sig only, don't updated it as both stream and pkt sig if offset/depth's present

bug #495 - update rule analyzer to not warn on offset_depth-tcp_pkt update if sig is stream only

bug #497 - rule_warnings fixed

Set thread name Suricata-Main for main thread and LiveRuleSwap for live swap thread

bug 499 - update host os info enum map to use - instead of _ + add new unittests

bug #496 - don't warn about offset/depth for packet sigs

Windows build and other misc fixes.

Update changelog for 1.3 release.

Rename 'worker' running mode to 'workers'

This patch renamed the 'worker' running mode into 'workers'. Thus,
there is only one name in Suricata for the same thing. Backward
compatibility is ensured by replacing "worker" by "workers" when
the old name is used. A warning is printed in the log when the old
name is used.

check if all packets are processed before disabling detect threads + kill all threads <= detect after FFR + other minor fixes

conf api: remove dead code

rule analyzer: fix detecting stream match

rule analyzer updated for sigs with offset/depth set + alproto set

Update SigValidate() to allow http keywords to be specified in the right flow direction

autotools: pthread deps is needed on ubuntu.

It is weird but adding pthread in needed on ubuntu 1204.

Make live reloads optional and disabled by default.

stream: don't NULL dereference p->flow->protoctx in StreamTcpReassembleDepthReached

file inspection: improve logging when stream.depth limit is reached. #493.

Improve warning if prelude output is selected but support not compiled in. #320.

Improve pktvar keyword parsing and error handling.

Minor fixes for coverity issues.

Fix detect tag error handling.

file detect: improve cleanup

filemd5: free hash during cleanup