af-packet: fix build on systems without AF_PACKET

doxygen: generate doc for acquisition modules

This patch sets some define to generate doc for the acquisition
modules. It also suppress the doc generation for unittests which
was polluting the output.

pool: update doxygen documentation.

pool: realize a block allocation for preallocated item.

This patch required a evolution of Pool API as it is needed to
proceed to alloc or init separetely. The PoolInit has been changed
with a new Init function parameter.

pool: alloc a single area for all PoolBuckets

As we know the number and the size of PoolBucket, we can simply
allocate a single memory zone.

l3proto: add unit tests

This patch adds a series of unit tests. First two check test the keyword
by checking packet on signatures using it. Last one adds is here to check
that there is no interaction of l3_proto and ip_proto.

sig: add l3_proto keyword

This patch adds a l3_proto keyword to the signature language. It
can be used to specify if the signature has to match on IPv4, IPv6
or both. For example, one can write:
  alert http any any -> any 22 (msg: "HTTP v6"; l3_proto:ip6; sid:14;)

This should close #494.

sig: Add ipv6 and ipv4 to list of protocols

With this patch it is possible to do:
 alert ipv6 any any -> any any
or
 alert ip4 any any -> any any
to match on IPv4 or IPv6 packets.

af-packet: detect MTU mismatch and warn user

If the MTU on the reception interface and the one on the transmission
interface are different, this will result in an error at transmission
when sending packet to the wire.

af-packet: add optional emergency mode

Flush all waiting packets to be in sync with kernel when drop
occurs. This mode can be activated by setting use-emergency-flush
to yes in the interface configuration.

af-packet: reorder socket operation.

This patch moves raw socket binding at the end of init code to
avoid to have a flow of packets reaching the socket before we
start to read them.

The socket creation is now made in the loop function to avoid
any timing issue between init function and the call of the loop.

af-packet: fix runmode name in logging function

af-packet: add doxygen comments

This patch adds doxygen comments to newly introduced function and adds
module AF_PACKET doxygen module with a dedicated AFP peers module.

af-packet: IPS and TAP feature

This patch adds a new feature to AF_PACKET capture mode. It is now
possible to use AF_PACKET in IPS and TAP mode: all traffic received
on a interface will be forwarded (at the Ethernet level) to an other
interface. To do so, Suricata create a raw socket and sends the receive
packets to a interface designed in the configuration file.

This patch adds two variables to the configuration of af-packet
interface:
 copy-mode: ips or tap
 copy-iface: eth1 #the interface where packet are copied
If copy-mode is set to ips then the packet wth action DROP are not
copied to the destination interface. If copy-mode is set to tap,
all packets are copied to the destination interface.
Any other value of copy-mode results in the feature to be unused.
There is no default interface for copy-iface and the variable has
to be set for the ids or tap mode to work.

For now, this feature depends of the release data system. This
implies you need to activate the ring mode and zero copy. Basically
use-mmap has to be set to yes.

This patch adds a peering of AF_PACKET sockets from the thread on
one interface to the threads on another interface. Peering is
necessary as if we use an other socket the capture socket receives
all emitted packets. This is made using a new AFPPeer structure to
avoid direct interaction between AFPTreadVars.

There is currently a bug in Linux kernel (prior to 3.6) and it is
not possible to use multiple threads.

You need to setup two interfaces with equality on the threads
variable. copy-mode variable must be set on the two interfaces
and use-mmap must be set to activated.

A valid configuration for an IPS using eth0 and vboxnet1 interfaces
will look like:

af-packet:
  - interface: eth0
    threads: 1
    defrag: yes
    cluster-type: cluster_flow
    cluster-id: 98
    copy-mode: ips
    copy-iface: vboxnet1
    buffer-size: 64535
    use-mmap: yes
  - interface: vboxnet1
    threads: 1
    cluster-id: 97
    defrag: yes
    cluster-type: cluster_flow
    copy-mode: ips
    copy-iface: eth0
    buffer-size: 64535
    use-mmap: yes

capture: add data release mechanism

This patch adds a data release mechanism. If the capture module
has a call to indicate that userland has finished with the data,
it is possible to use this system. The data will then be released
when the treatment of the packet is finished.

To do so the Packet structure has been modified:
+    TmEcode (*ReleaseData)(ThreadVars *, struct Packet_ *);
If ReleaseData is null, the function is called when the treatment
of the Packet is finished.
Thus it is sufficient for the capture module to code a function
wrapping the data release mechanism and to assign it to ReleaseData
field.

This patch also includes an implementation of this mechanism for
AF_PACKET.

af-packet: improve mmaped running mode.

The mmaped mode was using a too small ring buffer size which was
not able to handle burst of packets coming from the network. This
may explain the important packet loss rate observed by Edward
Fjellskål.
This patch increases the default value and adds a ring-size
variable which can be used to manually tune the value.

af-packet: delete design comments

Make sure we never underflow len in DetectLoadSigFile

Add counters for IPv4 in IPv6 and IPv6 in IPv6

file: convert filesize to new FileMatch api.

stream/app layer: call new Truncate callback for data gap case as well.

stream/app layer: add Truncate app layer callback that is called if stream depth is reached. Use it to trunc open files in HTTP.

file: implement filesize keyword. #489.

detection engine port api unittests cleanup

Create separate detect API call (FileMatch) for file detection keywords. #531.

tls-log: add protocol version to log message.

fix regression (clobbered register; redmine #534)

spelling corrections documented in redmine bug#533

rule reloads: don't lock up main thread so clean shutdown is impossible

pcap: fix compilation on old libpcap

tm-thread: suppress rarely used variable.

Convert to atomic and disable check on HTP config change.

This patch converts the series of variable to an atomic.

Furthermore, as the callbacks are now always run, it is not
necessary anymore to refuse a ruleswap if HTP parameters are
changing.

Get rid of AppLayerHtpRegisterExtraCallbacks

This patch add a early exit condition to the body handling callback.
This permits to avoid to avoid a complex system to handle htp
object change.

Delay Detect threads initialization

This patch modifies the init of Detect threads. They are now started
with a dummy function and their initialisation is done after the
signatures are loaded. Just after this, the dummy function is switched
to normal one.

In IPS mode, this permit to route packets without waiting for the
signature to start and should fix #488.

Offline mode such as pcap file don't use this mode to be sure to
analyse all packets in the file.

The patch introduces a "delayed-detect" configuration variable
under detect-engine. It can be used to activate the feature
(set to "yes" to have signature loaded after capture is started).

pcap: handle failure of packet treatment

If the loop is breaked, this means we've got a treatment error. We
don't need to reconnect but we must exit with correct status.

tls: suppress always true condition.

detect-tls: various indent fixes.

And delete a useless FIXME.

tls: store all the certificates chain in the written PEM file.

When using the tls.store command, a dump of all certificates in
the chain is now done on the disk.

tls: keep pointers to all certificates in chain

When multiple certificates forming a chain are sent. A pointer to
the start of each certificate is kept. This will allow treatment
on certificates chains.

tls: adding store option for TLS

This patch adds a TLS store option to save certificate in PEM format.
Each time the store action is met, a file and a metafile are created.

Reworked-by: Eric Leblond <eric@regit.org>

tls: adding support for fingerprint rule matching.

Add the support for tls.fingerprint keyword in rules.

tls: adding fingerprint to TLS Log information.

Improve TLS logging by adding the certificate fingerprint to TLS Log file.
Add the extending option to the tls-log entry in suricata.yaml.

tls: adding fingerprint calculation.

Adding a pointer in ssl_state struct and compute fingerprint during
certificate decoding.

tls: add NSS version for SHA1 computing function.

tls: adding cryptographic functions.

Adding util-crypt containing cryptographic functions as SHA1 and Base64.

tls: adding TLS Log support

Creation of the log-tlslog file in order to log tls message.
Need to add some information into suricata.yaml to work.

  - tls-log:
      enabled: yes # Log TLS connections.
      filename: tls.log # File to store TLS logs.

Don't wait for packetpool to be back to full state before continuing with the shutdown process, on received shutdown signal

Suricata shutdown updates + minor cleanup

rx TMs shouldn't return TM_ECODE_FAILED if engine is in shutdown mode + minor cleanup

Custom logging feature for log-httplog

decode: decode IPv6-in-IPv6

This patch adds decoding of IPv6-in-IPv6. It also adds some events
for invalid packets.

This patch should fix #514.

Update version number to reflect we're working towards 1.4 now.

Add teredo counter.

defrag: prealloc more frags.

defrag: Fix description of params

The max-frags params is not what it is.

defrag: add some events relative to defragmentation

defrag: Fix unittest logic.

We've linked the size of hash with trackers. Thus calling DefragInit()
after setting the configuration variable is more logic.

defrag: link hash size with number of frags.

We set defrag_hash_size by using the number of trackers. This is
effective to avoid collision.

defrag: fix some integer type warning.

defrag: really use 'max-frags' variable.

The 'max-frags' variable was not used and the 'trackers' variable was
not documented. This patch fixes the two issues.

Teredo tunnel supports

This patch should fix #480 by adding the support of Teredo tunnel.
The IPv6 content of the tunnel will be parsed in a similar way as
what is done the GRE tunnel. Signatures will then be matched on the
IPv6 content.

Add support for IPv4-in-IPv6

This patch adds support for IPv4-in-IPv6 and should fix #462.

nfq: implement "fail-open" support.

On linux >= 3.6, you can use the fail-open option on a NFQ queue
to have the kernel accept the packet if userspace is not able to keep
pace.

Please note that the kernel will not trigger an error if the feature is activated
in userspace libraries but not available in kernel.

This patch implements the option for suricata by adding a nfq.fail-open
configuration variable which is desactivated by default.

yaml: suppress old variable in pfring section.

autotools: error on autoreconf is an error

autotools: fix detection with clang

This patch improve detection of type of nfq_get_payload() by only
converting to error the warning we have when using the wrong type.

autotools: rename configure.in to configure.ac

configure.in is deprecated since long and will be replaced by
configure.ac. For more information, see:
  http://lists.gnu.org/archive/html/automake/2012-08/msg00023.html

tm-thread: exit loop if suri want to quit

tm-thread: run thread init function sequentially.

On some setup you want to run each thread init function sequentially.
For example, if I use flow_cpu load balancing on AF_PACKET, my target
is to have CPU 0 (first socket in the group) to be link with the
thread 0 in detect cpu set (first thread to be initialised). A good
way to achieve this is to run only one thread init function at a time
to avoid any possible race condition.

Update Changelog to include 1.3.1 changes.

rule analyzer: make analyzer aware of http_user_agent pcre flag /V.

http: after path double decoding, also normalize the path again. #504.

Http: don't double decode URI path and query by default. Instead add per server options to enable double decoding for both cases. #464 #504.

Only set SIG_FLAG_REQUIRE_STREAM if signature inspects TCP.

rule analyzer: fix fast pattern analyzer reporting wrong filename (same as rule analyzer).

stream-tcp: no checksum alert if validation is off

This patch disables checksum alert if checksum-validation is set
to no in the configuration file. Without this patch, when parsing
a pcap which checksum offloading, it was not possible to get rid
of event caused by checksum validation.

stream: handle case where Suricata sees 3whs-ACK but server doesn't. Bug #523.

stream: fix unittest broken by new flags handling.

http: add more decoding unittests.

Bug #510. Produce error if max-pending-packets is higher than 65534.

profiling: fix 'match' counter sometimes not incrementing. #460.

Use SCFree instead of free in DER decoder.

stream: improve TCP flags handling

af-packet: fix reconnect code

Reconnect code was in a "work by luck" stage as we did not update
the socket number after reconnect.

Update fast_pattern engine to not use negated content as fast_pattern if we have non-negated content in the sig.

Noticing a good spike in perf with et_pro ruleset.

Thanks to Will Metcalf for the suggestion.

bug #466 - Updated getticks() to serialize execution of rdtsc with cpuid

bug 508 - List (ack | cwr | ecn) combination to be accepted by our stream engine.

This isn't a perfect solution.  More like we have patched this for the case we
are in tcp's established state.  The right solution would be to accept states
based on the presence(using operator OR) of certain flags in the tcp header,
rather than list out all possible flag combinations.

invalidate sigs if depth > content_length

tls: fix keyword regular expression

Space, dash and comma are valid.

af-packet: loop on ring if there is data to read.

This patch should bring some improvements by looping on the
ring when there is some data available instead of getting back
to the poll. It also fix recovery in case of drops on the ring
because the poll command will not return correctly in this case.

defrag: use IP ID in hash

This patch fixes the collision issue observed on an intensive network
trafic. When there is fragmentation it is the case for all data
exchanged between two hosts. Thus using a hash func only involving
IP addresses (and protocol) was leading to a collision for all
exchanges between the hosts. At a larger scale, it was resulting in
a packet loss. By using the IP ID instead of the protocol family, we
introduce a real difference between the trackers.

flow: remove unused prune-flows option

if a sig's set as stream sig only, don't updated it as both stream and pkt sig if offset/depth's present

bug #495 - update rule analyzer to not warn on offset_depth-tcp_pkt update if sig is stream only

bug #497 - rule_warnings fixed

Set thread name Suricata-Main for main thread and LiveRuleSwap for live swap thread

bug 499 - update host os info enum map to use - instead of _ + add new unittests

bug #496 - don't warn about offset/depth for packet sigs

Windows build and other misc fixes.

Update changelog for 1.3 release.

Rename 'worker' running mode to 'workers'

This patch renamed the 'worker' running mode into 'workers'. Thus,
there is only one name in Suricata for the same thing. Backward
compatibility is ensured by replacing "worker" by "workers" when
the old name is used. A warning is printed in the log when the old
name is used.

check if all packets are processed before disabling detect threads + kill all threads <= detect after FFR + other minor fixes