solaris: fix compilation failure

This patch fixes a compilation failure on Solaris. Compiler does
not support when a function returning void is used in return of
an other function returning void.

Make the missing libhtp error message more clear.

Use exact git clone command and then rerun autogen.sh and configure.

Formatting change for function call.

Put open brace { for function on a new line to match coding standard.

Changed:

int foo(int x) {
}

to:

int foo(int x)
{
}

Clean up SCLocalTime() usage

Remove cast of return type from SCLocalTime() as it is not needed.
Replace last use of localtime_r() with SCLocalTime().

On Open BSD systems don't cache time.

Open BSD doesn't support __thread, which is used for time caching, so
don't do time chaching for BSD systems.

Cache time conversions for localtime() and CreateTimeString()

When converting a time in seconds (64-bit seconds since 1970) to
Month/Day/Year hours minutes, Suricata calls localtime_r(), which
always aquires a lock and then does complex comutation based on the
current time zone. The time zone can be specified in the TZ
environment variable, which is only parsed the first time it is used,
or from a file. The default file is /etc/localtime. The file is
checked each time to see if it might have changed and is reparsed if
it has changed.

The GLIBC library has a lock inside localtime_r(), which limits
parallelism, which is a problem when the rate of generating alerts is
high, since Suricata generates a new ascii time string for each alert
into fast.log.

This change caches the value returned by localtime_t() and then sets
the seconds within the minute based on the cached start-of-minute
time. All of the values return, expect for the seconds, is constant
within the same minute. Switching to a new seconds could change all
the other values, year, month, day, hour. The cache stores the current
and previous minute values.

The same trick is used in CreateTimeString() for generated time
string. The string, up to the minutes, is cached and then copied into
the result string, followed by printing the new seconds into the
result string.

The seconds within a minute are calculated as the difference in
seconds from the start of the current minute.

Merge multiple copies of CreateTimeString() to one copy.

There were 8 identical copies of CreateTimeString() in 8 files.
Most used SCLocalTime, to replace localtime_r(), but some did not.
Created one copy in util-time.c.

Create SCMUTEX_INITIALIZER to abstract out PTHREAD_MUTEX_INITIALIZER

This allows replacing pthread mutexes with other types of mutex.

Use Tilera SIMD for Signature matching ala SSE3

Makes use of 8-wide byte compare instructions in signature matching.

For allocating aligned memory, _mm_malloc() is SSE only, so added
check for __tile__ to use memalign() instead.

Shows a 13% speed up.

Tile SIMD implementation of SCMemcmp and SCMemcmpLowercase

Based on the SSE3 implementation, it checks 8 bytes at a time.

fix for #932.

ipv6 tunnel decoder wrongly treats the tunneled ipv6 packets as an ipv4
packet.

fix for #920.

Cull the space before the address specified in address var variables.

Now using the common functions

Now using the common functions
- Removed some non printable ANSI characters
- Removed unecessary include

Added the new files containing the repeated functions
- Renamed the functions to something more generic
- Added the source and include files to the Makefile

Fixes segv inside rule swap under low mem conditions.

We now gracefully exit rule swap on any allocation or other failures.

Rearrange ac state.

Notice a minor speed bump of around 2% on runs.  More updates to follow.

Enable using Tile cycle counter.

The Tile processors all have a cycle counter with a simple interface. Use
that for UtilCpuGetTicks.

IsRuleReloadSet() shouldn't return an uninitialized value

unittests: fix stream-tcp.c

Lock and recycle fixes for stream-tcp.c

unittests: some functions needs a flow lock.

In debug validation mode, it is required to call application layer
parsing and other functions with a lock on flow. This patch updates
the code to do so.

unittest: recycle packet before exit

To avoid an issue with flow validation, we need to recycle the packet
before cleaning the flow.

fix for #915.  Fix segv when we send NULL to snprintf.

pf_ring: avoid to ask for extended header.

This patch update pf_ring capture to avoid to ask for extended
header. They are only needed when rxonly checksum checks is used
and this is only possible when interface is not a DNA interface.

Fix Tile compile

fix pf_ring build

suricata: rename SuriInstance to SCInstance.

suricata: suppress Suri prefix

Suppress Suri prefix in internal function name.

Use a typedef for SuriInstance.

Add offline flag to SuriInstance and some refactoring

Prefix util-conf function with Config

Move CreateLowercaseTable to GLobalInits

Generic code don't need ifdef

Use function for delayed detect setup.

Add functions for elapsed time computation.

Factorize Signature loading

Use function for daemonification and signal handler

set rule_reload as part of SuriInstance

SetBPfString is part of command line parsing

suricata: use function to print version

Add function for internal running mode

suricata: windows specific in one function

Running mode is set earlier so out earlier

kill remaining run_mode usage

engine analysis is a running mode

get (almost) rid of run_mode variable.

add internal running mode

Add SuriInstance structure

To be able to split code in functions in main, we need to pass
information about the current running Suricata to functions.
For that we create a structure to store suricata run parameters.

In this patch it allows to separate command line parsing and to
treat internal running mode in a switch just after command line
parsing.

Export IsRuleReloadSet and use it.

unittest: make check use a qa/log dir for logging

This patch is using the qa/log directory to store the output
of the check. In case of success, the directory is deleted.
In case of failure, the directory remains in place.

This should fixes #910.

af-packet: add sanity check in free function

Suppress Suri prefix.

suricata: function for lowercase table creation

Simplify code by removing comment

suricata: add wrapper for interface listing

Use new function GetLogDirectory()

Add util-conf for config util

suricata: add some wrapper for config file handling

move unittest out of suricata.c

suricata: list cuda cards in separate function

suricata: separate keyword and app layer listing code

The list-keyword and app-layer listing code was spread over all the
init code. This patch introduces a separate file to store non standard
running mode like these ones.

runmodes: fix comment

Storage: rename Init to Alloc to reflect actual functioning. Comment updates.

Storage API: add safety check for cases when there is no storage used.

engine-tag: rename var and add sanity check

flow tag: conversion to flow storage API

This patch is updating the flow tag system to use the flow
storage API. The tag_list member of Flow structure is suppressed
and its cleaning operation are suppressed too as this is handled
transparently by the flow storage API.

Add per-flow generic storage

This patch adds a per-flow storage that can be created via the functions
available in flow-storage.c.

Host: use global free storage function

This patch is here to avoid that all modules using a local storage
have to update host code to add their free function. It modifies
previous behavior by calling HostFreeStorage in any case.

Use Host Storage API for per host thresholding

Init storage api at start up

Storage API: add registration check closed test in debug mode.

Move Host Tag storage to Host Storage API.

Add Host specific wrapper to StorageRegister()

storage: allow preallocated storage

host: use storage api

Initial storage api work

Misc fixes after make check feedback

Add TILE-Gx mPIPE packet processing support.

The TILE-Gx processor includes a packet processing engine, called
mPIPE, that can deliver packets directly into user space memory. It
handles buffer allocation and load balancing (either static 5-tuple
hashing, or dynamic flow affinity hashing are used here). The new
packet source code is in source-mpipe.c and source-mpipe.h

A new Tile runmode is added that configures the Suricata pipelines in
worker mode, where each thread does the entire packet processing
pipeline.  It scales across all the Gx chips sizes of 9, 16, 36 or 72
cores. The new runmode is in runmode-tile.c and runmode-tile.h

The configure script detects the TILE-Gx architecture and defines
HAVE_MPIPE, which is then used to conditionally enable the code to
support mPIPE packet processing. Suricata runs on TILE-Gx even without
mPIPE support enabled.

The Suricata Packet structures are allocated by the mPIPE hardware by
allocating the Suricata Packet structure immediatley before the mPIPE
packet buffer and then pushing the mPIPE packet buffer pointer onto
the mPIPE buffer stack.  This way, mPIPE writes the packet data into
the buffer, returns the mPIPE packet buffer pointer, which is then
converted into a Suricata Packet pointer for processing inside
Suricata. When the Packet is freed, the buffer is returned to mPIPE's
buffer stack, by setting ReleasePacket to an mPIPE release specific
function.

The code checks for the largest Huge page available in Linux when
Suricata is started. TILE-Gx supports Huge pages sizes of 16MB, 64MB,
256MB, 1GB and 4GB. Suricata then divides one of those page into
packet buffers for mPIPE.

The code is not yet optimized for high performance. Performance
improvements will follow shortly.

The code was originally written by Tom Decanio and then further
modified by Tilera.

This code has been tested with Tilera's Multicore Developement
Environment (MDE) version 4.1.5. The TILEncore-Gx36 (PCIe card) and
TILEmpower-Gx (1U Rack mount).

ipv6: fix parsing of malformed ext hdr. Bug #908.

icmpv6: fix icmp_id and icmp_seq keywords

Bug #907

Fix compiler warning due to missing include

decode.c: In function 'DecodeThreadVarsAlloc':
decode.c:437: error: implicit declaration of function 'ConfGetBool'

vlan: add rule for new 'too many layers' event

Add yaml option to disable vlan ids hashing

In some cases using the vlan id(s) in flow hashing is problematic. Cases
of broken routers have been reported. So this option allows for disabling
the use of vlan id(s) while calculating the flow hash, and in the future
other hashes.

Vlan tracking for flow is enabled by default.

flow: take vlan_id's into account in the flow hash

In VLAN we can have 2 layers of encapsulation. In this patch both
layers are used in the flow hash to distinguish between encapsulated
traffic.

Remove obsolete code: flow alert sid storage

Add --unittests-coverage option to list how many code modules have tests

Rename GetIfaceMaxPayloadSize to GetIfaceMaxPacketSize to reflect the actual function.

Pcap: fix snaplen autodetection, GetIfaceMTU doesn't include link layer length

Fix typo in configure.ac echo message

fix bug where we were not printing http hostname(printing <unknown>
previously) in httplog, filestore meta and file log.

NFQ: fix packets not getting freed

fix for #882.

Refactor the code that initializes the cuda mpm environment.

NFQ: adapt to ReleasePacket API

Replace ReleaseData function on Packet Structure with ReleasePacket.

This commit allows handling Packets allocated by different methods.
The ReleaseData function pointer in the Packet structure is replaced
with ReleasePacket function pointer, which is then always called to
release the memory associated with a Packet.

Currently, the only usage of ReleaseData is in AF Packet. Previously
ReleaseData was only called when it was not NULL. To implement the
same functionality as before in AF Packet, a new function is defined
in AF Packet to first call the AFP specific ReleaseData function and
then releases the Packet structure.

Three new general functions are defined for releasing packets in the
default case:
    1) PacketFree() - To release a packet alloced with SCMalloc()
    2) PacketPoolReturnPacket() - For packets allocated from the Packet Pool.
                                  Calls RECYCLE_PACKET(p)
    3) PacketFreeOrRelease() - Calls PacketFree() or PacketPoolReturnPacket()
                                 based on the PKT_ALLOC flag.

Having these functions removes the need to check the PKT_ALLOC flag
when releasing a packet in most cases, since the ReleasePacket
function encodes how the Packet was allocated. The PKT_ALLOC flag is
still set and is needed when AF Packet releases a packet, since it
replaces the ReleasePacket function pointer with its own function and
then calls PacketFreeOfRelease(), which uses the PKT_ALLOC flag.

Update changelog for 2.0beta1

fix for #875.

Update configure.ac to check for either 0.5.5 and 0.5.x version of libhtp.

Code to enable cuda support for pfring live mode.

DNS: break out of DNSResponseGetNameByOffset if we're in there too long. Can happen on bad data.

Stream: don't inject stream end pseudo pkt on FinWait2 state. Bug #883.

DNS: convert info logs to debugs