pcap-file: don't kill engine in unix socket mode

This patch updates the cleaning code to avoid to exit from suricata
in unix socket mode when a invalid pcap is given.

suppress: DETECT_SUPPRESS_REGEX should support IPv6 addresses too. Bug #697.

file md5: print filename and line number on md5 parse errors. Bug #693.

preserve the existing error code order

restore SC_WARN_IPFW_SETSOCKOPT
move SC_ERR_IPFW_SETSOCKOPT at the end of the enum

setsockopt() failures are already fatal,
so treat them as such and print error instead of warning.

set SO_BROADCAST on the divert socket so that broadcast
 packets can be reinjected.

Fix ftpbounce address calc failing on PPC64

Use _mm_free for memory allocated by _mm_alloc. Bug 703. Minor compiler warning fixes.

Fix double definition of CPU_* macro's for Darwin/OSX. Bug 701.

Fix byte order detection on Mac OS X/Darwin. Bug 700.

Fix protocol check for IP-only (#689).

Update changelog for 1.4

ipv6: add event for ipv6 packet with icmpv4 header

fix for 653.

break out of afp readring loop if shutdown is initiated.

Use GET_PKT_LEN and GET_PKT_DATA macro's

magic: freebsd magic return differently

FreeBSD don't return "Microsoft Office Document" but
"OLE 2 Compound Document". This patch takes this into account.

fix for bug 675.

Fix icmpv6-csum to send the right length to calculate the csum.

Unittest to show the issue we have with 674 - csum-icmpv6 sends
wrong length for csum calculation)

ipv6: add option to detect HOP/DST headers with only padding. Detect unknown DST/HOP opts.

icmpv6: fix payload handling

decoder events: fix bug causing some rules not to be inspected if the decoder completed with warnings

decode events: add debug statement

profiling: fix missing profile names

unified2: append open instead of trucate open so that in case we rotate within a second we don't overwrite files. Instead we violate the limit.

flow: only BUG_ON use_cnt in flows when compiled with debug-validation

cleanup flowtimeout threadvars retrieval +
throw back pseudo pkt back to packetpool inside flow timeout.

stream: send eof to app layer from stream end pkt if necessary

Wait until both sides close the TCP connection before initiating cleanup

Update docs from wiki

Update changelog for 1.4rc1

unix runmode: fix error handling.

If 'output-dir' argument was not given it was possible to reach a
possibly problematic condition.

Remove useless code.

fix logic error in sanity check

Add removal safe TAILQ iterator.

TAILQ_FOREACH macro was not safe for element removal as it was
accessing the next element in case of a free. This patch is inspired
by Linux list handling and provide a new macro TAILQ_FOREACH_SAFE.
This macro is removal safe and only differs by a last argument being
a temporaty pointer to an element.

prelude: don't build string objet for NULL string

prelude_string_set_ref don't like when it is called with a NULL
parameter. This patch adds check for NULL value. This is formally
good as there is no use of a NULL description.

Feature 638: Display DAG drop counts on exit; add DAG packet and drop stats to live stats.

Fix length check on user-agent header

Add User-Agent header content to file metadata

warn users that we don't support content strings whose length's > 255.

Initialize flow_manager_mutex

fix for bug #526.

Insert pseudo packet under low load conditions to complete rule swap.
This is necessary when we use autofp active packets where most packets
would be sent to the first queue under low load conditions.

clang: make atomics work

Fix detection of spin locks supported. Clean up how we handle falling back to mutex if spinlocks aren't supported.

host: suppress double memory clear

HostFree() is calling HostClearMemory() so calling HostClearMemory()
before HostFree() is useless.

unix-socket: cleanup host table instead of destroying it

This patch should fix the bug #637. Between pcap files, it uses a
new function HostCleanup() to clear tag and threshold on host with
an IP regputation. An other consequence of this modification is
that Host init and shutdown are now init and shutdown unconditionaly.

host: don't destroy reference counter

The reference counter should not be destroyed in HostClearMemory()
as the host can be reused directly (without going through Init
function).

pfring: fix build failure

configure: improve message about pkg-config usage

This patch improve the error message when luajit libraries are not
found. It displays information about the possibility to use
PKG_CONFIG_PATH or the dedicated configure options.

Temporary fix for bug #599.

Treat sigs with negated addresses as non ip-only.

This fix exposes bug #608, which results in 2 failed unittest which
have now been disabled by this commit.  Would be reenabled when we
have #608 fix in.

unittest to show failure for bug #599.

http: add event for libhtp detection of request port not matching tcp port.

pcap: fix windows commandline mangling win device string

clang: fix warnings when debug is enabled

reputation: don't give error if config is missing/commented out

Minor fixes

unix runmode: improve JSON handling

The jansson function with new in their name take care of ref
counting. The this patch fixes a memory leak.

unix-manager: fix error and JSON handling

unix-manager: memory handling fixes.

This patch adds unlikey() for memory error handling and fixes a few
error cases.

unix runmode: use unlikely for memory error

unix runmode: fix FIXME

unix runmode: fix JSON mem handling

json_decref was not correctly used through the code. This patch
fixes it.

unix manager: add static

configure: fix indent

Disable 'reload-rules' command.

unix-manager: doc and whitespace fixes

unix-socket: fix build when jansson not present

unix-command: add drop counter to iface-stat message

Add atomic counter for iface drop.

unix-command: add iface information command.

This patch adds two commands to unix-command. 'iface-list' displays
the list of interface which are sniffed by Suricata and 'iface-stat'
display the available statistics for a single interface. For now,
this is the number of packets and the number of invalid checksums.

af-packet: update runmode copyright date.

unix-manager: fix error treatment in accept phase

unix-manager: implement multi client support

This patch implements the support of multiple clients connected
at once to the unix socket.

suricatasc: improve reading when system is loaded

affinity: avoid to init structure twice

In unix socket mode, suricata was doing multiple init of the
structure. This was not needed and caused a memory leak in
mutex creation.

pcap-file: update affinity setting code

The affinity setting code was using the old API. This patch updates
to the new API and also adds a call to RunModeInitiaze() which was
missing in Single running mode.

unix-mode: fix return of pcap-file command

unix-socket: introduce API to add commands and tasks

This patch transforms the unix socket into a flexible system to
add commands (triggered by user) and taks (run periodically).
It introduces two functions UnixManagerRegisterCommand and
UnixManagerRegisterBackroundTask to registed commands and tasks.

Other part of Suricata can then declare a new command via a simple
call of the function. In the case of a command the caller is
responsible of building the answer message using Jansson API. The
sending of the message is made by unix manager code.

unix-manager: add unix command socket and associated script

This patch introduces a unix command socket. JSON formatted messages
can be exchanged between suricata and a program connecting to a
dedicated socket.
The protocol is the following:
 * Client connects to the socket
 * It sends a version message: { "version": "$VERSION_ID" }
 * Server answers with { "return": "OK|NOK" }
If server returns OK, the client is now allowed to send command.

The format of command is the following:
 {
   "command": "pcap-file",
   "arguments": { "filename": "smtp-clean.pcap", "output-dir": "/tmp/out" }
 }
The server will try to execute the "command" specified with the
(optional) provided "arguments".
The answer by server is the following:
 {
   "return": "OK|NOK",
   "message": JSON_OBJECT or information string
 }

A simple script is provided and is available under scripts/suricatasc. It
is not intended to be enterprise-grade tool but it is more a proof of
concept/example code.  The first command line argument of suricatasc is
used to specify the socket to connect to.

Configuration of the feature is made in the YAML under the 'unix-command'
section:
  unix-command:
    enabled: yes
    filename: custom.socket
The path specified in 'filename' is not absolute and is relative to the
state directory.

A new running mode called 'unix-socket' is also added.
When starting in this mode, only a unix socket manager
is started. When it receives a 'pcap-file' command, the manager
start a 'pcap-file' running mode which does not really leave at
the end of file but simply exit. The manager is then able to start
a new running mode with a new file.

To start this mode, Suricata must be started with the --unix-socket
 option which has an optional argument which fix the file name of the
socket. The path is not absolute and is relative to the state directory.

THe 'pcap-file' command adds a file to the list of files to treat.
For each pcap file, a pcap file running mode is started and the output
directory is changed to what specified in the command. The running
mode specified in the 'runmode' YAML setting is used to select which
running mode must be use for the pcap file treatment.

This requires modification in suricata.c file where initialisation code
is now conditional to the fact 'unix-socket' mode is not used.

Two other commands exists to get info on the remaining tasks:
 * pcap-file-number: return the number of files in the waiting queue
 * pcap-file-list: return the list of waiting files
'pcap-file-list' returns a structured object as message. The
structure is the following:
 {
  'count': 2,
  'files': ['file1.pcap', 'file2.pcap']
 }

tm-threads: add TM_ECODE_DONE state

This patch adds a nex return state which can be used by threads
to warn that a task has been done. In this case, suricata does not
leave.

filestore: create file store directory if needed

This patch modifies the file store system to have it create the
file store directory if needed. It dos not create the full
directory tree as the parent directory must have already been
created.

counters: management cpu set was set twice

Setting the management CPU set on perf threads is already done in
the TmThreadCreateMgmtThread() function used to create the threads.

pcap-file: free thread var at deinit.

tm-threads: fix potential access to NULL pointer.

counter: defensive set to NULL in free.

stream-tcp: fix double call to debug print function

Added parentheses to fix Eclipse static code analysis
Fixed bug in action priority (REJECT_DST had lowest prio)

Fixed missing "|" in "||" operation

Added parenthesis for right operation order

Added return value to non-void function with "forever"-loop to fit
Eclipse static code analysis

Added right return values to non-void functions with "forever" loop
to fix Eclipse static code analysis

Fixes with missing return value in main function

list-keyword: detect non built keyword

This patch update the glafs list to be able to indicate that a
flag is not supported. This information is used by list-keyword to
display information to the user.

configure: use pkg-config for luajit

If luajit includes or libs is not set in configure, we fallback to
pkg-config output.

configure: exit if luajit header are not found but build ask

luajit: no link with HTTP when not build.

Even when not built-in, luajit is not linked with HTTP.

Add documentation url in list-keyword output.

The output of the list-keyword is modified to include the url to
the keyword documentation when this is available. All documented
keywords should have their link set.

list-keyword can be used with an optional value:
 no option or short: display list of keywords
 csv: display a csv output on info an all keywords
 all: display a human readable output of keywords info
 $KWD: display the info about one keyword.

yaml: fix typo

suricata: add information about BPF filter usage

suricata: add '-V' info to usage message.

suricata: add build-info command to usage message.