unix runmode: improve JSON handling

The jansson function with new in their name take care of ref
counting. The this patch fixes a memory leak.

unix-manager: fix error and JSON handling

unix-manager: memory handling fixes.

This patch adds unlikey() for memory error handling and fixes a few
error cases.

unix runmode: use unlikely for memory error

unix runmode: fix FIXME

unix runmode: fix JSON mem handling

json_decref was not correctly used through the code. This patch
fixes it.

unix manager: add static

configure: fix indent

Disable 'reload-rules' command.

unix-manager: doc and whitespace fixes

unix-socket: fix build when jansson not present

unix-command: add drop counter to iface-stat message

Add atomic counter for iface drop.

unix-command: add iface information command.

This patch adds two commands to unix-command. 'iface-list' displays
the list of interface which are sniffed by Suricata and 'iface-stat'
display the available statistics for a single interface. For now,
this is the number of packets and the number of invalid checksums.

af-packet: update runmode copyright date.

unix-manager: fix error treatment in accept phase

unix-manager: implement multi client support

This patch implements the support of multiple clients connected
at once to the unix socket.

suricatasc: improve reading when system is loaded

affinity: avoid to init structure twice

In unix socket mode, suricata was doing multiple init of the
structure. This was not needed and caused a memory leak in
mutex creation.

pcap-file: update affinity setting code

The affinity setting code was using the old API. This patch updates
to the new API and also adds a call to RunModeInitiaze() which was
missing in Single running mode.

unix-mode: fix return of pcap-file command

unix-socket: introduce API to add commands and tasks

This patch transforms the unix socket into a flexible system to
add commands (triggered by user) and taks (run periodically).
It introduces two functions UnixManagerRegisterCommand and
UnixManagerRegisterBackroundTask to registed commands and tasks.

Other part of Suricata can then declare a new command via a simple
call of the function. In the case of a command the caller is
responsible of building the answer message using Jansson API. The
sending of the message is made by unix manager code.

unix-manager: add unix command socket and associated script

This patch introduces a unix command socket. JSON formatted messages
can be exchanged between suricata and a program connecting to a
dedicated socket.
The protocol is the following:
 * Client connects to the socket
 * It sends a version message: { "version": "$VERSION_ID" }
 * Server answers with { "return": "OK|NOK" }
If server returns OK, the client is now allowed to send command.

The format of command is the following:
 {
   "command": "pcap-file",
   "arguments": { "filename": "smtp-clean.pcap", "output-dir": "/tmp/out" }
 }
The server will try to execute the "command" specified with the
(optional) provided "arguments".
The answer by server is the following:
 {
   "return": "OK|NOK",
   "message": JSON_OBJECT or information string
 }

A simple script is provided and is available under scripts/suricatasc. It
is not intended to be enterprise-grade tool but it is more a proof of
concept/example code.  The first command line argument of suricatasc is
used to specify the socket to connect to.

Configuration of the feature is made in the YAML under the 'unix-command'
section:
  unix-command:
    enabled: yes
    filename: custom.socket
The path specified in 'filename' is not absolute and is relative to the
state directory.

A new running mode called 'unix-socket' is also added.
When starting in this mode, only a unix socket manager
is started. When it receives a 'pcap-file' command, the manager
start a 'pcap-file' running mode which does not really leave at
the end of file but simply exit. The manager is then able to start
a new running mode with a new file.

To start this mode, Suricata must be started with the --unix-socket
 option which has an optional argument which fix the file name of the
socket. The path is not absolute and is relative to the state directory.

THe 'pcap-file' command adds a file to the list of files to treat.
For each pcap file, a pcap file running mode is started and the output
directory is changed to what specified in the command. The running
mode specified in the 'runmode' YAML setting is used to select which
running mode must be use for the pcap file treatment.

This requires modification in suricata.c file where initialisation code
is now conditional to the fact 'unix-socket' mode is not used.

Two other commands exists to get info on the remaining tasks:
 * pcap-file-number: return the number of files in the waiting queue
 * pcap-file-list: return the list of waiting files
'pcap-file-list' returns a structured object as message. The
structure is the following:
 {
  'count': 2,
  'files': ['file1.pcap', 'file2.pcap']
 }

tm-threads: add TM_ECODE_DONE state

This patch adds a nex return state which can be used by threads
to warn that a task has been done. In this case, suricata does not
leave.

filestore: create file store directory if needed

This patch modifies the file store system to have it create the
file store directory if needed. It dos not create the full
directory tree as the parent directory must have already been
created.

counters: management cpu set was set twice

Setting the management CPU set on perf threads is already done in
the TmThreadCreateMgmtThread() function used to create the threads.

pcap-file: free thread var at deinit.

tm-threads: fix potential access to NULL pointer.

counter: defensive set to NULL in free.

stream-tcp: fix double call to debug print function

Added parentheses to fix Eclipse static code analysis
Fixed bug in action priority (REJECT_DST had lowest prio)

Fixed missing "|" in "||" operation

Added parenthesis for right operation order

Added return value to non-void function with "forever"-loop to fit
Eclipse static code analysis

Added right return values to non-void functions with "forever" loop
to fix Eclipse static code analysis

Fixes with missing return value in main function

list-keyword: detect non built keyword

This patch update the glafs list to be able to indicate that a
flag is not supported. This information is used by list-keyword to
display information to the user.

configure: use pkg-config for luajit

If luajit includes or libs is not set in configure, we fallback to
pkg-config output.

configure: exit if luajit header are not found but build ask

luajit: no link with HTTP when not build.

Even when not built-in, luajit is not linked with HTTP.

Add documentation url in list-keyword output.

The output of the list-keyword is modified to include the url to
the keyword documentation when this is available. All documented
keywords should have their link set.

list-keyword can be used with an optional value:
 no option or short: display list of keywords
 csv: display a csv output on info an all keywords
 all: display a human readable output of keywords info
 $KWD: display the info about one keyword.

yaml: fix typo

suricata: add information about BPF filter usage

suricata: add '-V' info to usage message.

suricata: add build-info command to usage message.

suricata: don't display msg in list-keyword mode.

In list-keywords and list-app-layer mode, suricata now only
displays the messages linked with the feature. This allow users
to redirect the output and easily work on it. For exemple, the
csv output will be easily imported into a spreadsheet.

suricata: update list-keyword command

This patch update the list-keyword command. Without any option,
the previous behavior is conserved. If 'all' is used as option,
suricata print a csv formatted output of keyword information:
name;features;description
If a keyword name is used as argument, suricata print a readable
message:
tls.subject
Features: state inspecting
Description: Match TLS/SSL certificate Subject field

rule analyser: display message for invalid signatures

engine-analyzer: fix typo in message

Listing of app layers does not depend on unittests

list-keywords: fix when not using default install

As we don't parse the YAML file when listing of keywords is asked,
suricata make a test on existence of the build-default directory.
So with a non standard (working) install (even a single configure
without option lead to a failure), the keyword listing fails
because the default logging directory does not exist.

rule analyser: add msg if rule is ipv4 or ipv6 only

reputation: report error if host table memcap reached. Work around compilation failure with atomic fallback code.

Host: ignore usecnt add/sub result. Expose HostPrintStats.

Simple IP reputation implementation

cygwin supports the thread cpu affinity code now

clang warning squashing

Silence compiler warnings found by clang

build: more cygwin cleanups

Fix use of byte swap function

build: reshuffle including headers to fix build on cygwin

undo setting exact version in configure.ac

Update changelog to reflect 1.4beta3 changes.

libhtp: updated bundled libhtp to 0.2.11

fix uninit var usage in hhd

logging: add warning if no output module is selected

If no daemon compatible logging module is selected, a message is
displayed to avoid the user to look like mad for messages.

install: create state dir with install-conf

suricata: don't exit if pidfile can't be created

suricata: display PID file name in case of error.

Add contrib dir and it's content to the dist. Bug 567

byte_jump: when from_beginning option is used, the number of bytes to convert should not be used in the jump. Bug 627.

pcap: add capture counters in stats.log.

This patch adds three counters to stats.log:
    capture.kernel_packets    | RxPcapwlan0               | 4218
    capture.kernel_drops      | RxPcapwlan0               | 0
    capture.kernel_ifdrops    | RxPcapwlan0               | 0
This patch meant to fix bug #625.

pkt-data: don't compile unittest unless unittests are enabled

build: more checking for includes

configure formatting fixes

build cleanup, build source files in alphabetical order

build cleanups

coccinelle: fix distcheck

distcheck is running run_check.sh from another directory and
run_check.sh was not ready for this.

minor misc changes: update htp ver, add htp ver to --build-info, clean up

Keyword pkt_data

backport oom fixes

This is a backport of
https://github.com/ironbee/libhtp/commit/9ea5e0e3e4f84f54914d10ee50f618aa575bafe1

napatech: treat malloc error

coccinelle: improve run_check

This patch adds two features to run_check.sh, it is now posssible
to specify a list of files to check:
 ./run_check.sh ../../src/suricata.c ../../src/detect.c
It is also possible to ask a review of the files modified by a commit.
To so simply put the SHA1 as argument
 ./run_check.sh HEAD
 ./run_check 6af7d5f
It is also possible to check all the files for an arbitrary range:
 ./run_check.sh origin/master..buildbot-fixes

Last improvement of this patch is to get a real error message in case
of problem as 2 is not redirected anymore to /dev/null.

coccinelle: add new correct case to error treatment

suricata: add daemon-directory config variable

It is now possible to use the 'daemon-directory' configuration
variable to specify the working directory of suricata in daemon
mode. This will permit to specify the place for core and other
related files.

suricata: avoid concurrent run in daemon mode

This patch creates a pid file per default and use it to avoid to be
able to run two Suricata. Separate pid file have to be provided to
be able to do it.

suricata: change dir to / in daemon mode.

By changing directory to /, we will not block the directory where
suricata has been started.

Refactor Napatech 3GD to just Napatech as Suricata is only going to support 3GD.

Signed-off-by: Matt Keeler <mk@npulsetech.com>

Remove Napatech 2GD support

Removed the Napatech 2GD support

runmode-napatech-3gd.c had an include from runmode-napatech.h which was erroneous and has been removed as well.

Signed-off-by: Matt Keeler <mk@npulsetech.com>

configure: fix small typo.

configure: improve march=native detection

clang is supposed to support march=native but if the CPU is too
recent for clang, this can cause an invalid detection of arch and
result in a incapability of clang to compile any binary.
This patch updates the test to try a compilation with march=native
when clang is the used compiler.

configure: differentiate gcc and clang options

The version checking was made similarly for clang and gcc. This
patch modifies this to check on compiler name. This way we can
avoid to set march=native which is not supported by clang on
some system.
At the same time, this fix the annoying warning about no-fp-tree
being unsupported by clang.

Remove unnecessary debug message

OpenBSD 5.2 build fixes, Unit test fix.

suricata: add run-as.user and run-as.group yaml var

This patch update the YAML to be able to specify the user or the
group to run Suricata as:
 run-as:
   user: suri
   group: suri

pcap: ref config according to threads count

yaml: document the threads setting in pcap section.

Silence compiler warning if napatech3 support is disabled

Napatech 3GD Support

For use with Network Cards from Napatech utilizing the 3GD driver/api.

    - Implemented new run modes in runmode-napatech-3gd.*
    - Implemented capture/decode threads in source-napatech-3gd.*
    - Integrated the new run modes and source into the build infrastructure.

    New configure switches
    --enabled-napatech-3gd : Turns on the NT 3GD support
    --with-napatech-3gd-includes : The directory containing the NT 3GD header files
    --with-napatech-3gd-libraries : The directory containing the NT 3GD libraries to link against.

    New CLI switch
    --napatech-3gd : Uses the Napatech 3GD run mode

    Runmodes Supported:
    - auto
    - autofp
    - workers

    Notes:
    - tested with 1 Gbps sustained traffic (no drops)

Signed-off-by: Matt Keeler <mk@npulsetech.com>

gcc: construct use for warning was too recent.