json-stats: reorg threads and totals

Totals are now placed at the top level instead of under a "Total"
object.

Threads are placed under a "threads" object.

json-stats: log uptime in seconds, instead of a string

flowbits: strip leading and trailing spaces in name

Redmine bug 1481. Strip leading and trailing white space. Factor
out parsing from setup while in here.

Add Feature #1454. Generic eve-log prefix support.

decode: optimize DecodeThreadVars layout

Put common counters on the first cache line. Please the flow output
pointer last as it's use depends on the flow logging being enabled
and even then it's only called very rarely.

decode: add erspan counter

decode: add ERSPANv1 decoder

Only allow v1 to be parsed as thats what is tested.

Take vlan_id from the ERSPAN layer.

decode: clean up tunnel decode logic

Don't use mix of existing and custom types to indicate the next
layer.

detect: various header cleanups

detect: remove struct/union tricks from Signature

detect: remove unused match_flags from inspect engines

http: improve body pruning

Take inspect window into account.

http: fix body tracking

In HTTP body tracking for response bodies, pruning body chunks was broken
as the body parsing code wouldn't update HtpBody::body_parsed.

http-client-body: create unittest util func

logging: fix modules ordering during logging

With the previous code the order of the logging modules in the
YAML were determining which module was run first. This was not
wished and a consequences was that the EVE fileinfo module was
not correctly displaying the key 'stored' because it was
depending on a flag set alter by the filestore module.

This patch adds a priority file to the TmModule structure. The
higher the priority is set, the sooner the module is run in the
logging process. The RunModeOutput structure has also been
updated to contain the name of the original TmModule. Thus allowing
to define a priority for a RunModeOutput.

Currently only the filestore has a priority set. The rest of them is
set to the default value of zero.

output-lua: sync variable name with yaml

'script-dir' was used in the code but we had 'scripts-dir' in the
configuration file. This patch fixes it to 'scripts-dir'.

--set - handle spaces on either side of '='

Discard spaces when provided as part of --set around the '='. For
example, "val=key", "val = key", "val= key" and "val =key" are
all equivalent now.

conf - function declaration style

Use consistent style - function return type and declaration on
same line.

modbus: fix heap-buffer-overflow in Modbus parser

Modbus parser does not check length to extract/read data (read or write address,
quantity of data, etc.) that should be present.

In case of malformated data (invalid length in header), Modbus parser reads data
over the input data length.

Add check before extracting/reading data from input buffer to avoid head buffer
overflow.

counters: use ptr to name instead of copy

All counters have hardcoded names, so copies are not needed.

counters: don't run if no counters have been registered

counters: work around unix-socket init issues

counters: make threads cleanup all memory

counters: clean up global context

counters: turn flow.memuse into a global counter

counters: make DNS counters globals

counters: make tcp.memuse a global counter

http: make http.memuse a global counter

http.memcap as well.

counters: remove references to 'perf' counters

counters: remove last and now unused tm_name reference

counters: remove old unix socket json logic

counters: minor internal API cleanups

counters: rename unparsable SCPCAElem to StatsLocalCounter

counters: minor header cleanup

counters: remaining s/SCPerf/Stats/g

counters: s/SCPerfPrivateContext/StatsPrivateThreadContext/g

counters: s/SCPerfPublicContext/StatsPublicThreadContext/g

counters: various renames and cleanups

counters: s/SCPerfCounterSetUI64/StatsSetUI64/g

counters: s/SCPerfCounterIncr/StatsIncr/g

counters: s/SCPerfCounterAddUI64/StatsAddUI64/g

counters: clean up defines

counters: rename register API calls

Also remove 'type' parameter which was always the same.

log-stats: make global/threads logging configurable

stats: support per thread stats in json output

Default is only to output totals. Optionally per thread can be added.

Both can be enabled together.

stats json: replace strndup

strndup is a banned function.

stats-json: fixes and improvements

Use proper LogFileCtx and MemBuffer handling so we can have multiple
loggers active at the same time.

Change 'date' field to timestamp, and use ISO notation to make it
the same as the other JSON outputs.

eve-log: stats logging code cleanup.

eve-log: add JSON stats logging

Support for counters in stats.log in eve output JSON stream.

counters: pass per thread stats to output api

As well as the global (merged) stats.

counters: rename widely used pctmi var to sts (stats thread store)

counters: call global counters funcs

counters: split API init

Split into early ctx initialization and post-config setup.

counters: start using Stats prefix

counters: simplify and speedup counters sync

counters: remove threadvars arg from SCPerfAddToClubbedTMTable

counters: remove thread module name from counters API

stream: make tcp.reassembly_memuse counter global

Fixes bugs #632 and #1178

counters: global counters registration

Fix harmless typo in IPOnlyCIDRItemNew's SCReturnPtr use

counters: remove unused description

counters: merge counters from threads for output

Merge counters so the table contains combined values from counters
from each thread.

Use global counter id's, track them in a hash.

Rename SCPCAElem members

Fix and improve average counters

counters: remove unused public API calls and make them private

counters: make SCPerfSetupPrivate a function

counters: minor cleanups

counters: introduce SCPerfSetupPrivate for thread setup

counters: make threadvars::perf_private_ctx static

Update SCPerfGetAllCountersArray and add a UT workaround.

counters: SCPerfGetLocalCounterValue cleanup

Return u64, update arguments.

counters: remove references to SCPerfCounterAddDouble

They were all in comments anyway.

counters: make increment call take threadvars

This hides the implementation from the caller.

counters: threadvars s/sc_perf_pca/perf_private_ctx/g

counters: rename threadvars public counters

counters: s/SCPerfContext/SCPerfPublicContext/g

counters: s/SCPerfCounterArray/SCPerfPrivateContext/g

Goal is to make it's purpose clear.

counters: minor cleanups

suri-graphite: add ouput to file option

The --ooutput option allows to write the stats to a file given as
argument the format used is JSON for easy parsing.

suri-graphite: add daemonization capability

You can now use -d or --daemon to daemonize the process.

suri-graphite: fix port option

If port is specified on command line we need to convert it as an
integer before using it as argument to connect.

logfile: rename ALERT_ types to LOGFILE_TYPE_

output-json: suppress global variable

It uses the new type field in the LogFileCtx instead.

This fixes the problem of not being able to use two eve-json
instance with different logging methods.

log file: add type flag

It will be used to store if the file is syslog or a real file.

suricata.yaml: fix the name of EVE module

It is netflow and not newflow.

output-json: fix type of data parameter

The cast of data to AlertJsonThread was not correct as the real
type of the void pointer is a OutputJsonCtx. This was working by
luck because they both have a file_ctx as first element.

Feature #1440: support wildcards in rule filenames

Fix rcode parsing, as noticed by Coverity.

Without support for OPT RR from RFC6891 (Extension mechanisms for DNS)
values of RCODE above 15 are not possible.  Remove dead code which will
never match.

conf - process includes even if not at root node.

radix-tree - prevent out of bounds array access

An IPv6 entry specified before an IPv4 entry on the host-os-policy
table can cause the stream byte array to be access one byte after
the end of the allocated memory at util-radix-tree.c:578.

Bug 1281 - Add tests for rule content of lengths > 255.

Bug 1281 - Accept rule content with lengths greater than 255.

alert-json: fix stream logging for IPS mode

Switch direction in IPS mode.

threads: add untimed control cond call

The control conditions so far could only do timed waits, not normal
waits.

detect: minor cleanups

parsing: s/strtok/strtok_r/g

Remove all strtok uses and replace them by strtok_r.

Do the same for Windows builds. Cygwin builds fine with strtok_r.

Add strtok to banned function list.

threading: explain purpose of threadvars mucond

flow: don't hold tv_root_lock longer than needed

Don't hold it longer than needed in shutting down.

threading: remove unused cmd thread create func

unix-manager: convert to thread module

Sync command thread for unix manager with other managers and make
it a full thread module.

reference/classification: call global init for unittests

reference: update pcre globals use

Don't update globals each time we parse, but instead do it once at
startup.

classification: update pcre globals use

Don't update globals each time we parse, but instead do it once at
startup.