counters: use ptr to name instead of copy

All counters have hardcoded names, so copies are not needed.

counters: don't run if no counters have been registered

counters: work around unix-socket init issues

counters: make threads cleanup all memory

counters: clean up global context

counters: turn flow.memuse into a global counter

counters: make DNS counters globals

counters: make tcp.memuse a global counter

http: make http.memuse a global counter

http.memcap as well.

counters: remove references to 'perf' counters

counters: remove last and now unused tm_name reference

counters: remove old unix socket json logic

counters: minor internal API cleanups

counters: rename unparsable SCPCAElem to StatsLocalCounter

counters: minor header cleanup

counters: remaining s/SCPerf/Stats/g

counters: s/SCPerfPrivateContext/StatsPrivateThreadContext/g

counters: s/SCPerfPublicContext/StatsPublicThreadContext/g

counters: various renames and cleanups

counters: s/SCPerfCounterSetUI64/StatsSetUI64/g

counters: s/SCPerfCounterIncr/StatsIncr/g

counters: s/SCPerfCounterAddUI64/StatsAddUI64/g

counters: clean up defines

counters: rename register API calls

Also remove 'type' parameter which was always the same.

log-stats: make global/threads logging configurable

stats: support per thread stats in json output

Default is only to output totals. Optionally per thread can be added.

Both can be enabled together.

stats json: replace strndup

strndup is a banned function.

stats-json: fixes and improvements

Use proper LogFileCtx and MemBuffer handling so we can have multiple
loggers active at the same time.

Change 'date' field to timestamp, and use ISO notation to make it
the same as the other JSON outputs.

eve-log: stats logging code cleanup.

eve-log: add JSON stats logging

Support for counters in stats.log in eve output JSON stream.

counters: pass per thread stats to output api

As well as the global (merged) stats.

counters: rename widely used pctmi var to sts (stats thread store)

counters: call global counters funcs

counters: split API init

Split into early ctx initialization and post-config setup.

counters: start using Stats prefix

counters: simplify and speedup counters sync

counters: remove threadvars arg from SCPerfAddToClubbedTMTable

counters: remove thread module name from counters API

stream: make tcp.reassembly_memuse counter global

Fixes bugs #632 and #1178

counters: global counters registration

Fix harmless typo in IPOnlyCIDRItemNew's SCReturnPtr use

counters: remove unused description

counters: merge counters from threads for output

Merge counters so the table contains combined values from counters
from each thread.

Use global counter id's, track them in a hash.

Rename SCPCAElem members

Fix and improve average counters

counters: remove unused public API calls and make them private

counters: make SCPerfSetupPrivate a function

counters: minor cleanups

counters: introduce SCPerfSetupPrivate for thread setup

counters: make threadvars::perf_private_ctx static

Update SCPerfGetAllCountersArray and add a UT workaround.

counters: SCPerfGetLocalCounterValue cleanup

Return u64, update arguments.

counters: remove references to SCPerfCounterAddDouble

They were all in comments anyway.

counters: make increment call take threadvars

This hides the implementation from the caller.

counters: threadvars s/sc_perf_pca/perf_private_ctx/g

counters: rename threadvars public counters

counters: s/SCPerfContext/SCPerfPublicContext/g

counters: s/SCPerfCounterArray/SCPerfPrivateContext/g

Goal is to make it's purpose clear.

counters: minor cleanups

suri-graphite: add ouput to file option

The --ooutput option allows to write the stats to a file given as
argument the format used is JSON for easy parsing.

suri-graphite: add daemonization capability

You can now use -d or --daemon to daemonize the process.

suri-graphite: fix port option

If port is specified on command line we need to convert it as an
integer before using it as argument to connect.

logfile: rename ALERT_ types to LOGFILE_TYPE_

output-json: suppress global variable

It uses the new type field in the LogFileCtx instead.

This fixes the problem of not being able to use two eve-json
instance with different logging methods.

log file: add type flag

It will be used to store if the file is syslog or a real file.

suricata.yaml: fix the name of EVE module

It is netflow and not newflow.

output-json: fix type of data parameter

The cast of data to AlertJsonThread was not correct as the real
type of the void pointer is a OutputJsonCtx. This was working by
luck because they both have a file_ctx as first element.

Feature #1440: support wildcards in rule filenames

Fix rcode parsing, as noticed by Coverity.

Without support for OPT RR from RFC6891 (Extension mechanisms for DNS)
values of RCODE above 15 are not possible.  Remove dead code which will
never match.

conf - process includes even if not at root node.

radix-tree - prevent out of bounds array access

An IPv6 entry specified before an IPv4 entry on the host-os-policy
table can cause the stream byte array to be access one byte after
the end of the allocated memory at util-radix-tree.c:578.

Bug 1281 - Add tests for rule content of lengths > 255.

Bug 1281 - Accept rule content with lengths greater than 255.

alert-json: fix stream logging for IPS mode

Switch direction in IPS mode.

threads: add untimed control cond call

The control conditions so far could only do timed waits, not normal
waits.

detect: minor cleanups

parsing: s/strtok/strtok_r/g

Remove all strtok uses and replace them by strtok_r.

Do the same for Windows builds. Cygwin builds fine with strtok_r.

Add strtok to banned function list.

threading: explain purpose of threadvars mucond

flow: don't hold tv_root_lock longer than needed

Don't hold it longer than needed in shutting down.

threading: remove unused cmd thread create func

unix-manager: convert to thread module

Sync command thread for unix manager with other managers and make
it a full thread module.

reference/classification: call global init for unittests

reference: update pcre globals use

Don't update globals each time we parse, but instead do it once at
startup.

classification: update pcre globals use

Don't update globals each time we parse, but instead do it once at
startup.

reference: remove global

classification: remove global from parsing

Parsing code used a 'fd' global. Remove this.

stream: fix --disable-detection reassembly issue

Due to an error at initialization, the stream engine would not disable
'raw' reassembly automatically when --disable-detection was used.

This lead to segments not getting cleared from the segment lists.

stream: remove FLOW_NO_APPLAYER_INSPECTION flag

Instead, intruduce StreamTcpDisableAppLayer to disable app layer
tracking and reassembly. StreamTcpAppLayerIsDisabled can be used
to check it.

Replace all uses of FlowSetSessionNoApplayerInspectionFlag and
the FLOW_NO_APPLAYER_INSPECTION.

stream: remove FLOW_NO_APPLAYER_INSPECTION use from tests

stream: improve 'no app layer' handling

When the session/flow was flagged as 'no applayer inspect', which
could happen as a result various reasons, packets would still be
considered by the app layer reassembly.

When ACK'd, they would be removed again. Depending also on the raw
reassembly.

In very long sessions however, this meganism could fail leading to
virtually endlessly growing segment lists.

This patch makes sure that segments that come in on a 'no app layer'
session are tagged properly or even not added at all.

Use a new ssn flag instead of flow flag for no app tracking.

app-layer: add DisableAppLayer

Move various app layer related flag setting calls into a utility
function "DisableAppLayer"

app-layer: de_state optimization

Add API to bypass expensive TX list walks. This API call is optional.

Implement it for HTTP and DNS.

detect-state: update test to check state storing

detect-state: handle duplicate inspect/match

If for a packet we have a TX N that has detect state and a TX N+1 that
has no detect state, but does have 'progress', we have a corner case
in stateful detection.

ContinueDetection inspects TX N, but cannot flag the rule in the
de_state_sig_array as the next (TX N+1) has already started and needs
to be inspected. 'StartDetection' however, is then unaware of the fact
that ContinueDetection already inspected the rule. It uses the per
session 'inspect_id' that is only moved forward at the end of the
detection run.

This patch adds a workaround. It uses the DetectEngineThreadCtx::
de_state_sig_array to store an offset between the 'base' inspect_id
and the inspect_id that StartDetection should use. The data type is
limited, so if the offset would be too big, a search based fall back
is implemented as well.

detect: add de_state duplication check

Add test to check if no duplicate destate is created.

Only enabled with DEBUG_VALIDATION.

detect-state: fix state storing

Fix storing state and bypassing detection. Previously we'd store
on a match only, meaning that StartDetection would rerun often.

Make sure StartDetection only stores if there is something to store.

detect-http-header: improve buffer handling

Previously we could never be calling DetectEngineHHDGetBufferForTX
for TX N and then afterwards for TX N - 1. Due to changes in the
stateful detection code this is now possible.

This patch changes the buffer logic to take the 'inspect_id' as it's
base, instead of the first transaction that we are called with.

detect-events: set SIG_MASK_REQUIRE_*_STATE for events

Set SIG_MASK_REQUIRE_*_STATE for event rules to earlier discard
them.

engine-analysis: print fast_pattern summary

When using engine analysis for print fast_pattern stats, print a
short summary at the end containing per buffer:
- smallest fp
- biggest fp
- number of patterns
- avg fp len

lua: fix error handling

http: add event for leading spaces on request line

Libhtp will issue a warning in this case, so we can match on this.
This patch adds event, rule and unittest.

threads: fix missing unlock in error handling

If TmThreadsUnregisterThread was called with out of range 'id', a lock
would not be cleared after returning from the function.

** CID 1264421:  Missing unlock  (LOCK)
/src/tm-threads.c: 2186 in TmThreadsUnregisterThread()

Update changelog for 2.1beta4 release