ParseSizeString - don't abort on unknown unit type.

host: handle timeout

Set expiration for regular hostbits keyword.

ippair: handle timeouts in the flow manager

Like host and defrag, handle timeouts of ippair in the first flow
manager thread.

ippair: implement basic timeout check

The only user is the xbits subsys, so it's timeout controls all.

hosts: consider hostbits/xbits status in timeout

Consider the host's xbits expiry status when checking the host for
timeout. If a single active non-expired bit is found, the host won't
be timeout just yet.

host: implement hostbits/xbits expire

ippair: implement xbits expiration

xbits: expire (first steps)

xbits: implement ip_src/ip_dst support

Just a wrapper for regular 'hostbits'.

hostbits: prepare for xbits integration

xbits: prepare for non-ippair support

vars: redo var name <-> idx handling

Can't use sm type anymore as multiple var carriers (host/flow/etc) will
all have xbits.

xbits: hostbits use xbits type

Make hostbits use xbits type.

xbit: move to util-var

We can reuse the type for hostbits and flowbits as well.

ippair: xbit implementation

detect xbits for ippair: initial implementation

hostbits: unittest cleanups

hostbits: allow for src/dst parameter

By default, the hostbit checks the 'src' host. By adding the dst option
the dst host is used instead.

hostbits: add more tests, include sigorder

hostbits: implement sigorder

Like with flowbits, make sure that 'set's are evaluated before
'isset's, etc.

detect: hostbits keyword

Per host bit similar to 'flowbits'.

Initial code that uses just the 'src' ip for the operations.

ippair: track ippairs, enable tests

prscript: rework option logic

Handle cleanly the case where user start docker handling command
without having the dependency installed. The help message does
now say:

```
  -d, --docker          use docker based testing
  -C, --create          create docker container (disabled)
  -s, --start           start docker container (disabled)
  -S, --stop            stop docker container (disabled)

You need to install Python docker module to enable docker container handling
options.
```

And running a disabled options says:

```
$ qa/prscript.py -s
You need to install python docker to use docker handling features.
```

prscript: fix error message in non local test

Indicate to user that non local test needs a github user.

prscript: improve command line

You can now directly access to docker related command:

 qa/prscript.py -C # create container
 qa/prscript.py -s # start container
 qa/prscript.py -S # stop container

The build option does not change:

 qa/prscript.pu -l -d MY_BRANCH # build test of branch MY_BRANCH

prscript: add notification system

If Python pynotify is installed, prscript can now send notification
via the -n flag.

prscript: improve wordings

prscript: suppress useless message

No build run faster than 2 seconds.

prscript: iterate on builds when checking status

This patch is changing the logic when using docker mode. We are
iterating over each builds so we know when one build is over in
the 5 seconds following the event instead of getting the result
when the builds that are checked before are others.

On OISF's build system, the two builds comes out in order so there
is no problem.

prscript: read buildbot config from source

This patch change the logic of the Docker buildbot system. The
buildbot configuration is now the one available in qa/docker
directory.

This way, developers can test features in docker buildbot that
could require some specific flags to be set. They just need to
edit the buildbot.cfg for instance to enable a new feature.

In the same way, the tested pcap files are the one which are in
the qa/docker/pcaps/ directory. So to test some private ones it is
enough to put them in that directory.

To take into consideration a buildbot.cfg modification or a new
pcap, it is enough to stop and restart the container:

 sudo qa/prscript.py -l -d -S master
 sudo qa/prscript.py -l -d -s master

This patch also fixes the container update issue. A local modification
to the buildbot will be kept. It is also fixing the issue when working
on old code that could possibly not support the same build flag as
the one of buildbot. Here the configuration will remains in sync.

prscript: add a comment on the SELinux issue

prscript: add docker handling support

You can now create the docker image necessary to run a
suricata builbot in docker. To do that you need to have
docker and python-docker installed on the system.

Then you can go to the qa directory.

You need to run once the creattion procedure:
 sudo ./prscript.py  -C -d master  -l
This will create a container named 'suri-buildbot'.

You can start it with:
 sudo ./prscript.py  -s -d master  -l

And stop it with:
 sudo ./prscript.py  -S -d master  -l

To start a test, you can do:
 ./prscript.py -d my_branch -l

prscript: refactor for docker

With the current work in progress on docker we need to update the
script to handle this case.

This patch adds two options:
 - -d to run in docker mode. In that case the build is started in
 the local dockerized buildbot instance
 - -l to not test the tested branch synchronization with github.

The -l option allows user to run a complete test without publishing
the code on github and without Internet access.

Duplicate rule ID.

DetectAddressParseString(): fix IPv6 address handling

prscript - fallback to json is simplejson not available.

rules: add app layer events rules

Some application layer events are defined but the corresponding
rules were not available in the rules directory.

runmodes: improve listing output

This patch removes some multiple line displayed before the
information about unix socket mode.

suricata.yaml: add missing mpm-algo

runmodes: fix typo in output

flow-manager: don't set cpu affinity twice

It is already set in the thread creation function.

stream: fix bad last_ack update leading to gaps

A bad last_ack update where it would be set beyond next_seq could
lead to rejection of valid segments and thus stream gaps.

Update tests to reflect new last_ack/next_seq behaviour.

detect-state: cleanups and comments

detect-state: use f->protomap instead of FlowGetProtoMapping(f->proto)

detect-flowbits: locking update

Make matches that can be in the POSTMATCH list aware of the lock hint.

detect-flowint: conditional locking

detect-state: handle 'post match' locking

The post match list was called with an unlocked flow until now.
However, recent de_state handling updates changed this. The stateful
detection code can now call the post match functions while keeping
the flow locked. The normal detection code still calls it with an
unlocked flow.

This patch adds a hint to the DetectEngineThreadCtx called
'flow_locked' that is set to true if the caller has already locked
the flow.

detect-flowint: fix unlocked flow access

Some of the access to the flow and to structures retrieved from the
flow was unlocked.

This patch changes the logic to be wrapped in lock calls.

detect-state: fix profiling

dns: optimize tx list walks

The detection engine and log engines can walk the tx list indirectly,
by looping AppLayerParserGetTx. This would lead to new list walks in
the DNS tx list though. Leading to bad performance.

This patch stores the last returned tx and uses that to determine if
the next tx is what we need next. If so, we can return that w/o list
walk.

detect-reload: enable unconditionally

Reloading is available unconditionally now.

detect-reload: 0 detect threads is no error

The reload code would consider 0 detect threads to be an error,
but it's not in case of unix socket mode.

unix-socket: implement reload-rules

Implement the reload-rules unix socket command. The unix command
thread signals the main thread to do the reload and it waits for
it to complete.

detect reload: load config

Load the YAML into a prefix "detect-engine-reloads.N" where N is the
reload counter. This way we can load the updated config w/o overwriting
the current one.

detect: remove config at prefix

Remove config at prefix when freeing a detect engine.

rule vars: support prefix

Support the detection engine's prefix when retrieving rule vars.

rule-vars: take detect engine as arg

detect:pass DetectEngineCtx to port parsing

Preparation for prefix handling in port parsing.

detect: pass DetectEngineCtx to address parsing

Preparation for prefix handling in address parsing.

detect: initialize detection engine by prefix

Initalize detection engine by configuration prefix.

    DetectEngineCtxInitWithPrefix(const char *prefix)

Takes the detection engine configuration from:
<prefix>.<config>

If prefix is NULL the regular config will be used.

Update sure that DetectLoadCompleteSigPath considers the prefix when
retrieving the configuration.

conf: add ConfYamlLoadFileWithPrefix

Add function to load a yaml file and insert it into the conf tree at
a specific prefix.

Example YAML:
somefile: myfile.txt

If loaded using ConfYamlLoadFileWithPrefix with prefix "myprefix", it
can be retrieved by the name of "myprefix.somefile".

detect: allow det_ctx->de_ctx to be NULL

When freeing det_ctx, allow de_ctx to be NULL.

detect: reload thread init cleanup

Rename the thread init function DetectEngineThreadCtxInitForLiveRuleSwap
to DetectEngineThreadCtxInitForReload and change it's logic to take the
new detection engine as argument and let it return the
DetectEngineThreadCtx or NULL on error.

The old approach used the thread init API format, but it wasn't used in
that way.

detect reload: allow master update during reload

Add DetectEngineReference, which takes a reference to a detect engine,
and make DetectEngineThreadCtxInitForLiveRuleSwap use it. This way
reload will not depend on master staying the same. This allows master
to be updated in between w/o affecting the reload that is in progress.

detect: remove old live reload implementation

Remove code that ran the reload in it's own thread. Simplify the
signal handling.

detect: move reload into main loop

Use new DetectEngineReload() function. It's called from the main loop
instead of it being spawned into it's own temporary thread. This greatly
simplifies the signal handling.

An added advantage is that this seems to improve the memory usage.

Related to bug #1358

detect: introduce 'minimal' detect engine

The minimal detect engine has only the minimal memory use and setup
time. It's to be used for 'delayed' detect where the first detection
engine is essentially empty.

The threads setup are also minimal.

threading: remove 'dummy' slot logic

Now that delayed detect is not using it anymore, the dummy logic
can be removed.

detect: unify delayed detect and reload

Instead of threading logic with dummy slots and all, use the regular
reload logic for delayed detect.

This means we pass a empty detect engine to the threads and then
reload (live swap) it as soon as the engine is running.

runmodes: remove DetectEngineCtx passing from API

No longer pass a pointer to the current detection engine to the
runmode API calls.

Note: breaks delayed detect. Will be fixed in a future commit.

unittests: add exception to detect engine setup

Add code to allow for unittests not following the complete api.

Update replace tests as they don't use the unittests runmode that
powers the workaround based on RunmodeIsUnittests().

detect: update detect engine management

Update detect engine management to make it easier to reload the detect
engine.

Core of the new approach is a 'master' ctx, that keeps a list of one or
more detect engines. The detect engines will not be passed to any thread
directly, but instead will only be accessed through the detect engine
thread contexts. As we can replace those atomically, replacing a detect
engine becomes easier.

Each thread keeps a reference to its detect context. When a detect engine
is replaced or removed, it's added to a free list. Once its reference
count reaches 0, it is freed.

suricatasc: allow for much longer response times

detect: no exit on reference/classification errors

Don't exit on errors during classification and reference parsing.

Add some suppression of error messages when in unittest mode.

detect: consolidate more setup into DetectEngineCtxInit

Loading of classifications, references and action order was done
unconditionally, so can be done in one place.

unix-command: fix duplicate registration error msg

Bug 1401: on midstream pickup, fix packet direction

On midstream SYN/ACK pickups, we would flip the direction of packets
after the first. This meant the first (pickup) packet's direction
was wrong.

This patch fixes that.

Bug 1417 - Record sequence nodes as sequences.

Nodes that are sequences weren't being recorded as such, causing
rules to fail to load.

Change sequence test name to reflect better what it tests, and
test that the sequence node is detected as a sequence.

detect-state: implement tx state reset for reload

In case of Detect Reload, we need to reset active tx' state.

detect-state: split flow and tx state

Use separate data structures for storing TX and FLOW (AMATCH) detect
state.

- move state storing into util funcs
- remove de_state_m
- simplify reset state logic on reload

modbus: tx de_state

smtp: tx de_state

dns: implement tx de_state

http: clean up tx destate at tx destroy

http: support per TX destate storage

app-layer: per tx destate

Add API calls for storing detection state in the TX.

detect-state: fix profiling

detect-state: various cleanups

detect-state: rip per sig detect out of ContinueDetect

detect-state: remove DeStateResetFileInspection

It was effectively unused.

detect-state: remove redundant code

detect-state: add helper to test state

Add little helper function StateIsValid() to test if the state
can be inspected safely.

Cleans up stateful detection loops.

detect-state: add helper to indicate last tx

Add little helper to indicate current tx is that last we have.

detect-state: cleanup ContinueDetection

Only lock f->de_state->m when we start to access it. So after
declaration and initialization of local vars.

detect-state: cleanup retvals

Use DETECT_ENGINE_INSPECT_SIG_* instead of 0, 1, 2 and 3.

modbus: shrink data structure

file: don't 'close' file if we need to track it

http: add inspection engine for http request line

No MPM though.

http: fix stat_msg and stat_code state tracking

Remove spinning PacketPoolWait

PacketPoolWait in autofp can wait for considerable time. Until now
it was essentially spinning, keeping the CPU 100% busy.

This patch introduces a condition to wait in such cases.

Atomically flag pool that consumer is waiting, so that we can sync
the pending pool right away instead of waiting for the
MAX_PENDING_RETURN_PACKETS limit.

drop json log: log out 'drop' signature

If no normal sig was logged as the 'drop' reason, try the stored
drop signature instead, this will also log out 'noalert' sigs.