detect-icode: implement as u8 hash prefilter

detect-itype: implement as u8 hash prefilter

detect-id: implement prefilter

detect-icode: implement prefilter

detect-itype: implement prefilter

detect-ttl: implement prefilter

detect-seq: implement prefilter

detect-flow: implement prefilter

prefilter: implement basic prefilter priority order

detect-fragoffset: implement prefilter

detect analyzer: give minimal prefilter info

detect-dsize: enable prefilter support

Enable prefilter support for the dsize keyword.

prefilter: implement fragbits

prefilter: engine for ack rules

Rules for the 'ack' keyword are uncommon, but if used inspected
against almost every packet.

prefilter: engine for tcp flags keyword

If there are many rules for TCP flags these rules would be inspected
against each TCP packet. Even though the flags check is not expensive,
the combined cost of inspecting multiple rules against each and every
packet is high.

This patch implements a prefilter engine for flags. If a rule group
has rules looking for specific flags and engine for that flag or
flags combination is set up. This way those rules are only inspected
if the flag is actually present in the packet.

profiling: support prefilter engines

prefilter: intro common engine for u8 matches

prefilter: common funcs for packet header prefilters

prefilter: show prefilter capability in --list-keywords

prefilter: implement prefilter keyword

Introduce prefilter keyword to force a keyword to be used as prefilter.

e.g.
alert tcp any any -> any any (content:"A"; flags:R; prefilter; sid:1;)
alert tcp any any -> any any (content:"A"; flags:R; sid:2;)
alert tcp any any -> any any (content:"A"; dsize:1; prefilter; sid:3;)
alert tcp any any -> any any (content:"A"; dsize:1; sid:4;)

In sid 2 and 4 the content keyword is used in the MPM engine.
In sid 1 and 3 the flags and dsize keywords will be used.

detect cleanup: remove sgh mpm_ctx pointers

sgh: remove unused flags

tls: mpm prefilter engines

smtp file_data: mpm prefilter engine

http_raw_header: mpm prefilter engine

Register for both regular headers and trailer.

http_server_body / file_data: mpm prefilter engine

http_client_body: mpm prefilter engine

http_headers: mpm prefilter engines

Register for both regular headers and trailers.

http_stat_code: mpm prefilter engine

http_stat_msg: mpm prefilter engine

http_raw_host: mpm prefilter engine

http_host: mpm prefilter engine

http_user_agent: mpm prefilter engine

http_cookie: mpm prefilter engine

http_raw_uri: mpm prefilter engine

dns_query: mpm prefilter engine

packet/stream: mpm prefilter engine

http_method: mpm prefilter engine

http_uri: mpm prefilter engine

Inspect partial request line as well.

prefilter: introduce prefilter engines

Introduce abstraction layer for prefilter engines.

detect: rename SignatureNonMpmStore

New name is SignatureNonPrefilterStore to reflect that it's not just
about MPM anymore.

detect: rename non_mpm lists/vars to non_pf

Rename to non_pf: non prefilter.

prefilter: rename PatternMatcherQueue datatype

In preparation of the introduction of more general purpose prefilter
engines, rename PatternMatcherQueue to PrefilterRuleStore. The new
engines will fill this structure a similar way to the current mpm
prefilters.

mpm: remove Cleanup API call

It's unused by all of the implementations.

detect-fragoffset: minor cleanup

uricontent: remove left over func decl

mpm tls: remove unused function args

mpm dns query: remove unused function args

mpm stat code: remove unused function args

mpm stat msg: remove unused function args

mpm ua: remove unused function args

mpm cookie: remove unused function args

mpm raw host: remove unused function args

mpm host: remove unused function args

mpm method: remove unused function args

mpm raw uri: remove unused function args

mpm uri: remove unused function args

detect-parse: add new func to get last sigmatch

Add SigMatchGetLastSM which simply returns the very last SM added
to the signature.

Minor cleanups.

doc: reorganize hyperscan guide

doc: improve tuning/perf docs

doc: fix ET example URL

doc: improve commandline options

output-json-flow: display bypass method

In the case of a bypassed flow we add a 'bypass' key that can
be 'local' or 'capture'. This will allow the user to know if
capture bypass method is failing by looking at the 'bypass' key.

flow: add timeout for local bypass

This adds a new timeout value for local bypassed state. For user
simplication it is called only `bypassed`. The patch also adds
a emergency value so we can clean bypassed flows a bit faster.

flow: discard packets belonging to bypassed flows

flow: downgrade to local bypass if we see packets

If we see packets for a capture bypassed flow after some times, it
means that the capture method is not handling correctly the bypass
so it is better to switch to local bypass method.

flow: update lastts in FlowHandlePacketUpdate

This allows to make it conditional to the state of packet and
then trigger modified behavior.

filestore: avoid conflict with bypass keyword

If a packet triggers a rule which contains both
bypass and filestore keywords,
it won't be stored since it's not inspected.

To avoid that, when a rule containing filestore keyword
we make sure that also bypass keyword is present.

detect: add bypass keyword

This adds a new keyword which permits to call the
bypass callback when a sig is matched.

The callback must be called when the match of the sig
is complete.

flow: bypass encrypted and after stream depth flow

This patch activates bypass for encrypted flow and for flow
that have reached stream depth on both side.

For encrypted flow , suricata is stopping the inspection so
we can just get it out via bypass. The same logic apply
for flow that have reached the stream depth.

For a basic test of feature, use the following ruleset:

```
table ip filter {
chain output {
type filter hook output priority 0; policy accept;
ct mark 0x1 counter accept
oif lo counter queue num 0
}

chain connmark_save {
type filter hook output priority 1; policy accept;
mark 0x1 ct mark set mark counter
ct mark 0x1 counter
}
}
```

And use bypass mark and mask of 1 in nfq configuration. Then you
can test the system by scp big file to 127.0.0.1. You can also
use iperf to measure the performance on localhost. It is recommended
to lower the MTU to 1500 to get something more realistic by increasing
the number of packets..

stream-tcp: enable bypass setting

This permits to enable/disable in suricata.yaml
and the bypass function will be called
when stream.depth is reached.

nfq: introduce bypass function

decode: implement bypass function

Call the packet bypass callback if necessary and update the flow
state. In case of failure we switch to local bypassed state and set
capture bypassed state if the callback is successful.

flow: force reassembly for bypassed flows

As capture method like nfq will cut both side of the flow instantly
we will not get the hack for most data which have been received. So
it is better to force reassembly to be sure to get the timeout of
the entry.

flow: get bypass info in get used flow function

flow: add pruned bypassed flow counter

flow: display info about bypass in log

flow: add bypassed states

This patch adds two new states to the flow:
* local bypass: for suricata only bypass, packets belonging to
a flow in this state will be discard fast
* capture bypass: capture method is handling the bypass and suricata
will discard packets that are currently queued

A bypassed state to flow that will be set on flow when a bypass
decision is taken. In the case of capture bypass this will allow
to remove faster the flow entry from the flow table instead of
waiting for the "established" timeout.

packet: add API for bypass

doc: remove/cleanup 'guides'

doc: fix lua keyword name

doc: update what is suricata section

doc: commandline improvements

doc: move drop privs into configuration

doc: bundle pre-built man page in distribution

doc: rename to 'Suricata User Guide'

doc: move snort compat to rule chapter

doc: make target for pdf, and suricata.1 shortcut

doc: shorten some paths to satisfy distcheck

Long paths were being dropped from the source package.

doc: list files/directories in EXTRA_DIST

So files get included in the distribution and pass
make distcheck.

doc: get Suricata version from autoconf vars

doc: use - instead of _ in filenames for consistency

doc: link up hyperscan and packet capture

doc: expose variables for substition in docs

doc: minimal man page: suricata.1

doc: hook sphinx into build

doc: packet capture: sync up with wiki

doc: dns: sync up with wiki

doc: flow:not_established not supported

docs: sync up to recent redmine