doc: prefilter keyword and config

http_header: don't separately inspect trailer yet

Currently the regular 'Header' inspection code will run each time
after the HTTP progress moved beyond 'headers'. This will include
the trailers if there are any.

Leave the code in place as this model will change in the not too
distant future.

http_header: only run trailer mpm if we have trailers

http: track if request/response have trailers

prefilter: use array of engines per sgh

Instead of the linked list of engines setup an array
with the engines. This should provide better locality.

Also shrink the engine structure so that we can fit
2 on a cacheline.

Remove the FreeFunc from the runtime engines. Engines
now have a 'gid' (global id) that can be used to look
up the registered Free function.

prefilter: clean up setup code

detect: reshuffle keyword registration order

The order of keyword registration currently affects inspect engine
registration order and ultimately the order of inspect engines per
rule. Which in turn affects state keeping.

This patch makes sure the ordering is the same as with older
releases.

detect: clean up inspect engine registration

detect app-layer-event: clean up registration

Move engine and registration into the keyword file.

Register as 'ALPROTO_UNKNOWN' instead of per alproto. The
registration will only apply it to those rules that have
events set.

detect: remove empty app registration table

template_buffer: register inspect engine from keyword

file detect: register inspect engines from keyword

modbus detect: register inspect engine from keyword

dns detect: register inspect engine from keyword

tls_cert_issuer: register inspect engine from keyword

tls_cert_subject: register inspect engine from keyword

tls_sni: register inspect engine from keyword

http_stat_code: register inspect engine from keyword

http_stat_msg: register inspect engine from keyword

file_data: register inspect engine from keyword

http_raw_host: register inspect engine from keyword

http_host: register inspect engine from keyword

http_user_agent: register inspect engine from keyword

http_raw_uri: register inspect engine from keyword

http_cookie: register inspect engine from keyword

http_method: register inspect engine from keyword

http_raw_header: register inspect engine from keyword

http_header: register inspect engine from keyword

http_client_body: register inspect engine from keyword

http_uri: register inspect engine from keyword

http_response_line: register inspect engine from keyword

http_request_line: register inspect engine from keyword

detect-engine: new registration call

Make it more in line with MPM registration.

detect mpm: small optimization

detect-mpm: cleanup

detect-engine: improved inspect engines

Inspect engines are called per signature per sigmatch list. Most
wrap around DetectEngineContentInspection, but it's more generic.

Until now, the inspect engines were setup in a large per ipproto,
per alproto, per direction table. For stateful inspection each
engine needed a global flag.

This approach had a number of issues:
1. inefficient: each inspection round walked the table and then
   checked if the inspect engine was even needed for the current
   rule.
2. clumsy registration with global flag registration.
3. global flag space was approaching the need for 64 bits
4. duplicate registration for alprotos supporting both TCP and
   TCP (DNS).

This patch introduces a new approach.

First, it does away with the per ipproto engines. This wasn't used.

Second, it adds a per signature list of inspect engine containing
only those engines that actually apply to the rule.

Third, it gets rid of the global flags and replaces it with flags
assigned per rule per engine.

detect state: reorganize flags

List the common non-buffer specific flags on top.

http_response_body: implement keyword with mpm

Implemented as 'stickybuffer'.

http_request_line: implement keyword and mpm

Implemented as 'stickybuffer'.

Move all logic into the keyword file and remove bad tests that tested
URI instead of request line.

fast_pattern: register app layer mpms automatically

Allow for duplicate registrations for the same list. After the first
registration new calls will be ignored.

mpm: remove empty app_mpms table

tls: register mpm from keywords

dns_query: register mpm from keyword

http_cookie: register mpm from keyword

http_raw_host: register mpm from keyword

http_host: register mpm from keyword

http_client_body: register mpm from keyword

http_stat_code: register mpm from keyword

http_stat_msg: register mpm from keyword

file_data: register mpm from keyword

http_method: register mpm from keyword

http_raw_header: register mpm from keyword

http_user_agent: register mpm from keyword

http_header: register mpm from keyword

http_raw_uri: register mpm from keyword

http_uri: register mpm from keyword

mpm: add App Layer MPM registery

Register keywords globally at start up.

Create a map of the registery per detection engine. This we need because
the sgh_mpm_context value is set per detect engine.

Remove APP_MPMS_MAX.

detect: simplify content inspection types

Instead of a type per buffer type, pass just 3 possible types:
packet, stream, state.

The individual types weren't used. State is just there to be
not packet and not stream.

prefilter: cleanup and optimization

profiling: more prefilter profiling

detect: config opt to enable keyword prefilters

prefilter: in profiling print totals

prefilter: alloc CLS aligned memory

detect mpm: consider sgh direction when adding rules

prefilter: move payload engines into separate list

detect-ack: extra match support

detect-seq: extra match support

detect-ttl: extra match support

detect-id: extra match support

detect-dsize: extra match support

detect-flags: prefilter extra match support

detect-flow: prefilter extra match support

prefilter: add 'extra match' logic to packet engines

Many of the packet engines are very generic. Rules are generally more
limited.

A rule like 'alert tcp any any -> any 888 (flags:S; sid:1;)' would still
be inspected against every SYN packet in most cases (it depends a bit on
rule grouping though).

This extra match logic adds an additional check to these packet engines.
It can add a check based on alproto, source port and dest port. It uses
only one of these 3. Priority order is src port > alproto > dst port.

For the ports only 'single' ports are used at this time.

detect mpm: negated setup fix

detect-icmp-id: prefilter

detect-icmp-seq: prefilter

detect-icode: implement as u8 hash prefilter

detect-itype: implement as u8 hash prefilter

detect-id: implement prefilter

detect-icode: implement prefilter

detect-itype: implement prefilter

detect-ttl: implement prefilter

detect-seq: implement prefilter

detect-flow: implement prefilter

prefilter: implement basic prefilter priority order

detect-fragoffset: implement prefilter

detect analyzer: give minimal prefilter info

detect-dsize: enable prefilter support

Enable prefilter support for the dsize keyword.

prefilter: implement fragbits

prefilter: engine for ack rules

Rules for the 'ack' keyword are uncommon, but if used inspected
against almost every packet.

prefilter: engine for tcp flags keyword

If there are many rules for TCP flags these rules would be inspected
against each TCP packet. Even though the flags check is not expensive,
the combined cost of inspecting multiple rules against each and every
packet is high.

This patch implements a prefilter engine for flags. If a rule group
has rules looking for specific flags and engine for that flag or
flags combination is set up. This way those rules are only inspected
if the flag is actually present in the packet.

profiling: support prefilter engines

prefilter: intro common engine for u8 matches

prefilter: common funcs for packet header prefilters

prefilter: show prefilter capability in --list-keywords

prefilter: implement prefilter keyword

Introduce prefilter keyword to force a keyword to be used as prefilter.

e.g.
alert tcp any any -> any any (content:"A"; flags:R; prefilter; sid:1;)
alert tcp any any -> any any (content:"A"; flags:R; sid:2;)
alert tcp any any -> any any (content:"A"; dsize:1; prefilter; sid:3;)
alert tcp any any -> any any (content:"A"; dsize:1; sid:4;)

In sid 2 and 4 the content keyword is used in the MPM engine.
In sid 1 and 3 the flags and dsize keywords will be used.

detect cleanup: remove sgh mpm_ctx pointers

sgh: remove unused flags

tls: mpm prefilter engines

smtp file_data: mpm prefilter engine