doc: rules-meta small cleanup

doc: http sticky vs modifier

doc: move urilen to other uri keywords

doc: add minimal http request/response line sections

doc: only make sphinx warnings fatal on html/pdf

doc: manpage: add bugs and notes section

doc: manpage: add signals section

doc: break out command line options into a common doc

The command line options can now be consumed by the man page
and the user guide.

Some attempt was made to order the options from common/basic
progressing to advanced with some notion of options
grouped together.

doc: fix sphinx warnings

This involved removing documents that were intentionally
not referenced as they are not good candidates for the
user guide.

doc: fail on sphinx warnings

docs: include userguide.pdf in dist

changelog: update for 3.2beta1

cygwin: leave magic-file commented out in yaml

pcap-log: cleanup allocations at exit

Particularly in multi-mode, allocations made for each thread were
not being cleaned.

ASAN reports no leaks now on exit.

pcap-log config: sguil-base-dir -> dir and update comment

The code already looks for "dir" first instead of
"squil-base-dir", and already respects this configuration
parameter in other modes than the "sguil" mode.

Coda will still access "sguil-base-dir".

doc: bring in unix socket interaction from wiki

doc: attempt to parse version if not in environment

Should fix the version displayed on readthedocs.

unix-socket: don't try to change permissions on BSD

On BSD using fchmod on a socket is not supported and will result
in EINVAL.

bug 1353: don't cut off last char of unix path

pcre: disable JIT if RWX pages not supported

util: add facility to check for RWX page support

Some code won't work well when the OS doesn't allow RWX pages. This
page introduces a check for runtime evaluation of the OS' policy on
this.

Thanks to Shawn Webb from HardenedBSD for suggesting this solution.

flow-mgr: fix bypass counter registration

der: fix asan/valgrind errors in time parsing

tls-validity: fix memory handling

detect-tls-cert-validity: clean up unit tests

Remove locks, unnecessary function calls and conditional statements.

detect: add keyword tls_cert_valid

Add keyword to check if TLS certificate is valid.

detect-cert-validity: fix typos

detect: add keyword tls_cert_expired

Add keyword to check if TLS certificate is expired.

detect-tls-validity: use flags for modes

Use flags for modes to support using multiple modes at the same time.

yaml: improve stream-depth comments

file-store: add depth setting

When a rules match and fired filestore we may want
to increase the stream reassembly depth for this specific.

This add the 'depth' setting in file-store config,
which permits to specify how much data we want to reassemble
into a stream.

app-layer: use StreamTcpSetReassemblyDepth

This calls StreamTcpSetReassemblyDepth to set the stream depth
specified for the protocol.

modbus: set stream depth

Some protocol like modbus requires
a infinite stream depth because session
are kept open and we want to analyze everything.

Since we have a stream reassembly depth per stream,
we can also set a stream reassembly depth per proto.

app-layer-parser: add stream depth

This permits to set a stream depth value for each
app-layer.

By default, the stream depth specified for tcp is set,
then it's possible to specify a own value into the app-layer
module with a proper API.

stream: per TcpStream reassembly depth

enip: fix scan-build warnings

detect-cipservice.c:161:29: warning: Assigned value is garbage or undefined
    cipserviced->cipservice = input[0];
                            ^ ~~~~~~~~
detect-cipservice.c:162:27: warning: Assigned value is garbage or undefined
    cipserviced->cipclass = input[1];
                          ^ ~~~~~~~~
detect-cipservice.c:163:31: warning: Assigned value is garbage or undefined
    cipserviced->cipattribute = input[2];
                              ^ ~~~~~~~~
3 warnings generated.

enip: parsing and tests cleanup

enip/cip: improve output & style

Remove printf, remove \n from SCLogDebug. Add SCLogError for
rule parsing issues.

Fix various style issues

doc: include enip page

doc: reorder rule docs

enip: improve yaml

enip/cip: register inspect engines

Adding SCADA EtherNet/IP and CIP protocol support

Add support for the ENIP/CIP Industrial protocol

This is an app layer implementation which uses the "enip" protocol
and "cip_service" and "enip_command" keywords

Implements AFL entry points

doc: prefilter keyword and config

http_header: don't separately inspect trailer yet

Currently the regular 'Header' inspection code will run each time
after the HTTP progress moved beyond 'headers'. This will include
the trailers if there are any.

Leave the code in place as this model will change in the not too
distant future.

http_header: only run trailer mpm if we have trailers

http: track if request/response have trailers

prefilter: use array of engines per sgh

Instead of the linked list of engines setup an array
with the engines. This should provide better locality.

Also shrink the engine structure so that we can fit
2 on a cacheline.

Remove the FreeFunc from the runtime engines. Engines
now have a 'gid' (global id) that can be used to look
up the registered Free function.

prefilter: clean up setup code

detect: reshuffle keyword registration order

The order of keyword registration currently affects inspect engine
registration order and ultimately the order of inspect engines per
rule. Which in turn affects state keeping.

This patch makes sure the ordering is the same as with older
releases.

detect: clean up inspect engine registration

detect app-layer-event: clean up registration

Move engine and registration into the keyword file.

Register as 'ALPROTO_UNKNOWN' instead of per alproto. The
registration will only apply it to those rules that have
events set.

detect: remove empty app registration table

template_buffer: register inspect engine from keyword

file detect: register inspect engines from keyword

modbus detect: register inspect engine from keyword

dns detect: register inspect engine from keyword

tls_cert_issuer: register inspect engine from keyword

tls_cert_subject: register inspect engine from keyword

tls_sni: register inspect engine from keyword

http_stat_code: register inspect engine from keyword

http_stat_msg: register inspect engine from keyword

file_data: register inspect engine from keyword

http_raw_host: register inspect engine from keyword

http_host: register inspect engine from keyword

http_user_agent: register inspect engine from keyword

http_raw_uri: register inspect engine from keyword

http_cookie: register inspect engine from keyword

http_method: register inspect engine from keyword

http_raw_header: register inspect engine from keyword

http_header: register inspect engine from keyword

http_client_body: register inspect engine from keyword

http_uri: register inspect engine from keyword

http_response_line: register inspect engine from keyword

http_request_line: register inspect engine from keyword

detect-engine: new registration call

Make it more in line with MPM registration.

detect mpm: small optimization

detect-mpm: cleanup

detect-engine: improved inspect engines

Inspect engines are called per signature per sigmatch list. Most
wrap around DetectEngineContentInspection, but it's more generic.

Until now, the inspect engines were setup in a large per ipproto,
per alproto, per direction table. For stateful inspection each
engine needed a global flag.

This approach had a number of issues:
1. inefficient: each inspection round walked the table and then
   checked if the inspect engine was even needed for the current
   rule.
2. clumsy registration with global flag registration.
3. global flag space was approaching the need for 64 bits
4. duplicate registration for alprotos supporting both TCP and
   TCP (DNS).

This patch introduces a new approach.

First, it does away with the per ipproto engines. This wasn't used.

Second, it adds a per signature list of inspect engine containing
only those engines that actually apply to the rule.

Third, it gets rid of the global flags and replaces it with flags
assigned per rule per engine.

detect state: reorganize flags

List the common non-buffer specific flags on top.

http_response_body: implement keyword with mpm

Implemented as 'stickybuffer'.

http_request_line: implement keyword and mpm

Implemented as 'stickybuffer'.

Move all logic into the keyword file and remove bad tests that tested
URI instead of request line.

fast_pattern: register app layer mpms automatically

Allow for duplicate registrations for the same list. After the first
registration new calls will be ignored.

mpm: remove empty app_mpms table

tls: register mpm from keywords

dns_query: register mpm from keyword

http_cookie: register mpm from keyword

http_raw_host: register mpm from keyword

http_host: register mpm from keyword

http_client_body: register mpm from keyword

http_stat_code: register mpm from keyword

http_stat_msg: register mpm from keyword

file_data: register mpm from keyword

http_method: register mpm from keyword

http_raw_header: register mpm from keyword

http_user_agent: register mpm from keyword

http_header: register mpm from keyword

http_raw_uri: register mpm from keyword

http_uri: register mpm from keyword

mpm: add App Layer MPM registery

Register keywords globally at start up.

Create a map of the registery per detection engine. This we need because
the sgh_mpm_context value is set per detect engine.

Remove APP_MPMS_MAX.