doc: initial app-layer keywords

Document app-layer-protocol and make a start with app-layer-event.

detect-app-layer-protocol: improve rule validation

Also add tests for PD-only conditions

detect-app-layer-protocol: implement prefilter

Introduce 'Protocol detection'-only rules. These rules will only be
fully evaluated when the protocol detection completed. To allow
mixing of the app-layer-protocol keyword with other types of matches
the keyword can also inspect the flow's app-protos per packet.

Implement prefilter for the 'PD-only' rules.

detect-app-layer-protocol: convert to pkt match

eve: print app_proto_ts/app_proto_tc

logging: return string for ALPROTO_FAILED

app-layer counters: count failed protocol detect

proto-detect: clean up UDP handling

Set FAILED instead of using a flow flag. Flag packets in both
sides when detection is done. Detection is only done in one
direction.

proto detect: improve error case handling

Improve flags logic, update tests.

detect-app-layer-protocol: improve error handling

Redo tests.

proto-detect: update mismatch handling

Improve protocol mismatch handling. Preserve both protos. Use otherdir
if already sent to parser, use toclient otherwise.

app-layer-protocol: improve detection

Add negated matches to match list instead of amatch.

Allow matching on 'failed'.

Introduce per packet flags for proto detection. Flags are used to
only inspect once per direction. Flag packet on PD-failure too.

proto detect: remove flow data tracking

The Flow::data_al_so_far was used for tracking data already
parsed when protocol for the current direction wasn't known yet. As
this behaviour has changed the tracking can be removed.

proto detect: update behavior on partial detection

When the current direction doesn't get a protocol detection, but the
opposing direction did, previously we would send the current data to
the parser. Then when we'd be invoked again (until the protocol
detection finally failed) we'd get the same data + the new data. To
make sure we'd not send the same data to the parser again, the flow
kept track of how much was already sent to the app-layer using
data_al_so_far.

This patch changes the behaviour. Instead of sending the data for
the current direction right away, we only do this when protocol
detection is complete. This way we won't have to track anything.

proto detect: TCP cleanup

Split function into multiple smaller ones.

app-layer: clean up counters registration

doc: app-layer tls including no-reassemble

tls: change 'no-reassemble' option to default off

This option was broken so there should be no visible change to
actual deployments.

prelude: add IPv6 support

prelude: add missing TCP header to additional data

prelude: update URL

prelude: coding style, it's better to use macro

prelude: Add other actions than just ACTION_DROP when packet drop

prelude: Add log when failed to create assessment or impact object

Add macro for TCP and UDP header access

app-layer-tls: stop detection if no reassembly

It no-reassembly is asked in TLS conf then we can stop inspection
after handshake and cause bypass to be triggered on the flow.

stream-tcp: bypass encrypted when both side ready

Suricata should not completely bypass a flow before both end of it
have reached the stream depth or have reached a certain state.
Justification is that suricata need the ACK to treat the other side
so we can't really decide to cut only one side.

doc: add SCPacketTimestamp Lua function

Signed-off-by: Nicolas Thill <ntl@p1sec.com>

lua: add an SCPacketTimestamp function

The SCPacketTimestamp function returns packet timestamps as 2 real
numbers (seconds & microseconds).

Example:

  local sec, usec = SCPacketTimestamp()

Signed-off-by: Nicolas Thill <ntl@p1sec.com>

file: register filedata loggers before file

This fixes the issue that 'stored' remained false even if the file
was stored.

Reported-by: Chris Wakelin

doc: small eve update: add dns

doc: add recent tls keywords

doc: clean up fast_pattern

doc: fix header keywords layout

detect: during detection sgh is read only so turn into const

detect: add util func for post-inspect tasks on first sgh

detect: move file flags update into it's own function

flow: use BIT_U32 for flags

flow: move file flags into their own variable

Move FLOW_FILE_* flags into Flow::file_flags. Rename them to
FLOWFILE_* so non updated code will break.

logging: don't log that json is disabled in each logger

A warning log is already emitted if eve-log is enabled in the
configuration but json support is not built so the logger
registration functions can be silent.

macOS: thread return value affects newer macOS as well

ALl OS X/macOS versions since 10.10 return EDEADLK here instead
of EBUSY. Assume they will moving forward as well.

doc: move rule reload and adding rules into rule-management

doc: add rule-management chapter

doc: improve install doc, configure

doc: multi-tenancy is not work in progress

doc: clean up log rotation

doc: update libcap-ng doc

doc: rewrite rule reload doc

http: fix memory leak in error path

streaming: improve error handling

When memory allocations happened in HTTP body and general file
tracking, malloc/realloc errors (most likely in the form of memcap
reached conditions) could lead to an endless loop in the buffer
grow logic.

This patch implements proper error handling for all Append/Insert
functions for the streaming API, and it explicitly enables compiler
warnings if the results are ignored.

doc: add simple install guide

doc: remove userguide.pdf on clean instead of suricata.pdf

As the pdf is a built artifact, it needs to be removed to
satisfy distcheck.

doc: add missing docs to EXTRA_DIST

doc: exclude docs in partials/ from reference errors

These docs are already included with the include statement,
but older versions of Sphinx still complain that they
are not in a table of contents.

doc: eve update

doc: rules-meta typo

detect: fix scan-build 0-size alloc warnings

doc: rules-meta small cleanup

doc: http sticky vs modifier

doc: move urilen to other uri keywords

doc: add minimal http request/response line sections

doc: only make sphinx warnings fatal on html/pdf

doc: manpage: add bugs and notes section

doc: manpage: add signals section

doc: break out command line options into a common doc

The command line options can now be consumed by the man page
and the user guide.

Some attempt was made to order the options from common/basic
progressing to advanced with some notion of options
grouped together.

doc: fix sphinx warnings

This involved removing documents that were intentionally
not referenced as they are not good candidates for the
user guide.

doc: fail on sphinx warnings

docs: include userguide.pdf in dist

changelog: update for 3.2beta1

cygwin: leave magic-file commented out in yaml

pcap-log: cleanup allocations at exit

Particularly in multi-mode, allocations made for each thread were
not being cleaned.

ASAN reports no leaks now on exit.

pcap-log config: sguil-base-dir -> dir and update comment

The code already looks for "dir" first instead of
"squil-base-dir", and already respects this configuration
parameter in other modes than the "sguil" mode.

Coda will still access "sguil-base-dir".

doc: bring in unix socket interaction from wiki

doc: attempt to parse version if not in environment

Should fix the version displayed on readthedocs.

unix-socket: don't try to change permissions on BSD

On BSD using fchmod on a socket is not supported and will result
in EINVAL.

bug 1353: don't cut off last char of unix path

pcre: disable JIT if RWX pages not supported

util: add facility to check for RWX page support

Some code won't work well when the OS doesn't allow RWX pages. This
page introduces a check for runtime evaluation of the OS' policy on
this.

Thanks to Shawn Webb from HardenedBSD for suggesting this solution.

flow-mgr: fix bypass counter registration

der: fix asan/valgrind errors in time parsing

tls-validity: fix memory handling

detect-tls-cert-validity: clean up unit tests

Remove locks, unnecessary function calls and conditional statements.

detect: add keyword tls_cert_valid

Add keyword to check if TLS certificate is valid.

detect-cert-validity: fix typos

detect: add keyword tls_cert_expired

Add keyword to check if TLS certificate is expired.

detect-tls-validity: use flags for modes

Use flags for modes to support using multiple modes at the same time.

yaml: improve stream-depth comments

file-store: add depth setting

When a rules match and fired filestore we may want
to increase the stream reassembly depth for this specific.

This add the 'depth' setting in file-store config,
which permits to specify how much data we want to reassemble
into a stream.

app-layer: use StreamTcpSetReassemblyDepth

This calls StreamTcpSetReassemblyDepth to set the stream depth
specified for the protocol.

modbus: set stream depth

Some protocol like modbus requires
a infinite stream depth because session
are kept open and we want to analyze everything.

Since we have a stream reassembly depth per stream,
we can also set a stream reassembly depth per proto.

app-layer-parser: add stream depth

This permits to set a stream depth value for each
app-layer.

By default, the stream depth specified for tcp is set,
then it's possible to specify a own value into the app-layer
module with a proper API.

stream: per TcpStream reassembly depth

enip: fix scan-build warnings

detect-cipservice.c:161:29: warning: Assigned value is garbage or undefined
    cipserviced->cipservice = input[0];
                            ^ ~~~~~~~~
detect-cipservice.c:162:27: warning: Assigned value is garbage or undefined
    cipserviced->cipclass = input[1];
                          ^ ~~~~~~~~
detect-cipservice.c:163:31: warning: Assigned value is garbage or undefined
    cipserviced->cipattribute = input[2];
                              ^ ~~~~~~~~
3 warnings generated.

enip: parsing and tests cleanup

enip/cip: improve output & style

Remove printf, remove \n from SCLogDebug. Add SCLogError for
rule parsing issues.

Fix various style issues

doc: include enip page

doc: reorder rule docs

enip: improve yaml

enip/cip: register inspect engines

Adding SCADA EtherNet/IP and CIP protocol support

Add support for the ENIP/CIP Industrial protocol

This is an app layer implementation which uses the "enip" protocol
and "cip_service" and "enip_command" keywords

Implements AFL entry points