rust/ike2: free destate on tx free

Bug #2604

rust: fix (again) out of tree builds

As the generated Cargo.toml is shipped as part of a release
tarball, build from the source directory but set the cargo
CARGO_TARGET_DIR to the build directory.

doc: remove deprecated force-md5 flag from userguide

Added new classifications to classification.conf

Added classifications from rule-writing community feedback.

rust/smb: suppress noisy messages

eve/json: introduce community flow id

Add support for community flow id, meant to give a records a
predictable flow id that can be used to match records to
output of other tools.

Takes a 'seed' that needs to be same across sensors and tools
to make the id less predictable.

eve/json: handle common options in central function

eve/json: move common settings into it's own struct

nfs: use common json output structures

smb: use common json output structures

eve/json: add common helper funcs

Add simple helper funcs for option-less loggers

eve/flow: minor cleanups

hash/sha1: optimize by avoiding mem alloc

Don't allocate an output buffer for each call. These buffers
would have the exact same size every time.

travis: update rust to 1.29.1, add auto & disabled tests

rust: enable by default

Remove 'experimental' label for Rust, and enable it by default if
rustc and cargo (and libjansson) are available.

Add rustc and cargo versions to the build-info.

configure: fix and cleanup nss and nspr detection

smb/dcerpc: remove now unused ssn2maxsize_map

smb/dcerpc: clean up and unify DCERPC probe logic

smb2/dcerpc: probe if response data is dcerpc

If we missed the tree connect we can't know for sure if we're
reading from a (DCERPC) PIPE or not. In this case probe the data
to see if it looks like DCERPC.

If the detection succeeds, use a special 'suricata::dcerpc' service
in the TX.

Simplify handling of DCERPC records that cross records

Update logging for the response only TXs.

smb2: skip rest of READ response if status is not success

userguide: update hyperscan documentation

Signed-off-by: jason taylor <jtfas90@gmail.com>

rust/applayer: use correct return type for Parser

The mismatch between the types would randomly lead to the return code
of the Rust parser to be not correctly handled over the C/Rust
boundary. This would lead to the API considering a parser to be in
error state when it was not.

afpacket: fix formatting of errors

dns: shrink per flow state by improving layout

detect/ttl: major clean up of ttl code

Redo unittests using FAIL/PASS macros
Switch parsing to pcre_copy_substring.
Misc cleanups.

spelling: fixing minor spelling mistakes

yaml: fix typo

configure: Fixed "no" output for XDP, libnss, libnspr

suricata: file existence check (bug #2615)

Files and directories passed via command line option -r should be checked for
existence during command line parsing and not start additional suricata
functionality.

config: added ja3 to tls custom logging example

Signed-off-by: jason taylor <jtfas90@gmail.com>

tlslog: don't log as "resumed" without ServerHello

Don't log a session as "resumed" if a ServerHello record has not been
seen. This makes sure that incomplete TLS sessions where the ClientHello
contains a session ticket, is not logged as a session resumption.

output-json-tls: don't log as "resumed" without ServerHello

Don't log a session as "resumed" if a ServerHello record has not been
seen. This makes sure that incomplete TLS sessions where the ClientHello
contains a session ticket, is not logged as a session resumption.

app-layer-ssl: remove unnecessary length check

We already check that empty extensions are not decoded, so this length
check is not needed.

setup-app-layer: support tests in tests/

setup-app-layer.py: integrate detect buffer setup

Add --detect to setup a detect buffer.

Obsoletes setup-app-layer-detect.sh.

rust: app-layer detect template for rust parsers

setup-app-layer.py: attempt to cd into correct directory

- If in src, cd to ..
- Error out early if the current directory does not look like a
  Suricata source directory.

rust app layer template: functions to get buffers

Example functions for getting the request and response buffers.
Useful for running detection on the decoded buffers.

rust template parser: sample pcap

rust: app-layer template parser and logger

The protocol is a simple request/reply based protocol that can
be hand driven with netcat.

Request  -> 12:Hello World!
Response -> 3:Byte

Its of the format <length>:<message> where length is the length
of the message, not including the length or the delimiter.

rustfmt.toml: set to 80 char line width

The rustfmt default is 100, set to 80 to be more inline with
the Suricata C code.

rust: expose AppLayerParserStateIssetFlag to Rust.

rust/gen-c-headers: don't attempt to split empty lines

templates: C stub output for Rust logger

templates: C stub template for Rust parser

detect/template2: setup script

detect/template2: template with prefilter (copy of ttl)

decode/template: minor updates

setup-app-layer-detect: update for tests/ dir

setup-simple-detect: update for new tests location

scripts/setup: remove 'ed' based setup scripts

Removes:
- setup-app-layer.sh
- setup-app-layer-logger.sh

These have been replaced by setup-app-layer.py.

setup-app-layer: rewrite script in Python

The idea being that it is easier to read and maintain than
wrapping ed commands.

This script also merges the parser and logger setup into a single
script, but still allows just the parser, or just the logger
to be generated with flags, --logger and --parser.

app-layer/template: code cleanups

detect/template: clean up packet keyword

detect/template: move test to own file in src/tests/

detect/template: switch to v2 API, add MPM

detect/template: clean up unittest

detect/analyzer: disable automatic json output

EngineAnalysisRules2 was in a strange location where it did not respect
the --engine-analysis flag. It has been moved to the same call location
as EngineAnalysisRules.

detect/analyzer: add notes (and warnings)

http: implement min size stream logic

Update HTTP parser to set the min inspect depth per transaction. This
allows for signatures to have their fast_pattern in the HTTP body,
while still being able to inspect the raw stream reliably with it.

The inspect depth is set per transaction as it:
- depends on the per personality config for min inspect size
- is set to the size of the actual body if it is smaller

After the initial inspection is done, it is set to 0 which disables
the feature for the rest of the transaction.

This removes the rescanning flush logic in commit
7e004f52c60c5e4d7cd8f5ed09491291d18f42d2 and provides an alternative
fix for bug #2522. The old approach caused too much rescanning of
HTTP body data leading to a performance degradation.

Bug #2522

stream: introduce min inspect depth logic

Some rules need to inspect both raw stream data and higher level
buffers together. When this higher level buffer is a streaming
buffer itself, the risk of mismatch exists.

This patch allows an app-layer parser to set a 'min inspect depth'.
The value is used by the stream engine to keep at least this
depth worth of data, so that the detection engine can request
all of it for inspection.

For rules that have the SIG_FLAG_FLUSH flag set, data is inspected
not from offset raw_progress, but from raw_progress minus
min_inspect_depth.

At this time this is only used for sigs that have their fast_pattern
in a HTTP body and have raw stream match as well.

defrag: break out of loop in linux profile when able to

defrag: remove fragments that have complete overlap

Instead of just marking fragments that have been completely
overlapped and won't be part of the assembled packet, remove
them from the fragment tree when detected.

defrag: use rb tree to store fragments

unittests: fix format-truncation warning

stream/segments: change packing to reduce size

Change the way fields are ordered to reduce TcpSegment structure
with 8 bytes.

stream/segments: keep track of tree right edge

Use this in places where we need to use the outer right
edge of our sequence space.

This way we can avoid walking the tree to find this, which
is a potentially expensive operation.

streaming/sbb: convert RB_MIN to 'head'

streaming: keep track of tree 'head'

streaming: use rbtree for stream blocks

Switch StreamBufferBlocks implementation to use RBTREE instead of
a list. This makes inserts/removals and lookups a lot cheaper if
the number of data gaps is large.

Use separate compare functions for inserts and regular lookups.
Inserts care about the offset, while lookups care about the blocks
right edge as well.

stream/sack: optimize SACK size handling

Optimize by keeping count during insert/remove instead of
walking the tree per check.

stream/sack: turn SACK record list into rbtree

Convert to rbtree from linked list. These ranges, of which there can
be multiple per packet, are fully controlled by an attacked. The
attacker could craft a stream of packet in such a way that the list
would grow very large. This would make inserts/removals very expensive,
as well as the list walk that is done and size calculation and pruning
operations.

The RBTREE makes inserts/removals much cheaper, at a slight overhead
for 'normal' operations and slightly higher per record memory use.

stream/segments: speed up inserts

Don't try to do a 'fast path' by checking RB_MAX. RB_MAX walks the
tree which means it can be quite expensive. This cost would be paid
for virtually every data segment. The actual insert that follows would
walk the tree again.

Instead, simply insert it. There is a slight cost of the unnecessary
overlap check, but this is much less than the tree walk in a full
tree.

stream/segments: remove RB_MIN/RB_MAX

stream/segments: optimize overlap tree operations

Now that with the RBTREE we have a properly sorted Segment tree,
where with exact SEQ matches the tree is sorted by payload_len
smallest to largest, we can avoid walking backwards when checking
for overlaps. Our direct RB_PREV either overlaps or not and that
is a reliable verdict for the rest of the tree.

stream/segments: turn linked list into rbtree

To improve worst case performance turn the segments list into a rbtree.
This greatly improves inserts, lookups and removals if the number of
segments gets very large.

The tree is sorted by the segment sequence number as its primary key.
If 2 segments have the same seq, the payload_len (segment length) is
used. Then the larger segment will be places after the smaller segment.
Exact matches are not added to the tree.

tree: add scan-build assertions to suppress FPs

tree: add 2-clause BSD licensed tree.h

stream: expand GAP detection

detect/mpm: minor code cleanup

detect/file: fix minor scan-build warnings

stream/tcp: be more liberal in last_ack

Don't set even if seq is before next_seq, as this could still be
a valid packet that was sent before the state was reached.

stream/tcp: add debug statements to state dispatcher

app-layer-ssl: don't decode empty extensions

doc: add documentation for Lua function 'TlsGetVersion'

lua: add function 'TlsGetVersion'

Add another function to get TLS version, since 'TlsGetCertInfo' only
works when a TLS session contains a clear text certificate, which is
not the case in TLSv1.3 or when a session is resumed.

doc: update tls.version documentation

detect-tls-version: add support for 'raw' matching

Add support for matching a 'raw' TLS version using a hex string, e.g:

  tls.version:0x7f12;

The above example matches TLSv1.3 draft 16.

detect-tls-version: add support for TLSv1.3

detect-ssl-version: add support for TLSv1.3

lua: use 'SSLVersionToString' in TlsGetCertInfo()

tlslog: add support for TLSv1.3

output-json-tls: add support for TLSv1.3

app-layer-ssl: add function to get string from version

Add 'SSLVersionToString' to get string from version.

app-layer-ssl: add support for earlier TLSv1.3 drafts

Add support for TLSv1.3 draft 1 to draft 21.

app-layer-ssl: add support for TLSv1.3 from draft 22

Add support for draft 22 to draft 28 and for the final
version (RFC8446) of TLSv1.3.

app-layer-ssl: add support for session tickets

Add support for logging a session as 'resumed' when using a non-empty
session ticket extension in the client hello record.

app-layer-ssl: add better session id support

Verify that the session id from both the client hello record and the
server hello record matches before marking the session as 'resumed'.

app-layer-ssl: decode server hello record

Decoding server hello is needed to do a better implementation of
session resumption.

doc: README.md minor fixes

- Capitalization update
- Typo fix
- Spacing update

Signed-off-by: jason taylor <jtfas90@gmail.com>