smb/c: don't accept null input

htp: fix potential (but unlikely) memleak in uri normalization

thresholds: remove dead code in parsing

radix: fix memory leak in error path

coverity: suppress warnings

host/os/info: fix lookup memleak

debug/log: suppress coverity checked_return warning

bpf: suppress coverity toctou warning

pcap: fix buffer size validation logic

uricontent: move debug func into unittests

Cleanup header, which lead to the app-layer-htp.h header needing to
be added in a few other places.

detect/replace: fix mem leak in error path

isdataat: fix mem leak in error path

bits: avoid memory leak in case of adding types

ipproto: fix memleak in error case

bytetest: don't leak memory in error condition

yaml: fix potential memleak and suppress coverity issue

outputs: fix memleaks in the error paths reported by coverity

coverity: suppress warning for intentional code

rust/dns: don't compile unused C code if Rust is enabled

coverity: fix filestore v2 memleak

log-pcap: fix coverity memleak warning

coverity: don't warn on fall back random

app-layer-ssl: fix flow and inspection bypass for TLSv1.3

app-layer-ssl: add 0-RTT support for TLSv1.3

app-layer-ssl: decode early data extension in ClientHello record

Decode early data extension used by 0-RTT that is used to indicate that
application data will be sent right after the ClientHello record.

app-layer-ssl: use extension length when decoding extensions

Pass extension length to functions decoding extensions, instead of
passing the length left in the record. This enables us to also
decode empty extensions.

app-layer-ssl: handle all versions above TLSv1.2 as TLSv1.3

This makes it more likely to log custom versions of TLSv1.3 that
doesn't comply with the draft version numbering.

tls: remove debug printfs

detect-tls-ja3-hash: add another unit test

Add unit test that covers the JA3 bug in TLS extensions decoding.

app-layer-ssl: fix JA3 bug in TLS extension decoding

app-layer-ssl: fix JA3 bug in TLS version decoding

capture: multidev is not experimental

flow/stream: 'wrong thread' as stream event & counter

Set event at most once per flow, for the first 'wrong' packet.

Add 'tcp.pkt_on_wrong_thread' counter. This is incremented for each
'wrong' packet. Note that the first packet for a flow determines
what thread is 'correct'.

smtp: fix clang -Wunreachable-code warning

app-layer-smtp.c:756:12: error: will never be executed [-Werror,-Wunreachable-code]
    return 0;
           ^
1 error generated.

profiling/csv: update output format

Update output to be:

pcap_cnt,total,receive,decode,flowworker,threading,proto detect,flow,
stream,app-layer,detect,tcp-prune,loggers,<detect stages>,<loggers>

For TCP, the app-layer cost is not part of stream anymore.

multi-tenant: document per tenant settings

test mode: parse interface list in test mode

windivert: fix whitespace issue

af-packet: suppress noisy info message

detect/transforms: fix doc urls

pfring: multiple receive threads is not experimental

eve: improve error handling for Rust loggers

Give useful warning message if Rust is not compiled in.

pfring: minor cleanups

stats: decoder/stream events as stats

detect/analyzer: add detection for sigs that could use http keywords

detect/analyzer: add debug statements

detect/analyzer: fix json analyzer being called on incomplete rules

rust/smb: silence noisy debug messages

stream/events: log as stats

detect/events: cleanup keyword

doc/flow: updates and cleanups to flow section

cocci/detect: add flags check to SigTableElmt

rules/transform: add to list-keywords

doc/rules: initial transforms documentation

doc/performance: redo runmodes explanation

doc/install: update Rust info in generic install overview

doc/eve: add community id

detect-ssh-software: fix url for keyword

detect-ssh-software-version: add description and url to keyword

detect-ssh-proto-version: add description and url to keyword

detect-ssh-proto: fix url for keyword

doc: add documentation for SSH keywords

changelog: update for 4.1rc2

rust/ike2: free destate on tx free

Bug #2604

rust: fix (again) out of tree builds

As the generated Cargo.toml is shipped as part of a release
tarball, build from the source directory but set the cargo
CARGO_TARGET_DIR to the build directory.

doc: remove deprecated force-md5 flag from userguide

Added new classifications to classification.conf

Added classifications from rule-writing community feedback.

rust/smb: suppress noisy messages

eve/json: introduce community flow id

Add support for community flow id, meant to give a records a
predictable flow id that can be used to match records to
output of other tools.

Takes a 'seed' that needs to be same across sensors and tools
to make the id less predictable.

eve/json: handle common options in central function

eve/json: move common settings into it's own struct

nfs: use common json output structures

smb: use common json output structures

eve/json: add common helper funcs

Add simple helper funcs for option-less loggers

eve/flow: minor cleanups

hash/sha1: optimize by avoiding mem alloc

Don't allocate an output buffer for each call. These buffers
would have the exact same size every time.

travis: update rust to 1.29.1, add auto & disabled tests

rust: enable by default

Remove 'experimental' label for Rust, and enable it by default if
rustc and cargo (and libjansson) are available.

Add rustc and cargo versions to the build-info.

configure: fix and cleanup nss and nspr detection

smb/dcerpc: remove now unused ssn2maxsize_map

smb/dcerpc: clean up and unify DCERPC probe logic

smb2/dcerpc: probe if response data is dcerpc

If we missed the tree connect we can't know for sure if we're
reading from a (DCERPC) PIPE or not. In this case probe the data
to see if it looks like DCERPC.

If the detection succeeds, use a special 'suricata::dcerpc' service
in the TX.

Simplify handling of DCERPC records that cross records

Update logging for the response only TXs.

smb2: skip rest of READ response if status is not success

userguide: update hyperscan documentation

Signed-off-by: jason taylor <jtfas90@gmail.com>

rust/applayer: use correct return type for Parser

The mismatch between the types would randomly lead to the return code
of the Rust parser to be not correctly handled over the C/Rust
boundary. This would lead to the API considering a parser to be in
error state when it was not.

afpacket: fix formatting of errors

dns: shrink per flow state by improving layout

detect/ttl: major clean up of ttl code

Redo unittests using FAIL/PASS macros
Switch parsing to pcre_copy_substring.
Misc cleanups.

spelling: fixing minor spelling mistakes

yaml: fix typo

configure: Fixed "no" output for XDP, libnss, libnspr

suricata: file existence check (bug #2615)

Files and directories passed via command line option -r should be checked for
existence during command line parsing and not start additional suricata
functionality.

config: added ja3 to tls custom logging example

Signed-off-by: jason taylor <jtfas90@gmail.com>

tlslog: don't log as "resumed" without ServerHello

Don't log a session as "resumed" if a ServerHello record has not been
seen. This makes sure that incomplete TLS sessions where the ClientHello
contains a session ticket, is not logged as a session resumption.

output-json-tls: don't log as "resumed" without ServerHello

Don't log a session as "resumed" if a ServerHello record has not been
seen. This makes sure that incomplete TLS sessions where the ClientHello
contains a session ticket, is not logged as a session resumption.

app-layer-ssl: remove unnecessary length check

We already check that empty extensions are not decoded, so this length
check is not needed.

setup-app-layer: support tests in tests/

setup-app-layer.py: integrate detect buffer setup

Add --detect to setup a detect buffer.

Obsoletes setup-app-layer-detect.sh.

rust: app-layer detect template for rust parsers

setup-app-layer.py: attempt to cd into correct directory

- If in src, cd to ..
- Error out early if the current directory does not look like a
  Suricata source directory.