prelude: fix potential uninitialized value use

detect: suppress coverity deadcode warnings

Suppress as scan-build-7 relies on this 'dead' code to not issue
a warning.

filestore: suppress coverity toctou warning

detect: fix coverity memory leak warnings

file: use u32 file id everywhere

detect/distance: improve value parsing and fix broken test

detect/within: clean up option value parsing

detect/within: test cleanups

eve/dns: improve version warning message

detect/offset: improve value parsing

app-layer-ssl: fix coverty error (RESOURCE_LEAK)

Bug #2677

changelog: update for 4.1

smtp/mime: fix null ptr deref on bad traffic

Due to missing error handling, a bad mime message could put the
mime parser in an error state, without the SMTP layer taking this
into account. So the SMTP layer would continue to pass data to the
mime parser, even though it was in an error state.

When the parser would be fed a very long line while in this state,
it would try to set an error flag in the state. However, due to
the error state, this setting of the flag would dereference a null
pointer.

This patch fixes this issue by updating the mime parser to check
the state it is in when receiving new input. It will refuse to
process futher data while in the error state. It will also return
a new error code to indicate to the SMTP layer that the parser
was in an error state.

ipv6: disable zero len padN rule by default

doc: Remove gulp references

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add bypass keyword documentation

Signed-off-by: jason taylor <jtfas90@gmail.com>

filestore: fix compiler truncation warnings

And error out if the constructed filename is truncated.

app-layer-ssl: add Facebook TLSv1.3 draft versions

Add draft versions for Facebooks custom TLSv1.3 implementation "fizz"
to SSLVersionToString().

app-layer-ssl: change how TLSv1.3 drafts are logged

Change from logging TLSv1.3 drafts as "TLS 1.3 (draft 28)" to
"TLS 1.3 draft-28" instead.

userguide: add documentation for ssl_version keyword

pfring: default to runmode workers

Now that threads:auto is implemented workers is a better default
as it generally performs better.

pfring: implement 'threads: auto'

If threads is set to auto, first try the CPU count. If that would
fail, fall back to RSS queue count.

pfring: support checking/disabling offloading

pfring: fix bypass counter print uninitialized values

If the option was disabled in the config the value would be uninitialized.

storage: don't leak memory for unittests

radix: fix a memleak when removing the last node

detect/address: minor memory handling cleanups

detect: suppress scan-build warnings

detect/flags: cleanup parsing to not alloc temp strings

mpm: fix minor scan-build warning

pool: avoid possible double free in error path

Should be impossible as a double free, but scan-build-7 thinks it
is possible.

pool: small code cleanups

stream: don't assume malformed TCP packets

This deep in the stream engine packets are valid, so don't check
for the tcph header in a packet as it confuses scan-build.

Do add a DEBUG_VALIDATE_BUG_ON so in QA we double check.

decode/tcp: rewrite options decoding to assist scan-build

smb/c: don't accept null input

htp: fix potential (but unlikely) memleak in uri normalization

thresholds: remove dead code in parsing

radix: fix memory leak in error path

coverity: suppress warnings

host/os/info: fix lookup memleak

debug/log: suppress coverity checked_return warning

bpf: suppress coverity toctou warning

pcap: fix buffer size validation logic

uricontent: move debug func into unittests

Cleanup header, which lead to the app-layer-htp.h header needing to
be added in a few other places.

detect/replace: fix mem leak in error path

isdataat: fix mem leak in error path

bits: avoid memory leak in case of adding types

ipproto: fix memleak in error case

bytetest: don't leak memory in error condition

yaml: fix potential memleak and suppress coverity issue

outputs: fix memleaks in the error paths reported by coverity

coverity: suppress warning for intentional code

rust/dns: don't compile unused C code if Rust is enabled

coverity: fix filestore v2 memleak

log-pcap: fix coverity memleak warning

coverity: don't warn on fall back random

app-layer-ssl: fix flow and inspection bypass for TLSv1.3

app-layer-ssl: add 0-RTT support for TLSv1.3

app-layer-ssl: decode early data extension in ClientHello record

Decode early data extension used by 0-RTT that is used to indicate that
application data will be sent right after the ClientHello record.

app-layer-ssl: use extension length when decoding extensions

Pass extension length to functions decoding extensions, instead of
passing the length left in the record. This enables us to also
decode empty extensions.

app-layer-ssl: handle all versions above TLSv1.2 as TLSv1.3

This makes it more likely to log custom versions of TLSv1.3 that
doesn't comply with the draft version numbering.

tls: remove debug printfs

detect-tls-ja3-hash: add another unit test

Add unit test that covers the JA3 bug in TLS extensions decoding.

app-layer-ssl: fix JA3 bug in TLS extension decoding

app-layer-ssl: fix JA3 bug in TLS version decoding

capture: multidev is not experimental

flow/stream: 'wrong thread' as stream event & counter

Set event at most once per flow, for the first 'wrong' packet.

Add 'tcp.pkt_on_wrong_thread' counter. This is incremented for each
'wrong' packet. Note that the first packet for a flow determines
what thread is 'correct'.

smtp: fix clang -Wunreachable-code warning

app-layer-smtp.c:756:12: error: will never be executed [-Werror,-Wunreachable-code]
    return 0;
           ^
1 error generated.

profiling/csv: update output format

Update output to be:

pcap_cnt,total,receive,decode,flowworker,threading,proto detect,flow,
stream,app-layer,detect,tcp-prune,loggers,<detect stages>,<loggers>

For TCP, the app-layer cost is not part of stream anymore.

multi-tenant: document per tenant settings

test mode: parse interface list in test mode

windivert: fix whitespace issue

af-packet: suppress noisy info message

detect/transforms: fix doc urls

pfring: multiple receive threads is not experimental

eve: improve error handling for Rust loggers

Give useful warning message if Rust is not compiled in.

pfring: minor cleanups

stats: decoder/stream events as stats

detect/analyzer: add detection for sigs that could use http keywords

detect/analyzer: add debug statements

detect/analyzer: fix json analyzer being called on incomplete rules

rust/smb: silence noisy debug messages

stream/events: log as stats

detect/events: cleanup keyword

doc/flow: updates and cleanups to flow section

cocci/detect: add flags check to SigTableElmt

rules/transform: add to list-keywords

doc/rules: initial transforms documentation

doc/performance: redo runmodes explanation

doc/install: update Rust info in generic install overview

doc/eve: add community id

detect-ssh-software: fix url for keyword

detect-ssh-software-version: add description and url to keyword

detect-ssh-proto-version: add description and url to keyword

detect-ssh-proto: fix url for keyword

doc: add documentation for SSH keywords

changelog: update for 4.1rc2

rust/ike2: free destate on tx free

Bug #2604

rust: fix (again) out of tree builds

As the generated Cargo.toml is shipped as part of a release
tarball, build from the source directory but set the cargo
CARGO_TARGET_DIR to the build directory.

doc: remove deprecated force-md5 flag from userguide