suricata.yaml: fix path to XDP doc

util-bpf: workaround OpenBSD old libpcap

OpenBSD is not using a pcap_compile_* function so we can just
comment the code for OpenBSD users.

af-packet: remove unused field in AFPThreadVars

configure.ac: better llc binary detection

llc is needed to build the ebpf files and current autoconf code
was not working properly on Debian.

af-packet: remove years old todos

netmap: use custom BPF compile function

af-packet: use the new BPF compilation function

util-bpf: introduce custom BPF compile functions

We can't get error from pcap_compile_nopcap() so let's get our
own function and output message.

af-packet: micro optimization

Use a else if instead of two chained if constructs.

af-packet: improve error handling

Stress condition in Suricata could lead to interface to disconnect
when it is not necessary. This patch updates the error handling
code to try to continue reading when such a case occurs.

bypass:added new documentation reference

Documentation didn't previously exist for the bypass keyword

Signed-off-by: jason taylor <jtfas90@gmail.com>

debug/log: add log level for JSON type

resolves #2671

configure: allow for --disable-suricata-update

This is to prevent suricata-update from being installed if it
would otherwise be installed based on in being bundled, and
its dependencies being available.

Warn the user that Suricata-Update will not be installed if it
is bundled, but python-yaml is missing (this will also cover
the case where Python is missing).

Add "Install suricata-update" to the build summary. For consistency,
relable "Suricatasc install" as "Install suricatasc".

configure: check for python-yaml

Don't install suricata-update if python-yaml does not
exist.

configure: print datarootdir

This is relevant now as its where Suricata engine rules
get installed.

detect/mpm: fix fast_pattern handling of len >255

The fast pattern selection logic would truncate a patterns len to
255 leading to assigning the same pid to different patterns.

This in turn would be caught by the hyperscan setup code which would
abort.

Bug #2714.

rust/filetracker: remove reachable panic

Remove reachable panic condition when an existing file chunk is not
completed. Instead trunc the file and reset.

Related to bug #2717

nfs: improve file tracking under packet loss

In case of packet loss during an in-progress chunk the file tracker
could loose track of a file because it couldn't map the XID to a
file handle.

The file tracker would then panic if a new file was opened, as
it noticed the last chunk wasn't yet complete.

This patch tracks the file handle for a in-progress chunk in the
state, just like the tracking of the size that is left.

Bug #2717

rust/nfs: improve debug output

iprep: small cleanups

iprep: improve error checking of path handling

detect: improve inspect buffer handling

Fix and Optimize cleanup. For the simple single inspect buffer optimize
the cleanup by keeping track of the actually used buffers. This avoid
looping over unused buffers.

Fix the case of cleaning not being done after a tx if the next tx is
also inspected in the context of the same packet.

Fix cleanup of the multi-inspect buffers. Optimize in 2 ways. First
like with single keep track of which multi-inspect buffers have been
used. Second, keep a max of the buffers within a multi-inspect buffer.
Use this max to limit (nested) looping.

profiling: set loop limit to match array size

Signed-off-by: jason taylor <jtfas90@gmail.com>

prelude: fix potential uninitialized value use

detect: suppress coverity deadcode warnings

Suppress as scan-build-7 relies on this 'dead' code to not issue
a warning.

filestore: suppress coverity toctou warning

detect: fix coverity memory leak warnings

file: use u32 file id everywhere

detect/distance: improve value parsing and fix broken test

detect/within: clean up option value parsing

detect/within: test cleanups

eve/dns: improve version warning message

detect/offset: improve value parsing

app-layer-ssl: fix coverty error (RESOURCE_LEAK)

Bug #2677

changelog: update for 4.1

smtp/mime: fix null ptr deref on bad traffic

Due to missing error handling, a bad mime message could put the
mime parser in an error state, without the SMTP layer taking this
into account. So the SMTP layer would continue to pass data to the
mime parser, even though it was in an error state.

When the parser would be fed a very long line while in this state,
it would try to set an error flag in the state. However, due to
the error state, this setting of the flag would dereference a null
pointer.

This patch fixes this issue by updating the mime parser to check
the state it is in when receiving new input. It will refuse to
process futher data while in the error state. It will also return
a new error code to indicate to the SMTP layer that the parser
was in an error state.

ipv6: disable zero len padN rule by default

doc: Remove gulp references

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add bypass keyword documentation

Signed-off-by: jason taylor <jtfas90@gmail.com>

filestore: fix compiler truncation warnings

And error out if the constructed filename is truncated.

app-layer-ssl: add Facebook TLSv1.3 draft versions

Add draft versions for Facebooks custom TLSv1.3 implementation "fizz"
to SSLVersionToString().

app-layer-ssl: change how TLSv1.3 drafts are logged

Change from logging TLSv1.3 drafts as "TLS 1.3 (draft 28)" to
"TLS 1.3 draft-28" instead.

userguide: add documentation for ssl_version keyword

pfring: default to runmode workers

Now that threads:auto is implemented workers is a better default
as it generally performs better.

pfring: implement 'threads: auto'

If threads is set to auto, first try the CPU count. If that would
fail, fall back to RSS queue count.

pfring: support checking/disabling offloading

pfring: fix bypass counter print uninitialized values

If the option was disabled in the config the value would be uninitialized.

storage: don't leak memory for unittests

radix: fix a memleak when removing the last node

detect/address: minor memory handling cleanups

detect: suppress scan-build warnings

detect/flags: cleanup parsing to not alloc temp strings

mpm: fix minor scan-build warning

pool: avoid possible double free in error path

Should be impossible as a double free, but scan-build-7 thinks it
is possible.

pool: small code cleanups

stream: don't assume malformed TCP packets

This deep in the stream engine packets are valid, so don't check
for the tcph header in a packet as it confuses scan-build.

Do add a DEBUG_VALIDATE_BUG_ON so in QA we double check.

decode/tcp: rewrite options decoding to assist scan-build

smb/c: don't accept null input

htp: fix potential (but unlikely) memleak in uri normalization

thresholds: remove dead code in parsing

radix: fix memory leak in error path

coverity: suppress warnings

host/os/info: fix lookup memleak

debug/log: suppress coverity checked_return warning

bpf: suppress coverity toctou warning

pcap: fix buffer size validation logic

uricontent: move debug func into unittests

Cleanup header, which lead to the app-layer-htp.h header needing to
be added in a few other places.

detect/replace: fix mem leak in error path

isdataat: fix mem leak in error path

bits: avoid memory leak in case of adding types

ipproto: fix memleak in error case

bytetest: don't leak memory in error condition

yaml: fix potential memleak and suppress coverity issue

outputs: fix memleaks in the error paths reported by coverity

coverity: suppress warning for intentional code

rust/dns: don't compile unused C code if Rust is enabled

coverity: fix filestore v2 memleak

log-pcap: fix coverity memleak warning

coverity: don't warn on fall back random

app-layer-ssl: fix flow and inspection bypass for TLSv1.3

app-layer-ssl: add 0-RTT support for TLSv1.3

app-layer-ssl: decode early data extension in ClientHello record

Decode early data extension used by 0-RTT that is used to indicate that
application data will be sent right after the ClientHello record.

app-layer-ssl: use extension length when decoding extensions

Pass extension length to functions decoding extensions, instead of
passing the length left in the record. This enables us to also
decode empty extensions.

app-layer-ssl: handle all versions above TLSv1.2 as TLSv1.3

This makes it more likely to log custom versions of TLSv1.3 that
doesn't comply with the draft version numbering.

tls: remove debug printfs

detect-tls-ja3-hash: add another unit test

Add unit test that covers the JA3 bug in TLS extensions decoding.

app-layer-ssl: fix JA3 bug in TLS extension decoding

app-layer-ssl: fix JA3 bug in TLS version decoding

capture: multidev is not experimental

flow/stream: 'wrong thread' as stream event & counter

Set event at most once per flow, for the first 'wrong' packet.

Add 'tcp.pkt_on_wrong_thread' counter. This is incremented for each
'wrong' packet. Note that the first packet for a flow determines
what thread is 'correct'.

smtp: fix clang -Wunreachable-code warning

app-layer-smtp.c:756:12: error: will never be executed [-Werror,-Wunreachable-code]
    return 0;
           ^
1 error generated.

profiling/csv: update output format

Update output to be:

pcap_cnt,total,receive,decode,flowworker,threading,proto detect,flow,
stream,app-layer,detect,tcp-prune,loggers,<detect stages>,<loggers>

For TCP, the app-layer cost is not part of stream anymore.

multi-tenant: document per tenant settings

test mode: parse interface list in test mode

windivert: fix whitespace issue

af-packet: suppress noisy info message

detect/transforms: fix doc urls

pfring: multiple receive threads is not experimental

eve: improve error handling for Rust loggers

Give useful warning message if Rust is not compiled in.

pfring: minor cleanups