app-layer: validate TX detect flag callbacks

Check that both are set or unset.

enip: add tx detect flags

dcerpc: add tx detect flags

snmp: add tx detect flags

modbus: add tx detect flags

krb5: register tx detect flags

Related ticker #3345:
https://redmine.openinfosecfoundation.org/issues/3345

rust: define TxDetectFlag struct and binding macros

Define a TxDetectFlag type and macros to generating C
bindings for getting and settings the tx detect
flags.

rust: add tx detect flags function to registration struct

app-layer: add tx detect functions to register struct

detect-engine: check for tx detect flag support

When registing a detection engine, check that the app-layer
protocol supports tx detect flags. Exit with a fatal
error if it does not as this is a code implementation
error that should be resolved during development.

ftpdata: add tx detect flags

debug: add SCReturnBool function exit macro

app-layer: method to see if parser supports tx detect flags

Add method to check if a parser for an app-layer protocol
supports tx detect flags.

This is a bit of a hack for now as where we need to run
this check from we do not have the IP protocol.

github-actions: builds for our tier one linux distributions

Example of using GitHub actions to perform builds across
CentOS, Ubuntu, Debian and the latest Fedora.

mpm: Fix typos and spelling errors

detect: Fix spelling errors

detect: Improve handling of variable values

When one of offset/depth/distance is from a variable, adjust the depth
by the offset as is done with scalar values at parse time.

detect/mpm: Improved handling of variable values

This commit removes the offset and depth if either of these values are
dependent upon a byte-extract operation.

http: split request/response tx id handling

When HTTP pipelining was in use, the transaction id used for events
and files could be off. If the request side was several requests ahead
of the responses, it would use the HtpState::transaction_cnt for events
and files, even though that is only incremented on complete requests.

Split request and response tx id tracking. The response is still handled
by the HtpState::transaction_cnt, but the request side is now handled by
its own logic.

files: remove FILE_USE_TRACKID flag

Once it was optional but as it no longer is it is no longer useful.

Remove it.

files: simplify pruning logic

Since ebcc4db84ac2c1957a6cc23b5154d7d6333f4cb8 the flow worker runs
file pruning after parsing, detection and loging. This means we can
simplify the pruning logic. If a file is in state >= CLOSED, we can
prune it. Detection and outputs will have had a final chance to
process it.

Remove the calls to the pruning code from Rust. They are no longer
needed.

app-layer: don't consider tx flags if not registered

If a protocol does not support TxDetectFlags, don't try to use them.

The consequence of trying to use them was that a TX would never be
considered done, and it would never be freed. This would lead to excessive
memory use and performance problems due to walking an ever increasing
list.

source-pcap-file: honor bpf filter on command line

When a BPF filter is given on the command line when reading a
pcap file, the BPF filter is not honored.

The regression has been introduced in:

commit 3ab9120821e2b5cbc5925470bcfa5bcfb53f246b
Author: Dana Helwig <dana.helwig@protectwise.com>
Date:   Thu Apr 27 11:17:16 2017 -0600

    source-pcap-file: Pcap Directory Mode (Feature #2222)

Reported-By: Tim Colin <tcolin@et.esiea.fr>

source-pcap-file: fix memory leak on pcap filter

util: removes warning about double conversion

From clang 10 :
implicit conversion from 'unsigned long' to 'double' changes value
from 18446744073709551615 to 18446744073709551616

detect: fix inspection buffer for packet engines

Fix buffers not being reset per inspection round for packet engines.

Bug #3341.

threading: add debug validation for stale packets

threading: fix shutdown race condition

A BUG_ON statement would seemingly randomly trigger during the threading
shutdown logic. After a packet thread reached the THV_RUNNING_DONE state,
it would sometimes still receive flow timeout packets which would then
remain unprocessed.

1 main:   TmThreadDisableReceiveThreads(); <- stop capturing packets
2 worker: -> TmThreadTimeoutLoop (THV_FLOW_LOOP) phase starts
3 main:   FlowForceReassembly();           <- inject packets from flow engine
4 main:   TmThreadDisablePacketThreads();  <- then disable packet threads
5 main:   -> checks if 'worker' is ready processing packets
6 main:   -> sends THV_KILL to worker
7 worker: breaks out of TmThreadTimeoutLoop and changes to THV_RUNNING_DONE.

Part of the problem was with (5) above. When checking if the worker was
already done with its work, TmThreadDisablePacketThreads would not consider
the injected flow timeout packets. The second part of the problem was with (7),
where the worker checked if it was ready with the TmThreadTimeoutLoop in a
thread unsafe way.

As a result TmThreadDisablePacketThreads would not wait long enough for the
worker(s) to finish its work and move the threads to the THV_RUNNING_DONE
phase by issuing the THV_KILL command.

When waiting for packet processing threads to process all in-flight packets,
also consider the 'stream_pq'. This will have received the flow timeout
packets.

Bug #1871.

threading: fix flow timeout loop race

threading: improve thread queues checking by dumping more info

packet: set unique pkt_src 'flush' packets

Set unique type for capture timeout and for detect reload flush
to assist in debugging.

stream: remove unused code

Remove now unused 'pkt_src' type as well.

Remove related unittests.

nfq: remove unused queue handler type

log-pcap: remove stale comments

alert-syslog: remove stale comments

Add general purpose `ARRAY_SIZE` macro

This commit adds `ARRAY_SIZE` as an helper for determining the number of
elements in an initialized array. The calculation is the same but the
macro provides a convenient shortcut. The implementation was borrowed
from the kernel sources.

detect/analyzer: Refactor engine analysis code

This commit changes the analysis code to be table driven to better
identify the rule elements covered by the analysis.

signature: Fixes memory leak in parsing app layer event

dns: log addresses in flow direction, not packet

Ticket #3340.
https://redmine.openinfosecfoundation.org/issues/3340

filestore: don't assume flow is TCP

Filestore can be used by UDP based protocols as well. NFSv2 is one
that Suricata supports.

Bug #3277.

decode/pppoe: fix potential crash in debug statement

version: starting work on 5.0.1

version: automate and cleanup ver handling

Create a single function to return the version string, to avoid lots
of ifdefs in multiple places.

Make the version determine the 'release' status. If the version from
autoconf has '-dev' in the name, it is not a release. If it hasn't
it is considered a release version.

dataset: fix string length handling in hash

dataset: fix hash computation

nfq: clear memory of queue before using it

Avoids using uninitialized memory. Show showed itself
in nonsense values in counters, and in nfq_handle_packet
errors that were likely the result of passing uninitialized
memory to the nfq API.

Bug 3263.
Bug 3120.

Fixes: b2a6c60dee83 ("source-nfq: increase maximum queues number to 65535")

nfq: micro optimization

nfq: don't warn on 'handle_packet' error

NFQ can generate warnings/errors with a delay. After Suricata has
succesfully passed a verdict to the kernel, there are still things
that can go wrong for that verdict. This is then passed to the
queue through a netlink error message, which leads to nfq_handle_packet
returning an error code.

Suppress the warning. Also remove the errno/strerror use as
nfq_handle_packet does not set the errno.

Thanks to Florian Westphal.

Bug 3120.

nfq: code cleanups

nfq: check for EAGAIN after recv() call in NFQRecvPkt()

nfq: minor code cleanups

datasets: suppress noisy debug statement

log-pcap: don't print (null) for compression method

tcp: don't set event on empty SACK opt

TCP_OPT_INVALID_LEN was set if the opt len was 2. While useless
an empty SACK is not uncommon.

Seen on an iOS device talking to an Apple server.

Bug #3254.

suricata: use version from autoconf

doc/userguide: fix typo

doc/userguide: fix base64 example

Add a sticky buffer example and fix the content modifier one.

detect-base64: fix url in list keywords commands

doc: removal of disable-rust and path typo for suricatasc

eve/dns: don't log warning if dns log version not set

If the DNS log version is not set, we default to v2. This should
not be warning, but better logged at the config level.

A warning will still be logged if the value is set but is not
1 or 2.

signature: leak fix in DetectAddressParse2

config: use logging instead of stderr

mpls: Allow MPLS after vlan.

Fixes #2771

dns: minor cleanup

app-layer: make dns,smb,tls parsers less noisy w/o config

detect/tls: set alternatives for legacy tls keywords

detect/tls: tls.cert_fingerprint is a sticky buffer

Not a content modifier.

doc: fix version in install doc

doc: add upgrade page

changelog: update for 5.0.0

changelog: update 5.0rc1 section with missing entries

automake: use tar-ustar for longer filenames

According to the automake manual it should be considered
portable these days.

https://www.gnu.org/software/automake/manual/html_node/List-of-Automake-options.html

Required for the dist generation with Rust vendoring.

doc: document eve/dns v2 as the default

Adds eve/dns v2 format documentation. Update legacy format
to require the version field.

suricata.yaml/dns: small cleanups, not that default is v2

Note that the eve dns log format is version 2 by default.

Make the value of commented out values their default.

Update the comment on the types to better reflect what it does.

mem: Use correct len with strlcpy

configure.ac: fix static build with pcap

pcap can depends on nl-3 so use pkg-config to find these dependencies
otherwise all AC_CHECK_LIB calls will fail when building statically

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Makefile: prefix suricata-update error with @

So only the echo output is displayed. Not the lines themselves.

suricata-update: don't install if requirements not met

Don't try to run suricata-update if its not installed.

The 'make install-rules' target would try to run suricata-update
when it was detected that it was bundled, but didn't consider
if suricata-update was actually installed.

stream: fix progress for min_inspect_depth

Make sure progress don't exceed raw_progress.

smtp: implement min_inspect_depth logic

Implement min_inspect_depth for SMTP so that file_data and
regular stream matches don't go out of sync on the stream start.

Added toserver bytes tracking.

Bug #3190.

debug: make it easier to trace flush logic

configure: don't print ERROR if we don't exit

eve/dhcp: remove leftover template comments

eve/alert: clean up proto metadata

Use a switch statement to select the protocol specific function.

dns: rename rust files and funcs

jansson: remove explicit <jansson.h> includes

Header is included from suricata-common.h

jansson: remove HAVE_LIBJANSSON guards

rust: remove build system HAVE_RUST guards

rust: remove all HAVE_RUST guards

http: updates suricata.yaml comments

As well as the userguide documentation about suricata.yaml

configure: fix python major version check on python 2.6

Python 2.6 doesn't use a named tuple for the version info,
instead use the index of the major version which works
on Python 2.6 upwards.

rust: run tests with same features as build

Cargo check wasn't being passed --features so could have a different
configuration than the build.

rustup: handle rustup for sudo and su

If rustup is in use, and a user uses sudo or su for the make
install, the install may fail with a "no default toolchain"
error.

To prevent this, detect at configure if rustup is being used,
then set RUSTUP_HOME for all calls to cargo.

python: fixes for installing from path with spaces

Related to Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2668

rust: fix build when source directory has spaces in it

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2668

configure: no, followed by reason for python tools

This:
  Install suricatactl:                     no, requires distutils
instead of this:
  Install suricatasc:                      requires distutils

configure: generic instructions for missing python modules

Instead of telling the user what packages to install for missing
Python modules, give generic instructions about what module
needs to be installed.

It is getting tricky to get these package names correct
across distributions.

suricata-update: build before install

Run the Python build independent of install. Prevents files
in the tree becoming owned by root.

configure: detect python major version

For informational purposes only when notifying what Python
modules are required during ./configure.

configure: don't detect python version

Don't detect the Python version, it is not needed anyways,
all we need is the Python path.

Also, python2 --version prints to stderr, while python3
prints to stdout, leading to some odd output during
./configure (but fixable).