stream: fix stream pruning being too aggressive

Pruning of StreamBufferBlocks could remove blocks that fell entirely
after the target offset due to a logic error. This could lead to data
being evicted that was still meant to be processed in theapp-layer
parsers.

Bug: #4953.

stream: debug code for showing segment list state

detect: Avoid recomputing ntohl() in addr match

This commit makes a small optimization when comparing IPv4 and IPv6
addresses by making the host order value invariant and calculating the
value once, before entering the loop.

file: define own variable instead of PATH_MAX

to be used for maximum size of file names,
and not depend on the OS

ssl: fix int warnings

especially increasing padding_len size

smtp: fix int warnings

and explicitly truncating filename's length

app: fix int warnings in generic app files

http: : fix int warnings

Explicitly truncate file names to UINT16_MAX

Before, they got implicitly truncated, meaning a UINT16_MAX + 1
file name, went to 0 file name (because of modulo 65536)

ftp: fix int warnings

Explicitly truncate a file name if it is longer
than UINT16_MAX

log: Coverity REVERSE_INULL warnings

This commit addresses Coverity reported "REVERSE_INULL" warnings.

Issue: 4699

doc: fix typo lenght/length

nfs4_records: add unittests for nom7 parsers

Task #4866

nfs4_records: add missing field to res_sequence_ok()

Missing _seqid in sequence op struct left a trailing four zeros
that are parsed by nfs4_res_compound_command() as a cmd
causing a Switch Error Code

nfs3-records: add unittests to nom7 parsers

Task #4866

nfs3-records: add missing fields and update parsers

Add missing fields to some record structures and
update their respective parsers

nfs2-records: add unittests for nom7 parsers

Task #4866

suricatasc: Handle incomplete/empty recv values

Issue: 4947

Improve handling of values returned by recv. Sometimes, recv returns an
empty string if suricata terminates asynchronously.

nfs2: improve READ parsing

Take fill_bytes into account.

rust/app-layer: expose AppLayerEvent derive macro

Export the AppLayerEvent derive macro so plugin (or library code) can
use it as expected, for example:

use suricata::applayer::AppLayerEvent;

enum MyEvent {
    EventOne,
    EventTwo,
}

rust/derive: make usable from a plugin or lib user

The macro was generating code that references names use the "crate"
prefix which will fail if the macro is used by a library user or plugin.
Dynamically check where we are running an use the correct import paths
as needed.

rust: rename to suricata (from suricata_rust)

Rename the Rust lib to simply "suricata" instead of "suricata_rust".
This allows Rust plugin/library code to use it under the name "suricata"
which is what should be expected.

The name was only "suricata_rust" to prevent on-disk conflict with the C
code, so just rename the file on disk, which doesn't affect how the code
is interacted with from an API layer.

rust: remove feature function-macro

The function macro existed so it would only be enabled on Rust
versions that supported.  Now that our MSRV is 1.41, which is
greater than 1.38 we can assume we always have support for
this macro.

rust: bump MSRV to 1.41.1

Ticket: #4902.
(cherry picked from commit 87f04475aaa75ee205b1b699e59fb2b5ba7ed59f)

rust/http2: use base64 crate for base64 decode

base64: use the Rust base64 encode implementation

Replace our internal base64 implementation with a ffi wrapper
around the Rust implementation provided by an external crate.

eve: use JsonBuilder for encoding base64

Replaces all usages of Base64Encode just before writing to a
JsonBuilder with jb_set_base64 and jb_append_base64.

jsonbuilder: add methods to encode values as base64

Add new methods to set a value as a base64 encoded string of
a byte array. This uses the Rust base64 crate and encodes
directly into the JsonBuilder buffer with no intermediate
buffer required.

jb_set_base64: set a field on an object
jb_append_base64: append a value to an array

app-layer: use StreamSlice as input to parsers

Remove input, input_len and flags in favor of stream slice.

app-layer: add StreamSlice to pass data to parsers

Since object to contain relevant pointer, length, offset, flags to make
it easy to pass these to the parsers.

doc/yaml: Signal-termination option description

logging/diag: Enable stacktrace diagnostic if config'd

This commit adds a signal handler for SIGSEGV when configured. The
signal handler emits a one line stack trace using SCLogError. The intent
is to provide diagnostic information in deployments where core files are
not possible.

The diagnostic message is from the offending thread and includes the
stack trace; each frame includes the symbol + offset.

logging: Stacktrace on signal term setting

This commit adds a configuration setting to enable a stack trace message
if Suricata receives a signal that terminates execution, such as
SIGSEGV, SIGABRT.

error: Add error code for sig-related diagnostics

This commit adds an error code for the diagnostic code used for
diagnostic messages following unexpected termination due to signals..

configure.ac: Support libunwind configuration

This commit adds support for enabling libunwind -- a library that can be
used to display stack information.

Libunwind is enabled and used by Suricata if present during
configuration.  A diagnostic message is displayed if libunwind
cannot be found.

doc: replace ohloh with openhub link

userguide: update references to Suricata website

Many places were still referencing the old Suricata page.
Used git grep with replace to update them. Checked that new links work.
Left old references when they were only documentation examples (for
output or unittests).

Task#4915

userguide: fix low-hanging typos Config page

detect: fix app-layer-protocol keyword for HTTP

Ticket: 4920

Completes commit c8dbe24fb6202550bbca1fab452ddbe864b2c9e2
which introduced AppProtoEquals to have a generic
check for http in signature can mean http1 or http2 in
traffic.

This commit missed this case, as I only looked for
git grep "alproto ==" and here we deal with
alproto_tc and alproto_ts, but not alproto by itself.

doc/eve-json-format/dns: Describing Z-bit

dns: add dns flag to dns request logging

Ticket #4515

dns: Logging of Z-bit

[Edit by Jason Ish: fix flag bit value]

Ticket #4515

dns: create transaction even if z-bit was set

It appears that DNS servers will still process a DNS request even if the
z-bit is set, our parser will fail the transaction. So create the
transaction, but still set the event.

Ticket #4924

dpdk: add DPDK test support in Github CI

Add DPDK dependency to the build process in distributions with
a native support of DPDK in their default package managers.

dpdk: add documentation for the DPDK runmode

Briefly present the DPDK runmode through configuration file.

dpdk/ice: setup RSS for Intel ICE PMD

Set RSS hash function according to Intel ICE PMD available hash functions

Set hash functions according to the support by the ICE PMD, so that no warning
regarding RSS setting is issued.

dpdk/ixgbe: setup RSS for Intel IXGBE PMD

Set RSS hash function according to Intel IXGBE PMD available hash functions.

During configuration, a warning appeared stating that RSS hash function
has been changed from one value to the other. This has meant that
the supported hash functions did not cover all required hash functions
by the configuration. This commit solves the warning.

dpdk/i40e: support RSS on Intel i40e PMD driver

Due to peculiar behavior of i40e PMD driver, the RSS is required to be set
via rte_flow rules or a hash filter as compared to other NICs where RSS is
configured through port configuration structure.
RTE_FLOW rules are created on 5-tuples (as opposed to 3-tuple configured
on the other NICs). Fragmented traffic have been tested with this setup
and it has been proven that fragmented packets of the same flow are
received on the same queue. At the same time, setting 3-tuple on rte_flow
rules have not yield in the expected results.

Notes from the experiments:

- Configuration of 5-tuple (as is in the commit):
    fragmented and nonfragmented packets are received by the same workers
    even when I applied seed to alter them via tcpreplay-edit (option --seed)

- Setting only ETH_RSS_FRAG_IPV4 and ETH_RSS_IPV4 (i.e. setting 3-tuple):
    when setting ETH_RSS_IPV4, the PMD driver says that pctype is not
    supported (generally this means that the "type" of traffic is not
    a valid configuration for the i40e)

- Setting only ETH_RSS_FRAG_IPV4 and ETH_RSS_NONFRAG_IPV4_OTHER:
    this doesn't work well, packets of the same flow are received on
    the different workers (my explanation is that the fragmented packets are
    matched with ETH_RSS_FRAG_IPV4 but the other UDP packets are not matched
    with ETH_RSS_NONFRAG_IPV4_OTHER rte_flow rule (they would be matched with
    ETH_RSS_NONFRAG_IPV4_UDP).

dpdk: add RSS flags that are set in the NIC

dpdk: add specific error counters

dpdk: initial support with workers runmode

Register a new runmode - DPDK. This enables a new flag on Suricata start
(--dpdk).

With the flag given, DPDK runmode is enabled.

Runmode loads the configuration and then initializes EAL.

If successful, it configures the physical NICs according to the configuration
file. After that, worker threads are initialized and then are in continuous
receive loop.

dpdk: edit configure.ac to include DPDK compilation option

Add a build flag --enable-dpdk to support DPDK parts in the source code.

netmap: allow specifying a library directory

Ticket: #4482

datasets: initialize after dropping privileges

Move initialization of datasets to a point after privileges
have been dropped.

Ticket 4239

rust/smb: convert parser to nom7 functions (SMB1)

rust/smb: convert parser to nom7 functions (DCERPC records)

rust/smb: convert parser to nom7 functions (SMB2)

rust/smb: convert parser to nom7 functions (SMB3)

rust/smb: convert parser to nom7 functions (NTLM/SSP records)

rust/smb: convert parser to nom7 functions (NBSS records)

rust: add nom7 combinator take_until_and_consume

doc: fix typo in "Stream engine" documentation

ftp: do not set alproto if one was already found

Ticket: 4857

If a pattern such as GET is seen ine the beginning of the
file transferred over ftp-data, this flow will get recognized
as HTTP, and a HTTP state will be created during parsing.

Thus, we cannot override directly alproto's values

This solves the segfault, but not the logical bug that the flow
should be classified as FTP-DATA instead of HTTP

app-layer/htp: cleanup test

htp: rename callbacks to make purpose clearer

stream: unify ack'd right edge handling

Use util function in all code needing the ack'd data.

detect/engine: store buffer name in local array

Instead of storing a name and description as a pointer in DetectBufferType
store them in fixed size arrays. This is in preparation of runtime registration
of buffer types, where a constant name/desc is not available.

mingw: add bcrypt to LDADD for rust compilation

stream/reassembly: ignore min_inspect_depth on TCP state CLOSED

detect/http: don't set min-inspect-depth higher than setting

eve/ftp-data: log alert metadata in ftp-data object

Ticket: 4860

instead of directly in root

rust: export constants via cbindgen

so that constants are not defined twice in Rust anc C
So that we are sure they have the same value

mime: handles multiple sections for a parameter

Ticket: 4386

as per RFC2231.
For instance filename can be split between filename*0,
filename*1, etc...

mime: move FindMimeHeaderTokenRestrict to rust

Also fixes the case where the token name is present
in a value

detect-ipopts: convert unittests to FAIL/PASS APIs

Bug: 4047

mqtt: fix transaction completion

Ticket: 4862

A transaction to client is always considered
complete in the direction to server and vice versa.
Otherwise, transactions are never complete for
AppLayerParserTransactionsCleanup

detect/fast_pattern: allow for rule time registration

In preparation of more dynamic logic in rule loading also doing
some registration, allow for buffers to be registered as fast_patterns
during rule parsing.

Leaves the register time registrations mostly as-is, but copies the
resulting list into the DetectEngineCtx and works with that onwards.
This list can then be extended.

detect: add buffer helper functions

detect: split register time and detect load time buffer funcs

detect: use hashes for all buffer to id

Instead of a map that is constantly realloc'd, use 2 hash tables for
DetectBufferType entries: one by name (+transforms), the other by
id. Use these everywhere.

detect: increase SigMatch type from u8 to u16

detect: use bool for uint16_t used as bool

common: fix missing ; in header

detect: allows <> syntax for uint ranges

detect: use prefilter values for modes

detect: errors for rule with impossible conditions

Such as >255 for an uint8 field

userguide: (nit) fix typo in lua-output page

userguide: rename pg Lua Scripting->Lua Detection

Since we can have scripts for output _or_ detection, it seems more
clear to rename this page to add more meaning

userguide: update buffers list for lua-scripting

userguide/lua: add explanation about `need` diffs

The differences on how the `need` key works, depending on script
usage (output or detection) confuses users, sometimes (cf doc#4725).
While we don't fix that, just explain this behavior.

fuzz: restrict flags passed to AppLayerProtoDetectGetProto

Completes commit 05f9b3ffc687d1afcfc5984ac9f0ce1888d06bf5

app-layer: include decoder events in app-layer tx data

As most parsers use an events structure we can include it in the
tx_data structure to reduce some boilerplate/housekeeping code
in app-layer parsers.

range: prevents memory leak of file from HTTP2

Ticket: 4811
Completes commit c023116857426137eb0c7240b80e99a8940f3c5b

state.free should also close files with ranges
as state.free_tx did already

And file_range field should be reset so that there is no
use after free.

enip: fix int warnings

There seems to fix a real bug when an ENIP connection
has more than 65k transactions

dnp3: fix int warnings

There is a hack to know the type of an integer
and do an explicit cast in the python script
generating the C file

Also extends some bounds check against negative values

protodetect: fix int warnings

There is actually a real evasion with AppLayerProtoDetectPMGetProto
using u16 instead of u32 for buflen

ci: adds default warning flag about float conversions

warning: explicit casts to double

source/pcap: remove unused code

fuzz: restrict flags passed to AppLayerProtoDetectGetProto

So that rust does not panic with an unhandled value

af-packet: add send error counter