rust/smb: convert parser to nom7 functions (SMB1)

rust/smb: convert parser to nom7 functions (DCERPC records)

rust/smb: convert parser to nom7 functions (SMB2)

rust/smb: convert parser to nom7 functions (SMB3)

rust/smb: convert parser to nom7 functions (NTLM/SSP records)

rust/smb: convert parser to nom7 functions (NBSS records)

rust: add nom7 combinator take_until_and_consume

doc: fix typo in "Stream engine" documentation

ftp: do not set alproto if one was already found

Ticket: 4857

If a pattern such as GET is seen ine the beginning of the
file transferred over ftp-data, this flow will get recognized
as HTTP, and a HTTP state will be created during parsing.

Thus, we cannot override directly alproto's values

This solves the segfault, but not the logical bug that the flow
should be classified as FTP-DATA instead of HTTP

app-layer/htp: cleanup test

htp: rename callbacks to make purpose clearer

stream: unify ack'd right edge handling

Use util function in all code needing the ack'd data.

detect/engine: store buffer name in local array

Instead of storing a name and description as a pointer in DetectBufferType
store them in fixed size arrays. This is in preparation of runtime registration
of buffer types, where a constant name/desc is not available.

mingw: add bcrypt to LDADD for rust compilation

stream/reassembly: ignore min_inspect_depth on TCP state CLOSED

detect/http: don't set min-inspect-depth higher than setting

eve/ftp-data: log alert metadata in ftp-data object

Ticket: 4860

instead of directly in root

rust: export constants via cbindgen

so that constants are not defined twice in Rust anc C
So that we are sure they have the same value

mime: handles multiple sections for a parameter

Ticket: 4386

as per RFC2231.
For instance filename can be split between filename*0,
filename*1, etc...

mime: move FindMimeHeaderTokenRestrict to rust

Also fixes the case where the token name is present
in a value

detect-ipopts: convert unittests to FAIL/PASS APIs

Bug: 4047

mqtt: fix transaction completion

Ticket: 4862

A transaction to client is always considered
complete in the direction to server and vice versa.
Otherwise, transactions are never complete for
AppLayerParserTransactionsCleanup

detect/fast_pattern: allow for rule time registration

In preparation of more dynamic logic in rule loading also doing
some registration, allow for buffers to be registered as fast_patterns
during rule parsing.

Leaves the register time registrations mostly as-is, but copies the
resulting list into the DetectEngineCtx and works with that onwards.
This list can then be extended.

detect: add buffer helper functions

detect: split register time and detect load time buffer funcs

detect: use hashes for all buffer to id

Instead of a map that is constantly realloc'd, use 2 hash tables for
DetectBufferType entries: one by name (+transforms), the other by
id. Use these everywhere.

detect: increase SigMatch type from u8 to u16

detect: use bool for uint16_t used as bool

common: fix missing ; in header

detect: allows <> syntax for uint ranges

detect: use prefilter values for modes

detect: errors for rule with impossible conditions

Such as >255 for an uint8 field

userguide: (nit) fix typo in lua-output page

userguide: rename pg Lua Scripting->Lua Detection

Since we can have scripts for output _or_ detection, it seems more
clear to rename this page to add more meaning

userguide: update buffers list for lua-scripting

userguide/lua: add explanation about `need` diffs

The differences on how the `need` key works, depending on script
usage (output or detection) confuses users, sometimes (cf doc#4725).
While we don't fix that, just explain this behavior.

fuzz: restrict flags passed to AppLayerProtoDetectGetProto

Completes commit 05f9b3ffc687d1afcfc5984ac9f0ce1888d06bf5

app-layer: include decoder events in app-layer tx data

As most parsers use an events structure we can include it in the
tx_data structure to reduce some boilerplate/housekeeping code
in app-layer parsers.

range: prevents memory leak of file from HTTP2

Ticket: 4811
Completes commit c023116857426137eb0c7240b80e99a8940f3c5b

state.free should also close files with ranges
as state.free_tx did already

And file_range field should be reset so that there is no
use after free.

enip: fix int warnings

There seems to fix a real bug when an ENIP connection
has more than 65k transactions

dnp3: fix int warnings

There is a hack to know the type of an integer
and do an explicit cast in the python script
generating the C file

Also extends some bounds check against negative values

protodetect: fix int warnings

There is actually a real evasion with AppLayerProtoDetectPMGetProto
using u16 instead of u32 for buflen

ci: adds default warning flag about float conversions

warning: explicit casts to double

source/pcap: remove unused code

fuzz: restrict flags passed to AppLayerProtoDetectGetProto

So that rust does not panic with an unhandled value

af-packet: add send error counter

packetpool: ReleasePacket callback check on getter

Any packet coming from the pool should have `PacketPoolReturnPacket`
as its callback. Check that this is the case.

af-packet: only ref mpeer if needed in tpacket v2

We only use it in autofp mode, for reference counting purposes.

Removes 2 atomic operations per packet in the more common workers
runmode.

af-packet: minor output updates

af-packet: optimize packet setup

Don't set fields we don't use in V3.

af-packet: add counters on how poll() works

Use `capture.afpacket.*` counter name space.

af-packet: don't check ifstate per send call in IPS

Instead just accept that the socket state leads to `sendto` errors.
So print at most one error per socket.

af-packet: simplify AFPWritePacket

Since return code was ignored by all callers, we can just turn it into a
void function and slightly simplify the logic.

af-packet: use BUG_ON for 'impossible' condition

af-packet: refactor VLAN hdr handling

Update the packet payload after decode, instead of during IPS send.

This means the updates happen in the capture thread, and the VLAN header
is available to logging as well.

Ticket: #4805.

af-packet: remove tpacket-v1 support

Ticket: #4796.

V2 (for IDS and IPS) and V3 (for IDS) are widely supported. V2 was introduced
in 2008, so we can safely assume that all systems can run V2+.

app-layer/template: don't always enable if unittests built

314ec77f88325a4e8989e898991b9af493cad3dc had the unintended side affect
of enabling the template parser and detection buffer if unittests were
enabled.

Fix this by using the new `Default` method for registering parsers.
However, the buffer still needs an explicit configuration check.

Also convert Notice debug messages to Debug to reduce output when in
unittest mode.  If we feel stronly this should still be Notice in the
template, that is a conversion we can make in the generation script when
generating a new parser.

tftp: Change references to echo

This commit changes the references to the "echo" protocol to tftp. The
references to echo are part of the template parser code.

ftp: Remove diagnostic print

This commit removes a diagnostic message displayed during extraction of
the EPSV port.

netmap: V14 API changes

This commit modifies the Netmap packet handling to use API version 14.

@bmeeks8 contributed many changes instrumental to this effort.

util: Add sys/ioctl.h to common include

This commit adds another system include file based on autoconf to the
common Suricata include file for convenience.

util/log: Include device name with thread count

config/netmap: Check for latest API version

This commit checks for the latest Netmap API version.

range: prevents memory leak of file from HTTP2

If a HTTP2 transaction gets freed before the end of the range
request, we need to have the files container which is in
the state, to transfer owernship of this file to the files
container.

Ticket: 4811

conf: avoid quadratic complexity

Ticket: 4812

When adding many sequence nodes

rust/nfs: convert parser to nom7 functions (NFS v2 records)

rust/nfs: add a maximum number of operations per compound

The `count` combinator preallocates a number of bytes. Since the value
is untrusted, this can result in an Out Of Memory allocation.
Use a maximum value, large enough to cover all current implementations.

rust/nfs: convert parser to nom7 functions (NFS v3 and v4 records)

detect-fragoffset: convert unittests to FAIL/PASS APIs

Bug: #4040

ci: add fedora 35 to builds

smtp: log transaction even if no email present

The SMTP transaction logger was not writing the log if the email
portion of the logger failed, such as in the case of STARTTLS
where this is no email decoded.

Ticket #4817

detect/proto: convert unittests to FAIL/PASS APIs

Task #4027

detect-icode: convert unittests to FAIL/PASS APIs

Bug: #4045

detect-id: convert unittests to FAIL/PASS APIs

Bug: #4046

detect/siggroup: convert unittests to FAIL/PASS APIs

Task #4028

lua: Fix SCRule functions for match scripts

Save Signature structure to lua register so SCRule functions can work
in match scripts, where no PacketAlert is present

Resolves Feature #2450

modbus: free eve thread context on deinit

Was triggering ASAN leak detection.

dhcp: fix url in comment

rustdoc was complaining about the format of the URL in a comment
while trying to generate documentation. Convert the comment to a
non-rustdoc comment for now to satisfy rustdoc.

app-layer: remove IsTxEventAware: never used

The function AppLayerParserProtocolIsTxEventAware is not used so
remove.

rdp: fix transaction id

By our convention the transaction ID is incremented then applied
to the new transaction. And the generic transaction iterator
requires this behaviour.

app-layer: remove tx detect state setter and getter

Instead access detect state through AppLayerParserGetTxData.

app-layer: include DetectEngineState in AppLayerTxData

Every transaction has an existing mandatory field, tx_data. As
DetectEngineState is also mandatory, include it in tx_data.

This allows us to remove the boilerplate every app-layer has
for managing detect engine state.

rdp: add tx iterator

krb5: use tx iterator

ntp: add tx iterator

sip: add tx iterator

ike: add tx iterator

For IKE the manual iterator functions were there, but never
registered. So this commit does add a tx iterator to ike.

snmp: use generic tx iterator

dhcp: use generic tx iterator

http2: use generic tx iterator

template: use generic tx iterator

nfs: use generic tx iterator

rfb: use generic tx iterator

mqtt: use generic tx iterator

modbus: use generic tx iterator

smb: use generic tx iterator

rust/app-layer: provide generic implementation of iterator

Create traits for app-layer State and Transaction that allow
a generic implementation of a transaction iterator that parser
can use when the follow the common pattern for iterating
transactions.

Also convert DNS to use the generic for testing purposes.

profiling: fix profiling with sample rate

Rules profiling was returning invalid results when used with sample
rate. The problem was that the sample condition was run twice in the
packet flow. As a result, the second pass was not initializing the
variable storing the initial CPU ticks and the resulting performance
counters were reporting invalid values.

Bug: #4836.

detect: file_data keyword works on nfs protocol

Ticket: #4839