doc/devguide: document the rate filter callback

Ticket: #7673

doc: add rst header order recommendation

Ticket: #7396

detect: add callback for when rate filter changes action

This callback will be called when alert action has been changed due to a
rate filter. The user can then reset or customize the action in their
callback per their own logic.

As the callback is added to the current detection engine, make sure its
copied to the new detection engine on reload.

Ticket: #7673

decode: documentation group for packet alert flags

As #define's like this can't be logically grouped into an enum, try
Doxygen documentation groups, which create a group just of these flag
values and documents them together on a page.

decode: use BIT macros for flags; consistent naming

Use the BIT_U8 macros for packet alert flags and rename
PACKET_ALERT_RATE_FILTER_MODIFIED to
PACKET_ALERT_FLAG_RATE_FILTER_MODIFIED for consistency.

detect/ftpbounce: reuse generic hook

ftp: per direction tx progress

For request side, having a tx means the request is done.

For response, wait for tx to be marked complete.

Remove unused states.

github-ci: pin bindgen test to bindgen v0.66.0

doc/userguide: fix typo in lua flowvar lib

Was importing suricata.flow, not suricata.flowvar.

lua: convert lua flowint functions to lib: suricata.flowintlib

Ticket: #7487

build: separate private headers from installed headers

Create a new list of headers for headers that should never be
installed, such as private headers that should only be available
within the Suricata project.

For now, just the util-device-private.h belongs to this set.

examples: add simple c++ example

For now just used to make sure a C++ variation of our custom example
can build.

util-device: break into public and private definitions

util-device.h exposes some details that are particularly problematic
for C++, even when wrapped in 'extern "C"'. To address this, break the
header into public and private parts. The public part exposes
LiveDevice as an opaque data structure, while the private header has
the actual definition.

The idea is that only Suricata C source files should include the
private header, it should not be re-included in any other header
file. And this is the header library users should use, however we
don't enforce it with tecnical means, a library user could still
include the private header, but the clue there is in the name.

device: move LiveDeviceName from header into source

This data structure is only used by the C file and has no reason to be
exposed in the header.

libsuricata-config: fix static library dependency order

When static linking we have a circular dependency between
libsuricata_rust, and libsuricata_c, so we have to list each twice.

An alternative is to use "-Wl,--start-group", but that isn't portable
outside the GNU toolchain.

libsuricata-config: fix type (status -> static)

misc: add c++ support to some headers

For now, just the headers required by our examples.

misc: only define _GNU_SOURCE if not defined

C++ compilers on Linux (g++, clang++) appear to always define this.

threads: rename function to make scope more clear

SCTmThreadsSlotPktAcqLoopFinish ss now used outside of
just pktacq as well.

threads: fix autofp shutdown race condition

Sometimes a single flow pcap would log 2 flows. It turns out FlowWorkToDoCleanup
ran before all the packet threads had processed their "wire" packets. It then
removed a flow that a wire packet would still have needed, leading to the worker
thread creating a new flow for it.

This could happen due to the logic in TmThreadDisableReceiveThreads which calls
TmThreadDrainPacketThreads to made sure it only returns when all autofp-workers
have processed all the packets the autofp-capture thread fed to them.

However, the way it checked this is by checking the size of the autofp-worker's
input queue. If 0, it assumes it is done.

What this missed, is that a worker thread could have just taken the last packet
from the input queue, but it is not yet done processing it. If then the
FlowWorkToDoCleanup is ran as well, it would race the worker thread to the flow
handling logic. When it won, the flow was evicted and the packet thread
created a new flow.

This patch improves the shutdown logic to force the worker threads to
enter a "flow loop" (THV_FLOW_LOOP) state before moving on to the
FlowWorkToDoCleanup step. This makes sure that any in progress packets
in the worker threads have been processed.

Bug: #7681.

threads: remove unused flag

lua: convert hassh function into suricata.hassh lib

Ticket: 7603

We use suricata.ssh lib but also enable hassh.

lua/flowvarlib: fix unchecked null

Use checkudata, instead of testudata which won't return in case of
NULL, but raise an error in the Lua script.

Fixes:

** CID 1646748:  Null pointer dereferences  (NULL_RETURNS)
/src/util-lua-flowvarlib.c: 89 in LuaFlowvarValue()

lua/flowvarlib: fix formatting inside clang-format off

gen/typo: Correct configure output grammar

Fixup the grammar for the Napatech option -- was "Enabled Napatech".

detect/single-buf: helper with more explicit direction

rust: bindgen detect-engine-buffer.h

Ticket: 7667

And prefix SCDetectBufferSetActiveList to be exported

Allows less use of suricata crate in plugin as we get the functions
prototypes from suricata_sys and they are more correct.

src: new file detect-engine-buffer.h

Taken from detect-engine.h so that we can bindgen this smaller
unit.

sdp: use rust join

It is much faster as it does not do an allocation for each element

websocket: limit allocation for small sizes

Fixes: 16f74c68aaa9 ("websocket: use max window bits of 15")
We do not need to allocate 8kbytes for a small message

lua: convert flowvar functions to lib

New Lua lib, "suricata.flowvar" for working with flowvars from Lua.

Replaces functions:
- SCFlowvarGet (and ScFlowvarGet)
- SCFlowvarSet (and SCFlowvarSet)

Of note, the DetectLuaData has been made available to the init and
thread_init methods, instead of just the match. This is due to an
issue that if a flow variable is not registered in init, it will not
be logged, registering in thread_init is too late.

Ticket: #7486

doc/ssh: document hooks

Ticket: 7607

detect: flow friendly error on hook incompatibility

ssh: rustfmt

lua: convert ssh function into suricata.ssh lib

Ticket: 7607

ssh: make hooks available

Allows signature like `alert ssh:request_banner_done`

rust: derive for AppLayerState

To enable easily hooks for rust app-layers such as SSH

dns/lua: remove now unused includes

Completes commit 1206c1c5af95479e8fd32f199bc7bfd3bafc56de

ftp: Apply rustfmt changes

doc/ftp: Document ftp.dynamic_port keyword

Document the sticky buffer for ftp.dynamic_port

detect/ftp: Add ftp.dynamic_port keyword

Issue: 7504

Add implementation of the ftp.dynamic_port rule keyword. The
implementation uses the U16 integer matching/parsing and thus supports
the comparison operations such as <, >, <=, >=, !, !=, and range (-).

app/ftp: Use common API naming

Modify the Rust API functions to conform to project naming format:
SCFTP*

Issue: 7504

detect/multi-buf: helper with more explicit direction

detect/multi-buf: use only one progress

for both inspect engine and app-layer mpm

detect/multi-buf: harmonize wrapper

Introduce DetectGetMultiData which does the generic wrapping,
including the transforms.

And let each keyword do just the getter.

github-ci: update to Fedora 42

app-layer: remove obsolete NULL check

Completes commit 833a738dd1429f63c79d95edf25bb86fcc15b51a

Fixes coverity 1646610

doc/userguide: document that lua dns rules need hooks

And remove the old "keywords" that a lua Rule can register with for
DNS.

lua: fix fast.lua example

This one is a little different as it logs to a file, and is the same
fast.lua used in the new Suricata-Verify test.

Ticket: #7656

lua: add suricata.rule library

Add a "suricata.rule" library for accessing rule information from a
Lua rule, or a Lua output script.

This lib replaces the following global Lua functions:
- SCRuleIds
- SCRuleAction
- SCRuleMsg
- SCRuleClass

Ticket: #7490

doc/lua/dns: fix typo

rust: use pure rust helper for registering sticky buffers

Mark sdp and sip keywords with flags SIGMATCH_INFO_STICKY_BUFFER
as a side effect.

plugin: applayer: do not use suricata JsonError

We do not need a specific error type

http: fail tx creation if we cannot allocate user data

So, we always have a libhtp.rs htp_tx_t and a Suricata tx
with its AppLayerTxData

Thus AppLayerParserGetTxData cannot return NULL

Ticket: 5739

rust/htp: remove unused code

websocket: fixes substraction

Fixes: 16f74c68aaa9 ("websocket: use max window bits of 15")

github-ci: codecov llvm updates

Use LLVM 15 with Rust 1.67.1

github-ci: update codecov unittest job

LLVM 19, rust 1.85.1 and Ubuntu 24.04.

dnp3: mark tx as updated when creating it

Ticket: 7668

We should set updated_tx when allocating a dnp3 tx

ftp: mark tx as updated when creating it

Ticket: 7668

We should set updated_tx when allocating a ftp tx

Was already done right for updated_tc

http1: always mark tx as updated on request/response start

Ticket: 7668

We should set updated_tx when allocating HtpTxUserData

detect: rust helper to register sticky buffer

detect: rename SCSigTableElmt to SCSigTableAppLiteElmt

detect: remove never set SIGMATCH_NOT_BUILT

unittests: more realistic packet from UTHBuildPacketReal

So that its contents can be reused when translating unit tests
to SV tests

detect/dns: support string for dns.rrtype

Ticket: 6723

detect/dns: support string for dns.rcode

Ticket: 6723

detect/dns: move keywords to rust

Ticket: 7529
Ticket: 3725

Adds url for dns.opcode on the way

detect: new helper to register multi-buffer with progress

This allows to use these engines for hook rules needing exact
progress (checked in SigValidate)

ci: rustc wrapper to disable coverage for external crates

To keep the disk usage good even when we use new crates

http1: brotli decompression

Ticket: 5692

http2 already used brotli crate for decompression

output: fix leak in case of alloc error

CID: 1638290

defrag: remove unnecessary NULL check

CID: 727861

util/mpm: prevents double free

CID: 1645545

PatternDatabaseGetCached frees cd on success
So, we should NULL it, so that in case PatternDatabaseGetSize fails
and we goto error, we do not free cd again.

detect: explicitly skip check on SCConfGet

CID: 1644571

dox/userguide: add tx_cnt documentation

eve/schema: remove duplicate fields

eve/flow: log tx_cnt

This patch adds a `tx_cnt` field to `netflow` events to give some
context about the underlying protocol activity.

Ticket: #7635

eve/netflow: add tx_cnt

This patch adds a `tx_cnt` field to `netflow` events to give some
context about the underlying protocol activity.

Ticket: #7635

eve/smb: add tx_id to event

As SMB protocol is using heavily transactions, getting the transaction
ID in SMB events can be really useful for automated analysis.

websocket: use max window bits of 15

Ticket: 7285

As this is the default for websocket, which is bigger than the
defaut for zlib usage

Also limit the decompressed content to the max-payload-size
configuration parameter also used for non-compressed content.

And also use a stateful decoder to store/remember the compression
state to be able to decompress later messages.

rust: use flate2 with C zlib

move flate2.rs to a backend supporting the setting
of window_bits, which is not the case for miniz-oxide.

This will allow WebSocket to use Sec-WebSocket-Extensions
which can set a non-default window_bits

websocket: decompress single pdu message

Ticket: 7285

Previously, only messages over multiple PDUs could get decompressed

output/rotate: Remove extra rotation flag register

Issue: 3436

Remove duplicate register of the rotation flag. Eventually, this will
cause corruption when the file context has been freed and the rotation
flag is deregistered.

output/rotate: Serialize rotation flag handling

Issue: 3436

Serialize rotation flag handling to avoid corruption.

detect: add email.received keyword

email.received matches on MIME EMAIL Received
This keyword maps to the EVE field email.received[]
It is a sticky buffer
Supports multiple buffer matching
Supports prefiltering

Ticket: #7599

doc: Update bypass docs to use new keyword format

Ticket: #7143

Update documentation to reflect new sticky buffer keyword format

detect/app-layer-protocol: allow matching on 'unknown'

firewall: detect: set firewall support flag on select keywords

firewall: detect: add feature flag for keywords supporting firewall

firewall: detect: set per rule table

For firewall mode, set the pseudo table in the rule and use this
in alert queue ordering, so that rule actions are applied in the
expected order:

        packet:filter -> packet:td -> app:filter -> app:td

This makes sure that a packet:td drop is applied before a app:filter
accept.

detect: don't set conflicting packet/flow actions

If for the same a packet a drop rule and a pass rule would match,
the applying of actions could be contradictionary:

- the drop would be applied to the packet
- the pass rule would also be considered, not overriding the drop,
  but still setting the flow pass flag.

This would lead to the packet being dropped, but the rest of the
flow getting passed, including retransmissions of the dropped
packet.

This patch only sets drop/pass actions if no conflicting action
has been set on the packet before. It respects the action-order.

Bug: #7653.

firewall: detect: add explanation

detect/alert: minor cleanup

detect: add email.url keyword

email.url matches on URLs extracted from an email
This keyword maps to the EVE field email.url[]
Supports multiple buffer matching
Supports prefiltering

Ticket: #7597

rust/htp: remove authors; fix homepage

Remove the authors field as it is deprecated.

Update the repository page to the Suricata repository.

Remove the homepage, it can be found via the reposistory page.

htp: rename to suricata-htp; allow publishing to crates.io

As the "suricata" crate depends on htp, we need to publish htp to
crates.io first, however "htp" name is already taken. So rename "htp" to
"suricata-htp".

suricatactl: add description to Cargo.toml

For publishing to crates.io.

rust: always update Cargo.lock.in

On a normal project where the Cargo.lock is checked in, it would be
normal to see an updated Cargo.lock in git status and the like. As we
use autoconf to generate this file, we should just copy it back to the
input file so we get the same convenience of seeing when it is
updated, which usually means it needs to be checked in.

However, to satisfy "make distcheck", only copy it if the input
template exists, if the input template does not exist we are in an out
of tree build.

workflows: use aggressive-cleanup option w s-v

on the Fedora 41 + codecov job to avoid running out of disk space.