flow/timeout: clean up flow finish code

flow/timeout: use single packet for timeout handling

In the FlowFinish logic, one or two pseudo packets are used to finish flow
handling. In the case of 2 (one per direction), the logic first set up the
2 packets, then it would process them one by one. This lead to poor cache
locality.

This patch processes the first packet entirely first, followed by the second
packet.

flow/timeout: use const TcpSession; cleanup prototypes

detect/content-inspect: minor code cleanups

detect/replace: minor code cleanup

detect/content: minor code/comment cleanups

detect/content: use const pointer where possible

detect/app-layer-events: constify arguments; minor cleanups

detect: improve explanation of offset tracking

detect/content: test cleanup

detect/bytejump: fix debug messages

Remove newlines.

detect/file.data: modernize test

detect: modernize unittest

detect/content-inspect: keyword context as const

detect/pcre: match data is const at match time

detect/http.uri: modernize unittest

util/print: minor code cleanups

rust: add copyright header to common.rs

util/prefilter: constify sids

mpm: free sids in MpmFreePattern as well

mpm: cleanup pattern free function

Avoid redundant pointer checks; instead check once.

mpm/ac-bs: add warning if still used

Fall back to default matcher.

Ticket #6586.

mpm: document Search callback return value

mpm/ac-ks: return only unique match count

Bring implementation in line with Hyperscan, which only counts unique matches.

Update test to reflect the new behavior.

mpm/ac: return only unique match count

Bring implementation in line with Hyperscan, which only counts unique matches.

Update test to reflect the new behavior.

mpm: remove ac-bs implementation

Ticket: #6586.

detect: minor cleanup

MPM_HS does not need a guard.

userguide: remove old css files

In our conf.py we reference some ReadTheDocs stylesheets that appear to
be old and break formatting of some items like bulletted lists.

Bug: #6589

detect: reimplement discontinue matching logic

Previously various steps in the content inspection logic would use
a variable in the DetectEngineThreadCtx to flag that matching should
be discontinued.

This patch reimplements this logic by using a new return code instead.

Split content inspection into public and private version, so that
common initialization can be done in a single place.

Update the callsites.

detect/file-data: simplify content inspect loop

detect-engine: minor content inspection cleanup

packet: minor macro cleanups

packet: access packet data through flex array

log-pcap: constify PcapWrite args

General cleanup, but also needed for packet changes.

device/storage: use flex array instead of calculated ptr

ippair/storage: use flex array instead of calculated ptr

host/storage: use flex array for host storage

flow/storage: use flex array instead of calculated ptr

storage: use proper type instead of void ptr

storage: remove unused code

Only used in a unittest; removed that as well.

source: fix resource leak

CID: 1426081

detect/filestore: fix memory leak on sig parsing

Ticket: 6574

Introduced by commit c272a646c5ae739d18901776cc5a940afd3d3d38

stats: improve sync signalling

Make syncs more reliable by using a atomic "sync now" variable and
signalling the conditions under lock.

Ticket: #6569.

stats: turn sync macros into functions

flow: fix condition signalling

Signal threads while holding lock. This should make the signalling
more reliable.

From PTHREAD_COND(3):

"Unlocking the mutex and suspending on the condition variable is done
 atomically. Thus, if all threads always acquire the mutex before
 signaling the condition, this guarantees that the condition cannot be
 signaled (and thus ignored) between the time a thread locks the
 mutex and the time it waits on the condition variable."

Ticket: #6569.

ippair: fix minor coverity warning

CID 1554232:  Data race undermines locking  (LOCK_EVASION)

Ticket #6565.

host: fix minor coverity warning

CID 1554240:  Data race undermines locking  (LOCK_EVASION)

detect/xbits: fix coverity warning

CID 1554237 and CID 1554233

Basically make the code easier to reason with for coverity
without changing the behavior which was fine.

packetpool: signal condition within lock

Completes: dc40a139acb3 ("packetpool: signal waiter within lock")

packetpool: dynamic return threshold

Problem:

In pcap autofp mode, there is one threads reading packets (RX). These packets
are then passed on to worker threads. When these workers are done with a
packet, they return packets to the pcap reader threads packet pool, which is
the owner of the packets. Since this requires expensive synchronization between
threads, there is logic in place to batch this operation.

When the reader thread depletes its pool, it notifies the other threads that
it is starving and that a sync needs to happen asap. Then the reader enters
a wait state. During this time no new packets are read.

However, there is a problem with this approach. When the reader encountered
an empty pool, it would set an atomic flag that it needed a sync. The first
worker to return a packet to the pool would then set this flag, sync, and
unset the flag. This forced sync could result in just a single packet being
synchronized, or several. So if unlucky, the reader would just get a single
packet before hitting the same condition again.

Solution:

This patch updates the logic to use a new approach. Instead of using a
binary flag approach where the behavior only changes when the reader is
already starved, it uses a dynamic sync threshold that is controlled by
the reader. The reader keeps a running count of packets it its pool,
and calculates the percentage of available packets. This percentage is
then used to set the sync threshold.

When the pool is starved, it sets the threshold to 1 (sync for each packet).
After each successful get/sync the threshold is adjusted.

calloc: Use nmemb with SCCalloc

This commit modifies calls to SCCalloc that had a member count of 1 and
a size count calculated as: element_count * sizeof(element).

memory/alloc: Use SCCalloc instead of malloc/memset

detect: SigMatchAppendSMToList can fail

Ticket: #6104

And failures should be handled to say that the rule failed to load

Reverts the fix by 299ee6ed5561f01575150b436d5db31485dab146
that was simple, but not complete (memory leak),
to have this bigger API change which simplifies code.

output/krb5: have krb5 properties in alerts

Ticket: 5977

output/tftp: have tftp properties in alerts

Ticket: 6501

output/ftp: have ftp properties in alerts

Ticket: 6500

output/alert: rewrite code for app-layer properties

Especially fix setup-app-layer script to not forget this part

This allows, for simple loggers, to have a unique definition
of the actual logging function with the jsonbuilder.
This way, alerts, files, and app-layer event can share the code
to output the same data.

Ticket: #3827

rust: remove unused

Ticket: #4083

detect: header_lowercase transform

Ticket: 6290

af-xdp: detach XDP program early

To mitigate a bug with AF_XDP sockets in high traffic scenarios, the XDP program must be detatched before
the sockets are closed. This issue happens when large ammounts of traffic are sent to suricata and
the XDP program is not removed before AF_XDP sockets are closed. I believe this is a race
condition bug as detailed here: https://bugzilla.kernel.org/show_bug.cgi?id=217712

Further investigation shows this may be a bug exclusive to the driver/AMD processor combination.

This commit addresses the bug by ensuring the first thread to run the deinit function
removes the XDP program, which fixes the bug as detailed in the bugzilla link.

Bug #6238

detect/stream_size: fix prefiltering registration

Ticket: #6551

doc: update file.data keyword documentation

Signed-off-by: jason taylor <jtfas90@gmail.com>

rule-reload: Release excess memory freed during engine reload

The hot reload results in large chunks of memory being freed as the
as the old signature tables are discarded. Help the memory management
system along by telling to release as much memory as it can at this
point.

Bug: #6454.

examples: add an example plugin of an eve filetype

This is an example of what adding plugin examples to the Suricata repo
could look like.

This plugin is an example plugin for an EVE filetype. It could be
extended to support outputs like Redis, syslog, etc.

There is one issue with adding plugins like this to an autotools
project, the project can't be built with --disable-shared, which is
more of an autotools limitation, and not really a Suricata issue.
Suricata built with --disable-shared will load plugins just fine.

Note that the examples directory was added as DIST_SUBDIRS as we don't
want normal builds to recurse into it and attempt to build the plugin,
its just an example, but we still need to keep distcheck happy.

userguide: update tls not_after/not_before mentions

Our tls fields not_after and not_before are actually logged as
`notafter` and `notbefore`, but were documented with the underscore.

Update the documentation, since updating the log format itself would be
a breaking change.

Task #5494

userguide: document flow_id, with examples

Flow_id explanation expanded from version shared by Peter Manev.

Task #6445

github-ci: don't add author names/emails to new author comment

The new author details will still be available in the artifact, we're
just not calling them out in a nighly visible pull request comment.

github-ci: cancel previous builds workflow for branch

On a push of the same branch, cancel the previous running builds.yml
workflow.

bool: Remove TRUE/FALSE

debug/bool: Switch use_color to a bool

run/bool: Use bool for threading value

htp/bool: Use bool instead of int

detect/bool: Use bool type for unittests

prefilter/bool: Use bool values for is_last

pcap/bool: Use bool type for is_private

stream/bool: Use bool for StreamTcpInlineMode

general/bool: Change Suricata int to bool

Change Suricata operational values from int to bool.

general/bool: Use bool for file support

general: Use bool instead of int for condition fns

This commit changes the conditional logging functions to use bool rather
than int values.

util-memcmp: Convert unittests to new FAIL/PASS API

Ticket: #6107

detect: fix typo

detect: add mqtt.connect.protocolstring

Ticket:  OISF#6396

mpm: thread ctx cleanups

Remove unused thread ctx' from AC variants

Use single thread store in detection.

Minor cleanups.

detect/tag: reuse result of previous host lookup

Minor optimization that could lead to a reduction in host table
lookups if more than one host feature is in use.

doc/userguide: add tag keyword page

Ticket: #3015.

doc/userguide: document host table yaml settings

unittests: free packet using PacketFree

Update SigTest17 which left a dangling pointer.

detect: fix inspect engine return codes

Use proper inspect engine codes instead of bool.

detect/flow: optimize only_stream/no_stream options

Until now the implementation would scan the stream, fallback to the
packet payload in exception cases, then keep track of where the match
was and in the flow match logic reject the match if it was in the wrong
buffer.

This patch simplifies this logic, by refusing to inspect the packet
payload when `only_stream` is set.

To do this the `only_stream`/`no_stream` options are now translated
to the pseudo protocols `tcp-stream` and `tcp-pkt` at parsing, so that
the `flow` keyword doesn't have to evaluate these conditions anymore.

http2: app-layer event for userinfo in uri

Ticket: #6426

as per RFC 9113
":authority" MUST NOT include the deprecated userinfo subcomponent
for "http" or "https" schemed URIs.

detect/transform: Clarify transformation validation

Issue: 6439

Clarify the transform validation step. When a transform indicates that
the content/byte-array is not compatible, validation will stop.

Content is incompatible is some cases -- e.g., following the
to_lowercase transform with content containing uppercase characters.
An alert is not possible since the content contains uppercase and the
transform has converted the buffer into all lowercase.

detect/transform: Register case-change transforms

Issue: 6439

doc/transform: Document case-changing transforms.

Issue: 6439

detect/transform: Add case changing transforms

This commit adds the implementation for the case changing transforms:
to_lowercase and to_uppercase

Issue: 6439

detect/transform: Add case-change transform constants

Add the constants for the to_lowercase and to_uppercase transforms

Issue: 6439

detect/tenants: Add tenant context to rule loads

Issue: 1520

This commit adds the tenant id for context to rule and .config file
loads.

general: Remove vi formatting directives

output/null: Add the null output device

This commit adds the null output device; to use, set the filetype
to "nullsink" for each output that should discard and never persist
logs/alerts/etc.

This is implemented as an "internal eve output plugin" just like the
syslog eve output type.

napatech: update docs to remove hba reference

napatech: remove deprecated hba support