pgsql: don't log password msg if password disabled

If the logging of the password is disabled, there isn't much point in
logging the password message itself.

doc: add file.name information to smtp keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add file.name information to nfs keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add file.name information to smb keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update ftp keyword doc example rule format

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add file.name information to ftp keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add file.name information to http keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

ebpf: Update eBPF map to BTF defined map

legacy map definition is removed from libbpf1.0+.
update the legacy map definition to BTF defined map.

Distros with < libbpf1.0 (0.5, 0.6, 0.7, 0.8) bpf_helpers.h
support BTF map definition, this change does not break
old libbpf and support new libpbf1.0+.

Bug: #6250

Signed-off-by: Vincent Li <vincent.mc.li@gmail.com>
Co-authored-by: Victor Julien <vjulien@oisf.net>

pgsql: remove probe_ts function

With the changes in the probing_ts function, this other one could become
obsolete. Remove it, and directly call `parser::parse_request` when
checking for gaps, instead.

pgsql: remove unused error handling call

pgsql: don't log unknown message type

pgsql: fix probing functions

Some non-pgsql traffic seen by Suricata is mistankenly identified as
pgsql, as the probing function is too generic. Now, if the parser sees
an unknown message type, even if it looks like pgsql, it will fail.

Bug #6080

pgsql: add unknonwn frontend message type

We had unkonwn message type for the backend, but not the frontend
messages. It's important to better identify those to improve pgsql
probing functions.

Related to
Bug #6080

detect-engine: use ports only after edge case handling

Also, add comments to clarify what's happening in the code.

detect: remove misleading comment

The comment seems to have come from the enum for addresses where IPv4
and IPv6 matters.

detect/port: remove BUG_ON in favor of PORT_ER

Either the BUG_ON condition would hit or PORT_ER. Prefer to return error
in case of an error as the fn expects that.

detect/engine: defensive check and comment update

detect: remove redundant null setting

de_ctx->dport_hash_table is already set to NULL in the fn
DetectPortHashFree which is called right before this setting.
Remove the redundant setting.

detect: use proper names for whitelist score criteria

detect/engine: fix whitelisted port range check

So far, the condition for checking if the whitelisted port was in the
port range of "a" said

a->port >= w->port && a->port2 <= w->port

But, if a->port <= a->port2, this condition could only be true when
a->port == w->port == a->port2. However, the motivation for this fn was
to be able to find if the whitelisted port for a carrier proto already
was in the range of the given protocol and calculate a score for the
port accordingly.
Fix the range check such that a->port <= w->port <= a->port2.

detect: rename whitelist to score

The term "whitelist" is actually used to store a list of DetectPort type
items for tcp and udp in detect.h. Using the same term for also keeping
the score that affects the grouping of rules is confusing. So, rename
the variable to "score".

detect-engine: use only the exact match fn

DetectFlagsSignatureNeedsSynPackets checks if TCP SYN flag is set among
other flags.
DetectFlagsSignatureNeedsSynOnlyPackets checks if only TCP SYN flag is
set and no other flag.

Since DetectFlagsSignatureNeedsSynOnlyPackets also already checks for
TCP SYN flag, it does not need to be used in combination with
DetectFlagsSignatureNeedsSynPackets as this fn seems to be the superset
of the former.

detect/asn1: handle in PMATCH

Since the asn1 keyword is processing payload data, move the handling of
the keyword into the PMATCH with content inspection.

Use u32 as buffer length in the Rust FFI

flow/timeout: clean up flow finish code

flow/timeout: use single packet for timeout handling

In the FlowFinish logic, one or two pseudo packets are used to finish flow
handling. In the case of 2 (one per direction), the logic first set up the
2 packets, then it would process them one by one. This lead to poor cache
locality.

This patch processes the first packet entirely first, followed by the second
packet.

flow/timeout: use const TcpSession; cleanup prototypes

detect/content-inspect: minor code cleanups

detect/replace: minor code cleanup

detect/content: minor code/comment cleanups

detect/content: use const pointer where possible

detect/app-layer-events: constify arguments; minor cleanups

detect: improve explanation of offset tracking

detect/content: test cleanup

detect/bytejump: fix debug messages

Remove newlines.

detect/file.data: modernize test

detect: modernize unittest

detect/content-inspect: keyword context as const

detect/pcre: match data is const at match time

detect/http.uri: modernize unittest

util/print: minor code cleanups

rust: add copyright header to common.rs

util/prefilter: constify sids

mpm: free sids in MpmFreePattern as well

mpm: cleanup pattern free function

Avoid redundant pointer checks; instead check once.

mpm/ac-bs: add warning if still used

Fall back to default matcher.

Ticket #6586.

mpm: document Search callback return value

mpm/ac-ks: return only unique match count

Bring implementation in line with Hyperscan, which only counts unique matches.

Update test to reflect the new behavior.

mpm/ac: return only unique match count

Bring implementation in line with Hyperscan, which only counts unique matches.

Update test to reflect the new behavior.

mpm: remove ac-bs implementation

Ticket: #6586.

detect: minor cleanup

MPM_HS does not need a guard.

userguide: remove old css files

In our conf.py we reference some ReadTheDocs stylesheets that appear to
be old and break formatting of some items like bulletted lists.

Bug: #6589

detect: reimplement discontinue matching logic

Previously various steps in the content inspection logic would use
a variable in the DetectEngineThreadCtx to flag that matching should
be discontinued.

This patch reimplements this logic by using a new return code instead.

Split content inspection into public and private version, so that
common initialization can be done in a single place.

Update the callsites.

detect/file-data: simplify content inspect loop

detect-engine: minor content inspection cleanup

packet: minor macro cleanups

packet: access packet data through flex array

log-pcap: constify PcapWrite args

General cleanup, but also needed for packet changes.

device/storage: use flex array instead of calculated ptr

ippair/storage: use flex array instead of calculated ptr

host/storage: use flex array for host storage

flow/storage: use flex array instead of calculated ptr

storage: use proper type instead of void ptr

storage: remove unused code

Only used in a unittest; removed that as well.

source: fix resource leak

CID: 1426081

detect/filestore: fix memory leak on sig parsing

Ticket: 6574

Introduced by commit c272a646c5ae739d18901776cc5a940afd3d3d38

stats: improve sync signalling

Make syncs more reliable by using a atomic "sync now" variable and
signalling the conditions under lock.

Ticket: #6569.

stats: turn sync macros into functions

flow: fix condition signalling

Signal threads while holding lock. This should make the signalling
more reliable.

From PTHREAD_COND(3):

"Unlocking the mutex and suspending on the condition variable is done
 atomically. Thus, if all threads always acquire the mutex before
 signaling the condition, this guarantees that the condition cannot be
 signaled (and thus ignored) between the time a thread locks the
 mutex and the time it waits on the condition variable."

Ticket: #6569.

ippair: fix minor coverity warning

CID 1554232:  Data race undermines locking  (LOCK_EVASION)

Ticket #6565.

host: fix minor coverity warning

CID 1554240:  Data race undermines locking  (LOCK_EVASION)

detect/xbits: fix coverity warning

CID 1554237 and CID 1554233

Basically make the code easier to reason with for coverity
without changing the behavior which was fine.

packetpool: signal condition within lock

Completes: dc40a139acb3 ("packetpool: signal waiter within lock")

packetpool: dynamic return threshold

Problem:

In pcap autofp mode, there is one threads reading packets (RX). These packets
are then passed on to worker threads. When these workers are done with a
packet, they return packets to the pcap reader threads packet pool, which is
the owner of the packets. Since this requires expensive synchronization between
threads, there is logic in place to batch this operation.

When the reader thread depletes its pool, it notifies the other threads that
it is starving and that a sync needs to happen asap. Then the reader enters
a wait state. During this time no new packets are read.

However, there is a problem with this approach. When the reader encountered
an empty pool, it would set an atomic flag that it needed a sync. The first
worker to return a packet to the pool would then set this flag, sync, and
unset the flag. This forced sync could result in just a single packet being
synchronized, or several. So if unlucky, the reader would just get a single
packet before hitting the same condition again.

Solution:

This patch updates the logic to use a new approach. Instead of using a
binary flag approach where the behavior only changes when the reader is
already starved, it uses a dynamic sync threshold that is controlled by
the reader. The reader keeps a running count of packets it its pool,
and calculates the percentage of available packets. This percentage is
then used to set the sync threshold.

When the pool is starved, it sets the threshold to 1 (sync for each packet).
After each successful get/sync the threshold is adjusted.

calloc: Use nmemb with SCCalloc

This commit modifies calls to SCCalloc that had a member count of 1 and
a size count calculated as: element_count * sizeof(element).

memory/alloc: Use SCCalloc instead of malloc/memset

detect: SigMatchAppendSMToList can fail

Ticket: #6104

And failures should be handled to say that the rule failed to load

Reverts the fix by 299ee6ed5561f01575150b436d5db31485dab146
that was simple, but not complete (memory leak),
to have this bigger API change which simplifies code.

output/krb5: have krb5 properties in alerts

Ticket: 5977

output/tftp: have tftp properties in alerts

Ticket: 6501

output/ftp: have ftp properties in alerts

Ticket: 6500

output/alert: rewrite code for app-layer properties

Especially fix setup-app-layer script to not forget this part

This allows, for simple loggers, to have a unique definition
of the actual logging function with the jsonbuilder.
This way, alerts, files, and app-layer event can share the code
to output the same data.

Ticket: #3827

rust: remove unused

Ticket: #4083

detect: header_lowercase transform

Ticket: 6290

af-xdp: detach XDP program early

To mitigate a bug with AF_XDP sockets in high traffic scenarios, the XDP program must be detatched before
the sockets are closed. This issue happens when large ammounts of traffic are sent to suricata and
the XDP program is not removed before AF_XDP sockets are closed. I believe this is a race
condition bug as detailed here: https://bugzilla.kernel.org/show_bug.cgi?id=217712

Further investigation shows this may be a bug exclusive to the driver/AMD processor combination.

This commit addresses the bug by ensuring the first thread to run the deinit function
removes the XDP program, which fixes the bug as detailed in the bugzilla link.

Bug #6238

detect/stream_size: fix prefiltering registration

Ticket: #6551

doc: update file.data keyword documentation

Signed-off-by: jason taylor <jtfas90@gmail.com>

rule-reload: Release excess memory freed during engine reload

The hot reload results in large chunks of memory being freed as the
as the old signature tables are discarded. Help the memory management
system along by telling to release as much memory as it can at this
point.

Bug: #6454.

examples: add an example plugin of an eve filetype

This is an example of what adding plugin examples to the Suricata repo
could look like.

This plugin is an example plugin for an EVE filetype. It could be
extended to support outputs like Redis, syslog, etc.

There is one issue with adding plugins like this to an autotools
project, the project can't be built with --disable-shared, which is
more of an autotools limitation, and not really a Suricata issue.
Suricata built with --disable-shared will load plugins just fine.

Note that the examples directory was added as DIST_SUBDIRS as we don't
want normal builds to recurse into it and attempt to build the plugin,
its just an example, but we still need to keep distcheck happy.

userguide: update tls not_after/not_before mentions

Our tls fields not_after and not_before are actually logged as
`notafter` and `notbefore`, but were documented with the underscore.

Update the documentation, since updating the log format itself would be
a breaking change.

Task #5494

userguide: document flow_id, with examples

Flow_id explanation expanded from version shared by Peter Manev.

Task #6445

github-ci: don't add author names/emails to new author comment

The new author details will still be available in the artifact, we're
just not calling them out in a nighly visible pull request comment.

github-ci: cancel previous builds workflow for branch

On a push of the same branch, cancel the previous running builds.yml
workflow.

bool: Remove TRUE/FALSE

debug/bool: Switch use_color to a bool

run/bool: Use bool for threading value

htp/bool: Use bool instead of int

detect/bool: Use bool type for unittests

prefilter/bool: Use bool values for is_last

pcap/bool: Use bool type for is_private

stream/bool: Use bool for StreamTcpInlineMode

general/bool: Change Suricata int to bool

Change Suricata operational values from int to bool.