detect/byte: remove unneeded SIG_FLAG_APPLAYER sets

Flag will be set during list(s) setup if needed.

detect/byte_extract: modernize tests

detect/bytemath: bump length to uint32_t

This puts the logic in line with the other payload inspection
functions.

detect/bytejump: test cleanup

Just one used during debugging.

detect/bytejump: don't reuse content flag

To avoid future problems with overlapping flag values, give bytejump
its own DETECT_BYTEJUMP_OFFSET_VAR flag.

The values are currently not overlapping, so this patch should have
no side effects.

detect/analyzer: print int keyword values correctly

To avoid negative values to be misrepresented.

Bug: #6615.

jsonbuilder: add set_int for signed ints

Bug: #6615

eve/stream: add sb main region size; segment count

Gives more detail about memory use.

output-json-dns: remove un-needed includes

output-json-alert: remove un-needed includes

doc/userguide: document dns.query.name, dns.answer.name

With some other minor cleanups in the DNS keyword section.

dns: replace usage of rs_dns_tx_get_query_name with SCDnsTxGetQueryName

SCDnsTxGetQueryName was introduced to allow for getting the query name
in responses as well as requests, so covers the functionality of
rs_dns_tx_get_query_name.

dns: add dns.query.name sticky buffer

This buffer is much like dns.query_name but allows for detection in both
directions.

Feature: #6497

dns: add dns.answer.name keyword

This sticky buffer will allow content matching on the answer names.
While ansers typically only occur in DNS responses, we allow the buffer
to be used in request context as well as the request message format
allows it.

Feature: #6496

dns: consolidate DNSRequest and DNSResponse to DNSMessage

DNS request and response messages follow the same format so there is
no reason not to use the same data structure for each. While its
unlikely to see fields like answers in a request, the message format
does not disallow them, so it might be interesting data to have the
ability to log.

dns: rustfmt with latest stable

rustfmt: replace deprecated fn_args_layout with fn_params_layout

detect: rename InspectEngineFuncPtr2 to InspectEngineFuncPtr

Version 1 of the API no longer exists.

detect: rename DetectAppLayerInspectEngineRegister2

Rename DetectAppLayerInspectEngineRegister2 to
DetectAppLayerInspectEngineRegister as there is no other variant of
this function, and the versioning with lack of supporting
documentation can lead to confusion.

detect: rename DetectAppLayerMpmRegister2 to DetectAppLayerMpmRegister

The old DetectAppLayerMpmRegister has not been around since 4.1.x.
Rename the v2 of this function to a versionless function as there is no
documentation referring to what the 2 means.

detect/analyzer: add details to flowbits keyword

Task #6309

endace: Fix source-dag timestamps

Bug: #6618.

Fix Endace ERF to SCTime_t timestamp conversion

Fix typo preventing compilation with --enable-dag

doc/userguide: update guidance on 5 to 6 upgrading

TCP memory use can be higher than expected in certain configs.

Ticket: #6552.

github-ci/formatting: update to Ubuntu 22.04

Update the formatting CI job to Ubuntu 22.04 to get a newer version of
clang-format, in this case clang-format-14.

clang-format.sh: prefer clang-format-14

Add clang-format-14 as the preferred version, this is the default on
Ubuntu 22.04.

cppcheck: Address cpcheck report of an FP

Issue: 6527

Address the FP raised by cppcheck -- note that although the code
corectly checks to ensure that `to_shift != &sb->reqion`, the logic was
detected as a FP. Rework the code to eliminate the FP.

cppcheck/detect: Address cppcheck memory leak

Issue: 6527

Ensure that the `map->string` memory isn't leaked following an error
return from `HashListTableAdd`

http2: do not have leading space for response line

Ticket: 6547

detect/flowbits: remove DETECT_FLOWBITS_CMD_NOALERT

DETECT_FLOWBITS_CMD_NOALERT is misleading as it gives an impression that
noalert is a flowbit specific command that'll be used and dealt with at
some point but as soon as noalert is found in the rule lang, signature
flag for noalert is set and control is returned. It never gets added to
cmd of the flowbits object.

detect-engine: use flag SIG_FLAG_MPM_NEG

The flag SIG_FLAG_MPM_NEG is set before whitelisting the rules. Make it
better by checking for the flag in the beginning and return immediately.

detect-engine: use bool return type

detect: rename SigAddressPrepare fns to SigPrepare

There is nothing Address specific going on in the preparations.
Stage 1: Preprocessing happens. Sigs classified as IP Only, Masks
applied, content specific limits applied, etc and sig array built.
Stage 2: Sigs grouped by IPOnly, ports and protocols.
Stage 3: Decoder Events SGH built.
Stage 4: File flags set, sig grouping done per prefilter, etc.

doc: clarify IP-only with iprep

github/action: fix Debian 12 intermittent failures

Parallel builds caused issues during `cargo vendor`. So do just a single
thread build.

 make[4]: Entering directory '/__w/suricata/suricata/rust'
cbindgen --config /__w/suricata/suricata/rust/cbindgen.toml \
--quiet --output /__w/suricata/suricata/rust/dist/rust-bindings.h
CARGO_HOME="/github/home/.cargo"  /usr/bin/cargo vendor
    Blocking waiting for file lock on package cache
    Blocking waiting for file lock on package cache
ERROR: Couldn't execute `cargo metadata` with manifest "/__w/suricata/suricata/rust/Cargo.toml": Metadata(Output { status: ExitStatus(unix_wait_status(25856)), stdout: "", stderr: "    Blocking waiting for file lock on package cache\n    Blocking waiting for file lock on package cache\nerror: failed to download `adler v1.0.2`\n\nCaused by:\n  unable to get packages from source\n\nCaused by:\n  failed to parse manifest at `/github/home/.cargo/registry/src/github.com-1ecc6299db9ec823/adler-1.0.2/Cargo.toml`\n\nCaused by:\n  no targets specified in the manifest\n  either src/lib.rs, src/main.rs, a [lib] section, or [[bin]] section must be present\n" })
ERROR: Couldn't generate bindings for /__w/suricata/suricata/rust.
make[4]: *** [Makefile:597: dist/rust-bindings.h] Error 1
make[4]: *** Waiting for unfinished jobs....

detect/content-inspect: improve header docs

detect/content-inspect: optimize struct layout

Move members used by DetectEngineContentInspection() to the same cache line.

detect: optimize struct layout

Move reference count to top of DetectEngineThreadCtx, to move it to the
same cache line as the other members that are checked first in Detect().

detect/bytemath: pass match ctx directly

Adjust includes to enable this.

detect/payload: remove unneeded pointer reset

DetectEngineThreadCtx::replist is managed elsewhere.

detect/isdataat: optimize recursion mismatches

Since recursive content matching goes through the buffer from left to
right, it is possible to bail early when isdataat is part of the
recursive checking. If `isdataat:50,relative` fails for offset 10, it
will surely also fail for offset 20. So break inspection in such cases.

The exception is for dynamic isdataat, where the value is determined
by a prior byte_extract that may be updated during the recursion.

detect/content-inspect: flatten branches

Flatten else branches after terminating ifs.

detect/content-inspect: localize recursion counting

Use stack local var instead of DetectEngineThreadCtx member. Instead
setup a stack local struct that both counts and holds the limit. Make sure
the limit is a const so we can avoid rereading it.

This is part of an effort to reduce the size of the DetectEngineThreadCtx
structure and reduce the number of memory writes to it. Additionally, it
is part of an effect to reduce the number of places where detection
tracks various forms of state.

detect/content-inspect: reduce scope of internal func

detect/base64: move content inspection logic

Integrate with rest of content inspect code.

detect/krb5.sname: use new content inspect entry

detect/dns.query: use new content inspect entry

detect/content-inspect: add entry for InspectionBuffer

This is a convinience addition to abstract away the internals of
the InspectionBuffer in keyword specific detection code.

detect/content-inspect: switch type of enum

detect/content-inspect: assist branch prediction

Hitting the recursion limit should be rare.

detect/content-inspect: remove const casting

detect/content-inspect: pass const to inspect func

detect/content-inspect: reduce scope of variables

util/time: Improve usecs handling in time macros

Fix SCTIME_ADD_SECS zeroing subsecond part

When adding s seconds to SCtime_t ts, don't zero out the ts.usecs field.

Issue: 6584

Fix SCTIME_FROM_TIMESPEC garbage microseconds part

When converting nanosecond to microseconds divide by 1000 instead
of multiplying by 1000.

Issue: 6585

napatech: Fix packet timestamps

Initialize both seconds and useconds of packet timestamp from napatech
timestamp format.

This commit uses updated macro definitions from util-utime.h to avoid
zero seconds value.

Issue: 6372

util/time: Prevent usecs overflow

This commit takes care of original seconds value and prevents the
useconds field from overflowing pas its maximum value.

Issue: 6372

pgsql: don't log password msg if password disabled

If the logging of the password is disabled, there isn't much point in
logging the password message itself.

doc: add file.name information to smtp keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add file.name information to nfs keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add file.name information to smb keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update ftp keyword doc example rule format

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add file.name information to ftp keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add file.name information to http keyword doc

Signed-off-by: jason taylor <jtfas90@gmail.com>

ebpf: Update eBPF map to BTF defined map

legacy map definition is removed from libbpf1.0+.
update the legacy map definition to BTF defined map.

Distros with < libbpf1.0 (0.5, 0.6, 0.7, 0.8) bpf_helpers.h
support BTF map definition, this change does not break
old libbpf and support new libpbf1.0+.

Bug: #6250

Signed-off-by: Vincent Li <vincent.mc.li@gmail.com>
Co-authored-by: Victor Julien <vjulien@oisf.net>

pgsql: remove probe_ts function

With the changes in the probing_ts function, this other one could become
obsolete. Remove it, and directly call `parser::parse_request` when
checking for gaps, instead.

pgsql: remove unused error handling call

pgsql: don't log unknown message type

pgsql: fix probing functions

Some non-pgsql traffic seen by Suricata is mistankenly identified as
pgsql, as the probing function is too generic. Now, if the parser sees
an unknown message type, even if it looks like pgsql, it will fail.

Bug #6080

pgsql: add unknonwn frontend message type

We had unkonwn message type for the backend, but not the frontend
messages. It's important to better identify those to improve pgsql
probing functions.

Related to
Bug #6080

detect-engine: use ports only after edge case handling

Also, add comments to clarify what's happening in the code.

detect: remove misleading comment

The comment seems to have come from the enum for addresses where IPv4
and IPv6 matters.

detect/port: remove BUG_ON in favor of PORT_ER

Either the BUG_ON condition would hit or PORT_ER. Prefer to return error
in case of an error as the fn expects that.

detect/engine: defensive check and comment update

detect: remove redundant null setting

de_ctx->dport_hash_table is already set to NULL in the fn
DetectPortHashFree which is called right before this setting.
Remove the redundant setting.

detect: use proper names for whitelist score criteria

detect/engine: fix whitelisted port range check

So far, the condition for checking if the whitelisted port was in the
port range of "a" said

a->port >= w->port && a->port2 <= w->port

But, if a->port <= a->port2, this condition could only be true when
a->port == w->port == a->port2. However, the motivation for this fn was
to be able to find if the whitelisted port for a carrier proto already
was in the range of the given protocol and calculate a score for the
port accordingly.
Fix the range check such that a->port <= w->port <= a->port2.

detect: rename whitelist to score

The term "whitelist" is actually used to store a list of DetectPort type
items for tcp and udp in detect.h. Using the same term for also keeping
the score that affects the grouping of rules is confusing. So, rename
the variable to "score".

detect-engine: use only the exact match fn

DetectFlagsSignatureNeedsSynPackets checks if TCP SYN flag is set among
other flags.
DetectFlagsSignatureNeedsSynOnlyPackets checks if only TCP SYN flag is
set and no other flag.

Since DetectFlagsSignatureNeedsSynOnlyPackets also already checks for
TCP SYN flag, it does not need to be used in combination with
DetectFlagsSignatureNeedsSynPackets as this fn seems to be the superset
of the former.

detect/asn1: handle in PMATCH

Since the asn1 keyword is processing payload data, move the handling of
the keyword into the PMATCH with content inspection.

Use u32 as buffer length in the Rust FFI

flow/timeout: clean up flow finish code

flow/timeout: use single packet for timeout handling

In the FlowFinish logic, one or two pseudo packets are used to finish flow
handling. In the case of 2 (one per direction), the logic first set up the
2 packets, then it would process them one by one. This lead to poor cache
locality.

This patch processes the first packet entirely first, followed by the second
packet.

flow/timeout: use const TcpSession; cleanup prototypes

detect/content-inspect: minor code cleanups

detect/replace: minor code cleanup

detect/content: minor code/comment cleanups

detect/content: use const pointer where possible

detect/app-layer-events: constify arguments; minor cleanups

detect: improve explanation of offset tracking

detect/content: test cleanup

detect/bytejump: fix debug messages

Remove newlines.

detect/file.data: modernize test

detect: modernize unittest

detect/content-inspect: keyword context as const

detect/pcre: match data is const at match time

detect/http.uri: modernize unittest

util/print: minor code cleanups

rust: add copyright header to common.rs

util/prefilter: constify sids

mpm: free sids in MpmFreePattern as well

mpm: cleanup pattern free function

Avoid redundant pointer checks; instead check once.

mpm/ac-bs: add warning if still used

Fall back to default matcher.

Ticket #6586.