lib: opt-in signal handlers

Instead of enabling signal handlers by default, require the user of
the library to opt-in. This is done with the call to
SCEnableDefaultSignalHandlers, which sets a flag to add the default
signal handlers.

This seems like the least invasive way to do this at this time, but it
will require some re-thinking for 9.0, especially if migrate globals
to engine instances, signal handling will need to be re-thought.

Ticket: #6814

github-actions: bump github/codeql-action from 3.28.18 to 3.29.2

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.28.18 to 3.29.2.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Commits](https://github.com/github/codeql-action/compare/v3.28.18...v3.29.2)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-version: 3.29.2
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

dpdk: auto threads assign one too many threads

Configuration option `threads: auto` in DPDK's interface node
overassigns available threads to the interface.
Commit 4dfd44d3 changed the signedness of the remaining threads counter,
which caused surpass of the counter initialization.
The if-clause is switched to first initialize and then use the counter.

Ticket: 7798

rust/Makefile: sort filenames

Misc cleanup as these lists are growing.

rust/htp: follow suricata versioning

Have htp follow Suricata versioning so we don't have to worry about
version updates as it changes.

For example, between 8.0.0-beta1 and 8.0.0-rc1 there were changes to
the htp, however the version stayed at 2.0.0 making it impossible to
publish these changes to crates.io.

detect-bytetest: remove meaningless NULL check on data_offset

The condition data_offset == NULL can never be true: data_offset has
already been validated as non-NULL a few lines earlier. The guard seems
to have been intended for the offset argument, yet throughout the
codebase offset is never passed as NULL. (In the unit tests, offset is
NULL, but those tests pass the value parameter as NULL, which causes the
function to return before offset is dereferenced.)

Remove the pointless check to simplify control flow and silence
static-analysis warnings.

No functional change.

Bug 7767

http: do not yield after failed connect if already pipelined

Ticket: 7791

doc: add upgrade note about change in inspection

smtp: trigger raw stream inspection

Internals
---------
Suricata's stream engine returns data for inspection to the detection
engine from the stream when the chunk size is reached.

Bug
---
Inspection triggered only in the specified chunk sizes may be too late
when it comes to inspection of smaller protocol specific data which
could result in delayed inspection, incorrect data logged with a transaction
and logs misindicating the pkt that triggered an alert.

Fix
---
Fix this by making an explicit call from all respective applayer parsers to
trigger raw stream inspection which shall make the data available for inspection
in the following call of the stream engine. This needs to happen per direction
on the completion of an entity like a request or a response.

Important notes
---------------
1. The above mentioned behavior with and without this patch is
affected internally by the following conditions.
- inspection depth
- stream depth
In these special cases, the inspection window will be affected and
Suricata may not consider all the data that could be expected to be
inspected.
2. This only applies to applayer protocols running over TCP.
3. The inspection window is only considered up to the ACK'd data.
4. This entire issue is about IDS mode only.

SMTP parser can handle multiple command lines per direction. Appropriate calls
to trigger raw stream inspection have been added on succesful parsing of each
request line and response line.

For the requests, the call to trigger inspection has been added in the
beginning rather than the completion of transactions. This does not
affect the inspection as it is actually triggered in the following call.
This covers the case for anomaly as well. There are two benefits for
this:
- immediate inspection for anomalous data
- flushing of the anomalous data making next data's inspection cleaner

Bug 7783

smtp: revert ab01a1b

to build the correct behavior. As a part of ab01a1b, in order to match
the behavior in master, the calls for triggering raw stream inspection
were made when communication in one direction for a transaction was
completed. However, it was incorrect to do so. Reliable inspection
requires any request line/response line to be completed.

Bug 7783

src: remove BUG_ON in packet path

Transforms them into debug validations

Ticket: 1484

Packet path is here considered FlowWorker and all lines
covered by SV tests are here fixed

src: remove direct calls to abort

use BUG_ON macros instead

Ticket: 1484

ci: test with latest rust stable version 1.88

rust: allow collapsible_else_if for debug logs

see https://github.com/rust-lang/rust-clippy/issues/15158

rust/htp: fix clippy uninlined_format_args

   --> htp/src/decompressors.rs:703:64
    |
703 |                 std::io::Error::new(std::io::ErrorKind::Other, format!("{}", e))
    |                                                                ^^^^^^^^^^^^^^^^
    |
    = help: for further information visit https://rust-lang.github.io/rust-clippy/master/index.html#uninlined_format_args

configure: remove unused strtoul check

strtoul is no longer used in the codebase, so the check was removed from AC_CHECK_FUNCS.

detect/byte: update comments to reflect current parsing logic

util/coredump: refactor parsing and respect zero core dump limit

- Replaced strtoul/strtoull with ByteExtractString* for safer and more consistent parsing.
- Allowed max-dump to be set to 0, and correctly apply a core dump limit of 0, maintaining behavior consistent with the commented default in suricata.yaml.in.
- Added and registered unit tests to validate the updated logic.

Ticket: #7212

detect: replace strtoul with ByteExtractStringUint32

Also added and updated unit tests to ensure correctness.

Ticket: #7212

misc/debug: Use SCConfDump

The API entrypoint for ConfDump has changed so update the #ifdef'd
code to use it.

dpdk: complete function prototype definition

Ticket: 7789

affinity: initialize CPU sets with online CPUs only

When no CPU set is explicitly defined, switch from
UtilCpuGetNumProcessorsConfigured() (which counts all existing CPU
cores, even offline ones) to UtilCpuGetNumProcessorsOnline() (only
the available cores).
If Suricata initializes more threads than online CPUs it oversubscribes
the system. As Suricata does not support any runtime live reconfiguration
Suricata initializes only as many cores as online CPU cores.

Ticket: 7790

detect/analyzer: Include ICMP icode information

Issue: 6359

Extend the rules analysis to include ICMP icode information.

detect/analyzer: Support u8 types

Issue: 6359

Support JSON output of u8 types

doc/devguide: document app-layer protocol detection

Ticket: 6022

doc: document krb5 event type

Ticket: 6566

doc: do not have bittorrent in the middle of SMB events

schema: document kerberos fields

Ticket: 6566

ci: do not run workflows for etc/schema.json

As it is rather a documentation file than code

nfq: suppress coverity thread warning

CID 1593187: (#1 of 1): Data race condition (MISSING_LOCK)
2. missing_lock: Accessing (*p).nfq_v.mark without holding lock Packet_.persistent.tunnel_lock. Elsewhere, NFQPacketVars_.mark is written to with Packet_.persistent.tunnel_lock held 2 out of 5 times (2 of these accesses strongly imply that it is necessary).

No concurrency happening on non-tunnel packet, so no locking needed.

util/var-store: suppress coverity warnings

detect/multi-tenant: address various thread safety warnings

packetpool: improve thread safety

 lock_acquire: Calling pthread_mutex_lock acquires lock PktPoolLockedStack_.mutex.
 87        SCMutexLock(&my_pool->return_stack.mutex);

CID 1554228: (#1 of 1): Indefinite wait (BAD_CHECK_OF_WAIT_COND)
dead_wait: A wait is performed without ensuring that the condition is not already satisfied while holding lock PktPoolLockedStack_.mutex. This can cause a deadlock if the notification happens before the lock is acquired.
      Acquire the lock, then check the wait condition in a loop, without releasing with the lock before the wait. This will prevent deadlocks and failed conditions from spurious wakeups.

detect/loader: add threading coverity warning

 lock_acquire: Calling pthread_mutex_lock acquires lock ThreadVars_.ctrl_mutex.
725        SCCtrlMutexLock(th_v->ctrl_mutex);

CID 1554214: (#1 of 1): Indefinite wait (BAD_CHECK_OF_WAIT_COND)
dead_wait: A wait is performed without ensuring that the condition is not already satisfied while holding lock ThreadVars_.ctrl_mutex. This can cause a deadlock if the notification happens before the lock is acquired.
      Acquire the lock, then check the wait condition in a loop, without releasing with the lock before the wait. This will prevent deadlocks and failed conditions from spurious wakeups.

flow/manager: fix threading/locking coverity warnings

In flow manager and recycler timed condition wait loops.

First check loop break conditions before entiring the timed wait.

CID 1638284: (#1 of 1): Indefinite wait (BAD_CHECK_OF_WAIT_COND)
dead_wait: A wait is performed without ensuring that the condition is not already satisfied while holding lock flow_manager_ctrl_mutex. This can cause a deadlock if the notification happens before the lock is acquired.

CID 1638293: (#1 of 1): Indefinite wait (BAD_CHECK_OF_WAIT_COND)
dead_wait: A wait is performed without ensuring that the condition is not already satisfied while holding lock flow_recycler_ctrl_mutex. This can cause a deadlock if the notification happens before the lock is acquired.

defrag: improve thread safety in config logging

CID 1554235: (#1 of 1): Data race condition (MISSING_LOCK)
missing_lock: Accessing defragtracker_spare_q.len without holding lock DefragTrackerStack_.m. Elsewhere, DefragTrackerStack_.len is written to with DefragTrackerStack_.m held 2 out of 2 times.

datasets: use locking wrappers everywhere

To assist coverity, which got confused:

CID 1649393: (#1 of 1): Data race condition (MISSING_LOCK)
missing_lock: Accessing sets without holding lock sets_lock. Elsewhere, sets is written to with sets_lock held 2 out of 3 times.

eve/schema: map mdns properties that have keywords

Also add descriptions for the EVE index.

rules: add mdns rules

.gitignore: don't ignore rule files in rules/

These are rules we want to track edits to, as well as new and removed
files.

doc/install: use our recommended header order

doc/userguide: remove example with CentOS 7

CentOS 7 is EOL.

Ticket: #7749

doc/userguide: break out package installation

Break out RPM, Debian, and Ubuntu package installation into their own
pages.

Also break out other distributions like "Arch" into an "Other" section
with a note about how those packages are not supported by the OISF.

Ticket: #6252
Ticket: #6069

doc/userguide: add appendix item on eve schema

Add some basic documentation on our EVE schema, mainly to show users
that it exists.

lua: don't accept a table as a return value from match

Remove the half finished support for accepting a table returned from a
Lua rule's match function. This is not documented, not tested, and not
really implemented.

Also, use lua_tointeger to get the return value from the match function
as an integer instead of a float.

Ticket: #6941

detect/entropy: Clarify when entropy is logged

Clarify when entropy values are logged and associated with non-alert log
records.

decode: add stats counters for ipv4/ipv6 over ipv4

These existed for ipv6 over ipv6, and ipv4 over ipv6, but not for the
ipv4 counterpart.

Task #7758

decode/ipv6: set packet flow in ip-in-ip

Bug #7752

detect/analyzer: Extend analyzer output with dsize value info

Issue: 6357

datasets: remove useless NULL check

Coverity did detect that the cleaning code is only reached with
Dataset *set being initialized so the check is useless.

** CID 1649392:       Null pointer dereferences  (REVERSE_INULL)
/src/datasets-context-json.c: 719           in DatajsonGet()
>>>     Null-checking "set" suggests that it may be null, but it has
already been dereferenced on all paths leading to the check.

** CID 1649391:       Null pointer dereferences  (REVERSE_INULL)
/src/datasets.c: 526           in DatasetGet()
>>>     Null-checking "set" suggests that it may be null, but it has
already been dereferenced on all paths leading to the check.

datasets: remove unreachable code

As the DatasetGetOrCreate function is called before the creation
of the hash, it will never be available so we can remove the
cleaning.

util/mpm: grow state queue on demand

Ticket: 7678

util/mpm: factorize code

mpm: allocate StateQueue on the heap for ks

Completes commit 92fce2fdc069324e6060ce046ca80da6a351573c

Ticket: 6264

doc/install: windows build documentation

Ticket: #5911

configure: display if we have npcap support

rust: fix prototype for AppLayerParserTriggerRawStreamInspection

Ticket: 7762

As it modifies the flow indeed

rust: remove unnecessary cbindgen exclusions

util/mpm: constify arg

and make rust version use the correct integer type

Ticket: 7762

util/mtu: Avoid excessive ioctls for MTU

Issue: 7643

Use the cached livedev MTU value, when available.

pcap-log: fix memory leak on error paths after SCStrdup(prefix)

When PcapLogDataCopy() fails after duplicating pl->prefix,
the allocated 'prefix' string was not freed, leading to a leak.

Ticket: 7759

windows: use _tzname instead of tzname

tzname is a POSIX variable, WIN32 has prefixed many POSIX variables
with "_". While Mingw64 supports both, UCRT64 emits a compiler warning
on the usage of "tzname".

This triggered a rather large clang-format update.

github-ci: add windows ucrt build

MSYS2 now recommends the UCRT environment as the default, so we should
probably add a CI job for it.

doc/code-style: add rust; minor cleanups

- Add small section on Rust code, and Rust code exposed to FFI.
- Other minor cleanups.

Ticket: #7078
Ticket: #6955

doc/userguide/code-style: update header ordering

To match our recommended header ordering.

version: start development towards 8.0.0

release: 8.0.0-rc1; update changelog

detect/dataset: skip adding localstatedir if fullpath is provided

When the option to set a full path is enabled and a full path is
provided, skip adding the prefix (based on localstatedir) to the
directory since it would be unexpected and unwanted by a user.

Ticket: 7083

datajson: limit impact of feature for non user

The det_ctx structure was inflated by the additoin of the array to
handle JSON context. This commit updates the code to use a growing
buffer and limit the impact.

detect/alert: optimize context cleanup

Don't always loop over each alert, but only do so if context was used.

lua: update to lua 5.4.8002

This updated crates remove tmpnam from being linked in, removing the
warning.

packet: micro optimization in packet recycling

detect: move large array to bottom of detect thread ctx

detect/pcre: add needed casts

datajson: add needed cast

datajson: fix include in header

detect: remove some useless tests

doc/userguide: fix some typos

packet: optimize json context cleaning

We don't need to recycle the full alert array. This is going to
optimize packet recycle time.

decode: light refactor on packet cleaning

datasets: improve lock handling

DatasetGetOrCreate should now be called with the dataset lock
hold so the lock management is easier to read.

detect/dataset: fix locking on datajson

detect/dataset: check context_key validity

As context_key is an user entry and as it is used to build the JSON
string of alert, we could end up with an invalid event if the string
contains improper characters.

eve/alert: add comment about string format

detect/pcre: fix error handling

detect/engine: put datajson related code in a func

datasets: use SCLogError for errors

detect/engine: remove unused keyword

datasets: comment to specify usage of field

decode: use pointer for PacketContextData

By adding a pointer instead of the structure in the alert info
we spare some memory.

decode: rename ExtraDataJsonList

datasets: comments about format

datasets: rename function

DatasetCreateOrGet was in fact doing get or create.

datasets: fix error handling in StringSet

datasets: factorize set operation

datasjson: fix include barrier name

detect/pcre: fix copyright date

datajson: key length fix

When using type string, we should not limit the size of the string.

This patch also fixes some implicit cast issues.

datajson: value_key is necessary in json format

doc/userguide: enrichment_key is now context_key