detect/frames: reduce severity of validation check

dependabot: monitor github actions

github-ci: set safe directory before reset

While the latest checkout action does set the "safe.directory"
parameter, it doesn't appear to stick for the following "git fetch", so
call this command again.

github-ci: pin checkout action to latest release

mqtt: fix consumed bytes computation for truncated msg

Ticket: 5268

detect/frame: get data using stream callback

Inspect only data that has already been consumed by the
app-layer parser. This allows for simpler progress tracking.

frame: introduce entry for getting stream data for frame

stream: make raw data handling more generally usable

Move raw detection logic out of main StreamReassembleRawDo() so that
it can be reused for other parts of the engine.

The caller now has to specify a right edge of the data.

stream: add offset to raw stream callback

This gives the called function to understand where it is in the
stream.

app-layer: disable stream app tracking on no parser

If protocol has no parser enabled or implemented, disable the app
progress tracking in the stream engine to reduce the workload in
the stream engine.

source: pcap timestamp microsecond consistency

That is it should be less than 1 000 000.
Have the same for fuzz targets where the bug came from.

https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=44177

dcerpc: store consumed_bytes as i32

As it can grow bigger than u16

ike: fix integer underflow in parse_proposal

By not restricting a usize to i16

detect: config checks alstate before getting tx

Ticket: 4972

As is done in detect-lua-extensions.
We can have a flow with alproto unknown, no state, and therefore
cannot run AppLayerParserGetTx which could try to run a NULL
function

detect: faster linked list copy

In DetectAppLayerInspectEngineCopyListToDetectCtx
Avoid quadratic complexity by remembering last element
of the linked list we are inserting into

flow: fix integer warnings

Ticket: 4516

host/ippair: fix integer warnings

Ticket: 4516

util: using size_t len for byte utils

Ticket: 4516

Like ByteExtractStringUint64, because most of their inputs come
from strlen which returns a size_t

app-layer: fix integer warnings

Ticket: 4516

debug: support %m output format again

Use thread local storage to avoid the previous dead lock issues.

threading: simplify thread name logic

rust: update regex & memchr dependencies

Bug: #5260.

smb/ntlmssp: add stricter len/offset validation

smb: prevents integer underflow

Ticket: 5246

If msg_id is 0, we cannot find the previous request

smb: ntlmssp domain_blob_offset underflow check

Ticket: 5246

smb: check on param parsing

Ticket: 5246

so as not to overflow u16

frames: remove dead condition in eof check

app-layer: don't switch dir if proto already known

fuzz/sigpcap_aware: set pkt_src to wire

Avoids an assert if DEBUG is compiled in:

fuzz_sigpcap_aware: source-pcap-file.c:420: TmEcode DecodePcapFile(ThreadVars *, Packet *, void *): Assertion `!(p->pkt_src != PKT_SRC_WIRE && p->pkt_src != PKT_SRC_FFR)' failed.

detect/frame: improve assert accuracy

Handle frames of unknown size correctly.

Bug: #5226.

eve: allow /dev/null in threaded mode

Avoids creation of actual files called /dev/null.N which take
up space in /dev/ which lives in memory.

flow: cleanup locking debug leftovers

flow: fix and simplify locking

Since:

9551cd053579 ("threading: don't pass locked flow between threads")

`MoveToWorkQueue()` unconditionally unlocks the flow. This allows simpler
locking handling, including of tcp reuse flows.

The simpler logic also fixes a scenario where TCP reuse flows got "unlocked"
twice, once in `FlowGetFlowFromHash()` and once in `MoveToWorkQueue()`.

Bug: #5248.
Coverity: 1494354.

mqtt: remove redundant "where" keyword

mqtt: make some functions non-public

mqtt: rustfmt

mqtt: raise event on parse error

mqtt: ensure we do not request extra data after buffering

This addresses Redmine bug #5018 by ensuring that the parser
never requests additional data via the Incomplete error, but to
raise an actual parse error, since it is supposed to have all
the data as specified by the message length in the header already.

output: fix integer warnings

Ticket: 4516

ssh: install app-layer events rules

detect: not an iponly signature if it needs app-layer

Ticket: 4972

This may happen with `config` keyword which is postmatch,
but may require a transaction

doc/userguide: sphinx syntax correction

unittests: alloc Packet with PacketGetFromAlloc

Some unittests used SCMalloc for allocating new Packet the unittests.
While this is valid, it leads to segmentation faults when we move to
dynamic allocation of the maximum alerts allowed to be triggered by a
single packet.

This massive patch uses PacketGetFromAlloc, which initializes a Packet
in such a way that any dynamic allocated structures within will also be
initialized.

Related to
Task #4207

detect/dataset: fix space condition in rule lang

If there is a space following a keyword that does not expect a value,
the rule fails to load due to improper value evaluation.
e.g. Space after "set" command
alert http any any -> any any (http.user_agent; dataset:set  ,ua-seen,type string,save datasets.csv; sid:1;)

gives error
[ERRCODE: SC_ERR_UNKNOWN_VALUE(129)] - dataset action "" is not supported.

Fix this by handling values correctly for such cases.

detect/dataset: cleanup dead code

detect/urilen: don't pass null pointer to pcre2 free

Bug #5228.

detect/mpm: initialization micro optimization

detect: pattern id assignment through hash table

Only consider active part of the pattern for mpm (so consider chop).

Move data structure to hash list table over the custom array logic.

detect: keyword list to hash to improve perf

Since the switch to pcre2 this was much more heavily used, which
would lead to measurable time spent in list handling.

detect: optimize mpm-engine setup

Instead of a loop over the rules in a group *per engine* do a single
loop in which all the engines are prepared in parallel.

detect: initialization optimization

A lot of time was spent in `SigMatchListSMBelongsTo` for the `mpm_sm`.

Optimize this by keeping the value at hand during Signature parsing and
detection engine setup.

hash: constify data input

detect/analyzer: support frames in pattern dump

detect/filemagic: don't pass unused pointer

flow-manager: fix off-by-one in flow_hash row allocation

The current code doesn't cover all rows when more than one flow manager is
used. It leaves a single row between ftd->max and ftd->min of the next
manager orphaned. As an example:

    hash_size=1000
    flowmgr_number=3
    range=333

    instance  ftd->min  ftd->max
    0         0         333
    1         334       666
    2         667       1000

    Rows not covered: 333, 666

http: fix reassembled range file accounting

http2: fix file accounting for ranged files

Increment files_opened for tx that 'gets' reassembled ranged file

smb1: apply close to direction

Instead of closing files in both direction when receiving a close request,
close only toserver files for the request and close toclient on receiving
a response.

smb: convert 'close' parser to function

files: open/log debug validation bugon

Meant to find more cases where there is a mismatch.

devguide: update readme

Use it to explain how to go about the sequence diagram images
(generation, updating, what is mscgen etc).

Also remove portion that referred to Sphinx builds, as these don't make
sense now.

userguide: dynamically determine copyright date

This uses the date of doc generation to determine the copyright date
for the trailing date. Based on Jeff Lucovsky solution.

devguide: drop use of mscgen script in builds/make

Currently, it seems easier to upload the diagram images to git than to
try to make the image generation script work with out of the tree builds
and other corner cases.

This means, however, that one must activelly remember to update msc
diagram files, run the script and re-add new png files, if those ever
need to be updated. To raise awareness to that, a watermark was added
to the diagram images.

Also removed configuration steps that added mscgen as dependency
(locally and for workflow builds and readthedocs).

devguide: add watermark to sequence diagrams

Make it more evident that the sequence diagrams in the transactions
page are generated with Mscgen

devguide: move into userguide as last chapter

Moved devguide dir into userguide dir.
Since the devguide is now incorporated as the last chapter of the
userguide, removed build and configuration files from the devguide
dir, as these are no longer needed.

Task #4909

devguide: clarify cargo test usage for modules

The documentation was showing an invalid path for running single tests.

http: move xff logging to alert object

Ticket: 4860

instead of root field

ssl: first pass limit when allocating buffer for certificates

With this check, on the first packet of a certificate presenting
a length of 16Mbytes, we only allocate up to 65Kb

When we get to the point where need more than 65Kb, we realloc
to the true size.

With this check, it makes it more expensive for an attacket to use
this allocation as a way to trigger ressource exhaustion...

smtp: check if there is a transaction to close

Ticket: 4948

When parsing the response for starttls

tmqh: fix possible null dereference

Coverity ID: 1502953

As we check just on the next line my_pool against NULL, we should
not dereference it, even for debug validation

detect: remove dead code about xbits keyword

log: prevents use of uninitialized variable

Even if the code seems unreachable for now

detect-content: error on single char hex pairs

Fix parsing of content like "|aa b cc|" which was parsed as "|aa bc|"
without error or warning. This will now fail out, requiring all hex
values to be 2 chars.

Ticket #5201

streaming: remove unused 'auto slide' support

Add debug validation checks for "impossible" conditions.

detect: makes config keyword really require a flow

Ticket: 4972

Completes commit c3a220647

DETECT_CONFIG is added as DETECT_SM_LIST_POSTMATCH and not
as DETECT_SM_LIST_MATCH as other keywords handled in SignatureCreateMask

detect-pcre: remove unittests

These tests are reimplemented in Suricata-Verify

Task: 4911

nfs: Implement frames

Feature #4872

Frames:
  - RPC Frames: Generic over TCP/UDP
     - rpc.pdu
     - rpc.hdr
     - rpc.data
     - rpc.creds -- for rpc calls

  - NFSv2, NFSv3
     - nfs.pdu
     - nfs.status -- for nfs responses

  - NFSv4 Only Frames
     - nfs4.pdu
     - nfs4.hdr
     - nfs4.ops -- for compound request/response operations
     - nfs4.status -- for nfs4 responses

RPC tcp/udp frames created with separate registeration functions e.g:
add_rpc_tcp_tc_frames()
add_rpc_udp_tc_frames()

rpc: Improve rpc_record struct

Add creds_len field to rpc_record
needed for rpc.creds frame length calculation

rust/nfs4: Add NFSPROC4_DESTROY_CLIENTID op parsers

rust/nfs4: Add NFSPROC4_DESTROY_SESSION op parsers

Also add respective request unittest
test_nfs4_request_destroy_session()

rust/nfs4: Add NFSPROC4_LAYOUTRETURN op parsers

Also add respective request unittest
test_nfs4_request_layoutreturn()

rust/nfs4: Add NFSPROC4_GETDEVINFO op parsers

Also add respective response/request unittests
test_nfs4_response_getdevinfo()
test_nfs4_request_getdevinfo()

rust/nfs4: Add NFSPROC4_LAYOUTGET op parsers

Also add respective response/request unittests
test_nfs4_response_layoutget()
test_nfs4_request_layoutget()

rust/nfs4: Add NFSPROC4_SECINFO_NO_NAME op parsers

rust/nfs4: Add NFSPROC4_RECLAIM_COMPLETE op parsers

rust/nfs4: Add NFSPROC4_CREATE_SESSION op parsers

Also add respective response/request unittests
test_nfs4_request_create_session()
test_nfs4_response_create_session()

rust/nfs4: Add NFSPROC4_EXCHANGEID response parser

Also add test_nfs4_response_exchangeid() unittest

rust/nfs4: improve NFSPROC4_OPEN op parser

Improve nfs4_res_open() parser to reflect other file-delegation types
Reflect the changes on test_nfs4_response_open() unittest

fuzz: fix integer warnings

Ticket: 4516

utils: fix integer warnings in r files

Ticket: 4516

stream-tcp: fix integer warnings

Ticket: 4516

util: fix int warnings in tm threads

Ticket: 4516

util: fix int warnings in unit tests

Ticket: 4516

util: fix int warnings

Ticket: 4516

smb: rules for messages in the wrong direction

smb: handle records in the wrong direction

If an SMB record is seen in the wrong direction, set an event on the PDU
frame and don't process the record in the state.

No error is returned, so the next record will be processed.

smb: expose smb1 request/reply flags with a method

Adds `.is_request()` and `.is_reply()` to check if a SMB record flags
say the message is a request or a reply.

smb: fix smb2 header flag parsing

The bits were being parsed in the order they're displayed in Wireshark,
rather than the order they were being seen on the wire, resulting in
direction and async being 0 more often than they should be.

Instead of bits, take the 4 bytes as an le_u32 and just use bit masks to
extract what we need into a struct, I think its easier to reason about
this way when comparing to the Microsoft documentation.

detect: only apply ConfigApplyTx with app-layers

Ticket: 4972

Otherwise, it makes no sense to look for a tx...

applayer/frame: remove output from GetFrame funcs

As these functions can be probed, having output there results in
misleading output.