mqtt: Improve frame parsing w/mult. PDUs

This commit improves the mqtt parsing of frames to handle multiple PDUs.

Issue: 6592
(cherry picked from commit f9a20dafc6abe2c03dea98286c86430b447d8196)

tcp: do not assign TCP flags to pseudopackets

Previously pseudopackets were assigned with ACK flag which falsely turned
"SYN" flows to "SYN/ACK" flows when Suricata ran with raw content-matching
rules. The problem occured during the flow timeout or Suricata shutdown,
essentially, when the flow was being kicked out (with a pseudopacket).

When Suricata ran without raw content-matching rules (the ruleset did not
contain content matching keywords or it only contained keywords that are
app-layer content-matching) then raw stream reassembly tracking is turned off
(SignatureHasStreamContent()).
This in turn disabled a check in StreamNeedsReassembly() and the right edge
was not checked with the raw stream progress. In turn, it did not generate
a pseudopacket that would go through the detection engine. Suricata with
raw content-matching keywords would therefore on a flow with SYN packet only
return STREAM_HAS_UNPROCESSED_SEGMENTS_NEED_ONLY_DETECTION which would generate
the pseudopacket.

In Suricata versions <= 6.0.x, the flow output was correct because
only the commit 1bb6f44ff01363fa29488f1ae83b9368e33c2770 started to
differentiate the right edge calculation between the raw and application
layer streams. The older Suricata versions used only the application layer
right edge equation and therefore did not generate a pseudopacket.

Ticket: #6734
(cherry picked from commit ebf465a11bffcd2049e17648e6c46c067692b02a)

multi-tenant: fix loader dead lock

A dead lock could occur at start up, where a loader thread would
get stuck on it's condition variable, while the main thread was
polling the loaders task results.

The vector to the dead lock is as follows:

main                         loader
DetectEngineMultiTenantSetup
-DetectLoaderSetupLoadTenant
--DetectLoaderQueueTask
---lock loader
---add task
---unlock loader
                        lock loader
                        check/exec tasks
                        unlock loader
---wake up threads
                        lock ctrl mutx
                        cond wait ctrl
                        unlock ctrl
-DetectLoadersSync
--lock loader
--check tasks
--unlock loader

Between the main thread unlocking the loader and waking up the
threads, it is possible that the loader has already moved ahead
but not yet entered its conditional wait. The main thread sends
its condition signal, but since the loader isn't yet waiting on
it the signal is ignored. Then when the loader does enter its
conditional wait, the signal is not sent again.

This patch updates the logic to send signals much more often.
It also makes sure that the signal is sent under lock, as the
API requires.

Bug: #6768.

Co-authored-by: Shivani Bhardwaj <shivani@oisf.net>

stats: Add unittest for basic stats serialization

Main purpose is to validate that the 30 of bond0.30 isn't expanded into
a nested object during serialization.

(cherry picked from commit 08db0f302b3b2817d0fdfb1fe836fd16cc5e8775)

stats: Do not expand dots of tm_name

When an interface with dots is used, per worker stats are nested by the
dot-separated-components of the interface due to the usage of
OutputStats2Json().

Prevent this by using OutputStats2Json() on a per-thread specific object
and setting this object into the threads object using the
json_object_set_new() which won't do the dot expansion.

This was tested by creating an interface with dots in the name
and checking the stats.

    ip link add name a.b.c type dummy

With Suricata 7.0.2, sniffing on the a.b.c interface results in the
following worker stats format:

    "threads": {
      "W#01-a": {
        "b": {
          "c": {
            "capture": {
              "kernel_packets": 0,

After this fix, the output looks as follows:

    "threads": {
      "W#01-a.b.c": {
        "capture": {
          "kernel_packets": 0,

Ticket: #6732
(cherry picked from commit b8b8aa69b49ac0dd222446c28d00a50f9fd7d716)

detect-engine-iponly: improve ip list performance

The runtime complexity of insertion sort is approx. O(h*n)^2 where
h is the size of the HOME_NET and n is the number of ip only rules
that use the HOME_NET.

Replacing this with qsort significantly improves rule load time when
a large HOME_NET is used in combination with a moderate amount of ip
only rules.

(cherry picked from commit 17f9d7aeccd5a69ef2e3344386d1585d231e2933)

detect/tls.certs: fix direction handling

Direction flag was checked against wrong field, leading to undefined behavior.

Bug: #6778.
(cherry picked from commit 3c06457b74db5a2fd070fe1675c72f53423786de)

threads/mutex: Ensure mutex held before signaling

Ensure that the mutex protecting the condition variable is held before
signaling it. This ensures that the thread(s) awaiting the signal are
notified.

Issue: 6569
(cherry picked from commit 2a1a70b3089751b30f623871063ce155451d4cbc)

netmap: Release lock to avoid deadlock

Issue: 6755

When NetmapOpen encounters an error opening the netmap device, it'll
retry a bit. When the retry limit is reached, it'll shutdown Suricata.

This commit ensures that the device list lock is not held when before
closing all open devices before terminating Suricata.

(cherry picked from commit 364adeeb0442592ceea4d329622ca5fe34bf31fd)

util/mime: fix memory leak

Fix memory leak at util-decode-mime:MimeDecInitParser, which
root cause is not-freeing allocated memory for mimeMsg

Bug: #6745
(cherry picked from commit 231c892befe25c23d5d3b54e48077c8446940eb5)

detect: respect directionality for filestore

Ticket: 6617

So that rules with keyword like `filestore:to_server,flow`
only store the files to server and not the ones to client...

Directionality only worked with the default scope, ie the
current file, and not the scope tx or scope flow.
For non-default scope, tx or flow, both directions were stored
whatever the directionality specified.

For these non-default scopes, this commit keeps a default
of both directions, but use only one direction if specified.

Need to split flag FLOWFILE_STORE per direction, so that Suricata
can retain this (optional) directional info from the filestore
keyword.

Fixes: 79499e476979 ("app-layer: move files into transactions")
(cherry picked from commit 63caa0b40a66ecf1a34bbb6d942d4a044b7728a5)

app-layer/template: use a max number of txs

Ticket: 6773
(cherry picked from commit c99d93c2574cfa0fe2b94c1ab3a2cacd5a15035c)

detect: errors on 65k filestore signatures

Errors when a detection engine gets 65k filestore signatures to
avoid the hard limit to have 65k filestore per signature group
head

Ticket: #6393
(cherry picked from commit db99c45d239d5ca6e805094195f7ae39d3051e44)

detect/http: report error on alloc failure

(cherry picked from commit 7e4dba7dfbd063be554b6145b747d7879eaa1f84)

detect/http_header: fix leak on realloc failure

(cherry picked from commit b48ec8a03922f36e76f2d6d942f2963afc2a3345)

detect-http: add superfluous alloc check for cocci

Add not-needed SCCalloc return check to satisfy our Cocci malloc
checks as it can't see that the caller immediately checks the return
value of this simple wrapper around SCCalloc.

(cherry picked from commit f800ed0f901488d19fccf858ba0711792bf407ff)

rust: fix clippy ptr_arg warnings

error: writing `&Vec` instead of `&[_]` involves a new object where a slice will do
   --> src/dns/log.rs:371:29
    |
371 | pub fn dns_print_addr(addr: &Vec<u8>) -> std::string::String {
    |                             ^^^^^^^^ help: change this to: `&[u8]`
    |
    = help: for further information visit https://rust-lang.github.io/rust-clippy/master/index.html#ptr_arg

(cherry picked from commit 68b0052018079adc11ea1e35ab686c30716a8aad)

ci: authors check using OISF repo

As flagged critical by codescan

(cherry picked from commit 7f5e98e6df279be39a47c18ac0553a1cfebb906c)

version: start development towards 7.0.4

release: 7.0.3; update changelog

http2: limit number of concurrent transactions

Ticket: 6481

Instead of just setting the old transactions to a drop state so
that they get later cleaned up by Suricata, fail creating new ones.

This is because one call to app-layer parsing can create many
transactions, and quadratic complexity could happen in one
single app-layer parsing because of find_or_create_tx

(cherry picked from commit 80abc22f6475b6a87a33166729a871203f34d578)

pgsql: parse only PDU when type is unknown

A next PDU may already be in the slice to parse.
Do not skip its parsing, ie do not use rest, but take just
the length of the pdu

(cherry picked from commit 86de7cffa7e8f06fe9d600127e7dabe89c7e81dd)

pgsql: parse auth message within its bound

If the next PDU is already in the slice next, do not use it and
restrict ourselves to the length of this PDU.
Avoids overconsumption of memory by quadratic complexity, when
having many small PDUS in one big chunk being parsed

Ticket: #6411
(cherry picked from commit f52c033e566beafb4480c139eb18662a2870464f)

detect: fixes use-after-free with http.request_header

Ticket: #6441

This keyword and the response one use a multiple inspection buffer.
But the different instances point to the same memory address
that comes from HttpHeaderGetBufferSpace and is not owned
by the transaction, and is rebuilt, which is a functional
bug in itself.

As it gets crafted, it can get reallocated if one header
is over 1024 bytes, while the previous freed pointer will still get
used for the previous headers.

(cherry picked from commit bc422c17d6961f03f673f2999a949913e89fc2d0)

smtp: avoid creating empty transaction

Ticket: 6477

So as to avoid ending up with too many empty transactions.

This happens when Suricata sees a DATA command in the current
transaction but did not have a confirmation response for it.
Then, if Suricata receives another DATA command, it will
create another new transaction, even if the previous one
is empty. And so, a malicious client can create many empty
transactions by just sending a repeated amount of DATA commands
without having a confirmation code for them.

Suricata cannot use state->current_command == SMTP_COMMAND_DATA
to prevent this attack and needs to resort to a new boolean
is_data because the malicious client may send another dummy command
after each DATA command.

This patch leaves only one call to SMTPTransactionCreate

(cherry picked from commit 61f2e4e1e5b34dfd8ae44d1c15253e2da65f6e6a)

smtp: config limit maximum number of live transactions

Ticket: #6477
(cherry picked from commit 8f73a0ac5588cb5e5c501b3c7a07cb5d35b99d92)

http1: configurable max number of live tx per flow

Ticket: #5921

Co-authored-by: Jason Ish <jason.ish@oisf.net>
(cherry picked from commit 4175680a8a1c0dfaa491ee63d6e36c011d498473)

http1: remove transactions from their list

instead of keeping a NULL pointer in an array

Ticket: #5921
(cherry picked from commit 8f63a8f3bffbbaf8fae4985ee5f974ab326b08c0)

http2: handle reassembly for continuation frames

Ticket: 5926

HTTP2 continuation frames are defined in RFC 9113.
They allow header blocks to be split over multiple HTTP2 frames.
For Suricata to process correctly these header blocks, it
must do the reassembly of the payload of these HTTP2 frames.
Otherwise, we get incomplete decoding for headers names and/or
values while decoding a single frame.

Design is to add a field to the HTTP2 state, as the RFC states that
these continuation frames form a discrete unit :
> Field blocks MUST be transmitted as a contiguous sequence of frames,
> with no interleaved frames of any other type or from any other stream.
So, we do not have to duplicate this reassembly field per stream id.

Another design choice is to wait for the reassembly to be complete
before doing any decoding, to avoid quadratic complexity on partially
decoding of the data.

(cherry picked from commit aff54f29f8c3f583ae0524a661aa90dc7a2d3f92)

mqtt: fix logic when setting event

Especially sets transactions to complete when we get a response
without having seen the request, so that the transactions
end up getting cleaned (instead of living/leaking in the state).

Also try to set the event on the relevant transaction, instead
of creating a new transaction just for the purpose of having
the event.

Ticket: #6299
(cherry picked from commit 89936b6530690c6d03869b2ad8b82f9f84776f94)

detect: merge sorted lists instead of qsort

Ticket: #6299

Simply because it is faster (just linear).

This is for merging match_array into tx_candidates

(cherry picked from commit 5bb8800588e7b4a09e1770f049cd88be71e2d30b)

detect: avoids case of useless detection on txs

When a TCP flow packet has not led to app-layer updates,
it is useless to run DetectRunTx, as there cannot be new
matches.

This happens for instance, when one side sends in a row multiple
packets which are not acked (and thus not parsed in IDS mode).

Doing so requires to move up the call to
AppLayerParserSetTransactionInspectId
so that it is run the same times DetectRunTx is run, and not in the
case where the transaction was not updated.

Ticket: 6299
(cherry picked from commit 9240ae250cc369306803740279df2ab3eca6b54a)

doc: note what version "requires" was added in

(cherry picked from commit 8bf8131c31088f501f4d151f8748a817f89f7c1f)

detect/requires: reset sigerror flags for each rule

"sigerror_ok" and "sigerror_requires" were not being reset after each
rule which could lead to a rule load error being incorrectly tracked
as skipped rather than failed.

Also initialize "skippedsigs" to 0 along with "goodsigs" and
"badsigs", while not directly related to this issue, could also throw
off some stats.

Ticket: #6710
(cherry picked from commit de3cbe4c90fb7fb6d54b6876ab515f791145271a)

requirements: use libhtp 0.5.x

Move to libhtp to the 0.5.x branch instead of 0.5.45.

(cherry picked from commit c3b3c11e30e1afdbde5c196a0692ee5e2c379cb1)

doc: remove references to prehistoric versions

Remove references that are mentioning Suricata 3 or less
As a note - only one Suricata 4 reference found:
(suricata-yaml.rst:"In 4.1.x")
Fast pattern selection criteria can be internally found by inspecting
SupportFastPatternForSigMatchList and SigTableSetup functions.

Ticket: #6699
(cherry picked from commit 6e4cc79b398d91e243bd1574cbbcbbf7cd021c5d)

dpdk: rework hugepage hints to use per-numa information

Previous integration of hugepage analysis only fetched data
from /proc/meminfo. However this proved to be often
deceiving mainly for providing only global information and
not taking into account different hugepage sizes (e.g. 1GB
hugepages) and different NUMA nodes.

Ticket: #6697
(cherry picked from commit ca6f7c2d002cdad8eb3630860b5023560626aee0)

flow-bypass: Set bypass thread to running state

When running Suricata in XDP bypass mode (bypass: yes),

Suricata started up with error:
Error: threads: thread "FB" failed to start in time: flags 0003

"FB" thread does not transition from THV_INIT_DONE to THV_RUNNING.

Set "FB" thread THV_RUNNING state in BypassedFlowManager().

Bug: #6254

Signed-off-by: Vincent Li <vincent.mc.li@gmail.com>
(cherry picked from commit f80d26db0b62d4a547290a1cf536754f79927a3b)

ipfw: close(2) instead shutdown(2) of the divert(4) socket

The shutdown(2) syscall would always return ENOTCONN for FreeBSD 11,
FreeBSD 12, FreeBSD 13 and FreeBSD 14.  It could do some action on the
socket in the kernel in FreeBSD 10 and before, did not test.

(cherry picked from commit b239e88c9303d83a3074ed69c4989bd136bbf8b4)

detect: case-insensitive comparison for requires

Ticket: 6656
(cherry picked from commit d3218385e942a4a01f3938f0cd7050f5dc7c9a6f)

source/erf-dag: compiler warnings

Bug: #6667.

Fix compiler warnings for function pointer parameters missing const with --enable-dag

(cherry picked from commit c28cc93e23e829dac34ca0170df754ab1063c482)

endace: Fix source-dag timestamps

Bug: #6618.

Fix Endace ERF to SCTime_t timestamp conversion

Fix typo preventing compilation with --enable-dag

(cherry picked from commit 879db3dbc3e93912c784375c85d88404a9371f31)

stats: add rules skipped

Rule skipped is a count of the number of rules that are skipped due to
missing requirements.

Feature: #6637
(cherry picked from commit b453eea1502cc5455f383c4fe82c6011fee93495)

detect-parse: parse sid in pre-scan

During the pre-scan for "requires", also parse the SID if possible. If
the rule fails high level parsing (syntax), the SID will not be
parsed.

But every keyword other than "sid" and "requires" should expect to be
provided with a parsed sid.

(cherry picked from commit 71bbba9248e696f0fd2e912ad9631052b3788775)

requires: pre-scan rule for requires expressions

Add a "pre-scan" rule parse that will check for requires statement. It
will return a special error code (-4) if the requires fails due to
missing requirements.

Syntactic errors will also abort parsing here.

Feature: #5972
(cherry picked from commit 435c03172ed7ebaa117765760e75bdfd38c7fca0)

requires: add requires keyword

Add a new rule keyword "requires" that allows a rule to require specific
Suricata versions and/or Suricata features to be enabled.

Example:

  requires: feature geoip, version >= 7.0.0, version < 8;
  requires: version >= 7.0.3 < 8
  requires: version >= 7.0.3 < 8 | >= 8.0.3

Feature: #5972

Co-authored-by: Philippe Antoine <pantoine@oisf.net>
(cherry picked from commit 5d5b0509a543f2b6f09cc81acf0248a361b03aa1)

feature: provide a Rust binding to the feature API

As the feature module is not available for Rust unit tests, a mock
version is also provided.

(cherry picked from commit 15ed51f9b87011025615245d89152da9c567f49b)

htp/swf: Remove flash deprecation notice

Issue: 6605

Flash decompression will remain so the deprecation notice is not needed.

(cherry picked from commit 995f5fc8c5fa925e8ac1540f8f4bc2e68df3908a)

log/sguil: Issue deprecation notice if sguil mode

Issue: 6688

userguide: remove old css files

In our conf.py we reference some ReadTheDocs stylesheets that appear to
be old and break formatting of some items like bulletted lists.

Bug: #6589
(cherry picked from commit cc0adaaf4a747fbefa5e8d5afec73760cbb8b2f9)

detect/stream_size: fix prefiltering registration

Ticket: #6551
(cherry picked from commit 180459eeb6c248b70a8b20b1e14f829318bb242d)

detect: strip_pseudo_headers transform

Ticket: 6546
(cherry picked from commit adf5e6da7bdf81d65ccfeb115e6bc50e7031a0ca)

doc: fix byte_test examples

As this keyword has 4 mandatory arguments, and some examples
had only three...

Ticket: 6629
(cherry picked from commit 4933b817aacc649edc52409426500a9ec271ccc6)

pgsql: fix u16 overflow in query data_row

Found by oss-fuzz with quadfuzz.

Cf https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=63113

According to PostgreSQL documentation the maximum number of rows can be
the maximum of tuples that can fit onto max u32 pages - 4,294,967,295 (cf
https://www.postgresql.org/docs/current/limits.html). Some rough
calculations for that indicate that this could go over max u32, so
updating the data_row data type to u64.

Bug #6389

(cherry picked from commit 8d3de85edda97b0c585253803da3faeccc257942)

github/action: fix Debian 12 intermittent failures

Parallel builds caused issues during `cargo vendor`. So do just a single
thread build.

 make[4]: Entering directory '/__w/suricata/suricata/rust'
cbindgen --config /__w/suricata/suricata/rust/cbindgen.toml \
--quiet --output /__w/suricata/suricata/rust/dist/rust-bindings.h
CARGO_HOME="/github/home/.cargo"  /usr/bin/cargo vendor
    Blocking waiting for file lock on package cache
    Blocking waiting for file lock on package cache
ERROR: Couldn't execute `cargo metadata` with manifest "/__w/suricata/suricata/rust/Cargo.toml": Metadata(Output { status: ExitStatus(unix_wait_status(25856)), stdout: "", stderr: "    Blocking waiting for file lock on package cache\n    Blocking waiting for file lock on package cache\nerror: failed to download `adler v1.0.2`\n\nCaused by:\n  unable to get packages from source\n\nCaused by:\n  failed to parse manifest at `/github/home/.cargo/registry/src/github.com-1ecc6299db9ec823/adler-1.0.2/Cargo.toml`\n\nCaused by:\n  no targets specified in the manifest\n  either src/lib.rs, src/main.rs, a [lib] section, or [[bin]] section must be present\n" })
ERROR: Couldn't generate bindings for /__w/suricata/suricata/rust.
make[4]: *** [Makefile:597: dist/rust-bindings.h] Error 1
make[4]: *** Waiting for unfinished jobs....

(cherry picked from commit c82d93490c4b41f3047f78aa34c4e135ddbf2c79)

detect/bytejump: don't reuse content flag

To avoid future problems with overlapping flag values, give bytejump
its own DETECT_BYTEJUMP_OFFSET_VAR flag.

The values are currently not overlapping, so this patch should have
no side effects.

(cherry picked from commit 101452056d559b4e5eab27c2d9fb651d2e32c412)

detect/analyzer: print int keyword values correctly

To avoid negative values to be misrepresented.

Bug: #6615.
(cherry picked from commit de5b8ae0b45636352e641cff7eeb4f1fc89c8129)

jsonbuilder: add set_int for signed ints

Bug: #6615
(cherry picked from commit b8440a0917548061049df19e4d42200df67cb478)

rust: allow clippy::items_after_test_module

As clippy began to complain about jsonbuilder.rs

(cherry picked from commit 673d13d44555843883915eb691b58a195ad021e8)

detect/profiling: improve pcap reading performance

When reading a pcap, packet time can move much faster than wall
clock time. This would trigger many more profile syncs than before.

As the sync is using a lock to synchronize with other threads, this
is an expensive operation.

Bug: #6619.

Fixes: b591813b8690 ("profiling/rules: reduce sync logic scope")
(cherry picked from commit bcb2b50cfc34430e0e91dea781c90d2259ef8f0d)

detect/content: fix offset for negative distance

Fix offset calculation on sigs with negative distance. Can lead to FN
in certain cases.

Bug: #6661.
(cherry picked from commit 2911656d6c11e8ef64a55ce64216382cd22151fe)

eve/email: improve logging binary data

Use jb_append_string_from_bytes() as it works better than
BytesToString+jb_append_string when logging binary data.

Bug: #6664.
(cherry picked from commit f5565f42e7ae993963d7135271813ff30780bc96)

stats: incr app-proto flow counter for detection-only

Ticket: 6633
(cherry picked from commit 3103505cb0fa87f18b63434a94c1b3814f5b8003)

pgsql: remove unused msg field

The `ConsolidatedDataRow` struct had a `length` field that wasn't truly
used.

Related to
Bug #6389

(cherry picked from commit 1afb485dfa253f4b409fa1acf0b7790cf1d2f09b)

detect/transform: Clarify transformation validation

Issue: 6439

Clarify the transform validation step. When a transform indicates that
the content/byte-array is not compatible, validation will stop.

Content is incompatible is some cases -- e.g., following the
to_lowercase transform with content containing uppercase characters.
An alert is not possible since the content contains uppercase and the
transform has converted the buffer into all lowercase.

(cherry picked from commit a46779d866b1b121adc73164215ba6437f53c208)

detect/transform: Register case-change transforms

Issue: 6439
(cherry picked from commit 1110a86cb9bc3815aec2db1b5cc3253d63db53f5)

doc/transform: Document case-changing transforms.

Issue: 6439
(cherry picked from commit 9ee55d23949a1bb42e6b48429d720fcc6c15147b)

detect/transform: Add case changing transforms

This commit adds the implementation for the case changing transforms:
to_lowercase and to_uppercase

Issue: 6439
(cherry picked from commit e5c2f9a56dee82fc498d85aec68d028b89237544)

detect/transform: Add case-change transform constants

Add the constants for the to_lowercase and to_uppercase transforms

Issue: 6439
(cherry picked from commit ffd559cd8e941dafaa2f143437a1253abb77c745)

userguide/eve: explain pgsql requests & responses

Add a more visible explanation of that requests, responses, frontend and
and backend are, in Pgsql context, to avoid having to repeat that over
different portions of the docs.

(cherry picked from commit bba3d4fc6375b62b774ad584a953442da9f4cbde)

pgsql: add cancel request message

A CanceldRequest can occur after any query request, and is sent over a
new connection, leading to a new flow. It won't take any reply, but, if
processed by the backend, will lead to an ErrorResponse.

Task #6577

(cherry picked from commit 30ac77ce65ece4a84ebd5cd64e3f741cd9b0c1bf)

doc/eve-format: break pgsql section to char limit

(cherry picked from commit 7dcc2e7a713de20af0dbc1e935ec791cba2e6f95)

pgsql: extract length validation into function

This is called so many times that it seems to make sense that we use a
function for this.

(cherry picked from commit 7fa8bbfe43f396215238e7d8a2b7ce94a22560bc)

http2: do not have leading space for response line

Ticket: 6547
(cherry picked from commit 1b5e04bee3c8bb0469b53af0059ec86ce15f9b9c)

detect: header_lowercase transform

Ticket: 6290
(cherry picked from commit 32cce122e1d8bb568cd5ff1b0db51c488cfb9f58)

pgsql: don't log password msg if password disabled

If the logging of the password is disabled, there isn't much point in
logging the password message itself.

(cherry picked from commit bdec2d8ea80cf69a8d1ce9c4505452f17f6058fe)

pgsql: remove probe_ts function

With the changes in the probing_ts function, this other one could become
obsolete. Remove it, and directly call `parser::parse_request` when
checking for gaps, instead.

(cherry picked from commit 9aeeac532eadc57c399b17d364d7337c5c69bd8e)

pgsql: remove unused error handling call

(cherry picked from commit 53d29f652ac0fe3ce342140d88492b077b0f2c01)

pgsql: don't log unknown message type

(cherry picked from commit afd6e4dc414708f12c46b251d2ca8df1afd3f66b)

pgsql: fix probing functions

Some non-pgsql traffic seen by Suricata is mistankenly identified as
pgsql, as the probing function is too generic. Now, if the parser sees
an unknown message type, even if it looks like pgsql, it will fail.

Bug #6080

(cherry picked from commit 4f85d061926e870a48aeaf13bdbb4666ad7fc07e)

pgsql: add unknonwn frontend message type

We had unkonwn message type for the backend, but not the frontend
messages. It's important to better identify those to improve pgsql
probing functions.

Related to
Bug #6080

(cherry picked from commit 1ac5d97259994f73e64533366d74e40f9fe22694)

github-ci: add cherry-pick line check

util/time: Improve usecs handling in time macros

Fix SCTIME_ADD_SECS zeroing subsecond part

When adding s seconds to SCtime_t ts, don't zero out the ts.usecs field.

Issue: 6584

Fix SCTIME_FROM_TIMESPEC garbage microseconds part

When converting nanosecond to microseconds divide by 1000 instead
of multiplying by 1000.

Issue: 6585
(cherry picked from commit 0850e3d137e553e22fd8f598d276794ddd098c41)

napatech: Fix packet timestamps

Initialize both seconds and useconds of packet timestamp from napatech
timestamp format.

This commit uses updated macro definitions from util-utime.h to avoid
zero seconds value.

Issue: 6372
(cherry picked from commit 417806ca35e643d4120552ac569bba7484295e70)

util/time: Prevent usecs overflow

This commit takes care of original seconds value and prevents the
useconds field from overflowing pas its maximum value.

Issue: 6372
(cherry picked from commit d3095ac0589228a4c63a466f5ff3b99bab98bf25)

doc: update file.data keyword documentation

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update tls not_after/not_before mentions

Our tls fields not_after and not_before are actually logged as
`notafter` and `notbefore`, but were documented with the underscore.

Update the documentation, since updating the log format itself would be
a breaking change.

Task #5494

(cherry picked from commit a649a92afd4ed71b264ee1df408875322d9dfaf9)

userguide: document flow_id, with examples

Flow_id explanation expanded from version shared by Peter Manev.

Task #6445

(cherry picked from commit 58fb559594f8e00e9c63dcb9fee167d694689fd4)

doc/userguide: add tag keyword page

Ticket: #3015.
(cherry picked from commit 6b2c33990f2c61643d94c74396f930e465305b38)

doc/userguide: document host table yaml settings

(cherry picked from commit 4a02a14df1be3821042b1c60e3722b114d26fa14)

http2: app-layer event for userinfo in uri

Ticket: #6426

as per RFC 9113
":authority" MUST NOT include the deprecated userinfo subcomponent
for "http" or "https" schemed URIs.

(cherry picked from commit e3cd0d073f18a9d760e332852d53bce080ea96f0)

macset: remove dead flow init/cleanup code

FlowInit() will only be called on a newly allocated, or a fully cleaned
up flow, so no existing storage will exist.

The only caller of `FLOW_RECYCLE` first calls `FlowFreeStorage()`, so
the reset logic in `FLOW_RECYCLE` can never trigger.

Remove now unused MacSetReset logic.

detect/flow: fix DETECT_FLOW_FLAG_ESTABLISHED check

Ticket: #6448

github-ci: Fedora 37 to 39; use packaged cbindgen

outputs: call plugin ThreadDeinit, not Deinit

With the change to the hash table for tracking threaded loggers, this
call is now called once per thread, so should be changed to the
ThreadDeinit, as that is not longer being called.

Then call Deinit for the primary logger. In threaded mode this would be
the parent, its just the logger in non-threaded mode.

Bug: #6438

eve: remove some dead code

http2: normalize host when there is user info

Ticket: 6479

http2: update brotli crate

Fixes debug assertion found by oss-fuzz:
https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=63144

http2: event on mismatch between authority and host

Ticket: #6425

detect: parse units for integers

Ticket: #6423

Especially for filesize, instead of just a number, a signature
can use a number and a unit such as kb, mb or Gb