rust/ldap: handle GAPs

Following the same logic as for PGSQL, if there is a gap in an LDAP request or
response, the parser tries to sync up again by checking if the message can be
parsed and effectively parses it on the next call.

Ticket #7176

rust/ldap: add pdu frames

This adds a pdu frame for both request and response, and removes invalid
returns in SCLdapParseRequest and SCLdapParseResponse.

Ticket #7202

rust/ldap: enable parser for udp

This introduces a new parser registration function for LDAP/UDP, and update
ldap configuration in order to be able to enable/disable a single parser
independently (such as dns).
Also, GAPs are accepted only for TCP parser and not for UDP.

Ticket #7203

userguide: clarify flow:stateless explanation

While not incorrect, the previous wording made the sentence almost
paradoxical. While at it, also highlight a side effect that might not be
so clear to users.

Related to
Bug #6976

rfb: move app-layer registration code to rust

Ticket: 7178

detect/rfb: move keywords to rust

Ticket: 7178

On the way, convert rfb.secresult to a generic integer with enumeration
cf ticket 6723

ssh/frames: avoid unsigned integer overflow

Fixes: 0b2ed97f3678 ("ssh: frames support")

github-actions: bump ossf/scorecard-action from 2.3.3 to 2.4.0

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.3.3 to 2.4.0.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/dc50aa9510b46c811795eb24b2f1ba02a914e534...62b2cac7ed8198b15735ed49ab1e5cf35480ba46)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump github/codeql-action from 3.25.11 to 3.25.15

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.25.11 to 3.25.15.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Commits](https://github.com/github/codeql-action/compare/v3.25.11...v3.25.15)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

detect: make events prefilterable

Ticket: 6728

detect: minor optimization for tx

do not bother to clean the buffers, if we did not run detection
for this transaction.

detect/tx: avoid a call to memset

just initialize the small struct to zero

doc/userguide: document logging changes from 6 to 7

Minor other logging related improvements like clarifying language and
improving formatting for pdf output.

rust/ike: fix collapsible_match clippy warning

warning: this `match` can be collapsed into the outer `match`
help: the outer pattern can be modified to include the inner pattern

rust: fix byte_char_slices clippy warnings

warning: can be more succinctly written as a byte str
   --> src/mime/smtp.rs:762:37
    |
762 |     mime_smtp_find_url_strings(ctx, &[b'\n']);
    |                                     ^^^^^^^^ help: try: `b"\n"`
    |
    = help: for further information visit https://rust-lang.github.io/rust-clippy/master/index.html#byte_char_slices
    = note: `#[warn(clippy::byte_char_slices)]` on by default

fuzz: make confyaml.c an explicit source

Ticket: 7181

Allows confyaml.c to be in the release archive

source: fix -Wshorten-64-to-32 warnings

Ticket: #6186

log: fix -Wshorten-64-to-32 warnings

Ticket: #6186

output/tx: use dynamic number of app-layer protos

Ticket: 5053

output: use dynamic number of app-layer protos

Ticket: 5053

runmodes: use dynamic number of app-layer protos

Ticket: 5053

frames: remove unneeded comments

Used by documentation with the SIP frames only

ssh: avoid panic in packet path

use debug_validate_bug_on instead

detect: run frames on pseudo flush packets

for SSH packets that mark the end of plaintext

ssh: frames support

Ticket: 5734

Adds frames for SSH records, that come after banner, and before
the data is encrypted.
These records may contain cipher lists for instance.

rust: bump time to most recent

Fixes build on rustc 1.80.

Bumps the MSRV to 1.67.1.

Bug: #7130.

rust: set MSRV to 1.67.1

This is needed for updating the ``time`` crate.

github-actions: switch dist builders to ubuntu 22.04

Part of bumping MSRV.

22.04 is the first Ubuntu release to ship a new enough Sphinx.

github-actions: update for MSRV 1.67.1

rust: address clippy errors

ssh/hassh: fix clippy warning

eve/stats: add description for flow stats

Ticket 6434

ldap: reset tx_index_completed on tx removal

So, that this index does not overflow

doh2: log like dns v3

doh: move fields into dedicated Optional struct

So as to consume less memory for HTTP2Transaction

doh2: handle dns message in POST requests

Ticket: 5773

Handles both directions the same way for data if content type is
application/dns-message

util/profiling: remove assertion

Now a flow alproto can be changed by a call to AppLayerParserParse
when HTTP2 forces the flow to turn into DOH2.

doh: make dns and http keywords for doh2

Ticket: 5773

doh: implement dns over http2 app-proto

Ticket: 5773

http2: log dns if DoH is recognized

Ticket: 5773

http2: rustfmt

dns: prepare for dns over http2 support

by making tx parsing and creation more easily available,
without needing a dns state.

Dns event NotResponse is now set on the right tx, and not the one
before.

Also debug log for Z-flag on request says "request" instead of
"response"

Also rustfmt dns.rs

build: Wimplicit-int-float-conversion checked with --enable-warnings

When configure is used with --enable-warnings, we try to add most
warning flags that should pass.
This commits adds the warning Wimplicit-int-float-conversion

runmodes: fix -Wshorten-64-to-32 warnings

Ticket: #6186

defrag: fix -Wshorten-64-to-32 warnings

Ticket: #6186

datasets: fix -Wshorten-64-to-32 warnings

Ticket: #6186

rust/ldap: add ldap-parser to Cargo.lock.in

doc: add ldap protocol

rust/ldap: implement logger

rust/ldap: implement app-layer

rust/ldap: implement types and filters

This implementation adds types and filters specified in the LDAP RFC to
work with the ldap_parser.
Although using the parser directly would be
best, strange behavior has been observed during transaction logging.
It appears that C pointers are being overwritten, leading to incorrect
output when LDAP fields are logged.

smtp: add port 465 for probing

smtp: do not return error on NULL buffer for end of stream

smtp: recognize more reply codes

Ticket: 6821

ftp: adds server side detection

smtp: adds server side detection

Ticket: #1125

imap: extend detection patterns

Ticket: #2886

Signed-off-by: mmaatuq <mahmoudmatook.mm@gmail.com>

detect/ssh: remove deprecated keywords

Ticket: 2377

detect/mqtt: move keywords to rust

Ticket: 4863

On the way, convert some keywords to use the first-class integer
support.
And helpers for pure rust the support for multi-buffer.

Move the C unit tests about keyword mqtt.protocol_version
to unit tests for generic integer parsing, and test version 5
instead of testing twice version 3.

Also iterate all tx's messages for reason code as is done for other
keywords.

And allow detection on empty topics.

detect: helper function for multibuffer registration

So that rust does not need to know about SIG_FLAG_TOCLIENT value

output/alert: remove now unused include

Including the mqtt one, now that it is almost rust only

mqtt: parse and store raw connect flags

for easier later matching

rust/derive: string enumeration become case insensitive

As needed for MQTTTypeCode which accepts both CONNECT uppercase
and unassigned lowercase

rust/derive: transform all uppercase names the right way

So that MQTTTypeCode::CONNECT does not become c_o_n_n_e_c_t

detect/integers: harmonize parser return handling

Ticket: 7172

When parsing an integer for a rule keyword fails, we return error
straight away, without bothering to try to free the NULL pointer.

On the way, remove some one-line wrapper around DetectUxParse

eve/dns: make version required

The "eve.version" field is not always logged. Update the schema to
enforce that it is, and fix it for records that don't log it.

Ticket: #7167

github-ci: pf-ring build

doc: add pf-ring plugin upgrade notes

Ticket: #7162

configure: fail on --enable-pfring and --disable-shared

Plugins can't be build using the standard autoconf/automake
methods. We can get around this by creating our own Makefiles, but
they're often less portable.

For now, fail during ./configure instead of during compile.

pf-ring: bring back command line arguments

Bring back the pf-ring command line arguments, but instead of
initializing the pfring runmode, initialize the capture plugin runmode
with a plugin named "pfring".

Ticket: #7162

.gitignore: globally ignore .la files

With automake and libraries, these files are creeping in.

pf-ring: load plugin by default

Ticket: #7162

pf-ring: add as plugin

Ticket: #7162

pf-ring: remove, to make room for plugin

Ticket: #7162

config: switch default config to IEEE 1541 notation

parse/size: support IEEE 1541 size units

Introduce KiB, MiB and GiB. They are case sensitive as a lower case 'b'
means bits in the IEEE 1541 scheme.

KiB = 1024
MiB = 1048576
GiB = 1073741824

Ticket: #1457.

parse/size: fix unit test checks

suricata.yaml: set dns log version to 3; link to docs

Missed in the original PR, but update the commented out version to
reflect the default, and a link to the upgrade notes.

profiling: allow absolute paths

Ticket #6490.

tcp: fix 'broken ack' on flow timeout

Don't set an ACK value if ACK flag is no longer set. This avoids a bogus
`pkt_broken_ack` event set.

Fixes: ebf465a11bff ("tcp: do not assign TCP flags to pseudopackets")
Ticket: #7158.

src: remove truncate fn and glue code

truncate fn is only active and used by dcerpc and smb parsers. In case
stream depth is reached for any side, truncate fn is supposed to set the
tx entity (request/response) in the same direction as complete so the
other side is not forever waiting for data.

However, whether the stream depth is reached is already checked by
AppLayerParserGetStateProgress fn which is called by:
- DetectTx
- DetectEngineInspectBufferGeneric
- AppLayerParserSetTransactionInspectId
- OutputTxLog
- AppLayerParserTransactionsCleanup

and, in such a case, StateGetProgressCompletionStatus is returned for
the respective direction. This fn following efc9a7a, always returns 1
as long as the direction is valid meaning that the progress for the
current direction is marked complete. So, there is no need for the additional
callback to mark the entities as done in case of depth or a gap.
Remove all such glue code and callbacks for truncate fns.

Bug 7044

applayer: remove truncation logic

as its functionality is already covered by the generic code.
This removes APP_LAYER_PARSER_TRUNC_TC and APP_LAYER_PARSER_TRUNC_TS
flags as well as FlowGetDisruptionFlags sets STREAM_DEPTH flag in case
the respective stream depth was reached. This flag tells that whether
all the open files should be truncated or not.

Bug 7044

decode: fix -Wshorten-64-to-32 warnings

Ticket: #6186

flow: fix -Wshorten-64-to-32 warnings

Ticket: #6186

features: fix -Wshorten-64-to-32 warnings

Ticket: #6186

counters: fix -Wshorten-64-to-32 warnings

Ticket: #6186

doc: state that payload-length includes the gaps

output/dcerpc: call jb_get_mark just before jb_open_object

doc: update dns section of the eve format documentation

doc: upgrade guide for dns logging changes

Bug: #6281

eve/dns: allow version to be set with environment variable

There is no sane way to set override the DNS eve version in Suricata
tests without using a copy of the configuration file, and many of the
tests by design use the configuration file of the Suricata under test,
so making a copy would break this assumption.

To get around this, respect the SURICATA_EVE_DNS_VERSION environment
variable as a way to set the version if not explicitly set in the
configuration file.

dns: add v3 dns logging

DNS v3 logging fixes the discrepancies between request and response
logging with the main difference being queries always being placed in an
array.

Bug: #6281

dns: new v3 style logging for alerts

V3 style DNS logging fixes the discrepancies between request and
response logging better dns records and alert records.

The main change is that queries and answers are always logged as
arrays, and header fields are not logged in array items.

For alerts this means that answers are now logged as arrays, queries
already were.

DNS records will get this new format as well, but with a configuration
parameter.

Bug: #6281

dns: parse and populate OPT rdata struct

Feature: 7017
Add DNSRDataOPT struct and DNSRData enum type OPT.
Add OPT parsing function and test function.
Add DNSRData OPT type to lua.rs match.
Log OPT rdata.

dns log: add additional section

Feature: 7011
dns_log_json_answer: log additional section records.
update schema.json with new "additionals" section.

dns parsing: add additional section

Feature: 7011
Add additionals to DNSMessage struct.
Add parsing logic to populate additional section data.
Patch dns tests to account for additional section parsing.

doc: update MQTT configuration

mqtt: run rustfmt

mqtt: enable limiting of logged message length

Ticket: #6984

rust: add JsonBuilder::set_string_limited()