build: Wimplicit-int-float-conversion checked with --enable-warnings

When configure is used with --enable-warnings, we try to add most
warning flags that should pass.
This commits adds the warning Wimplicit-int-float-conversion

runmodes: fix -Wshorten-64-to-32 warnings

Ticket: #6186

defrag: fix -Wshorten-64-to-32 warnings

Ticket: #6186

datasets: fix -Wshorten-64-to-32 warnings

Ticket: #6186

rust/ldap: add ldap-parser to Cargo.lock.in

doc: add ldap protocol

rust/ldap: implement logger

rust/ldap: implement app-layer

rust/ldap: implement types and filters

This implementation adds types and filters specified in the LDAP RFC to
work with the ldap_parser.
Although using the parser directly would be
best, strange behavior has been observed during transaction logging.
It appears that C pointers are being overwritten, leading to incorrect
output when LDAP fields are logged.

smtp: add port 465 for probing

smtp: do not return error on NULL buffer for end of stream

smtp: recognize more reply codes

Ticket: 6821

ftp: adds server side detection

smtp: adds server side detection

Ticket: #1125

imap: extend detection patterns

Ticket: #2886

Signed-off-by: mmaatuq <mahmoudmatook.mm@gmail.com>

detect/ssh: remove deprecated keywords

Ticket: 2377

detect/mqtt: move keywords to rust

Ticket: 4863

On the way, convert some keywords to use the first-class integer
support.
And helpers for pure rust the support for multi-buffer.

Move the C unit tests about keyword mqtt.protocol_version
to unit tests for generic integer parsing, and test version 5
instead of testing twice version 3.

Also iterate all tx's messages for reason code as is done for other
keywords.

And allow detection on empty topics.

detect: helper function for multibuffer registration

So that rust does not need to know about SIG_FLAG_TOCLIENT value

output/alert: remove now unused include

Including the mqtt one, now that it is almost rust only

mqtt: parse and store raw connect flags

for easier later matching

rust/derive: string enumeration become case insensitive

As needed for MQTTTypeCode which accepts both CONNECT uppercase
and unassigned lowercase

rust/derive: transform all uppercase names the right way

So that MQTTTypeCode::CONNECT does not become c_o_n_n_e_c_t

detect/integers: harmonize parser return handling

Ticket: 7172

When parsing an integer for a rule keyword fails, we return error
straight away, without bothering to try to free the NULL pointer.

On the way, remove some one-line wrapper around DetectUxParse

eve/dns: make version required

The "eve.version" field is not always logged. Update the schema to
enforce that it is, and fix it for records that don't log it.

Ticket: #7167

github-ci: pf-ring build

doc: add pf-ring plugin upgrade notes

Ticket: #7162

configure: fail on --enable-pfring and --disable-shared

Plugins can't be build using the standard autoconf/automake
methods. We can get around this by creating our own Makefiles, but
they're often less portable.

For now, fail during ./configure instead of during compile.

pf-ring: bring back command line arguments

Bring back the pf-ring command line arguments, but instead of
initializing the pfring runmode, initialize the capture plugin runmode
with a plugin named "pfring".

Ticket: #7162

.gitignore: globally ignore .la files

With automake and libraries, these files are creeping in.

pf-ring: load plugin by default

Ticket: #7162

pf-ring: add as plugin

Ticket: #7162

pf-ring: remove, to make room for plugin

Ticket: #7162

config: switch default config to IEEE 1541 notation

parse/size: support IEEE 1541 size units

Introduce KiB, MiB and GiB. They are case sensitive as a lower case 'b'
means bits in the IEEE 1541 scheme.

KiB = 1024
MiB = 1048576
GiB = 1073741824

Ticket: #1457.

parse/size: fix unit test checks

suricata.yaml: set dns log version to 3; link to docs

Missed in the original PR, but update the commented out version to
reflect the default, and a link to the upgrade notes.

profiling: allow absolute paths

Ticket #6490.

tcp: fix 'broken ack' on flow timeout

Don't set an ACK value if ACK flag is no longer set. This avoids a bogus
`pkt_broken_ack` event set.

Fixes: ebf465a11bff ("tcp: do not assign TCP flags to pseudopackets")
Ticket: #7158.

src: remove truncate fn and glue code

truncate fn is only active and used by dcerpc and smb parsers. In case
stream depth is reached for any side, truncate fn is supposed to set the
tx entity (request/response) in the same direction as complete so the
other side is not forever waiting for data.

However, whether the stream depth is reached is already checked by
AppLayerParserGetStateProgress fn which is called by:
- DetectTx
- DetectEngineInspectBufferGeneric
- AppLayerParserSetTransactionInspectId
- OutputTxLog
- AppLayerParserTransactionsCleanup

and, in such a case, StateGetProgressCompletionStatus is returned for
the respective direction. This fn following efc9a7a, always returns 1
as long as the direction is valid meaning that the progress for the
current direction is marked complete. So, there is no need for the additional
callback to mark the entities as done in case of depth or a gap.
Remove all such glue code and callbacks for truncate fns.

Bug 7044

applayer: remove truncation logic

as its functionality is already covered by the generic code.
This removes APP_LAYER_PARSER_TRUNC_TC and APP_LAYER_PARSER_TRUNC_TS
flags as well as FlowGetDisruptionFlags sets STREAM_DEPTH flag in case
the respective stream depth was reached. This flag tells that whether
all the open files should be truncated or not.

Bug 7044

decode: fix -Wshorten-64-to-32 warnings

Ticket: #6186

flow: fix -Wshorten-64-to-32 warnings

Ticket: #6186

features: fix -Wshorten-64-to-32 warnings

Ticket: #6186

counters: fix -Wshorten-64-to-32 warnings

Ticket: #6186

doc: state that payload-length includes the gaps

output/dcerpc: call jb_get_mark just before jb_open_object

doc: update dns section of the eve format documentation

doc: upgrade guide for dns logging changes

Bug: #6281

eve/dns: allow version to be set with environment variable

There is no sane way to set override the DNS eve version in Suricata
tests without using a copy of the configuration file, and many of the
tests by design use the configuration file of the Suricata under test,
so making a copy would break this assumption.

To get around this, respect the SURICATA_EVE_DNS_VERSION environment
variable as a way to set the version if not explicitly set in the
configuration file.

dns: add v3 dns logging

DNS v3 logging fixes the discrepancies between request and response
logging with the main difference being queries always being placed in an
array.

Bug: #6281

dns: new v3 style logging for alerts

V3 style DNS logging fixes the discrepancies between request and
response logging better dns records and alert records.

The main change is that queries and answers are always logged as
arrays, and header fields are not logged in array items.

For alerts this means that answers are now logged as arrays, queries
already were.

DNS records will get this new format as well, but with a configuration
parameter.

Bug: #6281

dns: parse and populate OPT rdata struct

Feature: 7017
Add DNSRDataOPT struct and DNSRData enum type OPT.
Add OPT parsing function and test function.
Add DNSRData OPT type to lua.rs match.
Log OPT rdata.

dns log: add additional section

Feature: 7011
dns_log_json_answer: log additional section records.
update schema.json with new "additionals" section.

dns parsing: add additional section

Feature: 7011
Add additionals to DNSMessage struct.
Add parsing logic to populate additional section data.
Patch dns tests to account for additional section parsing.

doc: update MQTT configuration

mqtt: run rustfmt

mqtt: enable limiting of logged message length

Ticket: #6984

rust: add JsonBuilder::set_string_limited()

github-actions: bump actions/download-artifact from 4.1.4 to 4.1.8

Bumps [actions/download-artifact](https://github.com/actions/download-artifact) from 4.1.4 to 4.1.8.
- [Release notes](https://github.com/actions/download-artifact/releases)
- [Commits](https://github.com/actions/download-artifact/compare/v4.1.4...fa0a91b85d4f404e444e00e005971372dc801d16)

---
updated-dependencies:
- dependency-name: actions/download-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump actions/upload-artifact from 4.3.3 to 4.3.4

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 4.3.3 to 4.3.4.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/65462800fd760344b1a7b4382951275a0abb4808...0b2256b8c012f0828dc542b3febcab082c67f72b)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

detect: Use Option where appropriate

This commit uses Option instead of Result.

Issue: 6873

detect/byte_extract: Move keyword parser to Rust

Implement the keyword parser in Rust.

Issue: 6873

detect/byte: Refactor endian, base

Issue: 6873

Refactor the enums for endian and base handling for broader use.

util/thash: decrease memuse if array was allocated

THashInitConfig may not allocate array and increase memuse.
Such a failure leads to THashShutdown which should not decrease
the memuse.

Ticket: 7135

dpdk: replace TSC clock with GetTime (gettimeofday) function

Getting clock through Time Stamp Counter (TSC) can be precise and fast,
however only for a short duration of time.
The implementation across CPUs seems to vary. The original idea is to
increment the counter with every tick. Then dividing the delta of CPU ticks
by the CPU frequency can return the time that passed.
However, the CPU clock/frequency can change over time, resulting in uneven
incrementation of TSC. On some CPUs this is handled by extra logic.
As a result, obtaining time through this method might drift from the real
time.

This commit therefore substitues TSC time retrieval by the standard system
call wrapped in GetTime function - on Linux it is gettimeofday.

Ticket: 7115

applayer/htp-range: fix off by one in expiry check

doc: add note about datasets string memcaps

Bug 3910

datasets: fix memuse to include string len

So far, when the data size was passed to the THash API, it was sent as
a sizeof(Struct) which works fine for the other data types as they have
a fixed length but not for the StringType.
However, because of the sizeof construct, the length of a string type
dataset was always taken to be 16 Bytes which is only the size of the struct
itself. It did not accomodate the actual size of the string that the
StringType holds. Fix this so that the memuse that is used to determine
whether memcap was reached also takes into consideration the size of the
actual string.

Bug 3910

util/thash: add a length getter fn

In order to have access to the length of datatypes with variable lengths
to correctly update memuse to calculate memcaps.

Bug 3910

bypass: really bypass udp flow from first packet

Ticket: 7053

As flow state would be overwritten by established...

github-actions: bump actions/checkout from 3.6.0 to 4.1.7

Bumps [actions/checkout](https://github.com/actions/checkout) from 3.6.0 to 4.1.7.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v3.6.0...692973e3d937129bcbf40652eb9f2f61becf3332)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

github-ci: add non-bundled libhtp build

github-ci/builds: don't run if only doc changes

A new workflow, "docs" has been created for only doc changes.

Factor out prepare-deps into a reusable action.

detect: parse units for integer for every cases

Ticket: #6423

Not just equality, but also >3MB should work
For example flow.bytes_toserver>3MB

smb/ntlmssp: improve version check

Don't assume the ntlmssp version field is always present if the flag is
set. Instead keep track of the offsets of the data of the various blobs
and see if there is space for the version.

Inspired by how Wireshark does the parsing.

Bug: #7121.

github-actions: bump github/codeql-action from 3.25.7 to 3.25.11

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.25.7 to 3.25.11.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Commits](https://github.com/github/codeql-action/compare/v3.25.7...v3.25.11)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump codecov/codecov-action from 4.4.1 to 4.5.0

Bumps [codecov/codecov-action](https://github.com/codecov/codecov-action) from 4.4.1 to 4.5.0.
- [Release notes](https://github.com/codecov/codecov-action/releases)
- [Changelog](https://github.com/codecov/codecov-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/codecov/codecov-action/compare/125fc84a9a348dbcf27191600683ec096ec9021c...e28ff129e5465c2c0dcc6f003fc735cb6ae0c673)

---
updated-dependencies:
- dependency-name: codecov/codecov-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: remove centos:7 build due to EOL

qa: remove depcrecated files

lgtm has been superseded by codeql github action
docker and travis are obsolete

Preparatory work for ticket 2696 libhtp rust conversion

output/tx: use dynamic number of app-layer protos

OutputTxLoggerThreadData gets allocated after the number of app-layer
protos is definite

detect/profiling: use dynamic number of app-layer protos

app-layer: use already defined constant

FLOW_PROTO_APPLAYER_MAX

detect/file-data: use dynamic number of app-layer protos

detect: helper function for multibuffer

doc/userguide: document threshold backoff type

stream: enable backoff on event rules

Enable backoff for most rules. The rules looking at the session start up
use a count of 1 and a multiplier of 2.

Post-3whs rules use a count of 1 and a multiplier of 10.

detect/threshold: implement backoff type

Implement new `type backoff` for thresholding. This allows alerts to be
limited.

A count of 1 with a multiplier of 10 would generate alerts for matching packets:
1, 10, 100, 1000, 10000, 100000, etc.

A count of 1 with a multiplier of 2 would generate alerts for matching packets:
1, 2, 4, 8, 16, 32, etc.

Like with other thresholds, rule actions like drop and setting of
flowbits will still be performed for each matching packet.

Current implementation is only for the by_flow tracker and for per rule
threshold statements.

Tracking is done using uint32_t. When it reaches this value, the rest of
the packets in the tracker will use the silent match.

Ticket: #7120.

detect/threshold: regex cleanup

detect/threshold: format file

doc/userguide: document new threshold config options

detect/threshold: make hash size and memcap configurable

detect/threshold: includes cleanup

detect/threshold: expand cache support for rule tracking

Use the same hash key as for the regular threshold storage,
so include gid, rev, tentant id.

detect/threshold: consider tenant id in tracking

Ticket: #6967.

detect/threshold: include rev in threshold tracking

detect/threshold: improve hash function

thresholds: use dedicated storage

Instead of a Host and IPPair table thresholding layer, use a dedicated
THash to store both. This allows hashing on host+sid+tracker or
ippair+sid+tracker, to create more unique hash keys.

This allows for fewer hash collisions.

The per rule tracking also uses this, so that the single big lock is no
longer a single point of contention.

Reimplement storage for flow thresholds to reuse as much logic as
possible from the host/ippair/rule thresholds.

Ticket: #426.

range: use thash expiry API for timeout

thash: add expiration logic

Add a callback and helper function to handle data expiration.

Update datasets to explicitly not use expiration.

detect/address: constify ipv6 cmp funcs