detect: limit base64_decode `bytes` to 64KiB

Ticket: 7613

Avoids potential large per-thread memory allocation. A buffer with the
size of the largest decode_base64 buffer size setting would be allocated
per thread. As this was a u32, it could mean a per-thread 4GiB memory
allocation.

64KiB was already the built-in default for cases where bytes size wasn't
specified.

detect: non infinite default value for inspection-recursion-limit

So that empty config are protected by this setting as was intended.

Set to unlimited for fuzz testing.

detect/pcre: avoid infinite loop after negated pcre

Ticket: 7526

The usage of negated pcre, followed by other relative payload
content keywords could lead to an infinite loop.

This is because regular (not negated) pcre can test multiple
occurences, but negated pcre should be tried only once.

rust: pin once_cell to work with Rust 1.67.1

Clap uses once_cell which recently released v1.20 which updated its
MSRV to 1.70. Locally pin once_cell to 1.20.3 to maintain our MSRV.

pcap: skip pcap-config if pkgconfig in use

detect/action: minor action parsing cleanup

Preparation for explicit action scope parsing.

detect/loader: minor code cleanup

detect: constify rule file and lines in parsing and analyzer

tls: fix handshake handling being too strict

e.g. server hello done has no data

app-layer: constify AppLayerGetProtoByName

detect/tls: don't double register tls_validity generic list

detect/nfs: don't double register nfs_request generic list

detect: don't register duplicate app inspect engines

detect/analyzer: add policy

Example output:

    "match_policy": {
        "actions": [
            "alert",
            "drop"
        ],
        "scope": "flow"
    },

smtp/events: set direction on rules

Several rules matched on both directions even if events are set in a single direction.

github-ci: don't run builds on PR if only docs changed

github-ci: stop caching system packages

lua: remove script_api_ver

Not documented and never set to new values despite updates.

Ticket: #7492.

contrib: remove suri-graphite

Built for py2.

Remove now empty contrib dir.

Ticket: #6888.

contrib: remove file_processor

Has been developed for a now obsolete file log format.

Ticket: #6888.

detect/dcerpc.iface: remove commented out unittest

eve/schema: map tls fields to keywords

schema: add rule keyword mapping for dcerpc

userguide/header-keywords: fix typos, adjust format

doc/rule-types: remove trailing underscore

And other minor fixes that were overseen.

userguide/suricatactl: use suricata community page

We were mentioning "Suricata Support" page, which could be a bit
misleading -- and also used a link that is actually redirected to the
Suricata Community page, anyways.

github-ci: pin rust version for clippy tests

Prevents CI breakage after a new Rust release until we're ready to make
the changes.

github-ci: update rpm builder to fedora 41

github-ci: update Fedora non-root build to Fedora 41

github-ci: remove fedora 40 builds where 41 exists

Remove Fedora 40 builds where there is a Fedora 41 equivalent.

eve-parity: merge $ref props into current object

Allows for a "suricata" entry along with a "$ref".

eve-parity: handle arrays of scalars

And add an example with "client_alpns".

rust: Update sawp dependencies to 0.13.1 due to SPDX license compatibility.

detect/lua: Fix max value displayed in error msg

This commit corrects an error message displayed when the key length is
out of range.

var: Use 16-bit container for type

Issue: 6855: Match sigmatch type field in var and bit structs

Align the size and datatype of type, idx, and next members across:
- FlowVarThreshold
- FlowBit
- FlowVar
- GenericVar
- XBit
- DetectVarList

Note that the FlowVar structure has been intentionally constrained to
match the structure size prior to this commit. To achieve this, the
keylen member was restricted to 8 bits after it was confirmed its value
is checked against a max of 0xff.

detect: delay tx cleanup in some edge case

Ticket: 7552

f->sgh_toserver may be NULL but because FLOW_SGH_TOSERVER is unset
and thus, we want to delay cleanup until detection has really been
run with the right signature group head.

This may happen for a rule using
`alert tcp any any -> any any` and
a app-layer keyword to client
with a app-layer supporting both udp and tcp
with stream.midstream=true
and with the first packet of a flow being a server response

In this case, we swap the flow and reset its signature group heads

detect: reset signature groups when reversing flow

Ticket: 7552

When we use midstream, and the first packet we see of a flow is
a response from server, and we want to match on some signature
to client :
- we had first set sgh_toserver/FLOW_SGH_TOSERVER as we first
  thought this was a packet to server
- we then swap/reverse the flow, so sgh_toclient becomes sgh_toserver
  but it contains signatures to server and cannot match our
  to_client signature

The detect engine with DetectRunSetup will set again the
signatures group heads properly

eve-parity: skip transform keywords

schema: mark dns.version and dns.grouped as having no keywords

schema: mark "stats" and "drop" as having no keywords

detect-dns-response: remove unit tests

Should have coverage by S-V now.

script/eve-parity: add script for checking eve/keyword parity

Currently this script has two commands: "missing" and "having".

"missing" will show eve fields that do not map to any keywords.

"having" will sohw eve fields along with their keyword mappsings,
while also validating that those keywords really exist.

Related to tickets: #6463, #4772

schema: add an object for mapping fields to keywords

To some EVE fields and a "suricata" object that contains an array of
keywords. These are the keywords that map directly to this field, or
somehow cover this field.

This is an attempt at tooling to help with EVE and keyword parity.

Related to tickets: #5642, #6463, #4772

dns: add keywords for additionals and authorities rrnames

Add keywords dns.additionals.rrname and dns.authorities.rrname. Along
the way, consolidate dns.query.name and dns.answer.name into a single file
and register them altogether since there is a lot of common code.

detect: split new keyword id from registration

Split DetectHelperKeywordRegister into 2 functions, one for acquiring
a new keyword ID, and another to perform the registration.

This makes it easier to do the traditional C keyword initialization
with a dynamic ID.

dns: refactor function to get rrname to be safe

Make the function safe by returning a reference to the DNSName object,
the unsafe C wrapper can do the conversion to pointers.

detect-dns-response: disable clang-format around byte arrays

These arrays are manually formatted for readability.

dns: rename dns.response keyword to dns.response.rrname

This is a better name as the keyword is looking at all rrname type
fields in the response.

doc/userguide: document dns.response

Feature: 7012

dns: add dns.response sticky buffer

Feature: 7012
Add dns.response sticky buffer to match on dns response fields.
Add rust functions to return dns response packet data.
Unit tests verifying signature matching.

files: append data on closing even with FILE_NOSTORE

Ticket: 7577

When HTTP1 post multipart handles a small file, it will call
HTPFileClose with some data
This data needs to be appended to the streaming buffer for usage
by file.data keyword even if we do not end up storing the file

detect: add ldap.responses.message

ldap.responses.message matches on LDAPResult error message
This keyword maps the following eve fields:
ldap.responses[].bind_response.message
ldap.responses[].search_result_done.message
ldap.responses[].modify_response.message
ldap.responses[].add_response.message
ldap.responses[].del_response.message
ldap.responses[].mod_dn_response.message
ldap.responses[].compare_response.message
ldap.responses[].extended_response.message
It is a sticky buffer
Supports prefiltering

Ticket: #7532

detect: add ldap.responses.result_code

ldap.responses.result_code matches on LDAP result code
This keyword maps the following eve fields:
ldap.responses[].bind_response.result_code
ldap.responses[].search_result_done.result_code
ldap.responses[].modify_response.result_code
ldap.responses[].add_response.result_code
ldap.responses[].del_response.result_code
ldap.responses[].mod_dn_response.result_code
ldap.responses[].compare_response.result_code
ldap.responses[].extended_response.result_code
It is an unsigned 32-bit integer
Doesn't support prefiltering

Ticket: #7532

ldap: create a generic funtion to match integer responses

ldap: refactor function aux_ldap_parse_protocol_resp_op

Split code to create a generic function that parses LdapIndex

ldap: rename DetectLdapRespData struct to be more specific

ldap: return empty buffer in ldap_tx_get_responses_dn

Funciton ldap_tx_get_responses_dn returns empty buffer in case
the response doesn't contain the distinguished name field

Fixes: 73ae6e997f6c ("detect: add ldap.responses.dn")

ldap: fix LDAPDN nits

Change variable name 'req' to 'resp' in function ldap_tx_get_responses_dn and documentation nits

Fixes:
73ae6e997f6c ("detect: add ldap.responses.dn")
16dcee46fc8a ("detect: add ldap.request.dn")

ldap: apply rustfmt

Fixes: 4554c4778d67 ("rust: use AppProto from generated bindings instead of duplicating")

ci: fix clusterfuzzlite build

github-actions: bump actions/upload-artifact from 4.6.0 to 4.6.1

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 4.6.0 to 4.6.1.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/65c4c4a1ddee5b72f698fdd19549f0f0fb45cf08...4cec3d8aa04e39d1a68397de0c4cd6fb9dce8ec1)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump codecov/codecov-action from 5.3.1 to 5.4.0

Bumps [codecov/codecov-action](https://github.com/codecov/codecov-action) from 5.3.1 to 5.4.0.
- [Release notes](https://github.com/codecov/codecov-action/releases)
- [Changelog](https://github.com/codecov/codecov-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/codecov/codecov-action/compare/13ce06bfc6bbe3ecf90edbbf1bc32fe5978ca1d3...0565863a31f2c772f9f0395002a31e3f06189574)

---
updated-dependencies:
- dependency-name: codecov/codecov-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump github/codeql-action from 3.28.8 to 3.28.10

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.28.8 to 3.28.10.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Commits](https://github.com/github/codeql-action/compare/v3.28.8...v3.28.10)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump actions/download-artifact from 4.1.8 to 4.1.9

Bumps [actions/download-artifact](https://github.com/actions/download-artifact) from 4.1.8 to 4.1.9.
- [Release notes](https://github.com/actions/download-artifact/releases)
- [Commits](https://github.com/actions/download-artifact/compare/fa0a91b85d4f404e444e00e005971372dc801d16...cc203385981b70ca67e1cc392babf9cc229d5806)

---
updated-dependencies:
- dependency-name: actions/download-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump ossf/scorecard-action from 2.4.0 to 2.4.1

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.4.0 to 2.4.1.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/62b2cac7ed8198b15735ed49ab1e5cf35480ba46...f49aabe0b5af0936a0987cfb85d86b75731b0186)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

mqtt: naming and visibility cleanups

- remove rs_prefix, replace with SC if needed
- remove pub and no_mangle where not needed
- remove some unused functions and fields

Related to ticket: #7498

enip: remove rs_ prefix

Related to ticket: #7498

dcerpc: visibility and naming cleanups

- replace rs_ prefixed names with SC
- remove no_mangle and pub where not needed
- remove some unused functions

Related to ticket: #7498

bittorrent: no_mangle, pub and naming cleanups

- Remove rs_prefix
- Remove no_mangle and pub when not needed

Related to ticket: #7498

rust: use CBINDGEN variable and not "cbindgen"

This uses the cbindgen found during ./configure, and not the one
found on the path during "make", which while often the same, aren't
always the same.

Ticket: #6384

github-ci: re-enable RPM builds

The RPM has been updated to handle the conversion of suricatasc and
suricatactl to Rust.

Also fixes the "if" expression to prevent one job running both upload
sections.

applayer/ftp: Misc cleanup

Issue: 4082

Small fixups.

applayer/ftp: Move MPM declaration

This commit moves the MPM fn declaration into core.rs making it
available for other Rust modules.

Issue: 4082

app-layer/ftp: Fixup state values

Issue: 4082

Fixup the incorrect state values -- they should be the default enum
values to match the pre-Rust implementation.

github-ci: skip rpm builds for now

RPMs will need to be fixed after merge.

github-ci: add var to disable rpm builds

There will be changes in our development branch that the RPMs need to
adapt to, but that can't be done until the changes have been merged to
master, then the RPM can catchup.

This gives us a single variable to turn off RPM building.

doc: add upgrade note about suricatasc and suricatactl

dist: include generate-evedoc.sh

Without this script `make distcheck` fails on a system with
documentation tooling installed, as its required to build the EVE
appendix.

github-ci: add check for update to date Cargo.lock.in

After a build, check if Cargo.lock.in and Cargo.lock differ, if so,
Cargo.lock.in needs an update as part of a depedency update.

doc: remove python references related to suricatasc

These should probably be removed even without the rewrite, and
suricatasc has been installed as a proper program for many releases.

qa: fix suricatasc path

python: remove python implementation of suricatasc/suricatactl

suricatactl: rust version of suricatactl

github-ci: do one Windows build from dist archive

As we have 2 Windows builds, do one using the release-style
distribution file.

suricatasc: a Rust implementation of suricatasc

This is a re-implementation of suricatasc program in Rust that
attempts to be a 100% drop-in replacement.

rust: remove allow of static mutables

As references to static mutables are highly discouraged, remove the
global suppressing of the compiler warning. Each use case can be
suppressed as needed.

Ticket: #7417

smb: wrap read access to static mutables in function

Simply wrapping in a function removes static_mut_refs compiler
warning.

Ticket: #7417

smtp: suppress static_mut_refs where needed

Allows us to get rid of the global supression.

Ticket: #7417

smtp: remove SCMimeSmtpConfigExtractUrlsSchemeReset

It doesn't appear to be needed. The vec being cleared is only set once
per run, so never needs to be cleared.

Removes one point where we have to supress the static_mut_refs compiler
warning.

Ticket: #7417

dns: move unit tests to suricata-verify

Ticket: 3725
Ticket: 7529

main/flush: Support periodic flush logs

Issue: 3449

detect/flag: Pseudo pkt "flush log" flag

Issue: 3449

Add a flush directive to the packet that is distinct from the existing
"log flush" flag as the new flag is to distinguish between the 2 use
cases.

output/log: Add flushing infrastructure

Issue: 3449

Add flushing functions and infrastructure. This includes:
- Flushing functions for packet loggers
- Log file flushing support

output: Support buffer-size value

Issue: 3449

doc/output: EVE output buffering related settings

conf/output: Buffering related config settings

This commit adds 2 EVE output buffering settings
- buffer-size value which specifies the amount of buffering, if any,
  for regular/file output types.
- flush-interval Specifies the cadence at which Suricata will direct
  detect threads to flush EVE output.

Issue: 3449

output/log: Add flush function, collapse params

Issue: 3449

Add a flush function to packet logger registration and collapse the
parameter count for registration functions.

flow: remove unused definition

Fixes: 3f3964555e4e ("detect/iponly: use flow first flags")

detect/alert: optimize no-alert path

Skip qsort call if no alerts are queued. Move logic into inline helper func.

detect: constify arguments