output-tx.h: include tm-threads.h

Required to properly resolve the types in the header without depending
on includes coming before it in C files.

Ticket: #7227

examples: add tx logger to custom logger example

However, its disabled due to issue
https://redmine.openinfosecfoundation.org/issues/7236.

Ticket: #7227

output-tx: remove ThreadExitPrintStats callback

After removing the exit stats function from log-tlslog, this callback
is no longer used.

Ticket: #7227

log-tlslog: remove unneeded includes

Ticket: #7227

log-tlslog: remove ThreadExitPrintStats callback

Remove the ThreadExitPrintStats callback, this is the only logger that
was actually using it, and this logger is marked for deprecation. This
allows us to remove the callback from the registration signature.

Ticket: #7227

tlsstore: remove ThreadExitPrintStats callback

Remove the callback to print stats on thread exit.  The counter value
was never being used and this helps us get rid of this callback
altogether as their is only one other usage of it.

Ticket: #7227

output-tx: use void * instead of OutputCtx

Using OutputCtx results in the low level output-tx packet logger being
aware of Suricata's higher level loggers that use OutputCtx, for the
low level logger this is purely opaque data that may not be an
OutputCtx for custom loggers.

Ticket: #7227

devguide: more on low level logging

Use the extending/output section to introduce the low level logging
API.

Ticket: #7227

output-flow: rename register function and document

Rename OutputRegisterFlowLogger to SCOutputRegisterFlowLogger and
document in the header file.

Mark other functions in the header file as part of the internal API.

Ticket: #7227

output-packet: rename register function and document

Rename OutputRegisterPacketLogger to SCOutputRegisterPacketLogger as
its part of the public API and document its parameters.

Comment on the other functions in the header that they are part of the
internal API.

Ticket: #7227

packet-logger: remove ThreadExitPrintStats

The ThreadExitPrintStats callback was never being used, remove.

Ticket: #7227

examples: add custom logging plugin

Add an example custom logger that hooks into the low level packet and
flow logging callbacks.

Ticket: #7227

profiling: create a LOGGER_USER id

Loggers need an ID uniquely identify them for profiling. To help with
loggers registered at runtime (library, plugins), provide a
LOGGER_USER that can be used. It won't provide per-logger details if
they have more than one, but will provide a total for all their
registered loggers.

Ticket: #7227

output-packet.h: include tm-threads.h and decode.h

This allows the header to be used without including other headers this
one depends on.

Ticket: #7227

pgsql: don't expose PgsqlTransactionState to C

PgsqlTransactionState has a variant named "Init" which is a little too
generic to export to C. Fortunately this method doesn't need to be
exposed to C, instead remove it as it was only called by
rs_pgsql_tx_get_alstate_progress which also doesn't need to be public
or expose to C.

Ticket: #7227

output-packet: use void * instead of OutputCtx * for initdata

The use of OutputCtx as the data type for initdata was leaking Eve
submodule logic into the low level packet logger. Instead use void *,
as the packet logging module is not concerned with the type of data
here.

Also document this initdata parameter.

Ticket: #7227

output-flow.h: include flow.h and decode.h

A library/plugin user wanting to register a custom flow logger must
include "output-flow.h", however that depends on some other includes.
One train of thought with respect to include files in libraries, is
that they should include all their dependencies on behalf of the
user. To make a custom flow logger just a little easier, include
"flow.h" and "decode.h".

Ticket: #7227

output-flow: remove ThreadExitPrintStats callback

The callback, ThreadExitPrintStats is not used in the flow loggers.

Ticket: #7227

output-flow: use void * instead of OutputCtx * for initdata

The use of OutputCtx as the data type for initdata was leaking Eve
submodule logic into the low level flow logger. Instead use void *, as
the flow logging module is not concerned with the type of data here.

Also document this initdata parameter.

Ticket: #7227

output-flow: document the name field as for debugging only

Ticket: #7227

output-flow: remove unused initdata argument

The initdata argument to OutputFlowThreadInit was always NULL, remove
it. Internally the ThreadInit functions still get initdata, but this
is the data provided when that logging instance was registered.

Ticket: #7227

github/pr-template: update contribution checks

We have different types of checks, all in a single list.
Adding a title of sorts to each group in the hopes of highlighting
their purposes.

When we add new items to the json schema, many times we don't add their
descriptions, while this would be the perfect time to also do that.

userguide: update Security Onion docs reference

They have updated their docs domain, leading to the link we had
returning a 404.

Also checked the other links. Although some seem to only contain old
traffic, they all still work.

userguide: fix spelling of `security_result` EVE field

This ensures that the correct spelling of the `security_result` EVE
field for RFB (as opposed to `security-result`) is also reflected in the
documentation.

Ticket: #7210

doc/file-extraction: fix highlight syntax

userguide: expand documentation for rule profiling

The page about performance and rule profiling showed the table generated
by rules profiling but didn't inform how to achieve nor find it.

Task #4359

syslog: deprecate

The standalone syslog output is now deprecated for Suricata 8. Display
a warning on use and add notes to the userguide.

Ticket: #6544

tls-log: deprecate

tls-log is now deprecated and will be removed in Suricata 9.0. Display
a deprecation notice on use, and add notes to the user guide.

Ticket: #6542

http-log: deprecate

http-log is now deprecated and will be removed in Suricata
9.0. Display a deprecation notice on use, and add notes to the
userguide.

Issue: #6543

arp: profiling logger id must come before LOGGER_SIZE

Also added comment to make this more clear.

datasets: test unix socket ipv6 operations

Ticket: 6969

datasets: fix parsing of ip4 in ip6

The lookup function was not taking into account that we can have
an IPv4 or an IPv6 address as parameters and that this addresses
need to be converted to Suricata internal storage.
By using the already defined dedicated parsing function, we are
fixing the issue.

Issue: #6969

profiling: use correct conditional on packet profiling data dump

Ticket: #7218

pcap-file: limit setvbuf to linux

As it fails to work correctly on FreeBSD and OpenBSD.

On FreeBSD, these are the errors:

Info: pcap: Pcap-file will use 4096 buffer size [PcapFileGlobalInit:source-pcap-file.c:159]
Error: pcap: failed to get first packet timestamp. pcap_next_ex(): -2 [PeekFirstPacketTimestamp:source-pcap-file-helper.c:186]
Warning: pcap: Failed to init pcap file input.pcap, skipping [ReceivePcapFileThreadInit:source-pcap-file.c:299]
Error: pcap: pcap file reader thread failed to initialize [ReceivePcapFileLoop:source-pcap-file.c:185]

pcap: implement pcap-file-buffer-size option

Allows easy specification of buffer size on the commandline.

Ticket: #7155.

pcap-file: improve setvbuf implementation

Make optional through `pcap-file.buffer-size` config option.

Make sure to check through configure.

Ticket: #7155.

pcap-file: use larger buffer for reading pcap files

Inspired by a recent Zeek blog post, this could speed up PCAP
processing by a few percent.

Ticket: #7155.

packetpool: allow larger max-pending-packets

Original limit was due to a specific data structure.

rust: compatibility with cbindgen 0.27

Ticket: 7206

Cbindgen 0.27 now handles extern blocks as extern "C" blocks.
The way to differentiate them is to use a special comment
before the block.

rust/ldap: handle GAPs

Following the same logic as for PGSQL, if there is a gap in an LDAP request or
response, the parser tries to sync up again by checking if the message can be
parsed and effectively parses it on the next call.

Ticket #7176

rust/ldap: add pdu frames

This adds a pdu frame for both request and response, and removes invalid
returns in SCLdapParseRequest and SCLdapParseResponse.

Ticket #7202

rust/ldap: enable parser for udp

This introduces a new parser registration function for LDAP/UDP, and update
ldap configuration in order to be able to enable/disable a single parser
independently (such as dns).
Also, GAPs are accepted only for TCP parser and not for UDP.

Ticket #7203

userguide: clarify flow:stateless explanation

While not incorrect, the previous wording made the sentence almost
paradoxical. While at it, also highlight a side effect that might not be
so clear to users.

Related to
Bug #6976

rfb: move app-layer registration code to rust

Ticket: 7178

detect/rfb: move keywords to rust

Ticket: 7178

On the way, convert rfb.secresult to a generic integer with enumeration
cf ticket 6723

ssh/frames: avoid unsigned integer overflow

Fixes: 0b2ed97f3678 ("ssh: frames support")

github-actions: bump ossf/scorecard-action from 2.3.3 to 2.4.0

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.3.3 to 2.4.0.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/dc50aa9510b46c811795eb24b2f1ba02a914e534...62b2cac7ed8198b15735ed49ab1e5cf35480ba46)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump github/codeql-action from 3.25.11 to 3.25.15

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.25.11 to 3.25.15.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Commits](https://github.com/github/codeql-action/compare/v3.25.11...v3.25.15)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

detect: make events prefilterable

Ticket: 6728

detect: minor optimization for tx

do not bother to clean the buffers, if we did not run detection
for this transaction.

detect/tx: avoid a call to memset

just initialize the small struct to zero

doc/userguide: document logging changes from 6 to 7

Minor other logging related improvements like clarifying language and
improving formatting for pdf output.

rust/ike: fix collapsible_match clippy warning

warning: this `match` can be collapsed into the outer `match`
help: the outer pattern can be modified to include the inner pattern

rust: fix byte_char_slices clippy warnings

warning: can be more succinctly written as a byte str
   --> src/mime/smtp.rs:762:37
    |
762 |     mime_smtp_find_url_strings(ctx, &[b'\n']);
    |                                     ^^^^^^^^ help: try: `b"\n"`
    |
    = help: for further information visit https://rust-lang.github.io/rust-clippy/master/index.html#byte_char_slices
    = note: `#[warn(clippy::byte_char_slices)]` on by default

fuzz: make confyaml.c an explicit source

Ticket: 7181

Allows confyaml.c to be in the release archive

source: fix -Wshorten-64-to-32 warnings

Ticket: #6186

log: fix -Wshorten-64-to-32 warnings

Ticket: #6186

output/tx: use dynamic number of app-layer protos

Ticket: 5053

output: use dynamic number of app-layer protos

Ticket: 5053

runmodes: use dynamic number of app-layer protos

Ticket: 5053

frames: remove unneeded comments

Used by documentation with the SIP frames only

ssh: avoid panic in packet path

use debug_validate_bug_on instead

detect: run frames on pseudo flush packets

for SSH packets that mark the end of plaintext

ssh: frames support

Ticket: 5734

Adds frames for SSH records, that come after banner, and before
the data is encrypted.
These records may contain cipher lists for instance.

rust: bump time to most recent

Fixes build on rustc 1.80.

Bumps the MSRV to 1.67.1.

Bug: #7130.

rust: set MSRV to 1.67.1

This is needed for updating the ``time`` crate.

github-actions: switch dist builders to ubuntu 22.04

Part of bumping MSRV.

22.04 is the first Ubuntu release to ship a new enough Sphinx.

github-actions: update for MSRV 1.67.1

rust: address clippy errors

ssh/hassh: fix clippy warning

eve/stats: add description for flow stats

Ticket 6434

ldap: reset tx_index_completed on tx removal

So, that this index does not overflow

doh2: log like dns v3

doh: move fields into dedicated Optional struct

So as to consume less memory for HTTP2Transaction

doh2: handle dns message in POST requests

Ticket: 5773

Handles both directions the same way for data if content type is
application/dns-message

util/profiling: remove assertion

Now a flow alproto can be changed by a call to AppLayerParserParse
when HTTP2 forces the flow to turn into DOH2.

doh: make dns and http keywords for doh2

Ticket: 5773

doh: implement dns over http2 app-proto

Ticket: 5773

http2: log dns if DoH is recognized

Ticket: 5773

http2: rustfmt

dns: prepare for dns over http2 support

by making tx parsing and creation more easily available,
without needing a dns state.

Dns event NotResponse is now set on the right tx, and not the one
before.

Also debug log for Z-flag on request says "request" instead of
"response"

Also rustfmt dns.rs

build: Wimplicit-int-float-conversion checked with --enable-warnings

When configure is used with --enable-warnings, we try to add most
warning flags that should pass.
This commits adds the warning Wimplicit-int-float-conversion

runmodes: fix -Wshorten-64-to-32 warnings

Ticket: #6186

defrag: fix -Wshorten-64-to-32 warnings

Ticket: #6186

datasets: fix -Wshorten-64-to-32 warnings

Ticket: #6186

rust/ldap: add ldap-parser to Cargo.lock.in

doc: add ldap protocol

rust/ldap: implement logger

rust/ldap: implement app-layer

rust/ldap: implement types and filters

This implementation adds types and filters specified in the LDAP RFC to
work with the ldap_parser.
Although using the parser directly would be
best, strange behavior has been observed during transaction logging.
It appears that C pointers are being overwritten, leading to incorrect
output when LDAP fields are logged.

smtp: add port 465 for probing

smtp: do not return error on NULL buffer for end of stream

smtp: recognize more reply codes

Ticket: 6821

ftp: adds server side detection

smtp: adds server side detection

Ticket: #1125

imap: extend detection patterns

Ticket: #2886

Signed-off-by: mmaatuq <mahmoudmatook.mm@gmail.com>

detect/ssh: remove deprecated keywords

Ticket: 2377

detect/mqtt: move keywords to rust

Ticket: 4863

On the way, convert some keywords to use the first-class integer
support.
And helpers for pure rust the support for multi-buffer.

Move the C unit tests about keyword mqtt.protocol_version
to unit tests for generic integer parsing, and test version 5
instead of testing twice version 3.

Also iterate all tx's messages for reason code as is done for other
keywords.

And allow detection on empty topics.

detect: helper function for multibuffer registration

So that rust does not need to know about SIG_FLAG_TOCLIENT value

output/alert: remove now unused include

Including the mqtt one, now that it is almost rust only