stream: fix reachable assertion

Fix `Flow::thread_id` not always getting properly set up, leading to
a reachable assertion.

Bug #4582.

userguide: add section about exception policies

This describes briefly what the exception policies are, what is the
engine's behavior, what options are available and to which parts are
they implemented.

Task #5475
Task #5515

userguide: minor rewording and typo fixes

Some of these were recently introduced, some were highlited after the
applayer sections got merged. Some paragraphs seem to have been changed
due to trying to respect character limits for lines. Also includes a
typo pointed out by one of our community members via Discord.

stream/tcp: typo fix

detect: update ttl debug log messages

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect/stream_size: Rename detect.rs to stream_size.rs

This commit renames detect.rs to stream_size.rs to reflect its content.

detect/iprep: Move iprep logic into a separate module

detect/uri: Move uri logic into a separate module

detect/uint: Move uint logic into a separate module

This commit moves the uint logic into its own module.

doc/byte_math: Add byte_math differences with snort

Issue: 5077

doc: Fixup byte* entries to display tables properly

rust/detect: Create detect module for rule parsing

This commit creates a module named "detect" for rule parsing logic. As
part of this commit, detect.rs is moved from its toplevel position into
the new module. Thus, use crate::detect::detect to refer to items within
detect.rs (instead of create::detect).

Ticket: 5077

detect/bytemath: convert parser to Rust

Issue: 5077

This commit
- Converts the PCRE based parser to Rust.
- Adds unit tests to the new Rust modules
- Removes the PCRE parser from detect-bytemath.c
- Adjusts the C source modules to refer to the Rust definitions
- Includes the multiply operator (missing from the C parser)

log: fix coverity warning

CID 1515529

Checks ftell return value for negative/error

github-ci/codecov: add rust coverage support

Based on Rust 1.63 and LLVM 14. Update the jobs to meet those requirements.

Includes the bundled libhtp coverage now, including libhtp tests.

Ticket: #4278.

tls: handle incomplete header sooner

Make sure to exit the parser early on incomplete header data.

Additionally, make sure to not create duplicated tls frames in this
case.

Add a debug validation check for the header parser parsing too much
data, which should never happen.

ssl: add debug validation check for incomplete api

debug: add bool string print helper macro

tls: improve record checks

Improve unknown record handling. Inspired by Wireshark 'unknown record'
handling, we take a best effort approach for records with unknown content
types in TLS versions 1.0, 1.1 and 1.2.

Improve record length check and set 'invalid_record_length' event instead
of 'invalid_tls_header'.

tls: improve versions extension logic

Skip over unusable versions like GREASE.

tls: make version and size checks stricter

This way bad records won't buffer lots of stream data.

eve/schema: add tls client logging

tls: store cert data in heap buffer

Cert chain is a list of pointers into this buffer, so can't use a
stream slice approach.

eve/tls: implement client cert logging

Enable client logging in extended mode.

Add "client", "client_certificate" and "client_chain", where the latter two
depend on "client".

tls: parse client certificates

Parse client cerificates and store them in the state similar to how
this is done for server certificates.

Update "progress" handling to not consider the TLS handshake complete
if the server indicated a client cert was needed.

tls: prepare for client cert parsing

eve/tls: prepare for client cert logging

Code cleanups that work on per direction "connp" instead of hard coding
to the server side.

tls: make cert handling more generic

In preparation for client cert handling.

tls: avoid tls.invalid_handshake_message FP

Don't set TLS_DECODER_EVENT_INVALID_HANDSHAKE_MESSAGE event on encrypted
handshake messages.

tls: don't set 2 events for a single exception

Keep the more specific ones.

tls: remove incomplete tests

These tests are incompatible with the incomplete API usage and should
have been pcap based tests in the first place.

tls: set event if record size exceeds limit

tls: support server hello done message

tls: support handshake fragmentation

Implement TLS record defrag for handshake messages.

Ticket: #5183.

tls: remove certificate buffering code

TCP Buffering is now done in the app-layer using the incomplete API, on
the SSL/TLS record level. TLS level fragmentation will be implemented
separately.

tls: parse handshake protocol records in single pass

sslv2: use version from client hello

Remove streaming code that is now unused.

Incomplete handling makes this record parsing work on full data.

ssl: implement 'incomplete' handling for SSLv2

tls: streaming mode for application records

To avoid overhead of stream buffering for records we don't do
much with anyway, pass through application records instead of
buffering the entire record in the stream engine.

tls: use incomplete API to get full TLS records

The TLS record header is parsed in streaming mode still, but once the
record size is known we tell the app-layer API to give us the full
record.

Ticket: #5481

github-ci: disable cppclean as it is too noisy

We can reenable it after the larger cleanup efforts are complete.

ipfw: remove setting of SO_BROADCAST on the divert(4) socket

My review of the FreeBSD kernel code reveals that this setting
a) is ignored by the kernel b) is not required.  The sending
side of divert(4) never checks so->so_options, but always gives
IP_ALLOWBROADCAST to ip_output().

github-actions: bump ossf/scorecard-action from 1.1.2 to 2.0.3

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 1.1.2 to 2.0.3.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/ce330fde6b1a5c9c75b417e7efc510b822a35564...865b4092859256271290c77adbd10a43f4779972)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

dpdk/i40e: fix warning with number of queues for RSS configuration

detect: adds flow.age keyword

Ticket: #5536

flow/icmpv4: fix vlan.use-for-tracking

For ICMPv4 error messages the vlan ids were always considered,
even if the 'vlan.use-for-tracking' option was disabled.

Ticket: #5330

ebpf: update deprecated API calls

This fixes build errors when libbpf 1.0 is used. It removes previously
deprecated API functions that were still in use in Suricata's eBPF
code.

pgsql: config limit maximum number of live transactions

As is done for other protocols

Ticket: #5527

mqtt: remove quadratic time complexity

When having many transactions in a single parsing call...

Fix has overhead of having one more field in the mqtt state.

Completes commit a8079dc9787d77cf705aa47000b499a325be0716

Ticket: #5399

detect/tls: Improve tls.fingerprint rule handling

Issue: 4581

This commit improves the runtime performance of rules with
tls.fingerprint by using the inspection logic from tls.cert_fingerprint.

detect/uri: Remove unnecessary include

This commit removes an unnecessary #include for detect-uricontent.h

detect/build: minor code cleanup

detect/profiling: track bytes scanned by prefilter engines

detect/tls: add tls.cert_chain_len keyword

eve/tls: warn on unsupported 'custom' options

tls: make SSLSetEvent a macro to help debugging

etc/schema: clang (re)format

github-ci: bump cbindgen to 0.24.3

This addresses issues around the AppLayerTxData type.

flow-manager: reduce locks at startup

Effectively busy looping on a mutex to wait for time to be ready.

common: move u8_tolower to common header

htp: remove user setup from request line callback

This used to be the first callback that was called, but its not anymore.

Codecov confirmed that this is no longer used and therefore not useful.

ipfw: remove unused func prototype

app-layer: fix compiler warning

debug: remove empty header

reputation: add ipv6 cidr test

reputation: fix multiline test

landlock: handle filestore case

If landlock ABI is inferior to 2 (before Linux 5.19) then the
renaming of files is impossible if the protection is enabled. This
patch disables landlock if ABI < 2 and file-store is enabled.

As file store is initialized in output the call to landlock had to
done after the output initialization.

doc: document landlock feature

landlock: basic implementation

This patch is adding support for Landlock, a Linux
Security Module available since Linux 5.13.

The concept is to prevent any file operation on directories where
Suricata is not supposed to access.

Landlock support is built by default if the header is present. The
feature is disabled by default and need to be activated in the YAML
to be active.

Landlock documentation: https://docs.kernel.org/userspace-api/landlock.html

Feature: #5479

doc/http2: suricata.yaml max-streams parameter

Ticket: #4949

exceptions: add reject support to exception policy

This enables the usage of 'reject' as an exception policy. As for both
IPS and IDS modes the intended result of sending a reject packet is to
reject the related flow, this will effectively mean setting the reject
action to the packet that triggered the exception condition, and then
dropping the associated flow.

Task #5503

decode/tcp: allow 4 byte TFO with 2 byte cookie

dhcp: adds renewal-time keyword

Ticket: #5507

dhcp: fix license in detect-dhcp-leasetime.c

from search and replace overkill

dhcp: adds rebinding-time keyword

Ticket: #5506

nfs4: fix write record handling

Ticket: #5280

detect: function header return value clarification

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

dcerpc: convert transaction list to vecdeque for UDP

As was done for TCP in dfe76bb90 and d745d28d4

Ticket: #5518

ipfw: use PF_DIVERT on modern FreeBSD

packetpool: fix uaf in debug validation check

Location of the check meant access to freed packet was possible.

Move check and simplify it to just look at the packet at hand.

flow: finish to remove obsolete counters

As was begun in b3599507f4eb891841417575587d690ea13fe6c0

Ticket: #5317

userguide: briefly introduce exception policy opts

Added them in the configuration section so folks can be more aware of
them, while a more complete documentation isn't around.

Related to
Task #5475

userguide: update defrag settings options

We were still mentioning that there were only three options.

userguide: merge sections about AppLayer Parsers

We had two sections under the suricata.yaml configuration section
describing settings for application layer parsers. This merges them into
one and also fixes a few subsection title levels.

Task #5364

stream: add exception policy for midstream flows

This allows to set a midstream-policy that can:
- fail closed (stream.midstream-policy=drop-flow)
- fail open (stream.midstream-policy=pass-flow)
- bypass stream (stream.midstream-policy=bypass)
- do nothing (default behavior)

Usage and behavior:

If stream.midstream-policy is set then if Suricata identifies a midstream flow
it will apply the corresponding action associated with the policy.

No setting means Suricata will not apply such policies, either inspecting the
flow (if stream.midstream=true) or ignoring it stream.midstream=false.

Task #5468

exceptions: add callbacks for drop-flow policy

Make sure that when the policy is to drop the flow, we set no inspection
for payload and packet and disable applayer inspection as well.

Task #5468

suricata.yaml: add exception policy config options

Related to
Task #5468

detect: fix duplicate detect state issue

For protocols with multi buffer inspection there could be multiple times
the same sid would be queued into the candidates queue. This triggered
a debug validation check.

W/o debug validation this would lead to duplicate work and possibly multiple
alerts where a single one would be appropriate.

Bug: 5419.

detect/frames: fix too strict debug check

Frame::len is -1 if it is still unknown. Handle that in the debug
check.

stream/ids: make sure we don't slide past last_ack

Bug: #5401.

stream: minor code cleanup

tls/sni: remove unused fn declaration

doc: add description for tls.random

tls: add tls.random* keywords

Add tls.random keyword that matches on the 32 bytes of the TLS
random field for client as well as server.
Add tls.random_time keyword that matches on the first 4 bytes of the TLS
random field for client as well as server.
Add tls.random_bytes keyword that matches on the last 28 bytes of the TLS
random field for client as well as server.

All these are sticky buffers.

Feature 5190

detect: support file.data for HTTP1 to server

That is file sent with POST or PUT

Ticket: #4144

flow-manager: reduce burstiness in adaptive timing

Previous adaptive model would have a large time range when scanning the
hash when not so busy. In the default case it would take up to 4 minutes
for a full hash scan. In case of sudden increase in business, where the
hash would fill up rapidily during a few seconds, the flow manager would
be forced to suddenly consider a much larger slice of the hash leading
to a burst of work. This burst would increase pressure on the rest of the
system leading to packet loss as the worker threads would be overloaded
with flow housekeeping tasks.

This patch reduces the max scan time to 10 seconds, and ramps up quickly
to increase the slice of the hash scanned.

exceptions: error out when invalid policy is used

Before, if an invalid value was passed as exception policy, Suricata
would log a warning and set the exception policy to "ignore". This is a
very different result, than, say, dropping or bypassing a midstream flow.

Task #5504

detect: transforms check for 0-sized buffer

So as to avoid undefined behavior with a 0-sized variable length
array

Ticket: #5521

rust/smb: log uuid of interface in dcerpc

When doing a DCERPC request, we can use the context id to log the
interface that is used. Doing that we can see in one single event
what is the DCERPC interface and opnum that are used. This allows
to have all the information needed to resolve the request to a
function call.

Feature #5413.

rust/smb/dcerpc: parse context id

As context id is used to know to which variant of the endpoint the
request is done, it is interesting to parse it.

Feature #5413.