doc/csum: Stream checksum validation change

Describe the change of behavior between the stream.checksum-validation
setting and checksum-based rule keywords.

detect/csum: rm interaction btw stream setting/csum

Issue: 7467

Stream checksum validation no longer has a side effect of setting
PKT_IGNORE_CHECKSUM and thus, no longer affects csum keyword checks.

detect/iponly: use flow first flags

Instead of ip-only specific flags, reuse the FLOW_PKT_TOSERVER_FIRST and
FLOW_PKT_TOCLIENT_FIRST flags.

Fixes false positives on one sided streams that trigger a opposing flow
timeout packet at the flow's end. That pseudo packet would trigger a
match even though it shouldn't.

Ticket: #7521.

util/debug: increase max length of message

When a signature is incorrect, its full content is logged in a
message with some other information such as rules file name. As
a result, the log message must be longer than a maximum signature
length which is 8192.

Ticket: 7419

userguide: explain rule types and categorization

Add documentation about the rule types introduced by commit
2696fda04168cb82.

Add doc tags around code definitions that are referenced in the docs.

Task #https://redmine.openinfosecfoundation.org/issues/7031

http: htp_headers_t alias for htp_table_t

In preparation of libhtp rust

http: minor cleanups for detect

In preparation of libhtp rust

Mainly adding some const

http: minor cleanups for output-json-http

In preparation of libhtp rust

Mainly using htp_header_value_ptr and htp_header_value_len
when possible

http: minor cleanups for htp-xff.c

In preparation of libhtp rust

http: minor cleanups for htp-file.c

In preparation of libhtp rust

http: aliases for htp opaque htp_headers_t

In preparation of libhtp rust

http: use const http_header_t in stub

In preparation of libhtp rust

http: constify some function arguments

In preparation of libhtp rust

flow: optionally use pkt recursion for hash

If a Suricata inline IPS device is routing traffic over a
non-encrypted tunnel, like IPv6 tunnels, packets in a flow
will be dropped and not be matched. e.g.

The following example is a Suricata inline IPS with an IPv6 tunnel:
request: IPv4]ICMP] -> |IPS| -> IPv6]IPv4]ICMP]
reply:              <- |IPS| <- IPv6]IPv4]ICMP]
Both the IPv4 request and IPv6 reply will be seen by Suricata on
ingress. The flows will not be matched due to flow recursion level.

Optionally use pkt recursion level in flow hash. Excluding recursion
level in flow hash allows matching of packet flows and defrag on an
inline IPS Suricata scenario where the IPS device is a tunnel
terminator.

Feature: 6260

doc: Add ftp.command sticky buffer

Issue: 7502

This commit documents the new FTP sticky buffer "ftp.command".

detect/ftp.command: Add sticky buffer

Issue: 7502

Add a sticky buffer for "ftp.command" for matching on FTP command names.

detect/smtp: smtp.rcpt_to keyword

Ticket: 7516

It is a sticky buffer mapping to the smtp.rcpt_to[] log field
It is a multi-buffer

detect/smtp: smtp.mail_from keyword

Ticket: 7517

It is a sticky buffer mapping to the smtp.mail_from log field

detect/smtp: smtp.helo keyword

Ticket: 7515

It is a sticky buffer mapping to the smtp.helo log field

rust/logging: fix logging from plugins

Commit 2bcc66da5826fa0e6e074a756754b295e5ac4da2 broke logging from
plugins:

- debug visibility was reduced making it unusable from an external crate
- the plugins view of the log level was broken

To fix:
- make debug pub
- minor change to initialization of the log LEVEL as seen by the plugin
  so its seen by the plugin. I'm not really sure why the previous
  version wasn't working though, but this one does

lua: add "builtins" file to consolidate registration

Use a single array of built-ins and provide 2 functions for
registering them:

- SCLuaLoadBuiltIn: for loading built-in modules in sandboxed
  environments.

- SCLuaRequirefBuiltIns: registers built-in modules with the standard
  package tool, allows built-ins to be loaded by output scripts that are
  not restricted

I hope to refactor the sandbox so they can use SCLuaRequirefBuiltIns
as well.

doc/userguide: document lua hashlib

lua: expose hashing functions to lua scripts

Expose md5, sha1, and sha256 to Lua scripts with
`require("suricata.hashing")`.

Ticket: 7073

rust/hashing: add more hex variants

Make all the hasher's have the same variants:
- add hex digest for sha256
- add finalize to hex for sha1
- add hex digest for sha1

source/pcap-file: remove unused macro warning

detect/base64: remove unused macro warning

when compiling without unit tests
detect-transform-base64.c:47:9: warning: macro is not used [-Wunused-macros]
   47 | #define DETECT_TRANSFORM_FROM_BASE64_MODE_DEFAULT (uint8_t) Base64ModeRFC4648

rust: AppLayerRegisterParser out of SuricataContext

Just use a regular compile time rust export, instead of having
a runtime definition through the SuricataContext structure

rust: generated bindings depend on cbindgen.toml

make should rerun cbindgen if cbindgen.toml is modified

detect: add ldap.responses.count

ldap.responses.count matches on the number of LDAP responses
This keyword maps to the eve field len(ldap.responses[])
It is an unsigned 32-bit integer
Doesn't support prefiltering

Ticket: #7453

detect: add ldap.responses.operation

ldap.responses.operation matches on Lightweight Directory Access Protocol response operations
This keyword maps to the eve field ldap.responses[].operation
It is an unsigned 8-bit integer
Doesn't support prefiltering

Ticket: #7453

detect: add ldap.request.operation

ldap.request.operation matches on Lightweight Directory Access Protocol request operations
This keyword maps to the eve field ldap.request.operation
It is an unsigned 8-bit integer
Doesn't support prefiltering

Ticket: #7453

rustfmt: rust/src/ldap/types.rs

http: aliases for htp opaque htp_header_t

In preparation of libhtp rust

http: use even more aliases for htp opaque htp_tx_t

For request and response headers

In preparation of libhtp rust

http: use alias for htp opaque htp_tx_t

In preparation of libhtp rust

This occurence was missed in 23050d70ede31e842b316908c3428fabeb1de8f9

http: include htp-libhtp.h from header

Instead of C files requiring it.
In preparation of libhtp rust, to minimize the final commit.

detect: set mpm/prefilter during signature parsing

In preparation of flowbit prefilter work that needs this info
earlier.

Track potential prefilter sm's to avoid unnecessary looping during
setup.

rust/ssh: rustfmt

ssh: cleanup rust visibility and naming

Remove pub and no_mangle from non-exported functions and rename to
Rust as-needed.

Ticket: 7498

rust/ntp: rustfmt

ntp: cleanup visibility and naming

Remove pub and no_mangle from non-exported functions and rename to
Rust as-needed.

Ticket: 7498

pgsql: cleanup visibility and naming

Remove pub and no_mangle from non-exported functions and rename to
Rust style as needed.

Ticket: 7498

rust/dhcp: rustfmt

dhcp: cleanup visibility and naming

- remove "rs_" prefix from functions that are not exported
- prefix exported functions with "SC"
- don't export functions that are only used by pointer

Ticket: 7498

rust/applayer: clean visibility of export macros

Both the macros export_tx_data_get and export_state_data_get can
generate non-pub functions as the function they generate is only used
as a pointer during registration.

Remove "pub" and "no_mangle" from the generated functions and update
the names of the generated functions to follow Rust rules as they are
no longer exported into the global C namespace.

Ticket: 7498

rust/transforms: remove no_mangle from non-pub functions

Ticket: 7498

rust/ldap: cleanup no_mangle and extern C pub functions

If a function is extern "C" and not pub, remove no_mangle so its not
exposed as-is into the global name space.

Ticket: 7498

decode/tcp: fix some macros

Ticket: #7509

smtp: recognize if client initiated TLS

Ticket: 7469

protodetect: finish probing parser sooner

Ticket: 7495

We want to finish also if we tested all the expected protocols
in mask, or if we tested even more.

There can be one more protocol coming from pe0, which can be
the protocol already found in the other direction.

gen: Remove _AL_ usage in detect keywords

This commit removes the `_AL_` usage in detect keywords for improved
readability.

Some of the HTTP rule keywords already had counterparts without using
"_AL_". These rule keywords are the legacy content modifier keywords
that now have sticky buffer equivalents.

For these, "_AL_" was removed and a suffix was added to the #define:
src/detect-engine-register.h:151:    DETECT_HTTP_COOKIE_CM
src/detect-engine-register.h:153:    DETECT_HTTP_METHOD_CM
src/detect-engine-register.h:161:    DETECT_HTTP_HEADER_CM
src/detect-engine-register.h:173:    DETECT_HTTP_RAW_HEADER_CM
src/detect-engine-register.h:175:    DETECT_HTTP_URI_CM
src/detect-engine-register.h:179:    DETECT_HTTP_STAT_MSG_CM
src/detect-engine-register.h:181:    DETECT_HTTP_STAT_CODE_CM
src/detect-engine-register.h:185:    DETECT_HTTP_HOST_CM

rust/detect: remove nested unsafe around keyword registration

Just a cleanup, I'm not sure why Rust wasn't warning on these
nested/unneeded unsafe's.

rust/log: move rust log and debug utils to debug module

Move Rust logging, and debug_validation to a debug module to mirrow
the C side.

rust/direction: move direction to own file (cleanup)

Move the implementation of Direction to its own file, direction.rs.

rust/flow: move flow support to its own file (cleanup)

Move the Rust Flow support from core.rs to flow.rs.

http: aliases for htp opaque htp_tx_t

In preparation of libhtp rust

rust: remove unneeded mut for tx in detect

Detection does not change transactions, it reads only.

rust: remove unneeded mut for tx in loggers

Loggers do not change transactions, they read only.

http: aliases for htp progresses

In preparation of libhtp rust

http: aliases for htp protocol versions

In preparation of libhtp rust

http: aliases for htp stream states

In preparation of libhtp rust

http: aliases for htp methods

In preparation of libhtp rust

http: aliases for htp auths

In preparation of libhtp rust

http: aliases for htp flags

In preparation of libhtp rust

http: aliases for htp server personalities

In preparation of libhtp rust

http: aliases for htp statuses

In preparation of libhtp rust

ldap: implement abandon request

Ticket: #7477

ldap: update ldap-parser crate

so that we can implement abandon request support

Ticket: #7477

detect: add vlan.layers keyword

vlan.layers matches on the number of VLAN layers per packet
It is an unsigned 8-bit integer
Valid range = [0-3]
Supports prefiltering

Ticket: #1065

detect: add vlan.id keyword

vlan.id matches on Virtual Local Area Network IDs
It is an unsigned 16-bit integer
Valid range = [0-4095]
Supports prefiltering

Ticket: #1065

fuzz: remove unused macro

fuzz: better init for signature parsing harness

It needs app-layer registration for the names

plugins: app-layer plugins

Ticket: 5053

app-layer: make number of alprotos dynamic

Ticket: 5053

The names are now dynamically registered at runtime.
The AppProto alproto enum identifiers are still static for now.

This is the final step before app-layer plugins.

app-layer: move ALPROTO_FAILED definition

Because some alprotos will remain static and defined as a constant,
such as ALPROTO_UNKNOWN=0, or ALPROTO_FAILED.

The regular already used protocols keep for now their static
identifier such as ALPROTO_SNMP, but this could be made more
dynamic in a later commit.

ALPROTO_FAILED was used in comparison and these needed to change to use
either ALPROTO_MAX or use standard function AppProtoIsValid

lua/datasets: factor out into its own file

This is mainly for header sanitization to avoid pulling in detect
modules into the Lua sandbox definition.

Plus if we namespace modules with names like "suricata.dataset", it
probably makes sense to keep those modules in their own files.

lua/datasets: rework to be a "required" module

Re-work the Lua dataset lib to be required into a user script like:

    local dataset = require("suricata.data")

The main difference from loading it into global space is providing a
custom require function (as we removed it in the sandbox) and load it on
demand, returning a table to the module.

detect/lua: add support for datasets

dataset.new
  create a dataset object in lua

<dataset>:get
  gets a reference to an existing dataset

<dataset>:add
  returns 1 if a new entry was added
  returns 0 if entry was already in the set

Example:
```
function init (args)
    local needs = {}
    needs["packet"] = tostring(true)
    return needs
end

function thread_init (args)
    conn_new, dataset.new()
    ret, err conn_new:get("conn-seen")
    if err ~= nil then
        SCLogWarning("dataset warning: " .. err)
        return 0
    end
end

function match (args)
    ipver, srcip, dstip, proto, sp, dp = SCFlowTuple()
    str = ipver .. ":<" .. srcip .. ">:<" .. dstip .. ">:" .. dp

    ret, err = conn_new:add(str, #str);
    if ret == 1 then
        SCLogInfo(str .. " => " .. ret)
    end
    return ret
end
```

Ticket: #7243.

detect/lua: add thread_init

Add optional `thread_init` function support. This function is called per
script, per thread to allow a user to initialize the lua state.

detect/lua: improve stack dumping

Only useful when debugging. Add a prefix and a stack size indication.

log/file: Ensure file ctx pointer is returned .

The fix for issue 7447 introduced an error with threaded eve output.

The changes that were committed for that issue mishandled the return
value when a file is being opened for the 2nd or higher time.

Instead of returning the existing file context, null was returned.

flow/pkts: allow matching on either direction

For flow.bytes and flow.pkts keywords, allow matching in either
direction.

Feature 5646

doc: update syntax for flow.pkts & flow.bytes

 flow/pkts: make syntax cleaner and compact

Currently, the syntax includes direction as a part of the keyword which
is against how usually keywords are done. By making direction as a
mandatory argument, it is possible to make the syntax cleaner and the
implementation more compact and easily extendable.
Pros:
- Registration table sees lesser entries if newer options are added
- If the options have to be extended, it can be done trivially
- In accordance w existing keyword implementations

Note that this commit also retains the existing direction specific
keywords.

stream: RST no longer acks all data

Since forever (1578ef1e3e8a24d0cc615430c4e6bec1fefdad28) a valid RST
would update the internal `last_ack` representation to include all
unack'd data. This was originally done to make sure the unACK'd data was
inspected/processed at flow timeout.

It was observed however, that if GAPs existed in this unACK'd data, a
GAP could be reported in the stats and a GAP event would be raised. This
doesn't make sense, as missing segments in the unACK'd part of the
stream are completely normal. Segments simply do not all arrive in
order.

It turns out that the original behavior of updating `last_ack` to
include all unACK'd data is no longer needed.

For raw stream inspection, the detection engine will already include the
unACK'd data on flow end.

For app-layer updates the unACK'd data is often harmful, as the data
often has GAPs. Parser like the http parser would report these GAPs and
could also get confused about the post-GAP data being a new transaction
including a file. This lead to many reported errors and fantom txs and
files.

Since the GAP detection uses `last_ack` to determine GAPs, not moving
`last_ack` addresses the GAP false positives.

Ticket: #7422.

flow/manager: improve doc; minor cleanup

Explain meaning of `ts` in flow managers main loop.

flow: skip lock for skippable flows

Some checks can be done w/o holding a lock:
- seeing if the flow matches the packet
- if the hash row needs a timeout check

This patch skips taking a lock in these conditions.

threads: align struct to CLS to avoid false sharing

Since `Thread` objects are part of a big allocation, more than one
Thread could be on a single cache line, leading to false sharing. Atomic
updates to one `Thread` could then lead to poor performance accessing
another `Thread`. Align to CLS (cache line size) to avoid this.

threads: seal after setup; unseal at shutdown

The idea of sealing the thread store is that its members can be accessed
w/o holding a lock to the whole store at runtime.

threads: fine grained locking for Thread

Until now many accesses to the Thread structure required taking a global
lock, leading to performance issues. In practice this only happened in
offline mode.

This patch adds a finer grained locking scheme. It assumes that the
Thread object itself cannot disappear, and adds a spinlock to protect
updates to the structure.

Additionally, the `pktts` field is made an atomic, so that it can be
read w/o taking the spinlock. Updates to it are still done under lock.

flow/manager: in offline mode, use owning threads time

As this may mean that a threads ts is a bit ahead of the minimum time
the flow manager normally uses, it can evict flows a bit faster.

Ticket: #7455.

flow/worker: improve flow timeout time accuracy

When timing out flows, use the timestamp from the "owning" thread. This
avoids problems with threads being out of sync with each other.

Ticket: #7455.

flow: fix flow bucket timestamp optimization

Flow Manager skips rows based on a minimized tracker that tracks the
next second at which the first flow may time out.

If seconds match a flow can still be timing out.

threads: use sleeping threads for minimum time a bit longer

If a thread doesn't receive packets for a while the packet timestamp
will no longer be used to determine a reasonable minimum timestamp for
flow timeout handling.

To avoid issues with the minimum timestamp to be set a bit too
aggressively, increase the time a thread can be inactive.

time: thread time update after flow update

The flow worker needs to get the opportunity to run the flow update
before globally making it's current timestamp available. This is to
avoid another thread using the time to evict the flow that is about to
get a legitimate update.

Ticket: #7455.

flow: exact flow timeout

Use a more precise calculation for timing out flows, using both the
seconds and the micro seconds.

Ticket: #7455.

time: getter for SCTime_t timestamp of a thread

stream: rename tcp reuse flag

Rename to be consistent with other naming:

STREAM_PKT_FLAG_TCP_PORT_REUSE -> STREAM_PKT_FLAG_TCP_SESSION_REUSE

eve/stream: add tcp-session-reuse trigger

Can be used to log when the tcp session reuse logic triggers.

flow: improve thread safety during timeout checks

Timeout checks would access certain fields w/o locking, which could lead
to thread safety issues.