flow/worker: minor refactor for app-layer callsite

detect: remove flow drop unittest

Test broke after recent changes. Functionality is tested in
suricata-verify, so just remove the test.

detect: add check to validate drops

detect: fix stateful drops for rate_filter

flow/timeout: no pseudo packets for dropped flows

When a flow is in the drop flow state, don't use pseudo packets
when it is timing out. There should be no work left to do at this
point.

stream: simplify drop handling

Remove logic to apply flow drop, as this is now handled in the
flow engine.

However, keep the logic that frees/cleans the session state.

app-layer: don't update UDP applayer for dropped packets

detect: update/document drop flow logic

Now that flow drop is applied to packets before other processing,
no drop has to be issued on a packet.

flow: apply flow to packet on flow lookup

Issue drop to packet as early as possible.

http: logs custom headers in a subobject

This subobject is request_headers or response_headers

This especially avoids json keys collisions.

Ticket: #5320

Also fixes typo referrer/referer

github-ci: add workflow_dispatch

A workflow dispatch allows us to manually a trigger a workflow with
arguments. This dispatch allows us to use the "gh" cli command to
trigger a workflow run with our libhtp/su/sv branch and repo variables
set. For example:

  gh run builds.yml -f SV_REPO=jasonish/suricata-verify -f SV_BRANCH=pr/10

flow: spare pool return optimization

In case small blocks of flows are returned, try to merge
them with existing small list head. Add full block as second
in the list as with the rest of the code.

flow/worker: don't double count flow.wrk.flows_evicted

Since the queue isn't fully processed every run, double counting
could happen.

Fix by only counting actually processed flows from the queue.

flow/worker: batch return flows to spare pool

flow/manager: minor code cleanup

flow/recycler: batch returns to spare pool

To reduce locking overhead in the spare pool, batch returns per
100 (spare pool block size).

flow/recycler: stats micro optimization

Don't update stat from loop as it's not read until after the loop.

mqtt: fix quadratic complexity

get_tx_by_pkt_id loops only over the last transactions
in case there is a transaction flood

Ticket: #6100

mqtt: rustfmt mqtt.rs

mqtt: add mqtt frames

Adds PDU, Header and Data frame to the MQTT parser.
Ticket: 5731

windivert: fix compile warnings

doc/userguide: document include files

Document how to use include files, plus add a deprecation notice on
the use of multiple "include" statements.

doc/userguide: merge logging changes in 7.0 upgrade notes

Two "Logging changes" sections existed, merge.

suricata.yaml: use include list for example

For 7.0 multiple includes are allowed, but marked as
deprecated. Update the example to show the new way of pulling in
multiple includes.

docs: update url to docs.suricata.io

jsonbuilder: check buffer growth

Use try_reserve before growing the internal buffer, and the internal
state vector. This allows allocation errors to be caught and an error
returned instead of just aborting the process.

Ticket: #6057

jsonbuilder: rustfmt

Some very minor changes to formatting.

detect/analyzer: add the type

Per rule type record properties of the type.

Example output:

    {
        "raw": "alert udp any any -> any any (msg:\"UDP with flow direction\"; flow:to_server; sid:1001;)",
        "id": 1001,
        "gid": 1,
        "rev": 0,
        "msg": "UDP with flow direction",
        "app_proto": "unknown",
        "requirements": [],
        "type": "pkt",
        "flags": [
            "src_any",
            "dst_any",
            "sp_any",
            "dp_any",
            "toserver"
        ],
        "pkt_engines": [],
        "frame_engines": [],
        "lists": {}
    }

Ticket: #6085.

detect: use explicit rule types

Instead of using flags to indicate a rule type, use an explicit `type`
field.

This will make it more clean in code paths what paths a rule is taking,
and will allow easier debugging as well as analyzer output.

Define the following fields:

- SIG_TYPE_IPONLY: sig meets IP-only criteria and is handled by the IP-only
  engine.
- SIG_TYPE_PDONLY: sig inspects protocol detection results only.
- SIG_TYPE_DEONLY: sig inspects decoder events only.
- SIG_TYPE_PKT:    sig is inspected per packet.
- SIG_TYPE_PKT_STREAM: sig is inspected against either packet payload or
  stream payload.
- SIG_TYPE_STREAM: sig is inspected against the reassembled stream
- SIG_TYPE_APPLAYER: sig is inspected against an app-layer property, but not
  against a tx engine.
- SIG_TYPE_APP_TX: sig is inspected the tx aware inspection engine(s).

Ticket: #6085.

detect/pcre: remove redundant applayer flag set

detect: minor cleanup

http: fix leak of normailzed uri

if tx_ud == NULL, still need to free alloced normailzed uri

rust: use 2021 edition

With the MSRV being bumped to 1.62 for 7.0, we can move the edition up
to 2021.

streaming: minor guards cleanup

streaming: fix region buf_offset update

If region wasn't the first region, the buf_offset could get out of
sync.

Bug: #6041.

streaming: stricter validation check

streaming: fix intersect detection

Update logic to always use data right edge.

Bug: #5834.

github: change codeowners back to team

as in master-6.0.x

fuzz: make targets more resitant to allocation failures

flowworker: simplify pseudo packet use

Pseudo packets originating in the flow worker do not need to leave the
flow worker. Putting those in the ThreadVars::decode_pq will make them
be evaluated by the next steps in the pipeline, but those will all
ignore pseudo packets.

Instead, this patch returns them to the packet pool, while still honoring
the IPS verdict logic.

all: remove unused literals

rust/doc: restore comment with code example, but ignore

Use backticks for proper markdown processing. As Rust code in
backticks is compiled, and this is a non-complete example, tag the
code sample to be ignored.

github-ci: check for new authors in pull-request

On pull request, get a list of commit authors for the pull request and
compare to the list of authors in git master. If any differ, save to
new-authors.txt and upload this as an artifact.

As a workflow-run, download this artifact and if non-empty, add a
comment to the pull-request that new authors may be part of the pull
request.

This 2 step approach is because GitHub actions running in pull-request
context are not allowed to comment on the pull request, instead a
post-workflow workflow has been added that runs in the context of the
repo which can then comment on the pull request.

profiling/rules: minor fatal error cleanup

profiling/rules: add BUG_ON to profile tracking

profiling/rules: simplify return code handling

profiling/rules: minor code cleanup

profiling/rules: use atomics for rule flag

profiling/rules: doc updates

profiling/rules: reduce sync logic scope

Use a simple once a second scheme.

doc: add rule profiling information

profiling: socket command to control rules profiling

This patch adds unix socket command to start and stop the collection
of stats when running in rules profiling mode.

profiling: set sample rate to power of 2

For the rules profiling, we really want to limit the performance
impact to the maximum. So let's use an hash size that is a power
of 2. This will allow to not use the modulo operation that is
costly and simply use a single binary operator.

This code is only active for rules profiling so we are backward
compatible.

profiling: let 'ruleset-profile' send message

Let's send the profile output as an answer on the Unix socket.

profiling: add 'ruleset-profile' unix command

This patch adds a new unix command that allows the user to trigger
a dump of the ruleset profile to the file without having to stop
Suricata.

This will be really useful to debug performance issue related to
signatures in production environment.

profiling: introduce rules profiling

Performance measurement of rules is important on live Suricata
as bad rules can cause severe performance regression. This patch
introduces the --enable-profiling-rules that activate profiling
for the rules. This reduces the performance impact of full
profiling  and provide visiblity on the rules performance at
the same time.

detect: http_client_body for HTTP2

By using the file.data logic

Ticket: #4067

detect: http.response_body for HTTP2

Already using the file.data logic

Ticket: #4067

detect: http_response_line for HTTP2

Ticket: #4067

Synthetized as HTTP/2 <STAT>\r\n

detect: http_request_line support for HTTP2

Ticket: #4067

Synthetized as <METHOD> <URI> HTTP/2\r\n

detect: http_stat_msg supported for HTTP2

By providing a constant empty buffer

Ticket: #4067

detect: support http.protocol for HTTP2

Ticket: #4067

By having a synthetic constant HTTP/2 buffer

dpdk: support capture timeout support

To not inject too many packets, simulate a 100ms timeout based on
af-packet's 100ms poll() timeout.

Bug: #6064.

rust/doc: wrap some code examples in backticks

rust/doc: fix doc compile issues

github-ci: fix rust check by fixing git directory permissions

Due to the update to AlmaLinux 9.2, a new version of git with stricter
permissions was introduced.  Mark the directory as safe as we have
done in other builds with newer versions of it.

dataset: Address compile-time error

This commit fixes an issue with using a `in_addr` when an IPv6 structure
should be used.

counters: make tcp stats independent of flow, ssn

Counters depended on availability of flow and tcp session, meaning
that 2 memcaps could affect the counters.

Bug: #5017.

stream: update no-flow checks

build: harden rust.yml permissions

Signed-off-by: Alex <aleksandrosansan@gmail.com>

doc/userguide: provide more RPM doc

- Address the various RPM distributions
- User info
- Systemd info

Related issue: #5884

krb5: update krb5_msg_type keyword docs

krb5: use req_type instead of msg_type to get request type

krb5: set msg_type for KRB-ERROR messages to MessageType::KRB_ERROR

krb5: add AS-REQ and TGS-REQ transactions

Fix bug in ticket #4529

dpdk: warn about processing segmented DPDK mbufs

Segmented mbufs should never happen in Suricata.
Mbuf segmentation divides the received packet into multiple
mbufs. This can happen when MTU of the NIC is larger than
the allocated mbufs in the mbuf mempool. As Suricata sets the size
of the mbuf to be slightly higher than the configured MTU, mbuf
segmentation should never happen in Suricata. This is especially
true, if Suricata runs as a primary process and configures the
packet source (NIC).

Processing segmented mbufs can lead to missed/false
(pattern-matching) detections as Suricata only inspects the first
segment of the packet. It can also lead to segfault if Suricata
moves the detection window out of the segment boundaries.

dpdk: query device stats only with one worker

Function rte_eth_stats_get is not thread-safe and
the result is only used by one thread.
Running with multiple workers led to very high values in rx_missed
counters (buffer-overflow-like behavior).

Ticket: #6006

docs: refactor DPDK docs and add performance tuning section

Ticket: #5857
Ticket: #5858

docs: wrap DPDK doc section at 80 chars

dpdk: add configure option

Ticket: #5859

dpdk: update version checking to DPDK-intended version checking API

Ticket: #5937

dpdk: release mempool after the device is closed

Ticket: #5936

dpdk: fix multibit comparison

Ticket: #5925

dpdk: fix DPDK API change on NUMA/socket retrieval

Ticket: #5923

threshold: fixed example rules to match description

threading: wait for flow housekeeping at shutdown

Flow house keeping can accumulate work that wasn't taken into account
during shutdown. This could lead to flows still in the flowworker
thread context when being it was freed, leading to missed work and
memory leaks.

This patch adds a new way of checking if a thread module is still
busy.

Bug: #6062.

flowworker: flush local work queue on capture timeout

Capture timeout means no packets have been received for some
time, so this is a good time to flush out all work.

flowworker: rate limit flow queue processing

Until this patch the logic the flow worker flow house keeping used was:
- at most 2 flows are handled per packet
- pseudo packets could flush the entire queue

This patch changes that. Pseudo packets are fairly common, and can lead
to packet stalls / latency spikes if the number of flows in the queue
is large.

It does that by adding a new packet type only used at shutdown, which
flushes out the queues completely. All other packets will now stick
to the 2 flow rate limit.

datasets: bugfix to load ip types from yaml

src: various comment spelling fixes

Thanks to Josh Soref.

dpdk: minor output fixup

Thanks to Josh Soref.

detect/parse: fix test spelling

Thanks to Josh Soref.

stream: fix test code spelling

Thanks to Josh Soref.

dpdk: fix variable spelling

Thanks to Josh Soref.

scripts: fix bundle script spelling

Thanks to Josh Soref.

rust: spelling fixes

Thanks to Josh Soref.

commandline: fix help output spelling

Thanks to Josh Soref.

snmp: fix spelling

Thanks to Josh Soref.

license: fixup file headers

Thanks to Josh Soref.

doc: spelling

Thanks to Josh Soref.