mpm/hs: turn cleanup messages in to debug

stream: debug message cleanup

threading: memset cpu_set_t to address cppcheck warning

src/tm-threads.c:734:5: error: Uninitialized variable: cs [uninitvar]
    CPU_ZERO(&cs);

dpdk: fix cppcheck warnings

src/runmode-dpdk.c:202:11: warning: Size of pointer 'argv' used instead of size of its data. This is likely to lead to a buffer overflow. You probably intend to write 'sizeof(*argv)'. [pointerSize]
    args->argv = SCCalloc(capacity, sizeof(args->argv));
          ^
src/runmode-dpdk.c:777:23: error: Shifting 32-bit value by 63 bits is undefined behaviour [shiftTooManyBits]
        if (bits & (1 << i))
                      ^
src/runmode-dpdk.c:776:23: note: Assuming that condition 'i<64' is not redundant
    for (int i = 0; i < 64; i++) {
                      ^
src/runmode-dpdk.c:777:23: note: Shift
        if (bits & (1 << i))
                      ^

frames: suppress cppcheck warning

src/app-layer-frames.c:471:5: warning: Identical condition 'stream_slice->input==NULL', second condition is always false [identicalConditionAfterEarlyExit]
    BUG_ON(stream_slice->input == NULL);
    ^
src/app-layer-frames.c:468:29: note: If condition 'stream_slice->input==NULL' is true, the function will return/exit
    if (stream_slice->input == NULL)
                            ^
src/app-layer-frames.c:471:5: note: Testing identical condition 'stream_slice->input==NULL'
    BUG_ON(stream_slice->input == NULL);
    ^
src/app-layer-frames.c:548:5: warning: Identical condition 'stream_slice->input==NULL', second condition is always false [identicalConditionAfterEarlyExit]
    BUG_ON(stream_slice->input == NULL);
    ^
src/app-layer-frames.c:545:29: note: If condition 'stream_slice->input==NULL' is true, the function will return/exit
    if (stream_slice->input == NULL)
                            ^
src/app-layer-frames.c:548:5: note: Testing identical condition 'stream_slice->input==NULL'
    BUG_ON(stream_slice->input == NULL);
    ^

capture: remove unnecessary mtu check

classification: avoid duplicate errors

unix-socket: avoid duplicate errors

dnp3: no error logging in packet path

github-actions: bump actions/checkout from 3.1.0 to 3.2.0

Bumps [actions/checkout](https://github.com/actions/checkout) from 3.1.0 to 3.2.0.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v3.1.0...v3.2.0)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github: update contrib guide link in PR template

Even though we have moved the contribution process guide to our read the
docs, the template was still pointing to our redmine link.

detect-detection: Convert unittests to new FAIL/PASS API

Ticket: #4019

detect-detection: Apply clang-format

dpdk: NUMA output adjustments

Reduce verbosity of the NUMA logs; switch them to start with the
iface.

Don't print the cpu number.

detect/sigorder: Convert unittests to new FAIL/PASS API

Ticket: #4029

dpdk: decrease intensity of warnings related to NUMA placement

Ticket: #5617

radix: fix ipv6 address parsing warning

The check meant to see if the ip address part of the ip/cidr combo
was more specific than needed wasn't fully implemented, leading to
warnings being issued on completely valid and correct input.

This patch implements the same logic as in IPv4. If the ip address
as specified is different from the ip after the mask has been applied,
a warning is displayed.

Bug: #5747.

detect-engine-tag: convert unittests to new FAIL/PASS API

Ticket: #4030

devguide: add page on installing suricata from git

As part of the process of moving documentation from redmine
to "Read the Docs", this commit moves installing Suricata using git
page from redmine wiki into Suricata Developer Guide section.
It also updates the necessary steps.

Ticket: #5585

fuzz: do not use timestamps at the end of times

so as not to have integer overflows

ftp: disables debug assertion

Ticket: #5443

Until we decide on the right way to fix this.

doc/userguide: ubuntu: install software-properties-common

This package likely needs to be installed when starting with an Ubuntu
container or other minimal Ubuntu install.

Ticket: #5616

rust/clippy: comments on why we have specific allows

rust/clippy: fix lint: type_complexity

Convert a DNS sub-parser to use a return type rather than a large
tuple. For mqtt, allow the lint for now, but remove the global allow.

rust/clippy: allow result_unit_err in http2 only

Its the only module making use of this pattern, but we shouldn't let
new modules use this pattern.

rust/clippy: fix lint: upper_case_acronyms

rust/clippy: fix lint: manual_find

These get_tx methods look like ideal candidates for generic and/or
derived methods.

rust/clippy: fix lint: len_without_is_empty

rust/clippy: fix lint: field_reassign_with_default

rust/clippy: remove allow: collapsible_else_if

rust/clippy: remove allow: collapsible_if

Already clean.

rust/clippy: fix lint: new_without_default

rust/clippy: fix lint: redundant_pattern_matching

rust/clippy: fix lint: never_loop

rust/clippy: fix lint: nonminimal_bool

rust/clippy: fix lint: derive_partial_eq_without_eq

rust/clippy: fix lint: explicit_counter_loop

rust/clippy: fix lint: extra_unused_lifetimes

rust/clippy: fix lint: needless_range_loop

rust/clippy: remove lint: for_loops_over_fallibles

Already clean.

rust/clippy: fix lint: match_ref_pats

rust/clippy: fix lint: needless_lifetimes

rust/clippy: remove lint: bool_comparison

Already clean.

rust/clippy: fix lint: single_match

Allow this lint in some cases where a match statement adds clarity.

rust/clippy: fix lint: while_let_loop

quic: do not use stack for inspection buffer

Make the inspection buffer copy the content in one buffer it owns.

Ticket: #5707

github-ci: verify generated rust code is rustfmt and clippy clean

setup-app-layer: rustfmt new rust files

template: import c_void, c_char, c_int

These are ffi types that are commonly used, import them so they can be
used by their short names instead of a fully qualified name.

template: remove no_mangle and pub where not needed

Extern functions that are only used as a function pointer do not
require "pub" or "no_mangle".

setup-app-layer: set copyright year to current year

Ticket: 4939

template: rename template-rust to template

Remove the distinction between the C template protocol "template" and
the Rust template protocol "template-rust" and make the Rust parser
simply template now that we no longer have support to generate a C
protocol template.

templates: remove C app-layer templates

templates: clang format cleanups

Cleanup the trivial clang-formatting issues in templates.  Length of
protocol names may require clang-format after new protocol generation.

setup-app-layer: remove generator for C parsers

Ticket: 4939

rust/app-layer-template: rustfmt

app-layer-template-rust: remove C app-layer stub

Remove the app-layer-PROTO stub for Rust based parsers.  It is no longer
needed as Rust parsers now contain the registration function in Rust.

Ticket: 4939

rust/conf: add fn conf_get_node

A wrapper around ConfGetNode to get a configuration node by name.

github-ci: add app-layer-template builder

Creates a protocol parser and logger and builds.

github-ci: rename alma to almalinux; 8.4 to 8

rust/lzma: clippy fixup

mime/base64: unify space handling

mime: do not skip empty lines for quoted-printable

As these lines are in the file...

Ticket: #5725

github-ci: enable lua on Fedora 36 build

Not many of the jobs that run S-V enable Lua, enable Lua for Fedora 36
which also runs S-V.

rust/http2: fix clippy lint for is_empty()

This snuck through as "cargo clippy" check wasn't finding lints that
were fixed by the previous test for fixable lints.

github-ci: fail if cargo clippy --fix creates a changes

Previously this was doing fixups and only warning, not erroring. Which
could made the following clippy command pass.

dns: do not oputput empty array for query

eve/schema: check that each array has at least one element

Ticket: #5167

doc: document AF_XDP feature

af-xdp: Configure build with AF_XDP support

af-xdp: Add AF_XDP socket support

AF_XDP support is a recent technology introduced that aims at improving
capture performance. With this update, Suricata now provides a new
capture source 'af-xdp' that attaches an eBPF program to the network
interface card. Packets received in the NIC queue are forwarded to
a RX ring in user-space, bypassing the Linux network stack.

Note, there is a configuration option (force-xdp-mode) that forces the
packet through the normal Linux network stack.

libxdp and libbpf is required for this feature and is compile time
configured.

This capture source operates on single and multi-queue NIC's via
suricata.yaml. Here, various features can be enabled, disabled
or edited as required by the use case.

This feature currently only supports receiving packets via AF_XDP,
no TX support has been developed.

Ticket: https://redmine.openinfosecfoundation.org/issues/3306

Additional reading:
https://www.kernel.org/doc/html/latest/networking/af_xdp.html

file/swf: Use lzma-rs decompression instead of libhtp.

Use the lzma-rs crate for decompressing swf/lzma files instead of
the lzma decompressor in libhtp. This decouples suricata from libhtp
except for actual http parsing, and means libhtp no longer has to
export a lzma decompression interface.

Ticket: #5638

smb: fix file reopening issue

Fuzzing highlighted an issue where a command sequence on the same file
id triggered a logging issue:

file data for id N
close id N
file data for id N

If this happened in a single blob of data passed to the parser, the
existing file tx would be reused, the file "reopened", confusing the
file logging logic. This would trigger a debug assert.

This patch makes sure a new file tx is created for the file data
coming in after the first file tx is closed.

Bug: #5567.

fuzz/sigpcap: set pkt_src

stream: stricter check inserting segments

In lossy streams, esp where TcpSession::lossy_be_liberal it is possible
to end up inserting a segment that is out of the expected sequence
number bounds.

version: require libhtp 0.5.42

flow: cleanup and clarify ancient debug messages

decode: enforce layer limit through tunnel layers

Bug: #5686.

dcerpc: fix integer underflow

as input.len() can be 65536, it cannot be directly cast to u16

Ticket: #5557

util/base64: fix heap buffer overflow

While updating the destination pointer, we were also adding the padded
bytes which are not a part of the decoded bytes. This led to running out
of space on the destination buffer.
Fix it by only incrementing destination buffer ptr by the number of
actual bytes that were decoded.

Ticket 5623

version: development towards 7.0.0-rc1

github-ci: non-root builder

All the GitHub CI jobs run as root inside a container. This means the
testing is done in a different environment than a developer typically
uses, running as a user.

Add a job that does the build as a non-root user.

rust: sha-1 is now sha1

This is the same crate, but renamed to be more consistent with the
RustCrypto project naming. Some recent discussion is available here:

    https://github.com/RustCrypto/hashes/issues/438

smb: do not use tree id to match request and response

Completes commit e94920b49f43bea4220a1bdf32297ec004e58059

This must be true for access to state ssn2vecoffset_map

Ticket: #5161

readthedocs: enable all formats

Ticket: #5654

smtp/files: don't modify prev file on open failure

files: always initialize inspect_window and min_inspect_depth

This is to make sure the files buffers are properly managed even
when there are no rules or when there are no file.data rules.

Bug: #5703.

rust/files: open file without trackid as pointer

rust/filecontainer: remove unused declaration

streaming/buffer: set hard limit on buffer size

Don't allow the buffer to grow beyond 1GiB. Add a once per thread
warning if it does reach it.

Bug: #5703.

github-ci/centos:7: cache yum RPMs

github-ci/windows: cache cargo artifacts

github-ci/macos: don't force cbindgen

We want to use binary from the cache if available.

github-ci: cache RPMs on dnf distros

github-ci: better .cargo caching

http2: fix decompression buffering

It was not enough to set Cursor position to 0,
also its inner Vec should be cleared.

This way, a new input gets written at the beginning of the
Cursor and its inner Vec...

Ticket: #5691

http2: support padded data frames

Ticket: #5691

src: unify how warnings specify ticket id's

afpacket/netmap: warn about mixed ips, ids/tap deprecation

Suricata already logs if AF_PACKET or Netmap are running in a mixed IPS
and IDS/TAP mode.  As the behavior is undefined when these modes are
mixed, it is best to deprecate and to not allow this behavior. For now
warn that it will be unsupported and fail in Suricata 8.

Ticket: 5587

ci: remove unnecessary write permission to github workflow