setup-app-layer: set copyright year to current year

Ticket: 4939

template: rename template-rust to template

Remove the distinction between the C template protocol "template" and
the Rust template protocol "template-rust" and make the Rust parser
simply template now that we no longer have support to generate a C
protocol template.

templates: remove C app-layer templates

templates: clang format cleanups

Cleanup the trivial clang-formatting issues in templates.  Length of
protocol names may require clang-format after new protocol generation.

setup-app-layer: remove generator for C parsers

Ticket: 4939

rust/app-layer-template: rustfmt

app-layer-template-rust: remove C app-layer stub

Remove the app-layer-PROTO stub for Rust based parsers.  It is no longer
needed as Rust parsers now contain the registration function in Rust.

Ticket: 4939

rust/conf: add fn conf_get_node

A wrapper around ConfGetNode to get a configuration node by name.

github-ci: add app-layer-template builder

Creates a protocol parser and logger and builds.

github-ci: rename alma to almalinux; 8.4 to 8

rust/lzma: clippy fixup

mime/base64: unify space handling

mime: do not skip empty lines for quoted-printable

As these lines are in the file...

Ticket: #5725

github-ci: enable lua on Fedora 36 build

Not many of the jobs that run S-V enable Lua, enable Lua for Fedora 36
which also runs S-V.

rust/http2: fix clippy lint for is_empty()

This snuck through as "cargo clippy" check wasn't finding lints that
were fixed by the previous test for fixable lints.

github-ci: fail if cargo clippy --fix creates a changes

Previously this was doing fixups and only warning, not erroring. Which
could made the following clippy command pass.

dns: do not oputput empty array for query

eve/schema: check that each array has at least one element

Ticket: #5167

doc: document AF_XDP feature

af-xdp: Configure build with AF_XDP support

af-xdp: Add AF_XDP socket support

AF_XDP support is a recent technology introduced that aims at improving
capture performance. With this update, Suricata now provides a new
capture source 'af-xdp' that attaches an eBPF program to the network
interface card. Packets received in the NIC queue are forwarded to
a RX ring in user-space, bypassing the Linux network stack.

Note, there is a configuration option (force-xdp-mode) that forces the
packet through the normal Linux network stack.

libxdp and libbpf is required for this feature and is compile time
configured.

This capture source operates on single and multi-queue NIC's via
suricata.yaml. Here, various features can be enabled, disabled
or edited as required by the use case.

This feature currently only supports receiving packets via AF_XDP,
no TX support has been developed.

Ticket: https://redmine.openinfosecfoundation.org/issues/3306

Additional reading:
https://www.kernel.org/doc/html/latest/networking/af_xdp.html

file/swf: Use lzma-rs decompression instead of libhtp.

Use the lzma-rs crate for decompressing swf/lzma files instead of
the lzma decompressor in libhtp. This decouples suricata from libhtp
except for actual http parsing, and means libhtp no longer has to
export a lzma decompression interface.

Ticket: #5638

smb: fix file reopening issue

Fuzzing highlighted an issue where a command sequence on the same file
id triggered a logging issue:

file data for id N
close id N
file data for id N

If this happened in a single blob of data passed to the parser, the
existing file tx would be reused, the file "reopened", confusing the
file logging logic. This would trigger a debug assert.

This patch makes sure a new file tx is created for the file data
coming in after the first file tx is closed.

Bug: #5567.

fuzz/sigpcap: set pkt_src

stream: stricter check inserting segments

In lossy streams, esp where TcpSession::lossy_be_liberal it is possible
to end up inserting a segment that is out of the expected sequence
number bounds.

version: require libhtp 0.5.42

flow: cleanup and clarify ancient debug messages

decode: enforce layer limit through tunnel layers

Bug: #5686.

dcerpc: fix integer underflow

as input.len() can be 65536, it cannot be directly cast to u16

Ticket: #5557

util/base64: fix heap buffer overflow

While updating the destination pointer, we were also adding the padded
bytes which are not a part of the decoded bytes. This led to running out
of space on the destination buffer.
Fix it by only incrementing destination buffer ptr by the number of
actual bytes that were decoded.

Ticket 5623

version: development towards 7.0.0-rc1

github-ci: non-root builder

All the GitHub CI jobs run as root inside a container. This means the
testing is done in a different environment than a developer typically
uses, running as a user.

Add a job that does the build as a non-root user.

rust: sha-1 is now sha1

This is the same crate, but renamed to be more consistent with the
RustCrypto project naming. Some recent discussion is available here:

    https://github.com/RustCrypto/hashes/issues/438

smb: do not use tree id to match request and response

Completes commit e94920b49f43bea4220a1bdf32297ec004e58059

This must be true for access to state ssn2vecoffset_map

Ticket: #5161

readthedocs: enable all formats

Ticket: #5654

smtp/files: don't modify prev file on open failure

files: always initialize inspect_window and min_inspect_depth

This is to make sure the files buffers are properly managed even
when there are no rules or when there are no file.data rules.

Bug: #5703.

rust/files: open file without trackid as pointer

rust/filecontainer: remove unused declaration

streaming/buffer: set hard limit on buffer size

Don't allow the buffer to grow beyond 1GiB. Add a once per thread
warning if it does reach it.

Bug: #5703.

github-ci/centos:7: cache yum RPMs

github-ci/windows: cache cargo artifacts

github-ci/macos: don't force cbindgen

We want to use binary from the cache if available.

github-ci: cache RPMs on dnf distros

github-ci: better .cargo caching

http2: fix decompression buffering

It was not enough to set Cursor position to 0,
also its inner Vec should be cleared.

This way, a new input gets written at the beginning of the
Cursor and its inner Vec...

Ticket: #5691

http2: support padded data frames

Ticket: #5691

src: unify how warnings specify ticket id's

afpacket/netmap: warn about mixed ips, ids/tap deprecation

Suricata already logs if AF_PACKET or Netmap are running in a mixed IPS
and IDS/TAP mode.  As the behavior is undefined when these modes are
mixed, it is best to deprecate and to not allow this behavior. For now
warn that it will be unsupported and fail in Suricata 8.

Ticket: 5587

ci: remove unnecessary write permission to github workflow

ci: build with -Werror for -Wimplicit-int-conversion

So that CI gets red

detect: fix memory leak when parsing signature

Ticket: #5529

profiling: fix includes

swf-decompression: Disable by default.

Add an entry to the upgrade guide noting the change.

Ticket: #5632

ipfw: fix missing include

netmap: fix missing include

classification: continue processing on parse error

Instead of returning on the first line that fails to parse, log the
error and continue instead of returning.

The fail fast makes sense in test mode, but not in a normal run mode
where you don't want one bad line to abort processing the whole file.

This will still fail out in test mode.

Related issue: 4554

src: remove double includes

Keep the unconditional include to be sure it works

git grep '#include "' src/*.c | sort | uniq -c | awk '$1 > 1'

src: fix some include orders

So as to be able to get include removal right

src: remove obsolete comment

Should have been removed along by commit
82dba07579fcd188bc537b57c52eea4974f2d9e1

src: fix remaining cppclean warnings

unittest: fix unneeded includes as per cppclean

Especially because there is conditional inclusion from a header

util: fix includes for util-memcmp

u8_tolower is now in suricata-common.h

Fixes commit 19e94e93fab84c009c0aefd49809c91665a8fa33

ci: adds one build with hyperscan

ci: adds build with luajit

src: fix integer warnings

and adds defrag debug validations

tls: fix off by one in supported versions extension

Ticket: #5663

detect/bsize: Validate bsize values after parsing

Issue: 2982

This commit moves bsize validation with respect to content matches to
the post-parse validation stage. This allows bsize to consider all
content-related values, including those that follow the bsize keyword.

bsize/general: Remove unnecessary includes

This commit removes unused/commented out #include lines.

add to general: Typo fixup

netmap: Fix include file issues

doc: Update bsize documentation

This commit updates the bsize documentation

1. Describe what happens when "content" immediately precedes "bsize"
2. Include the operators and
3. Include examples using the operators.

detect/bsize: Semantic validation of bsize values

This commit adds validation of the bsize value(s) with the available
buffer size. Signatures are flagged if the bsize and buffer size are
incompatible.

Issue: 3682

tests/bsize: Test cases with preceding content

This commit adds test cases that validate behavior when "content"
immediately precedes "bsize".

general: Typo fixup

detect/content: Use SCCalloc instead of malloc/memset

This commit replaces a SCMalloc/memset with SCCalloc

detect/content: Consider distance in validation

Ticket: 2982

This commit validates that the content usage in a rule will not exceed
the dsize value.

Values of distance that cause the right edge to be exceeded are
considered an error and the signature will be rejected.

util/base64: use padding var for calculations

userguide: update tos keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update fragoffset keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update fragbits information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update geoip information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update id keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ipv6.hdr keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ipv4.hdr keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ip_proto keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update sameip keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ipopts keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ttl keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update doc for HTTP file.data to server

Ticket: #4144

Completes e587f6792afdb863cbe57e972bd395443f23d9d9

quic: use VecDeque

Ticket: #5637

security: disable setrlimit with asan

Various parts of ASAN will require creation of threads. At least
LSAN reporting and ASAN stack traces require this. Detect if we
run with ASAN and bypass the noproc setting with a warning.

Bug: #5661.

pcre: configurable paths for PCRE2 for include/lib

Ticket: #5572

ssl: add debug validation checks for recent changes

Make sure the assumptions are correct.

tls: fix buffer overread

Recently introduced by commit 4bab6e24e5e2cef29c9a5a6bee3263e4a3d47e76

Ticket: #5564

detect: avoids memory leak on ja3 signature parsing

If a later keyword enforces a protocol incompatible with ja3

clean: use SC_MD5_HEX_LEN instead of magic number 32

clean: replace MD5_STRING_LENGTH with more used SC_MD5_HEX_LEN

clean: remove useless * sizeof(char)

quic: ja3 code deduplication

As quic transactions are unidirectional, the same function is
used to get ja3 from client or from server.