detect/bsize: Validate bsize values after parsing

Issue: 2982

This commit moves bsize validation with respect to content matches to
the post-parse validation stage. This allows bsize to consider all
content-related values, including those that follow the bsize keyword.

bsize/general: Remove unnecessary includes

This commit removes unused/commented out #include lines.

add to general: Typo fixup

netmap: Fix include file issues

doc: Update bsize documentation

This commit updates the bsize documentation

1. Describe what happens when "content" immediately precedes "bsize"
2. Include the operators and
3. Include examples using the operators.

detect/bsize: Semantic validation of bsize values

This commit adds validation of the bsize value(s) with the available
buffer size. Signatures are flagged if the bsize and buffer size are
incompatible.

Issue: 3682

tests/bsize: Test cases with preceding content

This commit adds test cases that validate behavior when "content"
immediately precedes "bsize".

general: Typo fixup

detect/content: Use SCCalloc instead of malloc/memset

This commit replaces a SCMalloc/memset with SCCalloc

detect/content: Consider distance in validation

Ticket: 2982

This commit validates that the content usage in a rule will not exceed
the dsize value.

Values of distance that cause the right edge to be exceeded are
considered an error and the signature will be rejected.

util/base64: use padding var for calculations

userguide: update tos keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update fragoffset keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update fragbits information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update geoip information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update id keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ipv6.hdr keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ipv4.hdr keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ip_proto keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update sameip keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ipopts keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: update ttl keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update doc for HTTP file.data to server

Ticket: #4144

Completes e587f6792afdb863cbe57e972bd395443f23d9d9

quic: use VecDeque

Ticket: #5637

security: disable setrlimit with asan

Various parts of ASAN will require creation of threads. At least
LSAN reporting and ASAN stack traces require this. Detect if we
run with ASAN and bypass the noproc setting with a warning.

Bug: #5661.

pcre: configurable paths for PCRE2 for include/lib

Ticket: #5572

ssl: add debug validation checks for recent changes

Make sure the assumptions are correct.

tls: fix buffer overread

Recently introduced by commit 4bab6e24e5e2cef29c9a5a6bee3263e4a3d47e76

Ticket: #5564

detect: avoids memory leak on ja3 signature parsing

If a later keyword enforces a protocol incompatible with ja3

clean: use SC_MD5_HEX_LEN instead of magic number 32

clean: replace MD5_STRING_LENGTH with more used SC_MD5_HEX_LEN

clean: remove useless * sizeof(char)

quic: ja3 code deduplication

As quic transactions are unidirectional, the same function is
used to get ja3 from client or from server.

quic: allow ja3.hash keyword

Ticket: #5624

rust: fix cargo clippy --all-features

rust: cargo clippy --all-features --fix --allow-no-vcs

ci: cargo clippy run option

As clippy does not recognize git which is above

rust: fix warnings on rustc 1.67.0-nightly

warning: for loop over an `Option`. This is more readably written
as an `if let` statement

detect/parse-port: fix whitespaces bug

Updated by Victor Julien to:
- accept but strip leading whitespaces
- update tests
- cleanup tests

detect/filename: fix buffer description

src: remove unneeded header and refs

detect-l3proto: Convert unittests to new FAIL/PASS API

Ticket: #4050

detect-icmp-seq: clean-up unittests

Task: #5597

flow: fix FlowSwapFileFlags function

Ticket: #5625

detect-filesize: Convert unittests to new FAIL/PASS API

Ticket: 4039

detect-distance: Convert unittests to new FAIL/PASS API

Ticket : #4020

pgsql: add test for parameter status parser

Since we've done some changes to how the parameters are parsed, add one
more test case to check that.

Bug #5579

pgsql: move database into opt parameters list

For StartupMessages, the database parameter is optional. This moves the
parameter into the optional_parameters list.

Bug #5579

eve/schema: pgsql - allow flexible parameters list

Pgsql's parameters - for message types like StartupMessage and
ParameterStatus, for instance, don't have a finite, definitive set, as
per their documentation. Our json schema was allow expecting a fixed set
of parameters, though, resulting in SV tests failing if different, valid
parameters appeared.

Bug #5579

pgsql: support empty parameter values

Bug #5579

pgsql: support out of order parameters for startup message

As user can be not the first parameter

Bug #5579

detect-icmp-id: convert unittests to FAIL/PASS APIs

Task: #4042

detect-itype: Convert unittests to new FAIL/PASS API

Bug: #5589

github-actions: bump actions/cache from 3.0.10 to 3.0.11

Bumps [actions/cache](https://github.com/actions/cache) from 3.0.10 to 3.0.11.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/v3.0.10...9b0c1fce7a93df8e3bb8926b0d6e9d89e92f20a7)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

profiling: Make rule_perf.log JSON output newline-delimited

Adding a newline makes the output valid JSON when multiple sortings of
the rules profile object are written to the log.

doc/netmap: Describe Netmap IPS usage

Issue: 5512

This commit summarizes Netmap usage with Suricata's IPS mode.

doc/userguide: update bittorrent-dht eve examples

Update the bittorrent-dht examples using real log records with peers
and nodes broken down into objects.

eve/schema: bittorrent-dht updates

Some values that were previously strings are now parsed down into
objects.

bittorrent-dht: parse and log node6 lists

Node6 lists are just like node lists, but for IPv6 addresses.

bittorrent-dht: remove tests that are no longer valid

bittorrent-dht: fix values decoding, as a list of peers

The "values" field is not a string, but instead peer information in
compact format. Decode this properly and then properly format in the
log.

jsonbuilder: add append_hex - add hex to array

New method, append_hex to add a byte array to a JSON array in hex
encoding.

bittorrent-dht: parse token and target as byte values

bittorrent-dht: only attempt to parse dht messages

The bittorrent flow is shared with transport messages as well as dht
messages. Only attempt to parse dht message as dht, ignore the rest.

bittorrent-dht: decode node data structures

Instead of decoding the nodes field into a blog of bytes, decode it into
an array of node info objects, each with a node id, IP address and port.

bittorrent-dht: convert some fields to byte arrays

Some fields that were previously strings are not always value UTF-8
data, instead the protocol specification refers to them as strings of
bytes, so in other words byte arrays.

Currently fields converted are:
- client_version
- info_hash
- response.id
- request.id
- nodes
- token

doc: rename bittorrent-dht to bittorrent_dht in eve output

bittorrent-dht/eve: log as bittorrent_dht

eve-schema: add bittorrent-dht

bittorrent-dht: register a pattern for protocol detection

Removes the port based probing which takes a long time to register for
ports 1024-65535 and instead use pattern based protocol detection.

bittorrent-dht: set parser to unidirectional

This parser does not match up responses with requests so flag it as
unidirectional.

userguide/eve-log: remove mentions of requiring Rust

Rust is required to build now.

bittorrent: updates for new event handling

Fixes anomaly events.

docs: update for bittorrent-dht app-layer

bittorrent-dht: add bittorrent-dht app layer

Parses and logs the bittorrent-dht protocol.

Note: Includes some compilation fixups after rebase by Jason Ish.

Feature: #3086

dnp3: fixups to work with unified json tx logger

Update DNP3 to work with a single TX logger, and just register one
logger instead of 2.

This primarily creates a TX per message instead of correlating replies
to requests, which fits the DNP3 model better, but we didn't really have
this concept nailed down when DNP3 was written.

dpdk: set new running flag at thread startup

threads: count thread types after all initialized

To avoid double counting in case a thread took longer than
expected to start up.

detect-icmp-seq: convert unittests to FAIL/PASS APIs

Task: #4043

dns/eve: add 'HTTPS' type logging

Add a new DNS record type to represent HTTPS
Ticket: #4751

detect-itype: remove unittests

Ticket: #5590

detect-replace: Convert unittests to FAIL/PASS API

Ticket: 4054

security: prevents process creation

with setrlimit NPROC.

So that, if Suricata wants to execve or such to create a new process
the OS will forbid it so that RCE exploits are more painful to write.

Ticket: #5373

profiling: sort LoggerId's in same order as defined

Sort the LoggerId's in the order they are define in suricata-common.h.

loggers: all json tx loggers can share the same loggerid

This is to avoid the tx logging code that doesn't support LoggerId
values over 31 at this time. The simplest fix for now is to just have
all JSON (eve) loggers use the same ID.

DNP3 is left as-is for now as it needs some extra support in the parser.

workflow: add systemd integration and check

Intergration of systemd is a feature that enables notification of
a running service to the service manager. The workflow now ensures
compilation with systemd and checks the binary has been built against
libsystemd.

doc/systemd: add documentation for sd_notify

suricata: add sd_notify support

Upon all threads reaching a running state the system generates
a notification for systems running and configured for systemd

Implements feature 5384
(https://redmine.openinfosecfoundation.org/issues/5384)

source: add THV_RUNNING flag to notify of running state

Each module (thread) updates its status to indicate running.
Main thread awaits for all threads to be in a running state
before continuing the initialisation process

Implements feature 5384
(https://redmine.openinfosecfoundation.org/issues/5384)

doc: add reference to ipaddr in IP matching

datasets: don't exit on invalid data

detect: doc link for ip.src and ip.dst

doc: add ip.dst and ip.src doc

doc: document new dataset types

Feature: #5383

datasets: introduce new IPv6 type

This patch also simplifies IPv6 parsing.

Feature: #5383

detect: add ip.dst keyword as sticky buffer

Feature: #5383

detect: add ip.src keyword

It is a sticky buffer matching on src_ip.

Feature: #5383

datasets: introduce ipv4 type

This patch introduce the IPv4 type for dataset so Suricata commandmatch
on a set of IPv4 addresses. This is meant to complement iprep feature
for people that needs more flexibility such as settings the IP on
the packet path.

Feature: #5383

datasets: factorize serialised operations

Ticket: #5184

doc: document dataset-lookup

Ticket: #5184