eve/http: add location header independent of status availability

eve/http: use numeric status code by default

To avoid costly string operations.

eve/email: improve logging binary data

Use jb_append_string_from_bytes() as it works better than
BytesToString+jb_append_string when logging binary data.

Bug: #6664.

flow: minor optimization

Most of the time FlowGetFlowFromHash will succeed.

detect: consolidate per rule group file loops

Don't loop multiple times over the per group sig array.

detect: remove DCERPC mask logic

Added nothing over alproto check already in place.

detect/rule-header: use bool type

Update frame prototype as well, to match already returned true/false values.

detect/rule-header: minor code cleanups

detect/address: refactor match array building

detect/address: minor cleanup

mpm/ac: pointer hygene

mpm/hs: improve pointer hygene

detect/mpm: minor cleanup

detect: shrink sgh to have all runtime members on one cache line

detect: constify flow flags in tx rule inspect

detect: minor cleanup for rule group get function

app-layer: micro optimization for AppProtoEquals

Add most common condition first.

detect/bsize: constify keyword args during size check

detect/content: limits prop comment cleanup

detect/dsize: minor code cleanup

detect: use do { } while loop for app engine loop

detect/content: fix offset for negative distance

Fix offset calculation on sigs with negative distance. Can lead to FN
in certain cases.

Bug: #6661.

detect/content-inspect: add more tests

spm/bm: minor code cleanups; constification

mpm: UNITTESTS guard for RegisterUnittests func

mpm: remove unused flags field

detect/http_server_body: modernize test

detect: implement --qa-skip-prefilter

Option meant for testing performance of rule engine w/o prefilter
optimizations.

detect/content-inspect: add negation tests

Test mixing of negation, endswith and depth.

detect/bytetest: remove unused Match function

All matching is done as part of content inspection.

detect/pcre: remove unused match member

pcre2_match_data is created per thread when needed.

detect/bytemath: fix u32 buffer size logic

Remove u16 cast. Remove debug assert for u16 size.

In 83ed2c3b97925d390c2a57fdc8eea52f7d3d2e4c the input was changed to
u32

detect/pcre: localize match limit option parsing

No need to put it into a per ctx flag.

detect/pcre: remove unused opts field

detect/pcre: put commonly used members on first cache line

detect/content-inspect: use of replace keyword is rare

Hint compiler about this.

detect/profiling: improve pcap reading performance

When reading a pcap, packet time can move much faster than wall
clock time. This would trigger many more profile syncs than before.

As the sync is using a lock to synchronize with other threads, this
is an expensive operation.

Bug: #6619.

Fixes: b591813b8690 ("profiling/rules: reduce sync logic scope")

pgsql: fix u16 overflow in query data_row

Found by oss-fuzz with quadfuzz.

Cf https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=63113

According to PostgreSQL documentation the maximum number of rows can be
the maximum of tuples that can fit onto max u32 pages - 4,294,967,295 (cf
https://www.postgresql.org/docs/current/limits.html). Some rough
calculations for that indicate that this could go over max u32, so
updating the data_row data type to u64.

Bug #6389

doc: fix byte_test examples

As this keyword has 4 mandatory arguments, and some examples
had only three...

Ticket: 6629

devguide: explain example-rule container usage

Have these options documented, so that whoever writes rule-related
documentation can easily know what they could use to make the doc look
better.

detect: case-insensitive comparison for requires

Ticket: 6656

rust: allow clippy::items_after_test_module

As clippy began to complain about jsonbuilder.rs

devguide: fix main channels list

Sphinx and RtD sometimes render lists in weird ways. The communication
channels list barely looked like one, at all...

devguide: update branches, refer to backports guide

Update the list of active branches to include 7 renaming and new master,
link to backports document.

devguide: add chapter with backports guide

Task #6568

devguide: doc from behavior changes needs ticket #

If a commit introduces code that changes Suricata behavior, the related
documentation changes should go in a separate commit, but refer to the
same ticket number.
This reduces the chances of said changes being lost if there are backports
while still keeping the backporting process a bit less bulky, for each
commit.

Related to
Task #6568

devguide: reorganize pr-workflow section

This section seemed to aim both at PR reviewers and PR authors at the
same time, even though some info is probably of low value for
contributors.

Created new section for PR reviewers and maintainers, and kept the info
for PR authors separated. Also highlighted information on requested
changes and stale PRs.

devguide: make 'contributing' a chapter

This could be justified from a semantic point of view, and also can help
in bringing more attention to where this information is, as it is less
hidden, now.

Also add Dev Guide as one of our resources in our Readme.

mqtt: Move conf code to rust

Issue: 6387

This commit moves the configuration logic to Rust.

stats: add rules skipped

Rule skipped is a count of the number of rules that are skipped due to
missing requirements.

Feature: #6637

rust.h: don't include util-file.h, not needed

detect-parse: parse sid in pre-scan

During the pre-scan for "requires", also parse the SID if possible. If
the rule fails high level parsing (syntax), the SID will not be
parsed.

But every keyword other than "sid" and "requires" should expect to be
provided with a parsed sid.

requires: pre-scan rule for requires expressions

Add a "pre-scan" rule parse that will check for requires statement. It
will return a special error code (-4) if the requires fails due to
missing requirements.

Syntactic errors will also abort parsing here.

Feature: #5972

requires: add requires keyword

Add a new rule keyword "requires" that allows a rule to require specific
Suricata versions and/or Suricata features to be enabled.

Example:

  requires: feature geoip, version >= 7.0.0, version < 8;
  requires: version >= 7.0.3 < 8
  requires: version >= 7.0.3 < 8 | >= 8.0.3

Feature: #5972

Co-authored-by: Philippe Antoine <pantoine@oisf.net>

feature: provide a Rust binding to the feature API

As the feature module is not available for Rust unit tests, a mock
version is also provided.

pgsql: remove unused msg field

The `ConsolidatedDataRow` struct had a `length` field that wasn't truly
used.

Related to
Bug #6389

stats: incr app-proto flow counter for detection-only

Ticket: 6633

schema: adds missing modbus field

./stats/app_layer/error/modbus

stats: always use tcp/udp prefix

Even when on detection-only mode.
So that we always have enip_tcp and enip_udp in stats
and never just `enip`.

Ticket: 6304

schema: apply clang formatting changes

userguide/eve: explain pgsql requests & responses

Add a more visible explanation of that requests, responses, frontend and
and backend are, in Pgsql context, to avoid having to repeat that over
different portions of the docs.

pgsql: add cancel request message

A CanceldRequest can occur after any query request, and is sent over a
new connection, leading to a new flow. It won't take any reply, but, if
processed by the backend, will lead to an ErrorResponse.

Task #6577

doc/eve-format: break pgsql section to char limit

pgsql: extract length validation into function

This is called so many times that it seems to make sense that we use a
function for this.

detect/byte: remove unneeded SIG_FLAG_APPLAYER sets

Flag will be set during list(s) setup if needed.

detect/byte_extract: modernize tests

detect/bytemath: bump length to uint32_t

This puts the logic in line with the other payload inspection
functions.

detect/bytejump: test cleanup

Just one used during debugging.

detect/bytejump: don't reuse content flag

To avoid future problems with overlapping flag values, give bytejump
its own DETECT_BYTEJUMP_OFFSET_VAR flag.

The values are currently not overlapping, so this patch should have
no side effects.

detect/analyzer: print int keyword values correctly

To avoid negative values to be misrepresented.

Bug: #6615.

jsonbuilder: add set_int for signed ints

Bug: #6615

eve/stream: add sb main region size; segment count

Gives more detail about memory use.

output-json-dns: remove un-needed includes

output-json-alert: remove un-needed includes

doc/userguide: document dns.query.name, dns.answer.name

With some other minor cleanups in the DNS keyword section.

dns: replace usage of rs_dns_tx_get_query_name with SCDnsTxGetQueryName

SCDnsTxGetQueryName was introduced to allow for getting the query name
in responses as well as requests, so covers the functionality of
rs_dns_tx_get_query_name.

dns: add dns.query.name sticky buffer

This buffer is much like dns.query_name but allows for detection in both
directions.

Feature: #6497

dns: add dns.answer.name keyword

This sticky buffer will allow content matching on the answer names.
While ansers typically only occur in DNS responses, we allow the buffer
to be used in request context as well as the request message format
allows it.

Feature: #6496

dns: consolidate DNSRequest and DNSResponse to DNSMessage

DNS request and response messages follow the same format so there is
no reason not to use the same data structure for each. While its
unlikely to see fields like answers in a request, the message format
does not disallow them, so it might be interesting data to have the
ability to log.

dns: rustfmt with latest stable

rustfmt: replace deprecated fn_args_layout with fn_params_layout

detect: rename InspectEngineFuncPtr2 to InspectEngineFuncPtr

Version 1 of the API no longer exists.

detect: rename DetectAppLayerInspectEngineRegister2

Rename DetectAppLayerInspectEngineRegister2 to
DetectAppLayerInspectEngineRegister as there is no other variant of
this function, and the versioning with lack of supporting
documentation can lead to confusion.

detect: rename DetectAppLayerMpmRegister2 to DetectAppLayerMpmRegister

The old DetectAppLayerMpmRegister has not been around since 4.1.x.
Rename the v2 of this function to a versionless function as there is no
documentation referring to what the 2 means.

detect/analyzer: add details to flowbits keyword

Task #6309

endace: Fix source-dag timestamps

Bug: #6618.

Fix Endace ERF to SCTime_t timestamp conversion

Fix typo preventing compilation with --enable-dag

doc/userguide: update guidance on 5 to 6 upgrading

TCP memory use can be higher than expected in certain configs.

Ticket: #6552.

github-ci/formatting: update to Ubuntu 22.04

Update the formatting CI job to Ubuntu 22.04 to get a newer version of
clang-format, in this case clang-format-14.

clang-format.sh: prefer clang-format-14

Add clang-format-14 as the preferred version, this is the default on
Ubuntu 22.04.

cppcheck: Address cpcheck report of an FP

Issue: 6527

Address the FP raised by cppcheck -- note that although the code
corectly checks to ensure that `to_shift != &sb->reqion`, the logic was
detected as a FP. Rework the code to eliminate the FP.

cppcheck/detect: Address cppcheck memory leak

Issue: 6527

Ensure that the `map->string` memory isn't leaked following an error
return from `HashListTableAdd`

http2: do not have leading space for response line

Ticket: 6547

detect/flowbits: remove DETECT_FLOWBITS_CMD_NOALERT

DETECT_FLOWBITS_CMD_NOALERT is misleading as it gives an impression that
noalert is a flowbit specific command that'll be used and dealt with at
some point but as soon as noalert is found in the rule lang, signature
flag for noalert is set and control is returned. It never gets added to
cmd of the flowbits object.

detect-engine: use flag SIG_FLAG_MPM_NEG

The flag SIG_FLAG_MPM_NEG is set before whitelisting the rules. Make it
better by checking for the flag in the beginning and return immediately.

detect-engine: use bool return type

detect: rename SigAddressPrepare fns to SigPrepare

There is nothing Address specific going on in the preparations.
Stage 1: Preprocessing happens. Sigs classified as IP Only, Masks
applied, content specific limits applied, etc and sig array built.
Stage 2: Sigs grouped by IPOnly, ports and protocols.
Stage 3: Decoder Events SGH built.
Stage 4: File flags set, sig grouping done per prefilter, etc.

doc: clarify IP-only with iprep

github/action: fix Debian 12 intermittent failures

Parallel builds caused issues during `cargo vendor`. So do just a single
thread build.

 make[4]: Entering directory '/__w/suricata/suricata/rust'
cbindgen --config /__w/suricata/suricata/rust/cbindgen.toml \
--quiet --output /__w/suricata/suricata/rust/dist/rust-bindings.h
CARGO_HOME="/github/home/.cargo"  /usr/bin/cargo vendor
    Blocking waiting for file lock on package cache
    Blocking waiting for file lock on package cache
ERROR: Couldn't execute `cargo metadata` with manifest "/__w/suricata/suricata/rust/Cargo.toml": Metadata(Output { status: ExitStatus(unix_wait_status(25856)), stdout: "", stderr: "    Blocking waiting for file lock on package cache\n    Blocking waiting for file lock on package cache\nerror: failed to download `adler v1.0.2`\n\nCaused by:\n  unable to get packages from source\n\nCaused by:\n  failed to parse manifest at `/github/home/.cargo/registry/src/github.com-1ecc6299db9ec823/adler-1.0.2/Cargo.toml`\n\nCaused by:\n  no targets specified in the manifest\n  either src/lib.rs, src/main.rs, a [lib] section, or [[bin]] section must be present\n" })
ERROR: Couldn't generate bindings for /__w/suricata/suricata/rust.
make[4]: *** [Makefile:597: dist/rust-bindings.h] Error 1
make[4]: *** Waiting for unfinished jobs....

detect/content-inspect: improve header docs

detect/content-inspect: optimize struct layout

Move members used by DetectEngineContentInspection() to the same cache line.