detect: errors on 65k filestore signatures

Errors when a detection engine gets 65k filestore signatures to
avoid the hard limit to have 65k filestore per signature group
head

Ticket: #6393

detect: remove unneeded max_idx

detect/engine: set max sig ID per SGH

Present scenario
----------------
Currently, as a part of setting signature count per SGH, a max_idx is
passed which could be as high as the highest signature number (internal
ID).

Issue
-----
Not every SGH needs to evaluate all the signatures while setting
the signature count or while creating the match_array.
In a nonideal scenario, when say, there are 2 SGHs and one SGH has 2
signatures and the other one has 60k, given the current scheme of
evaluating max_idx, the max_idx will be set to 60k, and this shall
later be passed on to SigGroupHeadSetSigCnt or
SigGroupHeadBuildMatchArra which shall traverse over all the 60k sigs
for either SGHs.

Other info
----------
This is a very fast operation as the internal arithmetic is done
bitwise.

Patch
-----
The functions SigGroupHeadSetSigCnt and SigGroupHeadBuildMatchArray can
be optimized by storing the max signature id (internal) per SGH (which
also seemed to be the initial intention as per fn comments).
As a result of this, the sig_array is only walked up until the max sig
id of that respective SGH.

detect: remove unused port in SigGroupHeadInitData

port is not used and logically makes sense to not be in this struct as
this struct is already referenced by DetectPort itself as a part of
SigGroupHead.

ci: update scorecard analysis workflow

detect: dns.opcode as first-class integer

Ticket: 5446

That means it can accept ranges

util/streaming-buffer: remove unneeded fn param

StreamingBuffer is not required to find the intersecting regions, so,
don't pass it as a param to the fn.

userguide: fix explanation about bsize ranges

Our code handles Uint ranges as exclusive, but for bsize, our
documentation stated that they're inclusive.

Cf. from uint.rs:

    DetectUintMode::DetectUintModeRange => {
        if val > x.arg1 && val < x.arg2 {
            return true;
        }
    }

Task #6708

doc: integer keywords

Ticket: 6628

Document the generic detection capabilities for integer keywords.
and make every integer keyword pointing to this section.

detect: integer keywords now accept bitmasks

Ticket: 6648

Like &0x40=0x40 to test for a specific bit set

detect/integer: rust derive for enumerations

Ticket: 6647

Allows keywords using integers to use strings in signature
parsing based on a rust enumeration with a derive.

detect: integer keywords now accept negated ranges

Ticket: 6646

detect: integer keywords now support hexadecimal

So that we can write enip.revision: 0x203

Ticket: 6645

ci: run clippy without all features

rust: make cargo clippy clean

Fixing single_match and manual_find intertwined with SCLogDebug

mqtt: fix logic when setting event

Especially sets transactions to complete when we get a response
without having seen the request, so that the transactions
end up getting cleaned (instead of living/leaking in the state).

Also try to set the event on the relevant transaction, instead
of creating a new transaction just for the purpose of having
the event.

Ticket: #6299

detect: do not store state without flags

If flags are zero, there is nothing to store and remember.

Stored signatures will be reused on a later packet, and
qsorted (which may be expensive), with newer matches candidates.

Avoiding to store, leads to avoid the call to qsort.

detect: merge sorted lists instead of qsort

Ticket: #6299

Simply because it is faster (just linear).

This is for merging match_array into tx_candidates

detect: avoids case of useless detection on txs

When a TCP flow packet has not led to app-layer updates,
it is useless to run DetectRunTx, as there cannot be new
matches.

This happens for instance, when one side sends in a row multiple
packets which are not acked (and thus not parsed in IDS mode).

Doing so requires to move up the call to
AppLayerParserSetTransactionInspectId
so that it is run the same times DetectRunTx is run, and not in the
case where the transaction was not updated.

Ticket: 6299

requirements: use libhtp 0.5.x

Move to libhtp to the 0.5.x branch instead of 0.5.45.

doc: note what version "requires" was added in

detect/requires: reset sigerror flags for each rule

"sigerror_ok" and "sigerror_requires" were not being reset after each
rule which could lead to a rule load error being incorrectly tracked
as skipped rather than failed.

Also initialize "skippedsigs" to 0 along with "goodsigs" and
"badsigs", while not directly related to this issue, could also throw
off some stats.

Ticket: #6710

detect: update smb.version keyword

Signed-off-by: jason taylor <jtfas90@gmail.com>

rust: fix rustfmt warnings for smb detect

Signed-off-by: jason taylor <jtfas90@gmail.com>

smb: add smb.keyword documentation

smb: add smb.version keyword

Ticket: #5075

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: clarify midstream exception policy

The description of behavior when midstream is enabled and exception
policy is set to ignore wasn't descriptive enough.

Fix typos.

doc: remove references to prehistoric versions

Remove references that are mentioning Suricata 3 or less
As a note - only one Suricata 4 reference found:
(suricata-yaml.rst:"In 4.1.x")
Fast pattern selection criteria can be internally found by inspecting
SupportFastPatternForSigMatchList and SigTableSetup functions.

Ticket: #6570

dpdk: add interrupt (power-saving) mode

When the packet load is low, Suricata can run in interrupt
mode. This more resembles the classic approach of processing
packets - CPU cores run low and only fetch packets
on interrupt.

Ticket: #5839

dpdk: rework hugepage hints to use per-numa information

Previous integration of hugepage analysis only fetched data
from /proc/meminfo. However this proved to be often
deceiving mainly for providing only global information and
not taking into account different hugepage sizes (e.g. 1GB
hugepages) and different NUMA nodes.

Ticket: #6419

source/erf-dag: compiler warnings

Bug: #6667.

Fix compiler warnings for function pointer parameters missing const with --enable-dag

detect: make SigMatch.is_last bool

It is used like bool so much so that nothing needs to be changed even
after changing its type.

detect: remove unneeded size in DetectEngineCtx

sig_array_size can easily be calculated with length and is only used at
one place for debugging purposes. Remove it from the DetectEngineCtx
struct to avoid making it unnecessarily heavy.

detect/alert: remove unnecessary else

htp/swf: Remove flash deprecation notice

Issue: 6605

Flash decompression will remain so the deprecation notice is not needed.

doc/pcap-log: Remove squil documentation

Issue: 6347

log/pcap: Remove sguil mode

Issue: 6347

Remove sguil-mode pcap logging capability.

conf/log: Remove sguil mode

Issue: 6347

eve/schema: allow authorities in dns.answers in alert

Factor out dns.authorities to a definition.

flow-bypass: Set bypass thread to running state

When running Suricata in XDP bypass mode (bypass: yes),

Suricata started up with error:
Error: threads: thread "FB" failed to start in time: flags 0003

"FB" thread does not transition from THV_INIT_DONE to THV_RUNNING.

Set "FB" thread THV_RUNNING state in BypassedFlowManager().

Bug: #6254

Signed-off-by: Vincent Li <vincent.mc.li@gmail.com>

rust: update test_case crate

fixes unused_unit

warning: unneeded unit expression
   --> src/bittorrent_dht/parser.rs:590:5
    |
590 | /     #[test_case(
591 | |         b"",
592 | |         "Error: discovered Dict but expected EOF" ;
593 | |         "test parse bittorrent dht packet err 1"
594 | |     )]
    | |______^

ci: run clippy on test code as well

rust: fix single_binding

error: this match could be written as a `let` statement
   --> src/nfs/nfs3_records.rs:747:9
    |
747 | /         match result {
748 | |             (r, request) => {
749 | |                 assert_eq!(r.len(), 0);
750 | |                 assert_eq!(request.handle, expected_handle);
751 | |                 assert_eq!(request.name_vec, br#"bln"#);
752 | |             }
753 | |         }
    | |_________^

rust: fix single_match

warning: you seem to be trying to use `match` for destructuring a single pattern. Consider using `if let`
   --> src/http2/parser.rs:882:17
    |
882 | /                 match ctx.value {
883 | |                     Some(_) => {
884 | |                         panic!("Unexpected value");
885 | |                     }
886 | |                     None => {}
887 | |                 }
    | |_________________^

rust: fix vec_init_then_push

warning: calls to `push` immediately after creation
    --> src/pgsql/parser.rs:1179:9
     |
1179 | /         let mut database_param: Vec<PgsqlParameter> = Vec::new();
1180 | |         database_param.push(database);
     | |______________________________________^
help: consider using the `vec![]` macro: `let database_param: Vec<PgsqlParameter> = vec![..];`

rust: fix zero_prefixed_literal

warning: this is a decimal constant
   --> src/mqtt/parser.rs:888:19
    |
888 |             0x00, 06, /* Topic Length: 6 */
    |                   ^^
    |

rust: fix assertions_on_constants for assert!(false)

using panic! instead with a string message

rust: fix assertions_on_constants for assert!(true)

Which will be optimized away by the compiler

ipfw: close(2) instead shutdown(2) of the divert(4) socket

The shutdown(2) syscall would always return ENOTCONN for FreeBSD 11,
FreeBSD 12, FreeBSD 13 and FreeBSD 14.  It could do some action on the
socket in the kernel in FreeBSD 10 and before, did not test.

detect: strip_pseudo_headers transform

Ticket: 6546

eve/http: add location header independent of status availability

eve/http: use numeric status code by default

To avoid costly string operations.

eve/email: improve logging binary data

Use jb_append_string_from_bytes() as it works better than
BytesToString+jb_append_string when logging binary data.

Bug: #6664.

flow: minor optimization

Most of the time FlowGetFlowFromHash will succeed.

detect: consolidate per rule group file loops

Don't loop multiple times over the per group sig array.

detect: remove DCERPC mask logic

Added nothing over alproto check already in place.

detect/rule-header: use bool type

Update frame prototype as well, to match already returned true/false values.

detect/rule-header: minor code cleanups

detect/address: refactor match array building

detect/address: minor cleanup

mpm/ac: pointer hygene

mpm/hs: improve pointer hygene

detect/mpm: minor cleanup

detect: shrink sgh to have all runtime members on one cache line

detect: constify flow flags in tx rule inspect

detect: minor cleanup for rule group get function

app-layer: micro optimization for AppProtoEquals

Add most common condition first.

detect/bsize: constify keyword args during size check

detect/content: limits prop comment cleanup

detect/dsize: minor code cleanup

detect: use do { } while loop for app engine loop

detect/content: fix offset for negative distance

Fix offset calculation on sigs with negative distance. Can lead to FN
in certain cases.

Bug: #6661.

detect/content-inspect: add more tests

spm/bm: minor code cleanups; constification

mpm: UNITTESTS guard for RegisterUnittests func

mpm: remove unused flags field

detect/http_server_body: modernize test

detect: implement --qa-skip-prefilter

Option meant for testing performance of rule engine w/o prefilter
optimizations.

detect/content-inspect: add negation tests

Test mixing of negation, endswith and depth.

detect/bytetest: remove unused Match function

All matching is done as part of content inspection.

detect/pcre: remove unused match member

pcre2_match_data is created per thread when needed.

detect/bytemath: fix u32 buffer size logic

Remove u16 cast. Remove debug assert for u16 size.

In 83ed2c3b97925d390c2a57fdc8eea52f7d3d2e4c the input was changed to
u32

detect/pcre: localize match limit option parsing

No need to put it into a per ctx flag.

detect/pcre: remove unused opts field

detect/pcre: put commonly used members on first cache line

detect/content-inspect: use of replace keyword is rare

Hint compiler about this.

detect/profiling: improve pcap reading performance

When reading a pcap, packet time can move much faster than wall
clock time. This would trigger many more profile syncs than before.

As the sync is using a lock to synchronize with other threads, this
is an expensive operation.

Bug: #6619.

Fixes: b591813b8690 ("profiling/rules: reduce sync logic scope")

pgsql: fix u16 overflow in query data_row

Found by oss-fuzz with quadfuzz.

Cf https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=63113

According to PostgreSQL documentation the maximum number of rows can be
the maximum of tuples that can fit onto max u32 pages - 4,294,967,295 (cf
https://www.postgresql.org/docs/current/limits.html). Some rough
calculations for that indicate that this could go over max u32, so
updating the data_row data type to u64.

Bug #6389

doc: fix byte_test examples

As this keyword has 4 mandatory arguments, and some examples
had only three...

Ticket: 6629

devguide: explain example-rule container usage

Have these options documented, so that whoever writes rule-related
documentation can easily know what they could use to make the doc look
better.

detect: case-insensitive comparison for requires

Ticket: 6656

rust: allow clippy::items_after_test_module

As clippy began to complain about jsonbuilder.rs

devguide: fix main channels list

Sphinx and RtD sometimes render lists in weird ways. The communication
channels list barely looked like one, at all...

devguide: update branches, refer to backports guide

Update the list of active branches to include 7 renaming and new master,
link to backports document.

devguide: add chapter with backports guide

Task #6568

devguide: doc from behavior changes needs ticket #

If a commit introduces code that changes Suricata behavior, the related
documentation changes should go in a separate commit, but refer to the
same ticket number.
This reduces the chances of said changes being lost if there are backports
while still keeping the backporting process a bit less bulky, for each
commit.

Related to
Task #6568

devguide: reorganize pr-workflow section

This section seemed to aim both at PR reviewers and PR authors at the
same time, even though some info is probably of low value for
contributors.

Created new section for PR reviewers and maintainers, and kept the info
for PR authors separated. Also highlighted information on requested
changes and stale PRs.

devguide: make 'contributing' a chapter

This could be justified from a semantic point of view, and also can help
in bringing more attention to where this information is, as it is less
hidden, now.

Also add Dev Guide as one of our resources in our Readme.

mqtt: Move conf code to rust

Issue: 6387

This commit moves the configuration logic to Rust.

stats: add rules skipped

Rule skipped is a count of the number of rules that are skipped due to
missing requirements.

Feature: #6637