detect: update smb.version keyword

Signed-off-by: jason taylor <jtfas90@gmail.com>

rust: fix rustfmt warnings for smb detect

Signed-off-by: jason taylor <jtfas90@gmail.com>

smb: add smb.keyword documentation

smb: add smb.version keyword

Ticket: #5075

Signed-off-by: jason taylor <jtfas90@gmail.com>

userguide: clarify midstream exception policy

The description of behavior when midstream is enabled and exception
policy is set to ignore wasn't descriptive enough.

Fix typos.

doc: remove references to prehistoric versions

Remove references that are mentioning Suricata 3 or less
As a note - only one Suricata 4 reference found:
(suricata-yaml.rst:"In 4.1.x")
Fast pattern selection criteria can be internally found by inspecting
SupportFastPatternForSigMatchList and SigTableSetup functions.

Ticket: #6570

dpdk: add interrupt (power-saving) mode

When the packet load is low, Suricata can run in interrupt
mode. This more resembles the classic approach of processing
packets - CPU cores run low and only fetch packets
on interrupt.

Ticket: #5839

dpdk: rework hugepage hints to use per-numa information

Previous integration of hugepage analysis only fetched data
from /proc/meminfo. However this proved to be often
deceiving mainly for providing only global information and
not taking into account different hugepage sizes (e.g. 1GB
hugepages) and different NUMA nodes.

Ticket: #6419

source/erf-dag: compiler warnings

Bug: #6667.

Fix compiler warnings for function pointer parameters missing const with --enable-dag

detect: make SigMatch.is_last bool

It is used like bool so much so that nothing needs to be changed even
after changing its type.

detect: remove unneeded size in DetectEngineCtx

sig_array_size can easily be calculated with length and is only used at
one place for debugging purposes. Remove it from the DetectEngineCtx
struct to avoid making it unnecessarily heavy.

detect/alert: remove unnecessary else

htp/swf: Remove flash deprecation notice

Issue: 6605

Flash decompression will remain so the deprecation notice is not needed.

doc/pcap-log: Remove squil documentation

Issue: 6347

log/pcap: Remove sguil mode

Issue: 6347

Remove sguil-mode pcap logging capability.

conf/log: Remove sguil mode

Issue: 6347

eve/schema: allow authorities in dns.answers in alert

Factor out dns.authorities to a definition.

flow-bypass: Set bypass thread to running state

When running Suricata in XDP bypass mode (bypass: yes),

Suricata started up with error:
Error: threads: thread "FB" failed to start in time: flags 0003

"FB" thread does not transition from THV_INIT_DONE to THV_RUNNING.

Set "FB" thread THV_RUNNING state in BypassedFlowManager().

Bug: #6254

Signed-off-by: Vincent Li <vincent.mc.li@gmail.com>

rust: update test_case crate

fixes unused_unit

warning: unneeded unit expression
   --> src/bittorrent_dht/parser.rs:590:5
    |
590 | /     #[test_case(
591 | |         b"",
592 | |         "Error: discovered Dict but expected EOF" ;
593 | |         "test parse bittorrent dht packet err 1"
594 | |     )]
    | |______^

ci: run clippy on test code as well

rust: fix single_binding

error: this match could be written as a `let` statement
   --> src/nfs/nfs3_records.rs:747:9
    |
747 | /         match result {
748 | |             (r, request) => {
749 | |                 assert_eq!(r.len(), 0);
750 | |                 assert_eq!(request.handle, expected_handle);
751 | |                 assert_eq!(request.name_vec, br#"bln"#);
752 | |             }
753 | |         }
    | |_________^

rust: fix single_match

warning: you seem to be trying to use `match` for destructuring a single pattern. Consider using `if let`
   --> src/http2/parser.rs:882:17
    |
882 | /                 match ctx.value {
883 | |                     Some(_) => {
884 | |                         panic!("Unexpected value");
885 | |                     }
886 | |                     None => {}
887 | |                 }
    | |_________________^

rust: fix vec_init_then_push

warning: calls to `push` immediately after creation
    --> src/pgsql/parser.rs:1179:9
     |
1179 | /         let mut database_param: Vec<PgsqlParameter> = Vec::new();
1180 | |         database_param.push(database);
     | |______________________________________^
help: consider using the `vec![]` macro: `let database_param: Vec<PgsqlParameter> = vec![..];`

rust: fix zero_prefixed_literal

warning: this is a decimal constant
   --> src/mqtt/parser.rs:888:19
    |
888 |             0x00, 06, /* Topic Length: 6 */
    |                   ^^
    |

rust: fix assertions_on_constants for assert!(false)

using panic! instead with a string message

rust: fix assertions_on_constants for assert!(true)

Which will be optimized away by the compiler

ipfw: close(2) instead shutdown(2) of the divert(4) socket

The shutdown(2) syscall would always return ENOTCONN for FreeBSD 11,
FreeBSD 12, FreeBSD 13 and FreeBSD 14.  It could do some action on the
socket in the kernel in FreeBSD 10 and before, did not test.

detect: strip_pseudo_headers transform

Ticket: 6546

eve/http: add location header independent of status availability

eve/http: use numeric status code by default

To avoid costly string operations.

eve/email: improve logging binary data

Use jb_append_string_from_bytes() as it works better than
BytesToString+jb_append_string when logging binary data.

Bug: #6664.

flow: minor optimization

Most of the time FlowGetFlowFromHash will succeed.

detect: consolidate per rule group file loops

Don't loop multiple times over the per group sig array.

detect: remove DCERPC mask logic

Added nothing over alproto check already in place.

detect/rule-header: use bool type

Update frame prototype as well, to match already returned true/false values.

detect/rule-header: minor code cleanups

detect/address: refactor match array building

detect/address: minor cleanup

mpm/ac: pointer hygene

mpm/hs: improve pointer hygene

detect/mpm: minor cleanup

detect: shrink sgh to have all runtime members on one cache line

detect: constify flow flags in tx rule inspect

detect: minor cleanup for rule group get function

app-layer: micro optimization for AppProtoEquals

Add most common condition first.

detect/bsize: constify keyword args during size check

detect/content: limits prop comment cleanup

detect/dsize: minor code cleanup

detect: use do { } while loop for app engine loop

detect/content: fix offset for negative distance

Fix offset calculation on sigs with negative distance. Can lead to FN
in certain cases.

Bug: #6661.

detect/content-inspect: add more tests

spm/bm: minor code cleanups; constification

mpm: UNITTESTS guard for RegisterUnittests func

mpm: remove unused flags field

detect/http_server_body: modernize test

detect: implement --qa-skip-prefilter

Option meant for testing performance of rule engine w/o prefilter
optimizations.

detect/content-inspect: add negation tests

Test mixing of negation, endswith and depth.

detect/bytetest: remove unused Match function

All matching is done as part of content inspection.

detect/pcre: remove unused match member

pcre2_match_data is created per thread when needed.

detect/bytemath: fix u32 buffer size logic

Remove u16 cast. Remove debug assert for u16 size.

In 83ed2c3b97925d390c2a57fdc8eea52f7d3d2e4c the input was changed to
u32

detect/pcre: localize match limit option parsing

No need to put it into a per ctx flag.

detect/pcre: remove unused opts field

detect/pcre: put commonly used members on first cache line

detect/content-inspect: use of replace keyword is rare

Hint compiler about this.

detect/profiling: improve pcap reading performance

When reading a pcap, packet time can move much faster than wall
clock time. This would trigger many more profile syncs than before.

As the sync is using a lock to synchronize with other threads, this
is an expensive operation.

Bug: #6619.

Fixes: b591813b8690 ("profiling/rules: reduce sync logic scope")

pgsql: fix u16 overflow in query data_row

Found by oss-fuzz with quadfuzz.

Cf https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=63113

According to PostgreSQL documentation the maximum number of rows can be
the maximum of tuples that can fit onto max u32 pages - 4,294,967,295 (cf
https://www.postgresql.org/docs/current/limits.html). Some rough
calculations for that indicate that this could go over max u32, so
updating the data_row data type to u64.

Bug #6389

doc: fix byte_test examples

As this keyword has 4 mandatory arguments, and some examples
had only three...

Ticket: 6629

devguide: explain example-rule container usage

Have these options documented, so that whoever writes rule-related
documentation can easily know what they could use to make the doc look
better.

detect: case-insensitive comparison for requires

Ticket: 6656

rust: allow clippy::items_after_test_module

As clippy began to complain about jsonbuilder.rs

devguide: fix main channels list

Sphinx and RtD sometimes render lists in weird ways. The communication
channels list barely looked like one, at all...

devguide: update branches, refer to backports guide

Update the list of active branches to include 7 renaming and new master,
link to backports document.

devguide: add chapter with backports guide

Task #6568

devguide: doc from behavior changes needs ticket #

If a commit introduces code that changes Suricata behavior, the related
documentation changes should go in a separate commit, but refer to the
same ticket number.
This reduces the chances of said changes being lost if there are backports
while still keeping the backporting process a bit less bulky, for each
commit.

Related to
Task #6568

devguide: reorganize pr-workflow section

This section seemed to aim both at PR reviewers and PR authors at the
same time, even though some info is probably of low value for
contributors.

Created new section for PR reviewers and maintainers, and kept the info
for PR authors separated. Also highlighted information on requested
changes and stale PRs.

devguide: make 'contributing' a chapter

This could be justified from a semantic point of view, and also can help
in bringing more attention to where this information is, as it is less
hidden, now.

Also add Dev Guide as one of our resources in our Readme.

mqtt: Move conf code to rust

Issue: 6387

This commit moves the configuration logic to Rust.

stats: add rules skipped

Rule skipped is a count of the number of rules that are skipped due to
missing requirements.

Feature: #6637

rust.h: don't include util-file.h, not needed

detect-parse: parse sid in pre-scan

During the pre-scan for "requires", also parse the SID if possible. If
the rule fails high level parsing (syntax), the SID will not be
parsed.

But every keyword other than "sid" and "requires" should expect to be
provided with a parsed sid.

requires: pre-scan rule for requires expressions

Add a "pre-scan" rule parse that will check for requires statement. It
will return a special error code (-4) if the requires fails due to
missing requirements.

Syntactic errors will also abort parsing here.

Feature: #5972

requires: add requires keyword

Add a new rule keyword "requires" that allows a rule to require specific
Suricata versions and/or Suricata features to be enabled.

Example:

  requires: feature geoip, version >= 7.0.0, version < 8;
  requires: version >= 7.0.3 < 8
  requires: version >= 7.0.3 < 8 | >= 8.0.3

Feature: #5972

Co-authored-by: Philippe Antoine <pantoine@oisf.net>

feature: provide a Rust binding to the feature API

As the feature module is not available for Rust unit tests, a mock
version is also provided.

pgsql: remove unused msg field

The `ConsolidatedDataRow` struct had a `length` field that wasn't truly
used.

Related to
Bug #6389

stats: incr app-proto flow counter for detection-only

Ticket: 6633

schema: adds missing modbus field

./stats/app_layer/error/modbus

stats: always use tcp/udp prefix

Even when on detection-only mode.
So that we always have enip_tcp and enip_udp in stats
and never just `enip`.

Ticket: 6304

schema: apply clang formatting changes

userguide/eve: explain pgsql requests & responses

Add a more visible explanation of that requests, responses, frontend and
and backend are, in Pgsql context, to avoid having to repeat that over
different portions of the docs.

pgsql: add cancel request message

A CanceldRequest can occur after any query request, and is sent over a
new connection, leading to a new flow. It won't take any reply, but, if
processed by the backend, will lead to an ErrorResponse.

Task #6577

doc/eve-format: break pgsql section to char limit

pgsql: extract length validation into function

This is called so many times that it seems to make sense that we use a
function for this.

detect/byte: remove unneeded SIG_FLAG_APPLAYER sets

Flag will be set during list(s) setup if needed.

detect/byte_extract: modernize tests

detect/bytemath: bump length to uint32_t

This puts the logic in line with the other payload inspection
functions.

detect/bytejump: test cleanup

Just one used during debugging.

detect/bytejump: don't reuse content flag

To avoid future problems with overlapping flag values, give bytejump
its own DETECT_BYTEJUMP_OFFSET_VAR flag.

The values are currently not overlapping, so this patch should have
no side effects.

detect/analyzer: print int keyword values correctly

To avoid negative values to be misrepresented.

Bug: #6615.

jsonbuilder: add set_int for signed ints

Bug: #6615

eve/stream: add sb main region size; segment count

Gives more detail about memory use.