exceptions: error out when invalid policy is used

Before, if an invalid value was passed as exception policy, Suricata
would log a warning and set the exception policy to "ignore". This is a
very different result, than, say, dropping or bypassing a midstream flow.

Task #5504

detect: transforms check for 0-sized buffer

So as to avoid undefined behavior with a 0-sized variable length
array

Ticket: #5521

rust/smb: log uuid of interface in dcerpc

When doing a DCERPC request, we can use the context id to log the
interface that is used. Doing that we can see in one single event
what is the DCERPC interface and opnum that are used. This allows
to have all the information needed to resolve the request to a
function call.

Feature #5413.

rust/smb/dcerpc: parse context id

As context id is used to know to which variant of the endpoint the
request is done, it is interesting to parse it.

Feature #5413.

fuzz: disable enip detection based on source port

So as to avoid fuzzing detecting protocol polyglots with enip

fuzz: remove check about max transactions

Suricata can indeed pipeline many HTTP1 transactions

profiling: fix implicit-int-float-conversion warnings

packetpool: ifdef debug check

decode: remove unused macros, replace w/ functions

With the recent changes, these macros weren't being used anymore.

Related to
Bug #5458

stream/tcp: remove repeated header declaration

StreamTcpRegisterTests was being declared twice.

detect/alert: add unittests to check packet action

Add unittests to check that packet flags are correctly updated after
detection finds drop or reject rules that match.

Related to
Bug #5458

decode: validate if dropped packet has drop reason

Related to
Bug #5458

detect/alert: ensure reject action is applied

Bug 5458 states that the reject action is no longer working. While SV
tests that use the reject action still pass, it indeed seems that a
regression has happened with commit aa93984, because while the
function that applies rule actions to the flow (RuleActionToFlow) does
check for the reject action, the newly added function PacketApply
SignatureActions only checks for ACTION_DROP or ACTION_PASS when
deciding to call RuleActionToFlow.

Bug #5458

decode: make PacketDrop use action as parameter

A Packet may be dropped due to several different reasons. This change
adds action as a parameter, so we can update the packet action when we
drop it, instead of setting it to drop.

Related to
Bug #5458

luajit: fix unittests build

When building with the following options:

 ./configure CC=clang --enable-luajit --enable-geoip --enable-unittests

There is a build failure:

runmode-unittests.c:234:9: error: implicit declaration of function 'LuajitSetupStatesPool' is invalid in C99 [-Werror,-Wimplicit-function-declaration]
    if (LuajitSetupStatesPool() != 0) {

userguide: update dsize documentation/examples

Signed-off-by: jason taylor <jtfas90@gmail.com>

github-actions: bump actions/cache from 3.0.7 to 3.0.8

Bumps [actions/cache](https://github.com/actions/cache) from 3.0.7 to 3.0.8.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/a7c34adf76222e77931dedbf4a45b2e4648ced19...fd5de65bc895cf536527842281bea11763fefd77)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

protocol-change: sets event in case of failure

Protocol change can fail if one protocol change is already
occuring.

Ticket: #5509

smb: do not use tree id to match create request and response

As an SMB2 async response does not have a tree id, even if
the request has it.

Per spec, MessageId should be enough to identifiy a message request
and response uniquely across all messages that are sent on the same
SMB2 Protocol transport connection.
So, the tree id is redundant anyways.

Ticket: #5508

github: update Rust versions

github: bump ubuntu-18.04 runners to 22.04

dhcp: adds leasetime keyword

As it is logged

Ticket: #5435

app-layer: don't wrap around on port 65535

A port value of 65535 caused the port value to wrap-around to 0
resulting in an infinite loop.

Fixes: 53fc70a9a73c ("protodetect: fix int warnings")

github-actions: bump actions/cache from 3.0.6 to 3.0.7

Bumps [actions/cache](https://github.com/actions/cache) from 3.0.6 to 3.0.7.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/v3.0.6...a7c34adf76222e77931dedbf4a45b2e4648ced19)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

rust: set MSRV to 1.58.1

Ticket: #4163.

detect/parse: test sig parsing for more actions

Our unittests were only covering sig parsing for alert actions. As in
environments without LibNet the reject action will not work, we must
ensure that our parser properly fails in such cases, instead of silently
accepting an unsupported action.

Added tests for the reject and drop action.

Task #5496

doc/conf: fix sphinx language setting

sphinx-build 5.1.1 and above throws a warning which is treated as an
error while building.

Invalid configuration value found: 'language = None'. Update your configuration to a valid language code. Falling back to 'en' (English).

http2: remove to_vec for comparisons

Ticket: #5454

http2: fix clippy warning about &Vec<u8>

Using &[u8] instead in function prototype

eve/schema: add smtp url bool fields

smtp/mime: fix url extraction when no config is set

eve/email: log existing url type

MIME parsing was setting flag on URL to indicate their
estimated type. This patch attach the information to
the email object so the user can extract interesting
email directly:

```
  "email": {
    "status": "PARSE_DONE",
    "from": "Eric Leblond <regit@regit.org>",
    "to": [
      "eric@regit.org"
    ],
    "has_ipv6_url": false,
    "has_ipv4_url": false,
    "has_exe_url": true,
    "url": [
      "http://www.toto.com",
      "http://perdu.com.",
      "https://hacke.me/pown.exe"
    ]
  }
```

util/mime: add some extensions to exe list

doc: Document SCByteVarGet lua function

Add documentation for accessing results from byte_extract and byte_math
in lua match functions

Issue: 2871

lua: Expose byte extract to lua match scripts

Allow lua match scripts to access variables defined in rule by
byte_extract or byte_math

Issue: 2871

ike: log ikev1 tx fields instead of state ones

As state fields can grow abitrarily, and this can lead to DOS
by quadratic complexity (CPU time and disk space)

Adds a direction field to retain all the information in the
transaction.

Also checks array vendor_ids had at least one element before
logging it.

Ticket: #5455

ike: rustfmt

github-ci: add AlmaLinux 9 build

github-ci: test execution of suricatasc and suricata-update

python: install without distutils

Instead of using distutils/setuptools for installing the Python code,
just install it into our own Python directory.

Distutils is being removed from Python, and setuptools doesn't work well
when trying to install into your own location. For our usage its just
simpler to install with make.

In addition to removing the configure check for distutils, also remove
the check for pyyaml. This lets the user install pyyaml after Suricata
is installed, and Suricata-Update does handle this case gracefully.

Issue: #5313

detect/tls: fix descriptions

Most keywords were presented as content modifiers when they
were in fact sticky buffers.

netmap: fix includes

github-actions: bump actions/cache from 3.0.5 to 3.0.6

Bumps [actions/cache](https://github.com/actions/cache) from 3.0.5 to 3.0.6.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/0865c47f36e68161719c5b124609996bb5c40129...f4278025ab0f432ce369118909e46deec636f50c)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

bundle.sh: comment line fixup

Accept lines that start with a hash, but not immediately followed by a
space as a comment as well.

detect/krb: no more wrapper around DetectEngineInspectGenericList

krb: detection for ticket encryption

As is done for logging.

Ticket: #5442

krb: log for ticket encryption

Also logs if the ticket encryption is weak.
It is different from the encryption used for the rest of the
packet, and this allows to detect kerberoasting attack.

Ticket: #5442

krb: rustfmt kerberos.rs

krb: bump up crate version

kerberos parser crate is also used by other procotols : nfs and
smb. These protocols use an older der_parser crate version.
Upgrading der_parser will simplify the code further.

krb: rustfmt detect.rs

flow: minor compiler warnings

flow-util.c: In function 'FlowEndCountersRegister':
flow-util.c:294:34: warning: 'name' may be used uninitialized in this function [-Wmaybe-uninitialized]
  294 |         fec->flow_tcp_state[i] = StatsRegisterCounter(name, t);
      |                                  ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~

stream/rules: add example rule for reassembly depth

Issue: 3512

stream/event: Trigger stream reassembly event

Issue: 3512

This commit triggers the stream reassembly depth reached event.

general: Typo fixup

stream/event: New reassembly depth event

Issue: 3512

This commit adds a stream event triggered when the stream assembly depth
is reached.

ci: update to macos latest

github-ci: enable nfqueue on fedora 36 build

rust/frames: cleanups

- Implement the Display trait on Direction to print "toserver" or
  "toclient" which used in a format string.

- Use Direction struct inside Frame instead of a u32.  Requires a helper
  method as there are two representation in C for direction, and the C
  methods for frames don't use the internal representation of the
  Direction enum (some sweeping changes could help here)

rust/frames: derive direction from StreamSlice

On the Rust side, a Frame requires a StreamSlice to be created. We can
derive the direction from the StreamSlice removing the need for callers
to provide the direction when operating on the frame.

dns/tests: fix StreamSlice to satisfy debug validation

quic: update to nom7

quic: reassemble crypto frames and parse it

ci: have one github workflow with MSRV

quic: complete schema.json

adding ja3 and extension fields

quic: events and rules on them

quic: parse gquic version Q039

Ticket: #5166

quic: ja3 computation and logging and detection

Logging as is done in TLS.

Detection using the generic generic ja3.string keyword

Ticket: #5143

quic: complete parsing of initial for non gquic

The format of initial packet for quic ietf, ie quic v1,
is described in rfc 9000, section 17.2.2

Parse more frames and logs interesting extensions from crypto frame

Do not try to parse encrypted data, ie after we have seen
a crypto frame in each direction.

Use sni from crypto frame with tls for detection already implemented

Ticket: #4967

quic: rustfmt

rust: bump up digest crates

so that we can use hkdf crate for quic

rdp: bump up tls-parser crate version

so that we can use new functions in quic parser

detect/engine: fix typos in assorted files

commandline: add alert-queue expand failure option

For testing purposes. Meant to simulate a reallocation failure when
dynamically growing the alert queue in DetectEngineThreadCtx, so we can
check that Suri's behavior doesn't break under such circumstances.

Task #5319

nflog: fix missing util-time include; cleanups

nflog: update copyright years

classification/config: Propagate validation errors

Issue: #4554

This commit modifies the workflow to propagate classification parsing
errors when in test mode.

When not in test mode, errors continue to be displayed but they do not
halt Suricata execution.

classification/config: Raise error on validation errors

This commit adds logic which raises an error if parse errors occur while
loading classification.config

Issue: 4554

userguide/rules/meta: minor formatting adjustments

userguide/rules: explain sid uniqueness within gid

While Suri will throw an error if two signatures have the same `sid`
and no `gid`, or same `sid` and same `gid`, it will just accept same
`sid` for different `gid`s.

Related to

Task #5441

detect: remove wrappers around DetectEngineInspectGenericList

stream: fix StreamTcpSegmentForSession missing segments

Bugfix, segment traversal was being initialized at root node, but
should have been started at the min node. Bug resulted in captures
missing segments left of root node.

doc: update priority wording userguide meta

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update to 80 char formatting userguide meta

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: metadata information update userguide meta

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update priority information userguide meta

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update reference section in userguide meta

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update userguide meta classtype information

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update rev and gid userguide meta wording

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add clarity around userguide meta information

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add sid reserved range reference

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add clarity to rule msg tips

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update example rule list

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add clarity to role wording

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: meta keyword doc example rule update

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add bsize keyword examples

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect/file: minor cleanups

detect/file: reduce scope of keyword data structures

detect/file: update copyright years

detect/cip: cleanup includes

quic: do not log empty cyu array

Ticket: #5167