sip: use right slice to take line from

We iterate over input, but we are now at start.
Avois quadratic complexity turning to OOM.

Ticket: 7093

rust/ike: prefix never read field names with _

New warning from rustc.

The other option is to allow dead code, however this is more explicit,
and when they are read, its obvious they should be renamed.

rust: simply matches with unwrap_or_default

New default clippy warning:
https://rust-lang.github.io/rust-clippy/master/index.html#manual_unwrap_or_default

rust: fix clippy lint for legacy_numeric_constants

https://rust-lang.github.io/rust-clippy/master/index.html#legacy_numeric_constants

cargo: use default-features instead of default_features

"default_features" is being deprecated in Rust 2024.

detect/enip: move keywords to rust

Ticket: 4863

detect/websocket: move keywords to rust

Ticket: 4863

detect/dhcp: move keywords to rust

Ticket: 4863

detect/snmp: move keywords to rust

Ticket: 4863

On the way, convert unit test DetectSNMPCommunityTest to a SV test.

And also, make snmp.pdu_type use a generic uint32 for detection,
allowing operators, instead of just equality.

detect: helper to have pure rust keywords

detect: make number of keywords dynamic

Ticket: 4683

enip: remove unnecessary unsafe

As the function SCEnipRegisterParsers is already marked as unsafe

profiling: check packet flag first

This fixes the state handling and simplify the logic.

profiling: add option to active rules profiling at start

When replaying a pcap file, it is not possible to get rules
profiling because it has to be activated from the unix socket.
This patch adds a new option to be able to activate profiling
collection at start so a pcap run can get rules profiling
information.

doc: port user install and build instruction from master-6.0.x

Ticket: #6686

github-ci: add minimal build for Ubuntu and AlmaLinux

github-ci: remove gosu from installed packages

doc: update eBPF compilation instructions

Ticket: #6599

doc/userguide: document iprep isset/isnotset

doc/userguide: add more operators to iprep

detect/iprep: update function naming

Bring in line with new Rust code naming for FFI functions.

detect/iprep: implement isset and isnotset

Implement special "isset" and "isnotset" modes.

"isset" matches if an IP address is part of an iprep category with any
value.

It is internally implemented as ">=,0", which should always be true if
there is a value to evaluate, as valid reputation values are 0-127.

"isnotset" matches if an IP address is not part of an iprep category.

Internally it is implemented outside the uint support.

Ticket: #6857.

reputation: minor cleanup

No need to init ptrs to NULL after SCCalloc.

detect/iprep: update keyword parser for extendibility

misc: prefix functions with SC not Sc

detect/noalert: point noalert/alert to new doc

doc/userguide: add noalert/alert keyword docs

doc/userguide: give pcre1 to pcre2 proper heading

detect: implement 'alert' keyword as a companion to 'noalert'

This can be used to implement alert then pass logic.

Add support for alert-then-pass to alert handling routines.

Ticket: #5466.

detect: set ACTION_ALERT for rules that should alert

Replaces default "alert" logic and removed SIG_FLAG_NOALERT.

Instead, "noalert" unsets ACTION_ALERT. Same for flowbits:noalert and
friends.

In signature ordering rules w/o action are sorted as if they have 'alert',
which is the same behavior as before, but now implemented explicitly.

Ticket: #5466.

detect/alert: minor loop cleanup

detect/noalert: minor cleanup

websocket: add data frame

Ticket: 7051

userguide/upgrade: add note about alerts' increase

With triggering stream reassembly early, since for certain types of
rules there may be more alerts triggered - even in IPS mode, make this
clear in the upgrading section.

Bug #7026

dns: allow triggering raw stream reassembly

For TCP streams, app proto stream reassembly can start earlier, instead
of waiting and queueing up data before doing so.

Task #7018
Related to
Bug #7004

enip: convert to rust

Ticket: 3958

- transactions are now bidirectional
- there is a logger
- gap support is improved with probing for resync
- frames support
- app-layer events
- enip_command keyword accepts now string enumeration as values.
- add enip.status keyword
- add keywords :
    enip.product_name, enip.protocol_version, enip.revision,
    enip.identity_status, enip.state, enip.serial, enip.product_code,
    enip.device_type, enip.vendor_id, enip.capabilities,
    enip.cip_attribute, enip.cip_class, enip.cip_instance,
    enip.cip_status, enip.cip_extendedstatus

files: remove the need for state in callbacks

As files now belong to transactions

app-layer: remove unused parameters

smtp/mime: look for urls in base64 message

Ticket: 5185

Previously, it was looked for message in plain text, and base64
encoding was only handled for attachments.

This commit also fixes the buffering got such base64 data streamed
into urls finding, by buffering a beginning non-empty line,
and by ensuring that we run extraction on the last line,
even if it had no EOL.

dpdk: simplify and fix build

fuzz: build with dependencies on rust and c lib

So that there is no need to remove the final binary, to recompile
it if there has been changes in the code.

ci: fix and test with Wunused-macros

Ticket: 6937

Completes ce9bfba76a785e6a02cbbe796a23be6c4e5bc553

eve/stats: add description for flow mgr & recycler

Ticket 6434

doc/userguide: fix rule container typo

Fixes: 8781e9352a6c ("doc/userguide: add documentation for SMTP frames")

pgsql: trigger raw stream reassembly

Expose the raw stream earlier to the detection engine, as Pgsql can have
multiple messages per transaction and usually will have a message
complete within one TCP packet.

Bug #7000

Related to
Bug #7026

pgsql/logger: open json object from logger function

Before, the JsonBuilder object for the pgsql event was being created
from the C-side function that actually called the Rust logger.

This resulted that if another module - such as the Json Alert called the
PGSQL logger, we wouldn't have the `pgsql` key present in the log output
- only its inner fields.

Bug #6983

doc/userguide: add documentation for SMTP frames

smtp/frames: initial frame support

Adds the following frames:

  command_line
  data
  response_line

The *_line frames are per line, so in multi-line responses each line
will have it's own frame.

Ticket: #4905.

flow-worker: debug output about updates

stream: process ASYNC in packet dir

There will generally not be an opposing direction to handle
the app update.

detect/frames: inspect frames only in correct direction

Inspect frames in the correct direction after they have been created.

app-layer: flag flow for next packet in other dir

Add new flags to trigger FLOW_TS_APP_UPDATED/FLOW_TC_APP_UPDATED flags
to be set for the next packet in the relevant direction.

This allows for app relevant work to be done in the next packet in our
direction.

detect/frames: avoid IPS rescanning

Make sure to only scan the data when the app layer has been updated
as well.

Ticket: #6718.

app-layer/frames: add by type getter

AppLayerFrameGetLastOpenByType: Returns the most recent frame with a type
with unknown length (-1).

Check if type is globally enabled first.

frames: add FrameGetLastOpenByType

Getter for the most recent frame with unknown length (-1).

frames: fix bounds check

stream: minor code clarification

'dir' was too generic, so indicate it's about the app-layer update direction.

app-layer: minor code clarification

'dir' was too generic, so indicate it's about the app-layer update direction.

dns: adds missing NS field in json schema

dns: remove unneeded mut in logger

smtp: use rust for mime parsing

Ticket: #3487

http: use rust for mime parsing

Ticket: #3487

http: multipart unused code removal

eve/schema: complete and reorder smtp fields

received and cc were missing

mime: improved token parsing

Accepts escaped quote in escaped string

github-action: remove end of life CentOS 8 stream

defrag: remove trackers on lookup

When looking up a tracker, remove any timed out / completed trackers.

defrag: add defrag.memuse counter

Gives a current snapshot of the memory in use by the defrag engine.

defrag: timeout check on look up; tag for removal

defrag: add various counters

defrag: remove tracker on frag pool issues

If a frag wasn't inserted due to pool empty or alloc failure, clear and

invalidate the tracker.

defrag: add defrag.mgr.tracker_timeout counter

Updated by flow manager.

defrag: update exception policy counter: ptr can't be NULL

defrag: fix test passing NULL pointers

defrag: turn queue into stack

Only used by the spare tracker logic, which works better as a stack.

defrag: minor cleanups; dead code removal

defrag: turn hash row into single linked list

defrag: timeout/reuse start of list

defrag: simplify lookup/create loops

Turn into a simpler do { } while loop like in the flow code.

eve/schema: reformat

github-actions: bump codecov/codecov-action from 4.1.1 to 4.4.1

Bumps [codecov/codecov-action](https://github.com/codecov/codecov-action) from 4.1.1 to 4.4.1.
- [Release notes](https://github.com/codecov/codecov-action/releases)
- [Changelog](https://github.com/codecov/codecov-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/codecov/codecov-action/compare/v4.1.1...125fc84a9a348dbcf27191600683ec096ec9021c)

---
updated-dependencies:
- dependency-name: codecov/codecov-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump ossf/scorecard-action from 2.3.1 to 2.3.3

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.3.1 to 2.3.3.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/0864cf19026789058feabb7e87baa5f140aac736...dc50aa9510b46c811795eb24b2f1ba02a914e534)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump github/codeql-action from 3.25.3 to 3.25.7

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.25.3 to 3.25.7.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Commits](https://github.com/github/codeql-action/compare/v3.25.3...v3.25.7)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

output/streaming: suppress noisy start up message

output/lua: handle registration error

Use error message instead of info message.

eve: revert ethernet addresses when needed

EVE logging has a direction parameter that can cause the logging
of an application layer to be done in a direction that is not linked
to the packet. As a result the source IP addres could be assigned the
MAC address of the destination IP and reverse.

This patch addresses this by propagating the direction to the ethernet
logging function and using it there to define the correct mapping.

Issue #6405

util/radix-tree: fix potential dereference of nullptr

Fix potential dereferece of nullptr in case of
unsuccessful allocation of memory leak for tree nodes

Bug: #7049

lua: use quoted include style to avoid system includes

Use quoted include style for Lua includes ("lua.h" instead of <lua.h>)
as this could result in system includes being picked up instead of the
includes from our vendor directory.

style: remove some useless return

and remove empty line before end of function

src: remove some unused parameters

devguide: highlight commit message example

Although we have the example for a commit message in our Code Submission
Process sub-chapter, seems that people still oversee it a lot. It was
suggested that we put it in a note-box, to make it more visible.

threads: give threads more time to get ready

In certain conditions, it can take a long time for threads to start up.
For example in af-packet, setting up the socket, rings, etc has been
observed to take close to half a second per thread, and since the
threads go one by one in a preset order, this means the start up can
take a lot of time if there are many threads. The old logic would just
allow a hard coded 60s. This was not always enough when the number of
threads was high.

This patch makes the wait time take the number of threads into account.
It adds a second of time budget to the base 60s for each thread.

So as an example, if a system has 112 af-packet threads, it would wait
172 seconds (60 + 112) for the threads to get ready.

Ticket: #7048.

threads: optimize start up check

When starting a large amount of threads, the loop was inefficient. It
would loop over the threads and if one wasn't yet ready it would sleep a
bit and then reevaluate all the threads. This reevaluation of threads
already checked was inefficient, and could lead to the time budget
running out.

This patch splits the check, and keeps track of the threads that have
already passed. This avoids the rescanning of already checked threads.

tls-store: support client logging

Adds a `client-` prefix to the logged certs and meta files.

Ticket: #7045.

tlsstore: remove stale FIXME

detect/tls.store: fix direction check

STREAM_* flags are invalid for `Flow::flags`.

Fixes: dfcb4295240f ("detect/cert: Use client side certs")

github-ci: re-add --disable-lua to commit check

This is required for some older versions in the pull request to build
as the commits change some compile time options with respect to Lua.

doc: update lua sandbox docs for allowed packages/functions

lua: track memory limit exceede errors

Update the Lua allocated to set a code on memory allocation limit
exceeded errors so an appropriate error message can be logged and a
state incremented.

Fixes the tracking of the allocated size by using the difference
between original size, and new size and toss in some debug
validations.

lua: remove sandbox lib for now

Not sure if I see a use for it, some extra debug logging might be just
as useful for those writing Lua scripts.

lua: add logging and counter for instruction limit being exceeded