stream: process ASYNC in packet dir

There will generally not be an opposing direction to handle
the app update.

detect/frames: inspect frames only in correct direction

Inspect frames in the correct direction after they have been created.

app-layer: flag flow for next packet in other dir

Add new flags to trigger FLOW_TS_APP_UPDATED/FLOW_TC_APP_UPDATED flags
to be set for the next packet in the relevant direction.

This allows for app relevant work to be done in the next packet in our
direction.

detect/frames: avoid IPS rescanning

Make sure to only scan the data when the app layer has been updated
as well.

Ticket: #6718.

app-layer/frames: add by type getter

AppLayerFrameGetLastOpenByType: Returns the most recent frame with a type
with unknown length (-1).

Check if type is globally enabled first.

frames: add FrameGetLastOpenByType

Getter for the most recent frame with unknown length (-1).

frames: fix bounds check

stream: minor code clarification

'dir' was too generic, so indicate it's about the app-layer update direction.

app-layer: minor code clarification

'dir' was too generic, so indicate it's about the app-layer update direction.

dns: adds missing NS field in json schema

dns: remove unneeded mut in logger

smtp: use rust for mime parsing

Ticket: #3487

http: use rust for mime parsing

Ticket: #3487

http: multipart unused code removal

eve/schema: complete and reorder smtp fields

received and cc were missing

mime: improved token parsing

Accepts escaped quote in escaped string

github-action: remove end of life CentOS 8 stream

defrag: remove trackers on lookup

When looking up a tracker, remove any timed out / completed trackers.

defrag: add defrag.memuse counter

Gives a current snapshot of the memory in use by the defrag engine.

defrag: timeout check on look up; tag for removal

defrag: add various counters

defrag: remove tracker on frag pool issues

If a frag wasn't inserted due to pool empty or alloc failure, clear and

invalidate the tracker.

defrag: add defrag.mgr.tracker_timeout counter

Updated by flow manager.

defrag: update exception policy counter: ptr can't be NULL

defrag: fix test passing NULL pointers

defrag: turn queue into stack

Only used by the spare tracker logic, which works better as a stack.

defrag: minor cleanups; dead code removal

defrag: turn hash row into single linked list

defrag: timeout/reuse start of list

defrag: simplify lookup/create loops

Turn into a simpler do { } while loop like in the flow code.

eve/schema: reformat

github-actions: bump codecov/codecov-action from 4.1.1 to 4.4.1

Bumps [codecov/codecov-action](https://github.com/codecov/codecov-action) from 4.1.1 to 4.4.1.
- [Release notes](https://github.com/codecov/codecov-action/releases)
- [Changelog](https://github.com/codecov/codecov-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/codecov/codecov-action/compare/v4.1.1...125fc84a9a348dbcf27191600683ec096ec9021c)

---
updated-dependencies:
- dependency-name: codecov/codecov-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump ossf/scorecard-action from 2.3.1 to 2.3.3

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.3.1 to 2.3.3.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/0864cf19026789058feabb7e87baa5f140aac736...dc50aa9510b46c811795eb24b2f1ba02a914e534)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump github/codeql-action from 3.25.3 to 3.25.7

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.25.3 to 3.25.7.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Commits](https://github.com/github/codeql-action/compare/v3.25.3...v3.25.7)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

output/streaming: suppress noisy start up message

output/lua: handle registration error

Use error message instead of info message.

eve: revert ethernet addresses when needed

EVE logging has a direction parameter that can cause the logging
of an application layer to be done in a direction that is not linked
to the packet. As a result the source IP addres could be assigned the
MAC address of the destination IP and reverse.

This patch addresses this by propagating the direction to the ethernet
logging function and using it there to define the correct mapping.

Issue #6405

util/radix-tree: fix potential dereference of nullptr

Fix potential dereferece of nullptr in case of
unsuccessful allocation of memory leak for tree nodes

Bug: #7049

lua: use quoted include style to avoid system includes

Use quoted include style for Lua includes ("lua.h" instead of <lua.h>)
as this could result in system includes being picked up instead of the
includes from our vendor directory.

style: remove some useless return

and remove empty line before end of function

src: remove some unused parameters

devguide: highlight commit message example

Although we have the example for a commit message in our Code Submission
Process sub-chapter, seems that people still oversee it a lot. It was
suggested that we put it in a note-box, to make it more visible.

threads: give threads more time to get ready

In certain conditions, it can take a long time for threads to start up.
For example in af-packet, setting up the socket, rings, etc has been
observed to take close to half a second per thread, and since the
threads go one by one in a preset order, this means the start up can
take a lot of time if there are many threads. The old logic would just
allow a hard coded 60s. This was not always enough when the number of
threads was high.

This patch makes the wait time take the number of threads into account.
It adds a second of time budget to the base 60s for each thread.

So as an example, if a system has 112 af-packet threads, it would wait
172 seconds (60 + 112) for the threads to get ready.

Ticket: #7048.

threads: optimize start up check

When starting a large amount of threads, the loop was inefficient. It
would loop over the threads and if one wasn't yet ready it would sleep a
bit and then reevaluate all the threads. This reevaluation of threads
already checked was inefficient, and could lead to the time budget
running out.

This patch splits the check, and keeps track of the threads that have
already passed. This avoids the rescanning of already checked threads.

tls-store: support client logging

Adds a `client-` prefix to the logged certs and meta files.

Ticket: #7045.

tlsstore: remove stale FIXME

detect/tls.store: fix direction check

STREAM_* flags are invalid for `Flow::flags`.

Fixes: dfcb4295240f ("detect/cert: Use client side certs")

github-ci: re-add --disable-lua to commit check

This is required for some older versions in the pull request to build
as the commits change some compile time options with respect to Lua.

doc: update lua sandbox docs for allowed packages/functions

lua: track memory limit exceede errors

Update the Lua allocated to set a code on memory allocation limit
exceeded errors so an appropriate error message can be logged and a
state incremented.

Fixes the tracking of the allocated size by using the difference
between original size, and new size and toss in some debug
validations.

lua: remove sandbox lib for now

Not sure if I see a use for it, some extra debug logging might be just
as useful for those writing Lua scripts.

lua: add logging and counter for instruction limit being exceeded

lua: add blocked functions as a special log type plus stat

Distinguish between a generic Lua script error and an error created by a
function being blocked, so each is logged once respective of each other.

Also add a stat that is incremented when a script fails due to a
blocked function.

NOTE: This does not catch calls to functions that are blocked by not
having the library loaded, such as "io.open", as they are blocked by
not even loading the "io" library.

lua: use a function allow list instead of a deny list

The Lua library surface area is small enough to manage an allow list,
which is generally better than a deny list, as we'll explicitly need
to opt-in to new functions provided by the Lua runtime.

rust/Makefile: cleanup "clean" targets

Remove maintainer-clean-local, this is not needed.

In distclean-local, remove "rust/dist" and "rust/vendor" as they are
created during "make dist".

In "clean-local", remove "rust/target" and "rust/gen" as they are
created during a normal "make".

github-ci/scan-build: exclude rust (lua)

The vendored Lua code triggers some scan-build failures, so exclude
the rust/ directory for now. Might want to look at these separately
though.

github-ci: test make after clean without cbindgen

Modify the CentOS 9 Stream build to not have cbdingen available, as
its already building from the dist.  But add a "make clean" followed
by a "make" to test that it still builds after a clean.

lua: remove lua as a compile time feature

Its always built-in. However, can be disabled at runtime.

rust/lua: remove lua_int8 feature

Now that we're fixed to Lua 5.4, the integer size is always 8.

lua: use rust crate to vendor (bundle) lua

Remove lua-dev(el) from all CI tests.

lua: reset instruction counter before calling script

lua: misc cleanups in sandbox implementation

Including:
- rename guards
- SCMalloc to SCCalloc
- remove unused enum
- rename public functions to our naming standard

doc: Initial doc for lua sandbox

lua: Add config to allow sandbox bypass

lua: Add config override for lua sandbox limits

lua: Add lua sandbox for detection rules

lua: remove internal references to luajit

lua: build lua by default

Ticket: #4776

[Edits by Jason Ish]
- Add Lua in CI where needed
- Disable Lua for builds that don't have Lua 5.4

lua: Remove luajit support

lua 5.4 support is not available in luajit

Ticket: #4776

lua: require lua 5.4

github-ci: Disable lua on debian 10 as it doesn't have Lua 5.4.

Ticket: #4776

github-actions: bump scan-build to Ubuntu 24.04 / clang 18

misc: move prototypes to correct header

Move prototypes for functions that exist in util-port-interval-tree.c
from detect-engine-port.h to util-port-interval-tree.h.

Fix header guard names while there.

doc: add source verification docs

Ticket: #6908

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect/http-server-body: clean up tests

Ticket: 4083

detect: unify functions for multi-buffer

Ticket: 6575

Multi buffers keywords now use a single registration function
DetectAppLayerMultiRegister with a GetBuffer argument.

This GetBuffer function pointer is similar to the ones used by
single-buffer keyword, except that it takes an additional
parameter which is the index of the buffer to get.
Under the hood, an anonymous union between these 2 functions
pointers types is used.

In the end, this deduplicates code, especially the calls to
DetectEngineContentInspection

detect/template: make template use DetectEngineInspectBufferGeneric

ci: fix and test with Wunused-macros

Ticket: 6937

clean: remove unused struct definitions

Found with
git grep "typedef struct" src/ | awk '{print $3}' | sort |
uniq | sed 's/_$//' | while read i; do
echo -n $i; git grep $i | wc -l; done | awk '$2 < 3'

Ticket: 4083

app-layer: Set sc_errno upon error return

Bug: https://redmine.openinfosecfoundation.org/issues/6782

Callers to these allocators often use ``sc_errno`` to provide context of
the error. And in the case of the above bug, they return ``sc_errno``,
but as it has not been set ``sc_errno = 0; == SC_OK``.

This patch simply sets this variable to ensure there is context provided
upon error.

detect/http-host: clean up tests

pcap-log: use correct pkthdr size for limit enforcement

The on-disk pcap pkthdr is 16 bytes. This was calculated using
`sizeof(struct pcap_pkthdr)`, which is 24 bytes on 64 bit Linux. On
Macos, it's even worse, as a comment field grows the struct to 280
bytes.

Address this by hardcoding the value of 16.

Bug: #7037.

pcap-log: minor cleanups

pcap-log: minor cleanup

Use same pointer to one location consistently.

pcap-log: always pass 'comp' to PcapWrite

The variable is always available.

pcap-log: rename connp to comp

Matches other variable names for the compression settings.

pcap-log: don't check variable that is never set

`rotate` was never modified.

time: only consider packet threads

In offline mode, a timestamp is kept per thread, and the lowest
timestamp of the active threads is used. This was also considering the
non-packet threads, which could lead to the used timestamp being further
behind that needed. This would happen at the start of the program, as
the non-packet threads were set up the same way as the packet threads.

This patch both no longer sets up the timestamp for non-packet threads
as well as not considering non-packet threads during timestamp
retrieval.

Fixes: 6f560144c1b9 ("time: improve offline time handling")
Bug: #7034.

flow: use debug validate macro

flow: add defensive check on memuse

tcp: use bool wherever possible

flow: use bool wherever possible

flow: remove unneeded else

flow: minor loop cleanups

http: fix nul deref on memcap reached

HttpRangeOpenFileAux may return NULL in different cases, including
when memcap is reached.
But is only caller did not check it before calling HttpRangeAppendData
which would dereference the NULL value.

Ticket: 7029

eve/schema: add tls.subjectaltname fields

Feature 5234

output/json: log tls subjectaltname

Feature 5234

doc: add description about tls.subjectaltname

Feature 5234

detect/tls-subjectaltname: add sticky buffer

Add TLS SubjectAltName sticky buffer. It is implemented as multi-buffer.

Feature 5234

tls: store list of subject alternative names

So far, the SANs were available as a part of IssuerDN via x509_parser
crate but SANs were not available to the SSLState* to be directly used
to setup and match against a sticky buffer.
Expose it to SSLStateConnp.

Feature 5234

rust: rename .cargo/config to .cargo/config.toml

Addresses this warning from the Rust compiler:

warning: `../rust/.cargo/config` is deprecated in favor of `config.toml`
note: if you need to support cargo 1.38 or earlier, you can symlink `config` to `config.toml`