devguide: highlight commit message example

Although we have the example for a commit message in our Code Submission
Process sub-chapter, seems that people still oversee it a lot. It was
suggested that we put it in a note-box, to make it more visible.

threads: give threads more time to get ready

In certain conditions, it can take a long time for threads to start up.
For example in af-packet, setting up the socket, rings, etc has been
observed to take close to half a second per thread, and since the
threads go one by one in a preset order, this means the start up can
take a lot of time if there are many threads. The old logic would just
allow a hard coded 60s. This was not always enough when the number of
threads was high.

This patch makes the wait time take the number of threads into account.
It adds a second of time budget to the base 60s for each thread.

So as an example, if a system has 112 af-packet threads, it would wait
172 seconds (60 + 112) for the threads to get ready.

Ticket: #7048.

threads: optimize start up check

When starting a large amount of threads, the loop was inefficient. It
would loop over the threads and if one wasn't yet ready it would sleep a
bit and then reevaluate all the threads. This reevaluation of threads
already checked was inefficient, and could lead to the time budget
running out.

This patch splits the check, and keeps track of the threads that have
already passed. This avoids the rescanning of already checked threads.

tls-store: support client logging

Adds a `client-` prefix to the logged certs and meta files.

Ticket: #7045.

tlsstore: remove stale FIXME

detect/tls.store: fix direction check

STREAM_* flags are invalid for `Flow::flags`.

Fixes: dfcb4295240f ("detect/cert: Use client side certs")

github-ci: re-add --disable-lua to commit check

This is required for some older versions in the pull request to build
as the commits change some compile time options with respect to Lua.

doc: update lua sandbox docs for allowed packages/functions

lua: track memory limit exceede errors

Update the Lua allocated to set a code on memory allocation limit
exceeded errors so an appropriate error message can be logged and a
state incremented.

Fixes the tracking of the allocated size by using the difference
between original size, and new size and toss in some debug
validations.

lua: remove sandbox lib for now

Not sure if I see a use for it, some extra debug logging might be just
as useful for those writing Lua scripts.

lua: add logging and counter for instruction limit being exceeded

lua: add blocked functions as a special log type plus stat

Distinguish between a generic Lua script error and an error created by a
function being blocked, so each is logged once respective of each other.

Also add a stat that is incremented when a script fails due to a
blocked function.

NOTE: This does not catch calls to functions that are blocked by not
having the library loaded, such as "io.open", as they are blocked by
not even loading the "io" library.

lua: use a function allow list instead of a deny list

The Lua library surface area is small enough to manage an allow list,
which is generally better than a deny list, as we'll explicitly need
to opt-in to new functions provided by the Lua runtime.

rust/Makefile: cleanup "clean" targets

Remove maintainer-clean-local, this is not needed.

In distclean-local, remove "rust/dist" and "rust/vendor" as they are
created during "make dist".

In "clean-local", remove "rust/target" and "rust/gen" as they are
created during a normal "make".

github-ci/scan-build: exclude rust (lua)

The vendored Lua code triggers some scan-build failures, so exclude
the rust/ directory for now. Might want to look at these separately
though.

github-ci: test make after clean without cbindgen

Modify the CentOS 9 Stream build to not have cbdingen available, as
its already building from the dist.  But add a "make clean" followed
by a "make" to test that it still builds after a clean.

lua: remove lua as a compile time feature

Its always built-in. However, can be disabled at runtime.

rust/lua: remove lua_int8 feature

Now that we're fixed to Lua 5.4, the integer size is always 8.

lua: use rust crate to vendor (bundle) lua

Remove lua-dev(el) from all CI tests.

lua: reset instruction counter before calling script

lua: misc cleanups in sandbox implementation

Including:
- rename guards
- SCMalloc to SCCalloc
- remove unused enum
- rename public functions to our naming standard

doc: Initial doc for lua sandbox

lua: Add config to allow sandbox bypass

lua: Add config override for lua sandbox limits

lua: Add lua sandbox for detection rules

lua: remove internal references to luajit

lua: build lua by default

Ticket: #4776

[Edits by Jason Ish]
- Add Lua in CI where needed
- Disable Lua for builds that don't have Lua 5.4

lua: Remove luajit support

lua 5.4 support is not available in luajit

Ticket: #4776

lua: require lua 5.4

github-ci: Disable lua on debian 10 as it doesn't have Lua 5.4.

Ticket: #4776

github-actions: bump scan-build to Ubuntu 24.04 / clang 18

misc: move prototypes to correct header

Move prototypes for functions that exist in util-port-interval-tree.c
from detect-engine-port.h to util-port-interval-tree.h.

Fix header guard names while there.

doc: add source verification docs

Ticket: #6908

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect/http-server-body: clean up tests

Ticket: 4083

detect: unify functions for multi-buffer

Ticket: 6575

Multi buffers keywords now use a single registration function
DetectAppLayerMultiRegister with a GetBuffer argument.

This GetBuffer function pointer is similar to the ones used by
single-buffer keyword, except that it takes an additional
parameter which is the index of the buffer to get.
Under the hood, an anonymous union between these 2 functions
pointers types is used.

In the end, this deduplicates code, especially the calls to
DetectEngineContentInspection

detect/template: make template use DetectEngineInspectBufferGeneric

ci: fix and test with Wunused-macros

Ticket: 6937

clean: remove unused struct definitions

Found with
git grep "typedef struct" src/ | awk '{print $3}' | sort |
uniq | sed 's/_$//' | while read i; do
echo -n $i; git grep $i | wc -l; done | awk '$2 < 3'

Ticket: 4083

app-layer: Set sc_errno upon error return

Bug: https://redmine.openinfosecfoundation.org/issues/6782

Callers to these allocators often use ``sc_errno`` to provide context of
the error. And in the case of the above bug, they return ``sc_errno``,
but as it has not been set ``sc_errno = 0; == SC_OK``.

This patch simply sets this variable to ensure there is context provided
upon error.

detect/http-host: clean up tests

pcap-log: use correct pkthdr size for limit enforcement

The on-disk pcap pkthdr is 16 bytes. This was calculated using
`sizeof(struct pcap_pkthdr)`, which is 24 bytes on 64 bit Linux. On
Macos, it's even worse, as a comment field grows the struct to 280
bytes.

Address this by hardcoding the value of 16.

Bug: #7037.

pcap-log: minor cleanups

pcap-log: minor cleanup

Use same pointer to one location consistently.

pcap-log: always pass 'comp' to PcapWrite

The variable is always available.

pcap-log: rename connp to comp

Matches other variable names for the compression settings.

pcap-log: don't check variable that is never set

`rotate` was never modified.

time: only consider packet threads

In offline mode, a timestamp is kept per thread, and the lowest
timestamp of the active threads is used. This was also considering the
non-packet threads, which could lead to the used timestamp being further
behind that needed. This would happen at the start of the program, as
the non-packet threads were set up the same way as the packet threads.

This patch both no longer sets up the timestamp for non-packet threads
as well as not considering non-packet threads during timestamp
retrieval.

Fixes: 6f560144c1b9 ("time: improve offline time handling")
Bug: #7034.

flow: use debug validate macro

flow: add defensive check on memuse

tcp: use bool wherever possible

flow: use bool wherever possible

flow: remove unneeded else

flow: minor loop cleanups

http: fix nul deref on memcap reached

HttpRangeOpenFileAux may return NULL in different cases, including
when memcap is reached.
But is only caller did not check it before calling HttpRangeAppendData
which would dereference the NULL value.

Ticket: 7029

eve/schema: add tls.subjectaltname fields

Feature 5234

output/json: log tls subjectaltname

Feature 5234

doc: add description about tls.subjectaltname

Feature 5234

detect/tls-subjectaltname: add sticky buffer

Add TLS SubjectAltName sticky buffer. It is implemented as multi-buffer.

Feature 5234

tls: store list of subject alternative names

So far, the SANs were available as a part of IssuerDN via x509_parser
crate but SANs were not available to the SSLState* to be directly used
to setup and match against a sticky buffer.
Expose it to SSLStateConnp.

Feature 5234

rust: rename .cargo/config to .cargo/config.toml

Addresses this warning from the Rust compiler:

warning: `../rust/.cargo/config` is deprecated in favor of `config.toml`
note: if you need to support cargo 1.38 or earlier, you can symlink `config` to `config.toml`

detect-lua: small cleanups

- remove unused headers
- cleanup/rename flags

detect/lua: don't treat a crashed script as no match

If a rule script crashed, the return value was treated as a no
match. This would make a negation of the rule match and alert.

Instead cleanup and exit early if the rule script crashed and don't
run negation logic.

A stat, detect.lua.errors has been added to count how many times a
script crashes.

Also consolidates the running of the Lua script and return value
handling to a common function.

Bug: #6940

ftp: protocol detection avoiding FP on POP3

pop3: protocol detection

Ticket: #6366

smtp: exit data mode if data command was rejected

And the server was advertising pipelining.

Ticket: 6906

detect: checks for space in http.protcol keyword

http: configures libhtp to allow spaces in uri

Ticket: #2881

decode/gre: decode arp packets

doc: add arp changes

output-json/arp: implement logger

This adds a logger for ARP, disabled by default.

Ticket #6827

output/json: check 5-tuple values prior to logging

This commit enhances the JSON output by introducing a feature for conditional port logging.
Now, port logging is dependent on the underlying protocol
(such as TCP, UDP, or SCTP), where port information is pertinent, while it
avoids unnecessary logging for protocols where a port is not utilized (e.g. ARP).

Furthermore, this update ensures that IP addresses and the protocol have
meaningful values set, rather than being logged as empty strings.

These changes will make each log entry more precise, eliminating cases where
5-tuple fields are empty or set to zero, indicating the absence of a field.

output/json: make JSONFormatAndAddMACAddr public

This change exposes 'JSONFormatAndAddMACAddr' as a public function,
allowing it to be reused across modules, such as the ARP logger, for logging
MAC addresses extracted from ARP packets.

decode/arp: implement decoder

This adds a decoder for ARP.

Ticket #6827

base64: re-add the check for destination space

Cover all the calls to DecodeBase64Block with the check for enough
space. Found by the recently introduced fuzz target.

Bug 7028

Fixes: c0bc43c39318 ("util/base64: use decoder fns per RFC")

github-actions: set bpf to icmp for af-packet

github-actions: add pcap live test script and jobs

Asan and coverage jobs.

github-actions: unix pcap coverage run

To increase code coverage.

github-actions: add unix socket runmode script and job

Runs with ASAN.

github-actions: add ASAN enabled Ubuntu 24.04 build of live tests

detect: add options to app-layer-protocol keyword

Ticket: 4921

app-layer-protocol keyword accept an optional mode to precise
which protocol we want to match: toclient, toserver, final,
or original

Revert "rust: temporary: disable debug assertions"

This reverts commit 14ab9aa763d44dda0f4c831047966b595f5630c1.

rust/probing: safety check for null input

Ticket: 7013

Done consistently for all protocols

This may change some protocols behaviors which failed early
if they found there was not enough data...

rust: return empty slice without using from_raw_parts

As this triggers rustc 1.78
unsafe precondition(s) violated: slice::from_raw_parts requires
the pointer to be aligned and non-null,
and the total size of the slice not to exceed `isize::MAX`

Ticket: 7013

tests: do not bother to free a null pointer

Ticket: #7013

github-actions: make sure unix socket is created in dpdk tests

github-actions: expand af-packet live test with more unix commands

hostbits: release use_cnt for unix (add|remove)-hostbit

Commands would leave use_cnt incremented, never decrementing them. This
would lead to a asserting triggering at shutdown.

Bug: #7020.

device: don't crash on unix command 'iface-bypassed-stat'

In the default config iface bypass support is not enabled,
and storage API not initialized for it. Using it will lead to a crash.

This commit first checks if the device storage API is initialized.

Bug: #7022.

websocket: fix opcodes values for ping/pong

And also set close

Ticket: 7025

dns: set tx id for frames

frames: rust API makes tx_id explicit

And set it right for SIP and websocket,
so that relevant tx app-layer metadata gets logged.

Ticket: 6973

detect: log relevant frames app-layer metadata

Ticket: 6973

Completes commit 2b4e10224eaebb613352e9b82556b60035d032a1

fuzz: add target for DecodeBase64

Task 6050

doc: add note about fast_pattern w base64_data

Bug 5220

base64_data: reject fast_pattern use

If a rule has fast_pattern on base64_data, it is anyway not applied, so,
consider any such rules invalid.

Bug 5220

config/ja3: Eliminate warnings when JA3 is disabled

This commit eliminates warnings when either ja3, ja4 or both are
disabled.

rust: temporary: disable debug assertions

github: update pull request template

Update the pull request template to suggest providing a link to the
SV/LIBHTP pull request as this aides in cross linking.

Also change the way to provide the link to the Redmine ticket, as it
often results in linking to our Redmine, and add a checkbox for the
creation of a ticket.

bundle.sh: accept more forms of a branch name

For GitHub, add the following branch name formats:
- https://github.com/OISF/libhtp/pull/123
- OISF/libhtp#123

doc: update normalization notes

Ticket: #6781

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add http.connection ref and fix location

Signed-off-by: jason taylor <jtfas90@gmail.com>