requirements: use suricata-update 1.3.0rc1

doc: warn IPS users on new exception policy default

exception/policy: add more info on defaults

Be more informative where a exception value came from: defaults,
master switch or an explicit setting.

stream/midstream: add bug number to policy warning

exception/policy: 'auto' sets IPS to 'drop-flow'

In IPS mode set all exception policies to drop-flow by default, both
in the default yaml and if no `exception-policy` is defined.

exception/policy: fix formatting issues

decoder: mention removal of udp.hlen_invalid sig

rules/decoder: fix sid for udp.len_invalid rule

flow: enforce flow assumption

Enforce assumption that packets in ThreadVars::decode_pq have no flow
attached to it because this is only true for packets while they are
in the FlowWorker.

flow/mgr: remove flows_timeout_inuse counter

flow: rearrange Flow struct to be more compact

flow: remove use_cnt

Packets only ever reference the flow while holding its lock. This
means than any code possibly evicting the flow will have to wait
for the existing users to complete their work. Therefore the use_cnt
serves no function anymore and can be removed.

flowworker: don't keep unnecessary flow reference

Flow stream/detect/log flush packets, don't hold on to the flow
beyond the flow worker module.

stream: remove unused pseudo packet function

github-ci: dump github context and pr body

For debugging the parsing of suricata-verify-pr.

github-ci: annotate job with s-v info

rfb: remove duplicate logging of depth

The "depth" field in the "pixel_format" object was being logged twice.

Issue: 5813

smb: fix duplicate interface logging

An array of interfaces was being logged without creating an array,
resulting in duplicate "interface" objects being logged. Instead put
these interfaces into an array like already done elsewhere.

Issue: 5814

eve: remove dcerpc.interface from schema

Looks like this was due to an error in the dcerpc logging where the
interfaces should have been logged to the "interfaces" array that was
already defined.

Issue: 5814

smb: remove duplicate tree_id logging

Remove the second occurrence of tree_id logging which appears to
always be a duplicate of the first tree_id logged, even though they
come from different data structures.

Issue: 5811

github-ci/rust: display clippy diff

rust: utility function to copy Rust strings to C strings

As there are a few places where a Rust string is copied into a provided
C string buffer, create a utility function to take care of these
details.

tls: fix date logging for dates before 1970

The Rust time crate used by the x509-parser crate represents dates
before 1970 as negative numbers which do not survive the conversion to
SCTime_t and formatting with the current time formatting functions.

Instead of fixing our formatting functions to handle such dates,
create a Rust function for logging TLS dates directly to JSON using
the time crate that handles such dates properly.

Also add a FFI function for formatting to a provided C buffer for the
legacy tls-log.

Issue: 5817

schema: add regular expression for tls date format

detect/frames: improve IPS and GAP handling

Inspect individual chunks in lossy traffic.

Don't use the frame idx as the inspection buffer idx. Engines are running
per frame, so multi inspection can be used for stream chunks instead.

Ticket: #4977.

detect/frames: handle duplicate sigs in candidates

Prefilter engines run on each stream chunk in a lossy stream, so
we can get the same sid in the list multiple times.

stream: add util to get absolute right edge of data

detect/frames: reduce scope of private function

output: move function name in non-release output

detect/tls.certs: improve buffer init logic

detect/quic: update buffer initialization logic

detect/mqtt: update buffer initialization logic

detect/krb5.sname: update buffer initialization logic

detect/krb5.cname: update buffer initialization logic

detect/ike.vendor: update buffer initialization logic

detect/http2: update buffer initialization logic

detect/file.name: update buffer initialization logic

detect/file.magic: update buffer initialization logic

detect/file.data: update buffer initialization logic

detect/http.uri: update buffer initialization logic

detect/dce.stub_data: update buffer initialization logic

detect/dns: update buffer initialization logic

detect/buffer: add initialized flag to simplify buffer logic

decode/stat: Add decode counters for unknown/arp

Issue: 5761

This commit adds statistics for ARP and unknown ethertype packets for
diagnostic purposes.

ftp: adds a config option ftp-hash for autofp-scheduler

This allows ftp-data and ftp flows to be processed by the same
thread. Otherwise, there may be a concurrency issue where the
would-be ftp-data flow is first processed, and thus not recognized
as such. And the ftp flow gets processed later and the expectation
coming from it is never found.

To do so, the flow hash gets used as usual, except for flows that
may be either ftp or ftp-data, that is either one port is 21, or
both ports are high ones.

Ticket: #5205

src: fix coverity warning about sizeof

CID: 1520601
CID: 1520602

> In this particular case sizeof (char **) happens to be equal to
sizeof (char *), but this is not a portable assumption.

config: check return value of dotted override

Fixes commit fbb0d2b0f4ccc873b74ec5db97c08cfa8a9ce251.

rust: suppress specific manual_flatten list

In this case of debug code, the explicit iterator seems to make more
sense.

rust: remove explicit lifetimes where not needed

rust: fix needless borrows of references

Fixed automatically by cargo clippy --fix.

rust: allow uninlined_format_args

Newer versions of Rust/clippy are getting picky about format strings.
We should allow and use the new style, but also not prevent the old
style.

rules/readme: document sid ranges in source tree

ftp: add events for command too long

Issue: 5235

rust/derive: allow event name to be set as attribute

When deriving AppLayerEvent, allow the event name to be set with the
"name" attribute in cases where the transformed name is not suitable.

This allows us to use enum variant names like
"FtpEventRequestCommandTooLong" for direct use in C, but is also a
name that doesn't transform well to an event name in rules, where we
want to see "request_command_too_long".

doc/userguide: document --include command line option

suricata: allow additional include files on command line

Add a new command line option, --include. This will merge additional
configuration files into the configuration specified in the main
suricata.yaml.  It can be provided multiple times and the files will be
included in the order they appear on the command line.

Ticket: 3912

yaml-loader: add test for fully qualified override

Also set the parent node for regular nodes on creation as this is
useful in unit-tests to verify the parent of a node.

config: allow fully qualified overrides

Allow configuration parameters to be overrided usually a fully
qualified name such as:

vars.address-groups.HOME_NET: "7.1.2.0/24"

In configuration files (including "include" files).  This allows the
overriding of a specific value deeply nested in the configuration
without having to redefine the complete top-layer object.

Ticket: 4783

util/landlock: check return values for ConfGet

CID 1514671
CID 1514669

dcerpc: config limit maximum number of live transactions

As is done for other protocols

Ticket: #5779

rules/decoder: add udp.len_invalid rule

eve/schema: add udp.len_invalid

decode/udp: fix payload_len calculation

Fix payload_len calculation post removal of the condition that returned
error code if the length to the decode fn did not match the length of
header from the UDP packet.

Bug 5379

decode/events: add event type UDP_LEN_INVALID

decode-udp:  Allow shorter UDP packets than the remaining payload length

If the packet is shorter than IP payload length we no longer flag it as an
invalid UDP packet. UDP packet can be therefore shorter than IP payload.
Keyword "udp.hlen_invalid" became outdated as we no longer flag short UDP
packets as invalid.

Redmine ticket: #5693

http2: fix leak with range files

Ticket: #5808

May have been introduced by a24d7dc45c818054f97448ce42ca9ba270b3b8e4

Function http2_range_open expects to be called only when
tx.file_range is nil. One condition to ensure this is to check
that we are beginning the files contents. The filetracker field
file_open is not fit for this, as it may be reset to false.

log-pcap: fix inverse logic error

We shouldn't early initialize when *offline*.  Instead this accidentally
delayed initializing when if an online mode, however its likely not to
have been noticed as delaying initializing in online mode is supported
as well.

runmodes: fix memory leak

By using constant for string instead of allocating and leaking it

CID: 1520497
CID: 1520500

test: do not output non ascii character

The unit test for content |aa bz| transforms in place the string
str to replace the 2 characters aa by one character 0xaa
Then, when z is not recognized as a valid hexadeicmal character,
the whole modified string is printed out, inclusing the non-ascii
0xaa

Ticket: #5558

streaming: fix possible use after free

Don't use ptr after freeing it. Reported by Coverity Scan.

streaming: remove dead code

As reported by Coverity Scan.

flow: make next_ts unsigned

To silence a coverity warning.

time: fix various time issues

Found by Coverity Scan.

detect/ftp: use AppLayerResult API

stream: remove unused retval from fn description

userguide/config: update log format symbols list

There were some possible format options missing after the recent changes
in the log format.

tls: accept validity before 1970

modify TLS certificate decoding of validity timestamps
to support times between 1950 and 2049,
as per RFC 5280

Ticket: #3253

detect: config keyword transaction logic fix

When the keyword config:logging disable,type tx is used,
OutputTxLog checks a flag to skip the transaction without logging
it, but AppLayerParserTransactionsCleanup waits for the
transaction to be marked as logged to clean it.

So, OutputTxLog now marks the tx as logged, so that it can
get cleaned away.

Ticket: #5456

smb: set defaults for file transfer limits

Ticket: #5782.

stream/tcp: fix typos, update copyright year

Bug #5765

exceptions: ignore policy if stream.midstream=true

Set the engine to ignore the stream.midstream-policy if stream.midstream
is enabled.

If we had both stream.midstream AND stream.midstream_policy enabled,
this could lead to midstream flows being dropped (or bypassed, or...)
instead of being accepted by the engine, as it was probably meant when
the user enabled midstream flows.

Bug #5765

exceptions: add master switch config option

This allows all traffic Exception Policies to be set from one
configuration point. All exception policy options are available in IPS
mode. Bypass, pass and auto (disabled) are also available in iDS mode

Exception Policies set up individually will overwrite this setup for the
given traffic exception.

Task #5219

dns: never return error on UDP DNS

UDP parsers should never return error as it should indicate to Suricata
that an unrecoverable error has occurred.  UDP being record based for
the most part is almost always recoverable, at least for protocols like
DNS.

dns: split header and body parsing

As part of extra header validation, split out DNS body parsing to
avoid the overhead of parsing the header twice.

dns: validate header on every incoming message

As UDP streams getting probed, a stream that does not appear to be DNS
at first, may have a single packet that does look close enough to DNS
to be picked up as DNS causing every subsequent packet to result in a
parser error.

To mitigate this, probe every incoming DNS message header for validity
before continuing onto the body.  If the header doesn't validate as
DNS, just ignore the packet so no parse error is registered.

dns: parse and alert on invalid opcodes

Accept DNS messages with an invalid opcode that are otherwise
valid. Such DNS message will create a parser event.

This is a change of behavior, previously an invalid opcode would cause
the DNS message to not be detected or parsed as DNS.

Issue: #5444

github-ci: fedora non-root: suricata-verify -q

Run Suricata-Verify in quiet mode for the non-root build to more
easily find the error when fails.

dns: rustfmt

dns: mark test buffers with rustfmt::skip

log-pcap: remove early output initializing if offline

Remove early opening of output files if running in an offline mode, as
we don't yet know the timestamp to use.

Prevents the first pcap files being opened with a timestamp of 0,
bringing us back to the same behvaviour of pcap logging in 6.0.

Issue: 5374

log-pcap: fix typo in multi-mode error message

log-pcap: display mininum limit on error

On fatal error due to limit being less than the allowed minimum,
display the minimum value in bytes.

util-debug: clang-format required change

runmodes: Determine engine's copy-mode as early as possible

Configuration and behavior of HTP app layer depends on the copy
mode of Suricata engine. Copy mode was set after the app layer setup.
Decision of engine's copy mode operation is now made earlier.

Ticket: #5706

runmodes: remove misleading commment

dpdk: add support for enabling IPS support in DPDK mode

util-device: remove unused functions

runmodes: change function prototype of runmode init functions

Commit contains prototype changes of RunModeSetLiveCaptureAutoFp and
RunModeSetLiveCaptureWorkers functions to move the IPS enable logic
out of suricata.c file.

dpdk: port deprecated DPDK macros to the newer forms

dpdk: add Github action to build Suricata with all available (LTS) DPDK versions