util/landlock: check return values for ConfGet

CID 1514671
CID 1514669

dcerpc: config limit maximum number of live transactions

As is done for other protocols

Ticket: #5779

rules/decoder: add udp.len_invalid rule

eve/schema: add udp.len_invalid

decode/udp: fix payload_len calculation

Fix payload_len calculation post removal of the condition that returned
error code if the length to the decode fn did not match the length of
header from the UDP packet.

Bug 5379

decode/events: add event type UDP_LEN_INVALID

decode-udp:  Allow shorter UDP packets than the remaining payload length

If the packet is shorter than IP payload length we no longer flag it as an
invalid UDP packet. UDP packet can be therefore shorter than IP payload.
Keyword "udp.hlen_invalid" became outdated as we no longer flag short UDP
packets as invalid.

Redmine ticket: #5693

http2: fix leak with range files

Ticket: #5808

May have been introduced by a24d7dc45c818054f97448ce42ca9ba270b3b8e4

Function http2_range_open expects to be called only when
tx.file_range is nil. One condition to ensure this is to check
that we are beginning the files contents. The filetracker field
file_open is not fit for this, as it may be reset to false.

log-pcap: fix inverse logic error

We shouldn't early initialize when *offline*.  Instead this accidentally
delayed initializing when if an online mode, however its likely not to
have been noticed as delaying initializing in online mode is supported
as well.

runmodes: fix memory leak

By using constant for string instead of allocating and leaking it

CID: 1520497
CID: 1520500

test: do not output non ascii character

The unit test for content |aa bz| transforms in place the string
str to replace the 2 characters aa by one character 0xaa
Then, when z is not recognized as a valid hexadeicmal character,
the whole modified string is printed out, inclusing the non-ascii
0xaa

Ticket: #5558

streaming: fix possible use after free

Don't use ptr after freeing it. Reported by Coverity Scan.

streaming: remove dead code

As reported by Coverity Scan.

flow: make next_ts unsigned

To silence a coverity warning.

time: fix various time issues

Found by Coverity Scan.

detect/ftp: use AppLayerResult API

stream: remove unused retval from fn description

userguide/config: update log format symbols list

There were some possible format options missing after the recent changes
in the log format.

tls: accept validity before 1970

modify TLS certificate decoding of validity timestamps
to support times between 1950 and 2049,
as per RFC 5280

Ticket: #3253

detect: config keyword transaction logic fix

When the keyword config:logging disable,type tx is used,
OutputTxLog checks a flag to skip the transaction without logging
it, but AppLayerParserTransactionsCleanup waits for the
transaction to be marked as logged to clean it.

So, OutputTxLog now marks the tx as logged, so that it can
get cleaned away.

Ticket: #5456

smb: set defaults for file transfer limits

Ticket: #5782.

stream/tcp: fix typos, update copyright year

Bug #5765

exceptions: ignore policy if stream.midstream=true

Set the engine to ignore the stream.midstream-policy if stream.midstream
is enabled.

If we had both stream.midstream AND stream.midstream_policy enabled,
this could lead to midstream flows being dropped (or bypassed, or...)
instead of being accepted by the engine, as it was probably meant when
the user enabled midstream flows.

Bug #5765

exceptions: add master switch config option

This allows all traffic Exception Policies to be set from one
configuration point. All exception policy options are available in IPS
mode. Bypass, pass and auto (disabled) are also available in iDS mode

Exception Policies set up individually will overwrite this setup for the
given traffic exception.

Task #5219

dns: never return error on UDP DNS

UDP parsers should never return error as it should indicate to Suricata
that an unrecoverable error has occurred.  UDP being record based for
the most part is almost always recoverable, at least for protocols like
DNS.

dns: split header and body parsing

As part of extra header validation, split out DNS body parsing to
avoid the overhead of parsing the header twice.

dns: validate header on every incoming message

As UDP streams getting probed, a stream that does not appear to be DNS
at first, may have a single packet that does look close enough to DNS
to be picked up as DNS causing every subsequent packet to result in a
parser error.

To mitigate this, probe every incoming DNS message header for validity
before continuing onto the body.  If the header doesn't validate as
DNS, just ignore the packet so no parse error is registered.

dns: parse and alert on invalid opcodes

Accept DNS messages with an invalid opcode that are otherwise
valid. Such DNS message will create a parser event.

This is a change of behavior, previously an invalid opcode would cause
the DNS message to not be detected or parsed as DNS.

Issue: #5444

github-ci: fedora non-root: suricata-verify -q

Run Suricata-Verify in quiet mode for the non-root build to more
easily find the error when fails.

dns: rustfmt

dns: mark test buffers with rustfmt::skip

log-pcap: remove early output initializing if offline

Remove early opening of output files if running in an offline mode, as
we don't yet know the timestamp to use.

Prevents the first pcap files being opened with a timestamp of 0,
bringing us back to the same behvaviour of pcap logging in 6.0.

Issue: 5374

log-pcap: fix typo in multi-mode error message

log-pcap: display mininum limit on error

On fatal error due to limit being less than the allowed minimum,
display the minimum value in bytes.

util-debug: clang-format required change

runmodes: Determine engine's copy-mode as early as possible

Configuration and behavior of HTP app layer depends on the copy
mode of Suricata engine. Copy mode was set after the app layer setup.
Decision of engine's copy mode operation is now made earlier.

Ticket: #5706

runmodes: remove misleading commment

dpdk: add support for enabling IPS support in DPDK mode

util-device: remove unused functions

runmodes: change function prototype of runmode init functions

Commit contains prototype changes of RunModeSetLiveCaptureAutoFp and
RunModeSetLiveCaptureWorkers functions to move the IPS enable logic
out of suricata.c file.

dpdk: port deprecated DPDK macros to the newer forms

dpdk: add Github action to build Suricata with all available (LTS) DPDK versions

dpdk: print debug xstats counters of all DPDK ports on shutdown

dpdk: add a check for HW checksum validation offload

Ticket: #5553

time: -Wstrict-prototypes fix

time: Rework SCTime_t into a struct

Issue: 5718

This commit changes SCTime_t to a struct with members setup as
bitfields.

time: Replace struct timeval with scalar value

Issue: 5718

This commit switches the majority of time handling to a new type --
SCTime_t -- which is a 64 bit container for time:
- 44 bits -- seconds
- 20 bits -- useconds

format/clang: Apply clang-format

Issue: 5718

frames: enable only used frames

Enable only frames that are actually used.

Ticket: #4979.

files: move FileContainer into FileTransferTracker

Update SMB, NFS, HTTP2.

detect/frame: improve frame detection

Add a per frame progress tracker.

output/frame: log frame type stream

output/frame: improve 'complete' logging

frame: add debug validation check

app-layer/frames: use absolute frame offset

Frame offset was already a 64 bit integer, so simplify things by
making it an absolute offset from the start of the stream.

frames: implement generic <alproto>.stream frames

Add a hard coded <alproto>.stream option for all stream data for
a protocol.

Starts at stream offset 0 or at the point of a protocol upgrade
in case of STARTTLS or CONNECT.

detect/frames: minor cleanup in buffer handling

Don't lookup a buffer twice, even if the lookup should be fast.

htp: simplify streaming buffer config

Use a single static config instead of the per profile config.

streaming: remove config pointer from struct

streaming: internal switch to sbcfg by argument

streaming: add sbcfg to StreamingBufferClear

streaming: add sbcfg to StreamingBufferFree

streaming: add sbcfg to StreamingBufferAppendRaw

streaming: add sbcfg to StreamingBufferAppend

streaming: add sbcfg to StreamingBufferSlideToOffset

streaming: add sbcfg to StreamingBufferInsertAt

streaming: add sbcfg to StreamingBufferAppendNoTrack

output/filedata: trunc file in output again

files: update API and callers to take stream config

This is to allow not storing the stream buffer config in each file.

output/filedata: don't call file close

Will be reenabled after file API is updated.

app-layer: get sbconfg with files

files: remove filecontainer drop trait

In preparation of it becoming impossible to use due to the free
function getting an cfg argument.

http2: explicity free files

In preparation of adding an argument to the free functions which
means the drop trait can't be used anymore.

smb: explicity free files

In preparation of adding an argument to the free functions which
means the drop trait can't be used anymore.

nfs: explicity free files

In preparation of adding an argument to the free functions which
means the drop trait can't be used anymore.

nfs: file handling cleanups

smb: file handling cleanups

files: remove unused Rust binding for file pruning

streaming: set size and max regions defaults

htp: remove duplicate prototypes

htp/body: minor optimization

flow: inline commonly used getters

streaming: remove inefficient buffer grow logic

streaming: remove unused slide logic

streaming: remove unused config member

streaming: make minimum region gap size configurable

stream/reassembly: make max-regions configurable; set default

streaming: add max regions config option

stream/list: hack around GAP handling in tests

stream: improve gap tests

eve: log max regions

stream: flow timeout improvement

Check continuous data for app-layer and post gap data as well for
stream inspection.

streaming: implement memory regions

In TCP, large gaps in the data could lead to an extremely poor utilization
of the streaming buffer memory. This was caused by the implementation using
a single continues memory allocation from the "stream offset" to the
current data. If a 100 byte segment was inserted for ISN + 20MiB, we would
allocate 20MiB, even if only 100 bytes were actually used.

This patch addresses the issue by implementing a list of memory regions.
The StreamingBuffer structure holds a static "main" region, which can be
extended in the form of a simple list of regions.

    [ main region ] [ gap ] [ aux region ]
    [ sbb ]                 [ sbb ]

On insert, find the correct region and see if the new data fits. If it
doesn't, see if we can expand the current region, or than we need to add
a new region. If expanding the current region means we overlap or get
too close to the next region, we merge them.

On sliding, we free any regions that slide out of window and consolidate
auxilary regions into main where needed.

Bug: #4580.

stream: reduce streaming buffer internals use

smb: fix post-trunc chunk behavior

After a gap in a file transaction, the file tracker is truncated. However
this did not clear any stored out of order chunks from memory or stop more
chunks to be stored, leading to accumulation of a large number of chunks.

This patches fixes this be clearing the stored chunks on trunc. It also
makes sure no more chunks are stored in the tracker after the trunc.

Bug: #5781.

fuzz: check libpcap timestamp consistency

That is microseconds should be positive

fuzz: fix use of uninitialized value

packet timestamp is not set when function returns error.
also use C positive modulo for microseconds

ftp: completely resets port_line

In the case port_line is first allocated and port_line_len is set,
Then a second request reaches memcap and frees port_line,
port_line_len should also be reset, because both will get used
by the response parsing.

Ticket: #5701

userguide: update http.cookie description

Signed-off-by: jason taylor <jtfas90@gmail.com>

flow-worker: prune frames and stream for pseudo packets as well