requirements: suricata-update 1.2.8

doc/devguide: language fix for sphinx

Newer Sphinx does not allow a language of none, set to "en" like we do
for the user guide.

output/file: http2 metdata is logged in http object

as is done for http2 events and alerts.
The http.version integer can help to determine if this is HTTP2

Ticket: #6165
(cherry picked from commit 4f4651e360edf2916a648356db2e16ef1d560f7c)

ci: fix macos build with libhtp libiconv

ci: update to macos latest

(cherry picked from commit e1e03c25c9c4289e10bbcadd0fd86ab41a3e4003)

tls: update x509 crate to v0.8

Ticket: #5439

Fixes cetificate parsing without issuer, and do not require an
update to MSRV.

smb: fix wrong data offset when wct = 12

Bug: #6008
(cherry picked from commit 000eb91078d5ca88ee93006340d7e68f97ade4bc)

doc: fix typo encryption-handling

(cherry picked from commit aeb408dd9dbf7d3f7b4af0f77c3a16fd45c56d39)

suricatasc: Don't process empty cmds

(cherry picked from commit 6b3dbaa2f257a82171e14cd9a64bc3aaac006501)

suricatasc: exit successfully on keyboardinterrupt

(cherry picked from commit 84ffe928730b283879edc1711dfbbaaed6d1dc29)

suricatasc: add line numbers in error messages

(cherry picked from commit a512338afdbec725a8182225c30867d707401a98)

suricatasc: handle exceptions in caller

(cherry picked from commit 46ce371d9c550ea840cb946b06c5614569ca98fa)

suricatasc: handle exceptions interactive mode

(cherry picked from commit b42a584f4dccd5c96a829d07b8a35185542f384c)

detect: Fix FTP bounce detection IP address comparison

Fix the FTP bounce IP address comparison by only converting the IP
parsed from the FTP payload to network order.

Bug: #6087
(cherry picked from commit 746fb50d58c5adc5668f15537469d6dda9e7ba4d)

github-ci: allow pull request URL in SV_BRANCH

Allow the SV_BRANCH variable to contain the full link to an
OISF/suricata-verify pull request. This will cause GitHub to create a
cross-link for us.

(cherry picked from commit f870dcd4cc1c72cdf5faf790a1582347ed87ab9f)

pcap-log: close pcap_dead_handle on close

Fixes leaked handle on exit.

(cherry picked from commit 8511ef5e2db4484424bc7cde058d57b8401e5005)

log-pcap: one time errors on file open

If compression was not enabled, the open error was actually suppressed
by default by only being logged at info level, however with
compression it was logged as an error. As opening is retried as long
as it fails to open, make both log as error but wrap in a flag so the
error is logged once until success.

(cherry picked from commit d2a5a55e0a99dee21a2a148647397bc02831ed78)

log-pcap: only open dumper after successful file open (lz4)

When LZ4 compression is enabled, open the dumper after successful open
of the file. The dump handle is what forms the check if opening the
file needs to be retried.

Ticket: #5022

(cherry picked from commit bf589f081287b71849658c6325fc50d209c60d20)

mime: compute full body md5

Previously, the problem was that nested headers/boundaries were not
used to compute the hash

Solution is to move up the call to the hash computation from
ProcessMimeBody to its caller ProcessMimeEntity, and add a set of
conditions to ensure that we are not in the principal headers.

Ticket: #6185
(cherry picked from commit a3168fda787d4f4eee45f5c84bcc1709f207ae0a)

smtp: avoid counting last eol in file

As it is part of the boundary

Ticket: #6023

On the way, look for urls even on incomplete lines

(cherry picked from commit 2a768dfa9520c15116c11bea1d96c6ce17b8343c)

eve/alert: warn on obsolete flags

Log a warning on obsolete flags. If the flag is to enable, do the
enable. But do not honor disable flags, as these could override the
new settings and cause hard to debug issues.

Ticket: #6175

detect/http2: warning that http2.header is removed

in Suricata 7

Ticket: #5780

dcerpc: maximum number of live transactions also for UDP

Ticket: #6129

Avoids that quadratic complexity gets too bad

(cherry picked from commit d40dca5e55286c57e9a83018975022c4f08bf6d1)

bpf: remove OpenBSD guards

libpcap bpf functions are supported now.

(cherry picked from commit 643e674cb216b3824fd5a3f4dd2d9f69847fc431)

pcap: fix reopen logic

Bug: #6081.
(cherry picked from commit ab667d4d192a8b78dc436e65dd34ddfb028312f1)

pcap: free per thread resources

Bug: #4750.
(cherry picked from commit 3049151bc2ec593b8d028a6aae675019b3bf4032)

pcap/file: minor code cleanup

(cherry picked from commit 6c1408c3c2bac7d76300a5a5f91b5c2cee5586df)

version: start development towards 6.0.14

release: 6.0.13; update changelog

doc/userguide: start on a security chapter

This is the start of a security consideration chapter, starting with
directions on how to run Suricata as a non-root user.

doc/userguide: dataset upgrade notes

config: uncomment datasets configuration

Uncomment the datasets configuration for easier editing by users.  The
values are left commented out as their defaults.

datasets: flag to disable "write" actions

Add a new configuration flag, "datasets.rules.allow-write" to control
if rules can contain "save" or "state" rules which allow write access
to the file system.

Ticket: #6123

install: create runtime data directory

On installation, make sure the data directory is created. This will
usually be /var/lib/suricata/data, but otherwise follows the
autoconf/automake instructions.

This directory is for runtime state information, which for now is
datasets but may be expanded in the future.  Suricata already expects
this directory to exist for "state" and "save" datasets, but it has
been up to the user to create it.

datasets: don't allow absolute or paths with directory traversal

For dataset filenames coming from rules, do not allow filenames that
are absolute or contain a directory traversal with "..". This prevents
datasets from escaping the define data-directory which may allow a bad
rule to overwrite any file that Suricata has permission to write to.

Add a new configuration option,
"datasets.rules.allow-absolute-filenames" to allow absolute filenames
in dataset rules. This will be a way to revert back to the pre 6.0.13
behavior where save/state rules could use any filename.

Ticket: #6118

doc/userguide: notes about Lua rules being disabled by default

lua: disable lua rules by default

To protect against possible supply chain attacks, disable Lua rules by
default. They can be enabled under the "security" section of
suricata.yaml.

Ticket: #6122

smtp: handle long lines per direction

Issue:
Currently, while handling of long lines, if the line exceeded the limit,
we'd set a variable state->discard_till_lf which will be reset in the
later stages based on the data that arrives. However, because there was
one variable per state, this meant that a later stage in the other
direction could also modify it which is incorrect.

Fix:
Use separate variables for each direction.

Bug 6053

smtp: handle following cmd if LF was found in long line

If a long line had LF post the limit, it should be considered complete
and not wait for the next line to complete it. However, currently, any
following lines were skipped which could sometimes also be important
commands for the entire transaction.

Fix this by setting a flag in case we're truncating a long line but
after having found the LF character.

Bug 5989

smtp: add function docs

smtp: handle DATA mode in middle of input parsing

Before:
If the input was such that we'd enter DATA mode in the middle, the
entire data would be passed through SMTPGetLine fn and be processed with
line limits etc in place.

After:
Since we don't want any limits to be enforced on DATA, we pass it to
SMTPPreProcessCommands fn to take care of it differently from the
commands.

Bug 5981

github-ci: check for suricata-update example configuration files

Check that the Suricata-Update example configuration files are
installed.

(cherry picked from commit 6d7923c80b4ed68b5c25ceeb9615535313cf0b71)

suricata-update: install sample configuration files

With the move to installing Suricata-Update files from Suricata
Makefile's, the sample configuration files were forgotten.

Ticket: #6132
(cherry picked from commit b8071a9eb0b1882178f7280936d6df577945232d)

decode-ipv6: Set IPv6 proto incase of ext header parsing error

Set the IPv6 packet proto before parsing the ext headers, similar to
decode-ipv4, incase of an ext header parsing error. Otherwise
rule decode-events are not triggered for packets encapsulated in IPv6.

Bug: #6086.
(cherry picked from commit 531d99f4cf3f7929ef5e972641d2f347c966b979)

detect/byte-math: Support multiplication operator

Issue: 6070

This commit adds support for the multiplication operator to byte-math.
The regex for parsing the keyword options was missing the `*` character.

dcerpc: convert transaction list to vecdeque for UDP

As was done for TCP in dfe76bb90 and d745d28d4

Ticket: #5518
(cherry picked from commit bf43011a43a6d542ab2f85aa61986340ed8254c8)

dcerpc: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5271
(cherry picked from commit dfe76bb905409bf91345e972f2ab157bda51f003)

template(rust): convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5298
(cherry picked from commit e319d31c148a349e93bed2a68787684e39364d17)

http2: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5296
(cherry picked from commit 2db84726ad3445a0b55ca145489103483f61c6b0)

rdp: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5295
(cherry picked from commit 4e0ad5e0bd4584d625ad122f0c33908abb17e7a4)

dns: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5277
(cherry picked from commit 31894147884af3e7151b4d653e5268a0b0477db8)

smb: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5753
(cherry picked from commit 1d9183638f930e8e0f22c421ee0ef9fde043106a)

http2: avoid quadratic complexity in headers

When adding an element to the dynamic headers table, the oldest
ones may get evicted. When multiple elements get evicted, they
should get evicted all at once with drain, instead of one by one
as there will be a massive move each time.

Ticket: #6103
(cherry picked from commit 635073688289aa9a4928f78cdfd1777ae21f7d40)

dns: split header and body parsing

As part of extra header validation, split out DNS body parsing to
avoid the overhead of parsing the header twice.

(cherry picked from commit d720ead470bcb5dd5a0c0ae7db302ab170205ee6)

dns: validate header on every incoming message

As UDP streams getting probed, a stream that does not appear to be DNS
at first, may have a single packet that does look close enough to DNS
to be picked up as DNS causing every subsequent packet to result in a
parser error.

To mitigate this, probe every incoming DNS message header for validity
before continuing onto the body.  If the header doesn't validate as
DNS, just ignore the packet so no parse error is registered.

(cherry picked from commit 595700ab7e9dc9d12d46cf4d6833a86840decdf9)

dns: parse and alert on invalid opcodes

Accept DNS messages with an invalid opcode that are otherwise
valid. Such DNS message will create a parser event.

This is a change of behavior, previously an invalid opcode would cause
the DNS message to not be detected or parsed as DNS.

Issue: #5444
(cherry picked from commit c98c49d4bad413dbbe4e21a48ebf37260ee5cc8e)

dns: mark test buffers with rustfmt::skip

(cherry picked from commit 39d2524bf6d57658b532c73ceb4def34ed9e2c8a)

counters: make tcp stats independent of flow, ssn

Counters depended on availability of flow and tcp session, meaning
that 2 memcaps could affect the counters.

Bug: #5017.
(cherry picked from commit 36f6e0515592812259fb327d529740a030dba98e)

stream: update no-flow checks

(cherry picked from commit 0360cb654293c333e3be70204705fa7ec328512e)

windows: add -lntdll to Windows builds

Rust 1.70 has introduced some possible issues between LLVM and gcc
causing link errors that are fixed by explicitly adding -lntdll.

Thanks to https://github.com/extendr/rextendr/pull/285 for the fix.

ftp: don't decrement truncated line len

In case LF was found for a long line way outside of the limit, we should
not need to update the delimiter len and current line len because the
line is capped at 4k and the LF was not within these 4k bytes.

ftp: separate truncated line markers

So far, we store one variable in state to hold whether we want to
discard a long line till LF irrespective of direction. This means that a
long command to the client followed by a regular command w LF can be
considered as one long line which is incorrect.

Bug 6055

windivert: fix compile warnings

(cherry picked from commit fd93f002a0999fbb0a10f620604234d4f76a51dc)

rust/doc: wrap some code examples in backticks

(cherry picked from commit 13fe957b7e81801e72b3c1b42f30aeaa19df8d87)

detect: remove flow drop unittest

Test broke after recent changes. Functionality is tested in
suricata-verify, so just remove the test.

(cherry picked from commit 8a535a0b89ee1679c5f31fe37d4c570c099cec41)

detect: add check to validate drops

(cherry picked from commit 95bf7248e85d1c3179b4102c37f8845bcbc678b0)

detect: fix stateful drops for rate_filter

(cherry picked from commit 418cc1fe947dd96a6cadb13fa1fbb5c9d5fb7ce0)

flow/timeout: no pseudo packets for dropped flows

When a flow is in the drop flow state, don't use pseudo packets
when it is timing out. There should be no work left to do at this
point.

(cherry picked from commit 2a9515471287d2b8fc5aa2e1879aabadaf5f421e)

stream: simplify drop handling

Remove logic to apply flow drop, as this is now handled in the
flow engine.

However, keep the logic that frees/cleans the session state.

(cherry picked from commit d91a1e8bc6b886bdd383f3f7105ef9b2bf3a33fe)

app-layer: don't update UDP applayer for dropped packets

(cherry picked from commit 77f49661fd78df420c4542e230def0682a886c60)

detect: update/document drop flow logic

Now that flow drop is applied to packets before other processing,
no drop has to be issued on a packet.

(cherry picked from commit 85ddba63f64e95f4c202f8ef05e8886a0cbac725)

flow: apply flow to packet on flow lookup

Issue drop to packet as early as possible.

(cherry picked from commit 71a033ac62e0b71953f1884ecba7e6461c744197)

version: start development towards 6.0.13

release: 6.0.12; update changelog

github-ci: add windivert build

(cherry picked from commit 74326a43e7cff0665c6973abad9b4accfcfb952d)

github-ci: add windows build for libpcap

(cherry picked from commit 5037c86b49707f39f95e4b5b0994cc45de02cf9a)

configure: fallback to libpcap on Windows

If npcap/wpcap is not found on Windows, try libpcap. This allows
Suricata to build without NPCap on Windows, however live capture won't
be available.

(cherry picked from commit 31ba4fd1522dd0d7f933767b9205c67a4e726fe5)

respond/reject: fix IPv6 TCP resets

Fix length and next header field settings.

Bug: #6038.
(cherry picked from commit 235ee362119b4351e2e0cc3be9bbb5cf90bd20d9)

respond/reject: minor code cleanups

(cherry picked from commit 1f0aed07755c89ddcd1cf6c808d8257ddf4efb46)

respond/reject: minor cleanups

(cherry picked from commit adf0bef7f012bd08bf614cb7c3ed7ee1b7c8e0f5)

yaml: grammar fixup

(cherry picked from commit b9aac6dd18ef66930c6ab81bf45402db2c442053)

doc: fix description of iptables rules

(cherry picked from commit a006aef4d04e5ef90d71a3f455c254b63467f4e3)

doc: add note on the hashsize recommendation for datasets

(cherry picked from commit 3045e75ee1d8196e8bcdb346bfad3b84b851d51a)

doc/install: point to userguide

(cherry picked from commit 4dbdaf8a8ecf66ce8a5e880ad179e8a4b0b313fc)

doc: remove legacy windows install guide

(cherry picked from commit 19cabc9a021293f67037b298447105615be23d41)

doc: remove legacy pfring install guide

(cherry picked from commit 01f43604b95e770333693c88b5ba2a1459a8454b)

prscript: remove as it is obsolete

(cherry picked from commit 9520aac79ca667cb102c4579e3ac29673da6491d)

doc: add docutils.conf to disable smart quotes

(cherry picked from commit aee41957e10c68c6fb4bac3edf42ae631424b22d)

smtp: return on line completion

Problem:
If we receive a long line w/o LF, we cap it to 4k bytes and wait until a
line with LF comes in order to consider the previous line complete. Any
data post the 4k bytes is discarded. Currently, if a line with LF comes
in after a long line, we reset all the parameters used for processing it
like the line.len and line.delim_len but we still make the call to
SMTPProcessRequest fn without even the need to process anything. Since
such a line (with len and delim_len set to 0) should not reach mime
decoder, a debug assertion triggers there in this case.

Fix:
Make sure to return early as the line has to be skipped and not
processed at all.

Bug 6019

(cherry picked from commit c0067a5fffeb8b014b6756a572afe437d2bb561d)

smb/ntlmssp: fix parsing of negotiate flags

Ticket: #5783
(cherry picked from commit 2c0c6cb0a54c5b1248caeb6bd8e66db74110d979)

pfring: Packet structure for ts fix

Issue: 5818

This commit addresses the issue with using the address of a packed
member of a structure. The pfring timeval is within a packed structure.

(cherry picked from commit 2d28c09ea1fe857cfada2c5a53e67af0380654f3)

add to doc/pfring: Document additional cluster types

(cherry picked from commit 0ad6d4358f11d6d856f017726651182282b95281)

gen: Typo correction

This commit fixes various typos in the pf-ring source modules.

Issue: 5975
(cherry picked from commit e26e7b4f0aa0e7b019e24e51b1dc8b2c2368a38a)

config/pf-ring: Change default cluster type: cluster_flow

This commit changes the default pf-ring cluster type to cluster-flow.
Round-robin clustering is not recommended for Suricata.

Issue: 5975
(cherry picked from commit 4f7a36ac2ee111783dbd5870a80e9d28c0ab0103)

config/pf-ring: Recognize and set add'l cluster types

This commit extends the pf-ring config parser to recognize the
additional cluster types:
- cluster_inner_flow
- cluster_inner_flow_2_tuple
- cluster_inner_flow_4_tuple
- cluster_inner_flow_5_tuple

Issue: 5975
(cherry picked from commit b21a4ded6e2a90ae8a5f4371fa9973c033275067)

pf-ring: Add add'l cluster types

This commit adds preprocessor values for additional pf-ring
cluster-types:
- CLUSTER_INNER_FLOW
- CLUSTER_INNER_FLOW_2_TUPLE
- CLUSTER_INNER_FLOW_4_TUPLE
- CLUSTER_INNER_FLOW_5_TUPLE

Issue: 5975
(cherry picked from commit 0ac3bee423ef4e3ec0381c665abbcc692c64b904)

config/pfring: Document add'l pf-ring cluster types

This commit adds additional cluster-types for use with the pf-ring
packet source.

Issue: 5975
(cherry picked from commit 62f4049705b7a5fefe00c3ab034c87d9680e7f14)

doc/pfring: Document additional cluster types

This commit adds brief discussion for additional cluster types for use
with the pf-ring packet source.

Newly added:
- cluster_inner_flow
- cluster_inner_flow_2_tuple
- cluster_inner_flow_4_tuple
- cluster_inner_flow_5_tuple

Issue: 5975
(cherry picked from commit b1918168f934e1923498cbf007a2377e78e5e252)

stream: check debug check for multi-SYN/ACK in TFO

(cherry picked from commit 89c947129dff0e197359f94c3a8d9105d11bad62)

runmodes: introduce unknown engine runmode

To prevent unset values of engine runmode,
this commit introduces unknown runmode which
can detect when engine runmode is being used
uninitialized.

Ticket: #6033