decode-ipv6: Set IPv6 proto incase of ext header parsing error

Set the IPv6 packet proto before parsing the ext headers, similar to
decode-ipv4, incase of an ext header parsing error. Otherwise
rule decode-events are not triggered for packets encapsulated in IPv6.

Bug: #6086.
(cherry picked from commit 531d99f4cf3f7929ef5e972641d2f347c966b979)

detect/byte-math: Support multiplication operator

Issue: 6070

This commit adds support for the multiplication operator to byte-math.
The regex for parsing the keyword options was missing the `*` character.

dcerpc: convert transaction list to vecdeque for UDP

As was done for TCP in dfe76bb90 and d745d28d4

Ticket: #5518
(cherry picked from commit bf43011a43a6d542ab2f85aa61986340ed8254c8)

dcerpc: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5271
(cherry picked from commit dfe76bb905409bf91345e972f2ab157bda51f003)

template(rust): convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5298
(cherry picked from commit e319d31c148a349e93bed2a68787684e39364d17)

http2: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5296
(cherry picked from commit 2db84726ad3445a0b55ca145489103483f61c6b0)

rdp: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5295
(cherry picked from commit 4e0ad5e0bd4584d625ad122f0c33908abb17e7a4)

dns: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5277
(cherry picked from commit 31894147884af3e7151b4d653e5268a0b0477db8)

smb: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5753
(cherry picked from commit 1d9183638f930e8e0f22c421ee0ef9fde043106a)

http2: avoid quadratic complexity in headers

When adding an element to the dynamic headers table, the oldest
ones may get evicted. When multiple elements get evicted, they
should get evicted all at once with drain, instead of one by one
as there will be a massive move each time.

Ticket: #6103
(cherry picked from commit 635073688289aa9a4928f78cdfd1777ae21f7d40)

dns: split header and body parsing

As part of extra header validation, split out DNS body parsing to
avoid the overhead of parsing the header twice.

(cherry picked from commit d720ead470bcb5dd5a0c0ae7db302ab170205ee6)

dns: validate header on every incoming message

As UDP streams getting probed, a stream that does not appear to be DNS
at first, may have a single packet that does look close enough to DNS
to be picked up as DNS causing every subsequent packet to result in a
parser error.

To mitigate this, probe every incoming DNS message header for validity
before continuing onto the body.  If the header doesn't validate as
DNS, just ignore the packet so no parse error is registered.

(cherry picked from commit 595700ab7e9dc9d12d46cf4d6833a86840decdf9)

dns: parse and alert on invalid opcodes

Accept DNS messages with an invalid opcode that are otherwise
valid. Such DNS message will create a parser event.

This is a change of behavior, previously an invalid opcode would cause
the DNS message to not be detected or parsed as DNS.

Issue: #5444
(cherry picked from commit c98c49d4bad413dbbe4e21a48ebf37260ee5cc8e)

dns: mark test buffers with rustfmt::skip

(cherry picked from commit 39d2524bf6d57658b532c73ceb4def34ed9e2c8a)

counters: make tcp stats independent of flow, ssn

Counters depended on availability of flow and tcp session, meaning
that 2 memcaps could affect the counters.

Bug: #5017.
(cherry picked from commit 36f6e0515592812259fb327d529740a030dba98e)

stream: update no-flow checks

(cherry picked from commit 0360cb654293c333e3be70204705fa7ec328512e)

windows: add -lntdll to Windows builds

Rust 1.70 has introduced some possible issues between LLVM and gcc
causing link errors that are fixed by explicitly adding -lntdll.

Thanks to https://github.com/extendr/rextendr/pull/285 for the fix.

ftp: don't decrement truncated line len

In case LF was found for a long line way outside of the limit, we should
not need to update the delimiter len and current line len because the
line is capped at 4k and the LF was not within these 4k bytes.

ftp: separate truncated line markers

So far, we store one variable in state to hold whether we want to
discard a long line till LF irrespective of direction. This means that a
long command to the client followed by a regular command w LF can be
considered as one long line which is incorrect.

Bug 6055

windivert: fix compile warnings

(cherry picked from commit fd93f002a0999fbb0a10f620604234d4f76a51dc)

rust/doc: wrap some code examples in backticks

(cherry picked from commit 13fe957b7e81801e72b3c1b42f30aeaa19df8d87)

detect: remove flow drop unittest

Test broke after recent changes. Functionality is tested in
suricata-verify, so just remove the test.

(cherry picked from commit 8a535a0b89ee1679c5f31fe37d4c570c099cec41)

detect: add check to validate drops

(cherry picked from commit 95bf7248e85d1c3179b4102c37f8845bcbc678b0)

detect: fix stateful drops for rate_filter

(cherry picked from commit 418cc1fe947dd96a6cadb13fa1fbb5c9d5fb7ce0)

flow/timeout: no pseudo packets for dropped flows

When a flow is in the drop flow state, don't use pseudo packets
when it is timing out. There should be no work left to do at this
point.

(cherry picked from commit 2a9515471287d2b8fc5aa2e1879aabadaf5f421e)

stream: simplify drop handling

Remove logic to apply flow drop, as this is now handled in the
flow engine.

However, keep the logic that frees/cleans the session state.

(cherry picked from commit d91a1e8bc6b886bdd383f3f7105ef9b2bf3a33fe)

app-layer: don't update UDP applayer for dropped packets

(cherry picked from commit 77f49661fd78df420c4542e230def0682a886c60)

detect: update/document drop flow logic

Now that flow drop is applied to packets before other processing,
no drop has to be issued on a packet.

(cherry picked from commit 85ddba63f64e95f4c202f8ef05e8886a0cbac725)

flow: apply flow to packet on flow lookup

Issue drop to packet as early as possible.

(cherry picked from commit 71a033ac62e0b71953f1884ecba7e6461c744197)

version: start development towards 6.0.13

release: 6.0.12; update changelog

github-ci: add windivert build

(cherry picked from commit 74326a43e7cff0665c6973abad9b4accfcfb952d)

github-ci: add windows build for libpcap

(cherry picked from commit 5037c86b49707f39f95e4b5b0994cc45de02cf9a)

configure: fallback to libpcap on Windows

If npcap/wpcap is not found on Windows, try libpcap. This allows
Suricata to build without NPCap on Windows, however live capture won't
be available.

(cherry picked from commit 31ba4fd1522dd0d7f933767b9205c67a4e726fe5)

respond/reject: fix IPv6 TCP resets

Fix length and next header field settings.

Bug: #6038.
(cherry picked from commit 235ee362119b4351e2e0cc3be9bbb5cf90bd20d9)

respond/reject: minor code cleanups

(cherry picked from commit 1f0aed07755c89ddcd1cf6c808d8257ddf4efb46)

respond/reject: minor cleanups

(cherry picked from commit adf0bef7f012bd08bf614cb7c3ed7ee1b7c8e0f5)

yaml: grammar fixup

(cherry picked from commit b9aac6dd18ef66930c6ab81bf45402db2c442053)

doc: fix description of iptables rules

(cherry picked from commit a006aef4d04e5ef90d71a3f455c254b63467f4e3)

doc: add note on the hashsize recommendation for datasets

(cherry picked from commit 3045e75ee1d8196e8bcdb346bfad3b84b851d51a)

doc/install: point to userguide

(cherry picked from commit 4dbdaf8a8ecf66ce8a5e880ad179e8a4b0b313fc)

doc: remove legacy windows install guide

(cherry picked from commit 19cabc9a021293f67037b298447105615be23d41)

doc: remove legacy pfring install guide

(cherry picked from commit 01f43604b95e770333693c88b5ba2a1459a8454b)

prscript: remove as it is obsolete

(cherry picked from commit 9520aac79ca667cb102c4579e3ac29673da6491d)

doc: add docutils.conf to disable smart quotes

(cherry picked from commit aee41957e10c68c6fb4bac3edf42ae631424b22d)

smtp: return on line completion

Problem:
If we receive a long line w/o LF, we cap it to 4k bytes and wait until a
line with LF comes in order to consider the previous line complete. Any
data post the 4k bytes is discarded. Currently, if a line with LF comes
in after a long line, we reset all the parameters used for processing it
like the line.len and line.delim_len but we still make the call to
SMTPProcessRequest fn without even the need to process anything. Since
such a line (with len and delim_len set to 0) should not reach mime
decoder, a debug assertion triggers there in this case.

Fix:
Make sure to return early as the line has to be skipped and not
processed at all.

Bug 6019

(cherry picked from commit c0067a5fffeb8b014b6756a572afe437d2bb561d)

smb/ntlmssp: fix parsing of negotiate flags

Ticket: #5783
(cherry picked from commit 2c0c6cb0a54c5b1248caeb6bd8e66db74110d979)

pfring: Packet structure for ts fix

Issue: 5818

This commit addresses the issue with using the address of a packed
member of a structure. The pfring timeval is within a packed structure.

(cherry picked from commit 2d28c09ea1fe857cfada2c5a53e67af0380654f3)

add to doc/pfring: Document additional cluster types

(cherry picked from commit 0ad6d4358f11d6d856f017726651182282b95281)

gen: Typo correction

This commit fixes various typos in the pf-ring source modules.

Issue: 5975
(cherry picked from commit e26e7b4f0aa0e7b019e24e51b1dc8b2c2368a38a)

config/pf-ring: Change default cluster type: cluster_flow

This commit changes the default pf-ring cluster type to cluster-flow.
Round-robin clustering is not recommended for Suricata.

Issue: 5975
(cherry picked from commit 4f7a36ac2ee111783dbd5870a80e9d28c0ab0103)

config/pf-ring: Recognize and set add'l cluster types

This commit extends the pf-ring config parser to recognize the
additional cluster types:
- cluster_inner_flow
- cluster_inner_flow_2_tuple
- cluster_inner_flow_4_tuple
- cluster_inner_flow_5_tuple

Issue: 5975
(cherry picked from commit b21a4ded6e2a90ae8a5f4371fa9973c033275067)

pf-ring: Add add'l cluster types

This commit adds preprocessor values for additional pf-ring
cluster-types:
- CLUSTER_INNER_FLOW
- CLUSTER_INNER_FLOW_2_TUPLE
- CLUSTER_INNER_FLOW_4_TUPLE
- CLUSTER_INNER_FLOW_5_TUPLE

Issue: 5975
(cherry picked from commit 0ac3bee423ef4e3ec0381c665abbcc692c64b904)

config/pfring: Document add'l pf-ring cluster types

This commit adds additional cluster-types for use with the pf-ring
packet source.

Issue: 5975
(cherry picked from commit 62f4049705b7a5fefe00c3ab034c87d9680e7f14)

doc/pfring: Document additional cluster types

This commit adds brief discussion for additional cluster types for use
with the pf-ring packet source.

Newly added:
- cluster_inner_flow
- cluster_inner_flow_2_tuple
- cluster_inner_flow_4_tuple
- cluster_inner_flow_5_tuple

Issue: 5975
(cherry picked from commit b1918168f934e1923498cbf007a2377e78e5e252)

stream: check debug check for multi-SYN/ACK in TFO

(cherry picked from commit 89c947129dff0e197359f94c3a8d9105d11bad62)

runmodes: introduce unknown engine runmode

To prevent unset values of engine runmode,
this commit introduces unknown runmode which
can detect when engine runmode is being used
uninitialized.

Ticket: #6033

runmodes: earlier evaluation of IPS mode

Move evaluation of engine runmode to an earlier
phase so that dependend modules rely on properly
configured engine runmode.

Ticket: #5958

bpf: refactor the BPF code and postpone querying of the engine mode

BPF codebase queried engine mode earlier than it was determined from
the configuration file/command line. As a result it used the default (IDS)
mode where it could've been configured later on to the IPS mode.
This could lead into an undefined behavior as some Suricata modules behave
according to the engine mode.

PF-Ring, Netmap and AF-Packet all shared almost identical code for
determining the engine mode. It was put into one common function.
Omitted the usage of SCStrdup function in PF-Ring module as it is
uppercased during thread initialization phase.

Ticket: #5958

detect: fix setting of flag for rule reload

As part of 6d8b50b748844e9de6010cde5a6b139148c0e937, the settings of
THV_CAPTURE_INJECT_PKT ended up in a location unreachable by capture
methods that did not have PktAcqBreakLoop.

Instead, always call TmThreadsCaptureBreakLoop which handles the logic
for how the read loop should be broken.

This fixes the case where read threads won't "break" for rule reloads
until packets are seen.

Ticket: #6021
(cherry picked from commit 1c6644ef4eda43e7b14447b18409e8b35f59344d)

flow: make exc policy work w/ simulated flowmemcap

Exception policy wouldn't be applied if we were in the context of a
simulated flow memcap hit.

Bug #5998

(cherry picked from commit 1665f71a68e4c0ecf01b37d47c293aa8be48af07)

rust: update nom to 5.1.3

Update nom to 5.1.3 which fixes some future breaking changes in the Rust
compiler.

See https://github.com/rust-bakery/nom/pull/1657 for more info.

src: fix extern max_pending_packets type

detect: fix possible leak found by coverity

Conditions to create the leak are likely not reachable,
but this is still a bad pattern.

(cherry picked from commit e8060990d17960dd97b6c81c813a6204d4d2bd46)

streaming: improve error handling

util-streaming-buffer.c:205:5: warning: Potential leak of memory pointed to by 'sbb2' [unix.Malloc]
    BUG_ON(sbb2->offset < sbb->len);
    ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
./suricata-common.h:290:27: note: expanded from macro 'BUG_ON'
        #define BUG_ON(x) assert(!(x))
                          ^~~~~~~~~~~~
/usr/include/assert.h:99:28: note: expanded from macro 'assert'
     ? __ASSERT_VOID_CAST (0)                                           \
                           ^
1 warning generated.

github: add scan-build workflow

Add scan-build workflow that fails on any warning.

Exclude libhtp as there is still one open issue there.

(cherry picked from commit efeaa6e2c7f17307534fd852ad5776e04f62fdc1)

detect: improve prepare mpms routine

Based on hash table work in:
e624328deb25 ("detect: split mpm per alproto for file.data & others")

Instead of using a large stack array use a hash table for the intermediate
steps of the mpm build.

streaming/sbb: propegate allocation errors

(cherry picked from commit d6b4c9022534072d3eaac275f11642dadf841da0)

scan-build: use simpler aligned alloc wrapper

stream: fix minor scan-build warning

stream-tcp.c:134:14: warning: Value stored to 'presize' during its initialization is never read [deadcode.DeadStores]
    uint64_t presize = SC_ATOMIC_GET(st_memuse);
             ^~~~~~~   ~~~~~~~~~~~~~~~~~~~~~~~~
1 warning generated.

(cherry picked from commit 0c151144502f262caaab40d74e4a4e8d485d38e5)

mime: address scan-build warnings

util-decode-mime.c:189:31: warning: Use of memory after it is freed [unix.Malloc]
            lastSibling->next = entity->child;
            ~~~~~~~~~~~~~~~~~ ^
util-decode-mime.c:827:24: warning: Potential leak of memory pointed to by 'val' [unix.Malloc]
        state->hname = NULL;
                       ^~~~
/usr/lib/llvm-16/lib/clang/16/include/stddef.h:89:24: note: expanded from macro 'NULL'
 #  define NULL ((void*)0)
                       ^
2 warnings generated.

Improve error handling and add assert to avoid these warnings.

Bug: #3147.
(cherry picked from commit 9224b3435b94e848cc677103573439e505e808b3)

smtp/mime: no error logging in packet path

(cherry picked from commit 9d3c60bde361bb1e9dc2eba0e6d168b0b84d7f3f)

radix: add debug validation to assist scan-build

util-radix-tree.c:595:34: warning: Access to field 'stream' results in a dereference of a null pointer (loaded from field 'prefix') [core.NullDereference]
        if ((temp = (stream[i] ^ bottom_node->prefix->stream[i])) == 0) {
                                 ^~~~~~~~~~~~~~~~~~~~~~~~~~~
util-radix-tree.c:717:30: warning: Access to field 'stream' results in a dereference of a null pointer (loaded from field 'prefix') [core.NullDereference]
        if (SC_RADIX_BITTEST(bottom_node->prefix->stream[differ_bit >> 3],
                             ^~~~~~~~~~~~~~~~~~~~~~~~~~~
./util-radix-tree.h:27:34: note: expanded from macro 'SC_RADIX_BITTEST'
 #define SC_RADIX_BITTEST(x, y) ((x) & (y))
                                 ^
2 warnings generated.

(cherry picked from commit fa5acc17430adb69293d8a04c4dec9848a73ae1f)

detect/sigorder: assist scan-build

Bug: #3152.
(cherry picked from commit b625aa9748db38f6905576be9a22d3125afad868)

detect/sigorder: remove unused struct fields

(cherry picked from commit 03e0a60f9671cc23c605d556d37554c25aa605f3)

detect: fix scan-build warnings

detect-engine-address.c:1140:17: warning: Use of memory after it is freed [unix.Malloc]
            r = DetectAddressCmp(ag, ag2);
                ^~~~~~~~~~~~~~~~~~~~~~~~~
detect-engine-address.c:1169:17: warning: Use of memory after it is freed [unix.Malloc]
            r = DetectAddressCmp(ag, ag2);
                ^~~~~~~~~~~~~~~~~~~~~~~~~
2 warnings generated.

detect-engine-port.c:1161:9: warning: Use of memory after it is freed [unix.Malloc]
        DetectPortPrint(ag2);
        ^~~~~~~~~~~~~~~~~~~~
1 warning generated.

Bug: #3150.
Bug: #3151.
(cherry picked from commit 000064de7de6b908df191ae8bec8414b2208e3f9)

mpm/ac-bs: work around scan-build warnings

util-mpm-ac-bs.c:482:32: warning: Result of 'malloc' is converted to a pointer of type 'uint16_t[256]', which is incompatible with sizeof operand type 'uint16_t' [unix.MallocSizeof]
        ctx->state_table_u16 = SCMalloc(ctx->state_count *
                               ^~~~~~~~
./util-mem.h:35:18: note: expanded from macro 'SCMalloc'
 #define SCMalloc malloc
                 ^~~~~~
util-mpm-ac-bs.c:524:32: warning: Result of 'malloc' is converted to a pointer of type 'uint32_t[256]', which is incompatible with sizeof operand type 'uint32_t' [unix.MallocSizeof]
        ctx->state_table_u32 = SCMalloc(ctx->state_count *
                               ^~~~~~~~
./util-mem.h:35:18: note: expanded from macro 'SCMalloc'
 #define SCMalloc malloc
                 ^~~~~~
2 warnings generated.

Bug: #3148.
(cherry picked from commit c8694634af14177ffaaaa50875fcf4cccfaa932a)

mpm/ac: work around scan-build warnings

util-mpm-ac.c:531:32: warning: Result of 'malloc' is converted to a pointer of type 'uint16_t[256]', which is incompatible with sizeof operand type 'uint16_t' [unix.MallocSizeof]
        ctx->state_table_u16 = SCMalloc(ctx->state_count *
                               ^~~~~~~~
./util-mem.h:35:18: note: expanded from macro 'SCMalloc'
 #define SCMalloc malloc
                 ^~~~~~
util-mpm-ac.c:575:32: warning: Result of 'malloc' is converted to a pointer of type 'uint32_t[256]', which is incompatible with sizeof operand type 'uint32_t' [unix.MallocSizeof]
        ctx->state_table_u32 = SCMalloc(ctx->state_count *
                               ^~~~~~~~
./util-mem.h:35:18: note: expanded from macro 'SCMalloc'
 #define SCMalloc malloc
                 ^~~~~~
2 warnings generated.

Bug: #3148.
(cherry picked from commit ee683a7074d449b5b2b272e70f86caa20b230662)

mpm/hs: fix scan-build warning

util-mpm-hs.c:340:20: warning: Potential leak of memory pointed to by 'p' [unix.Malloc]
        p->sids[0] = sid;
        ~~~~~~~~~~~^~~~~
1 warning generated.

Incorrect error handling could lead to a memory leak.

(cherry picked from commit ec84ba1a3c981108af4613fa16d5f13cc19e1f1d)

decode: suppress scan-build warning

(cherry picked from commit 59ca5cc655e1b96fe227df4ef0492b73c55c9631)

suricata: work around scan-build warnings

suricata.c:691:17: warning: Value stored to 'bits' during its initialization is never read [deadcode.DeadStores]
    const char *bits = "<unknown>-bits";
                ^~~~   ~~~~~~~~~~~~~~~~
suricata.c:692:17: warning: Value stored to 'endian' during its initialization is never read [deadcode.DeadStores]
    const char *endian = "<unknown>-endian";
                ^~~~~~   ~~~~~~~~~~~~~~~~~~
2 warnings generated.

(cherry picked from commit c13a6fa73c4c42826d12d9630878c8000d7a6dd4)

scan-build: treat as debug validate

(cherry picked from commit bcf818744300fba9351fb2451b22a760221f7d99)

detect-fast-pattern: remove unused var alertcnt

Set, but never read.

Caught by -Wunused-but-set-variable which is enabled in the newer
Fedora CI builders.

github-ci: add Fedora 38 builders

github-ci: add Fedora 37 builders

github-ci: remove Fedora 35 build: EOL

github-ci: remove debian 9 as it is EOL

github-ci: use bundle.sh script for libhtp, suricata-update

Update the GitHub CI workflow to use the bundle.sh script to pull in
Suricata-Update and libhtp. This means one less place where defaults
are hardcoded and can get out of sync.

This also simplifies the variable names that can be embedded in a pull
request message to use the same variable names that bundle.sh
expects. Of note, this removes the _PR variant, instead a branch name
of "pr/N" can be used to specify a PR.

bundle.sh: allow a PR # to be specified

Allow pull requests (and merge requests) to be specified by using a
branch name like "pr/111" or "mr/222". This allows CI to use this
script as well, instead of multiple variations of the same thing.

Additonally allow the destination directory to be overridden with the
DESTDIR environment variable.

detect/iponly: remove DetectEngineIPOnlyThreadCtx

This is unused.

Issue: 4578
(cherry picked from commit aacb7dc291de99dccfb4b6c4b6d6adbe433494f0)

detect/iponly: Reduce the size of the SigNumArray bitsets

Instead of tracking ip only rules by the internal signum, track them by
a separate counter that starts at zero.  This results in dense
SigNumArrays instead of sparse ones and a much smaller max_idx.

Issue: 4578
(cherry picked from commit dfbc3da0eb2931ad5ff19f3bdfa5a19839eea101)

detect/content: add negated endswith test

(cherry picked from commit a42c225117e7cf815b35b43a4287401817d08f38)

detect/content: Negated endswith matches

Issue: 5541

This commit handles negated endswith matches.

(cherry picked from commit c083cbda33a0e01a9e44b59f98525669affb452c)

version: require libhtp 0.5.43

version: start development towards 6.0.12

release: 6.0.11; update changelog

doc/byte_math: Add divide by 0 discussion.

Issue: 5945
(cherry picked from commit fd46c93a8f0f35375d349cf9402c2614dedff72b)

detect/byte_math: fix bug in byte_math detection

Issue: 5945

Avoid division by zero when the byte_math operation is division and the
rvalue is 0.

(cherry picked from commit 38c5e89e2959fcb22994ac4b232c7c298dd7d699)

smtp: enforce line limit even when LF is found

Before:
If LF character was found, so far, we won't enforce the line limit on
the line. We only enforced limits in case of LF character missing in a
long line.

After this patch:
Line limit is enforced on the line if it is bigger than 4096 Bytes
irrespective of whether LF was found or not.

Redmine Bug: 5819

(cherry picked from commit 5f52b199ff0a49628fa00103d86bd72c5792a6b0)

smtp: reset current line len at start