websocket: fix opcodes values for ping/pong

And also set close

Ticket: 7025

dns: set tx id for frames

frames: rust API makes tx_id explicit

And set it right for SIP and websocket,
so that relevant tx app-layer metadata gets logged.

Ticket: 6973

detect: log relevant frames app-layer metadata

Ticket: 6973

Completes commit 2b4e10224eaebb613352e9b82556b60035d032a1

fuzz: add target for DecodeBase64

Task 6050

doc: add note about fast_pattern w base64_data

Bug 5220

base64_data: reject fast_pattern use

If a rule has fast_pattern on base64_data, it is anyway not applied, so,
consider any such rules invalid.

Bug 5220

config/ja3: Eliminate warnings when JA3 is disabled

This commit eliminates warnings when either ja3, ja4 or both are
disabled.

rust: temporary: disable debug assertions

github: update pull request template

Update the pull request template to suggest providing a link to the
SV/LIBHTP pull request as this aides in cross linking.

Also change the way to provide the link to the Redmine ticket, as it
often results in linking to our Redmine, and add a checkbox for the
creation of a ticket.

bundle.sh: accept more forms of a branch name

For GitHub, add the following branch name formats:
- https://github.com/OISF/libhtp/pull/123
- OISF/libhtp#123

doc: update normalization notes

Ticket: #6781

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add http.connection ref and fix location

Signed-off-by: jason taylor <jtfas90@gmail.com>

eve/stats: add description for ips

Ticket 6434

eve/stats: add description for transactions

Ticket 6434

snmp: remove community keyword unit test

Ticket: 3725

This test was moved to suricata-verify snmp-community

github-actions: bump actions/upload-artifact from 4.3.1 to 4.3.3

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 4.3.1 to 4.3.3.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/5d5d22a31266ced268874388b861e4b58bb5c2f3...65462800fd760344b1a7b4382951275a0abb4808)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump github/codeql-action from 3.24.9 to 3.25.3

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.24.9 to 3.25.3.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Commits](https://github.com/github/codeql-action/compare/v3.24.9...v3.25.3)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump actions/download-artifact from 4.1.4 to 4.1.7

Bumps [actions/download-artifact](https://github.com/actions/download-artifact) from 4.1.4 to 4.1.7.
- [Release notes](https://github.com/actions/download-artifact/releases)
- [Commits](https://github.com/actions/download-artifact/compare/c850b930e6ba138125429b7e5c93fc707a7f8427...65a9edc5881444af0b9093a5e628f2fe47ea3b2e)

---
updated-dependencies:
- dependency-name: actions/download-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump codecov/codecov-action from 4.1.1 to 4.3.1

Bumps [codecov/codecov-action](https://github.com/codecov/codecov-action) from 4.1.1 to 4.3.1.
- [Release notes](https://github.com/codecov/codecov-action/releases)
- [Changelog](https://github.com/codecov/codecov-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/codecov/codecov-action/compare/c16abc29c95fcf9174b58eb7e1abf4c866893bc8...5ecb98a3c6b747ed38dc09f787459979aebb39be)

---
updated-dependencies:
- dependency-name: codecov/codecov-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: convert dpdk tests to use script

github-actions: add dpdk ids live test script

github-ci: add af-packet and dpdk codecov builds

Adds live tests for DPDK and AF_PACKET, with support for code coverage.

util/base64: remove coverity reported dead code

New defect(s) Reported-by: Coverity Scan
Showing 1 of 1 defect(s)

** CID 1596621:  Control flow issues  (DEADCODE)
/src/util-base64.c: 238 in DecodeBase64RFC4648()

________________________________________________________________________________________________________
*** CID 1596621:  Control flow issues  (DEADCODE)
/src/util-base64.c: 238 in DecodeBase64RFC4648()
232         DEBUG_VALIDATE_BUG_ON(bbidx == B64_BLOCK);
233
234         /* Handle any leftover bytes by adding padding to them as long as they do not
235          * violate the destination buffer size */
236         if (bbidx > 0) {
237             padding = bbidx > 1 ? B64_BLOCK - bbidx : 2;
>>>     CID 1596621:  Control flow issues  (DEADCODE)
>>>     Execution cannot reach the expression "3U" inside this statement: "numDecoded_blk = 3U - ((pad...".
238             uint32_t numDecoded_blk = ASCII_BLOCK - (padding < B64_BLOCK ? padding : ASCII_BLOCK);
239             if (dest_size < *decoded_bytes + numDecoded_blk) {
240                 SCLogDebug("Destination buffer full");
241                 return BASE64_ECODE_BUF;
242             }
243             /* Decode base-64 block into ascii block and move pointer */

Also, add a comment explaining the padding logic for leftover data.

Bug 6985

detect/iprep: update doc about 0 value

A value of 0 was already allowed by the rule parser, but didn't
actually work.

Bug: #6834.

detect/iprep: allow 0 as a reputation value

Rules would allow checking against value 0, but internally the value
was used to indicate "no value". To address this, the internals now
return negative values for not found. This way value 0 can be fully
supported.

Bug: #6834.

detect/iprep: minor code cleanups

sdp: fix logging medias

As introduced by bff790b6ac6f0e5ddf6bd0fe0085881473935c2c

Also handles errors in the caller

Ticket: 6994

rust/dns: visibility cleanups

Remove pub from functions that don't require it.

rust/dns: ffi naming and visibility cleanups

- Remove no_mangle and pub from FFI functions that are only accessed
  with a function pointer.
- Rename all no_mangle FFI functions to our C naming scheme.

github-ci: remove cocci from fedora 39 build

Cocci on Fedora 39+ gets stuck for some reason. Cocci has been moved
to a new Ubuntu 24.04 build.

github-ci: add ubuntu 24.04 build with cocci

Rather basic 24.04 build for now, but use Cocci as Cocci is working
properly here, but not working in the latest Fedora releases.

doc: update flowbits information

Ticket: #6991

Signed-off-by: jason taylor <jtfas90@gmail.com>

ci: fix macos build

use brew instead of pip
limit the number of jobs for make
set a prefix where we can install
use brew flags for library finding

decode/tcp: improve pointer hygene

Avoid NULL pointer calculations.

decode/icmpv4: rename ICMPV4_GET_EMB_IPV4 to PacketGetICMPv4EmbIPv4

Follows function nameing style.

Ticket: #5517.

decode/icmpv6: store embedded ip6h ptr as offset

Reduces direct pointer usage and reduces Packet size.

Ticket: #6938.

decode/icmpv4: store embedded ip4h ptr as offset

Reduces direct pointer usage and reduces Packet size.

Ticket: #6938.

decode/icmpv4: put embedded pointer first

Reduce gaps in the structure.

Ticket: #6938.

decode/tcp: reduce TCPVars by turning bools into bitfields

To reduce Packet size and make similar fields follow the same pattern.

Ticket: #6938.

af-packet: fix eBPF/XDP compilation

decode/tcp: move tcph into L4 packet data

To reduce Packet size.

Ticket: #6938.

decode/udp: move udph into L4 packet data

To recude Packet size.

Ticket: #6938.

decode/ethernet: move ethh into L2 section

L2 section similar to L3 and L4 sections.

Ticket: #6938.

decode/pppoe: localize pppoedh pointer

Remove from Packet struct as there were no users of it.

Ticket: #6938.

decode/pppoe: localize pppoesh header pointer

Remove header pointer from Packet as there were no users of it.

Ticket: #6938.

decode/icmpv4: move icmpv4h into L4 packet data

To reduce Packet size.

Ticket: #6938.

decode/icmpv6: move icmpv6h into L4 packet data

Also start vars section in L4 for icmpv6vars.

To reduce Packet size.

Ticket: #6938.

decode/esp: move esph into L4 packet data

To reduce Packet size.

Ticket: #6938.

decode/gre: move greh into L4 packet data

To reduce Packet size.

Ticket: #6938.

decode/sctp: move sctph into L4 packet data

Reduces Packet size.

Ticket: #6938.

decode/icmpv6: add and use PacketIsICMPv6 inline func

For better readability and type checking.

Ticket: #5517.

decode/icmpv6: switch ptr checks to PKT_IS_ICMPV6

For better readability and type checking.

Ticket: #5517.

decode/icmpv4: add and use PacketIsICMPv4 inline func

For better readability and type checking.

Ticket: #5517.

decode/udp: add and use PacketIsUDP inline func

Replace PKT_IS_UDP macro with PacketIsUDP inline function.

For better readability and type checking.

Ticket: #5517.

decode/tcp: add and use PacketIsTCP inline func

To prepare future changes to the Packet header pointers.

Ticket: #5517.

decode: start l4 packet area; convert csum handling

decode/icmpv4: switch ptr checks to PKT_IS_ICMPV4

To prepare future changes to the Packet header pointers.

Ticket: #5517.

decode: refactor L3 checkum handling

Use a flag to indicate a calculated csum is available.

Allows packet reset to just use memset.

decode: use macro's instead of direct ptr checks

To prepare future changes to the Packet header pointers.

Ticket: #5517.

decode/icmpv6: improve packet vars layout

Part of effort to make Packet more compact.

Ticket: #6938.

decode/icmpv6: remove unused error_ptr field

Was only set, never checked.

Part of effort to make Packet more compact.

Ticket: #6938.

decode/icmpv6: remove embedded address storage

Only used in tests. For the tests, switch to getting headers from embedded IPv6 header.

Part of effort to make Packet more compact.

Ticket: #6938.

decode/icmpv6: remove unused L4 header pointers from Packet

Not used, so no need to keep them.

Part of effort to make Packet more compact.

Ticket: #6938.

decode/icmpv4: shrink icmpv4 packet vars

Remove unused L4 header pointers.

Part of effort to make Packet more compact.

Ticket: #6938.

decode/icmpv4: remove unused Packet members

Addresses are pulled from embedded IPv4 header directly.
Embeded hlen was unused.

Part of effort to make Packet more compact.

Ticket: #6938.

decode/tcp: remove unused macro

SET_OPTS is now unused, so remove.

decode/tcp: reduce size needed for SACK tracking

No longer use a pointer, but rather an offset.

Part of effort to make Packet more compact.

Ticket: #6938.

decode/tcp: minor struct layout optimization

Part of effort to make Packet more compact.

Ticket: #6938.

decode/tcp: reduce size needed for tracking WSCALE

Part of effort to make Packet more compact.

Ticket: #6938.

decode/tcp: reduce space needed for tracking TFO

Part of effort to make Packet more compact.

Ticket: #6938.

decode/tcp: reduce space needed for MSS tracking

Part of effort to make Packet more compact.

Ticket: #6938.

decode/tcp: optimize SACKOK storage

Take less space in the TCPVars for tracking if SACKOK is set.

Reduces size by 16 bytes.

Ticket: #6938.

decode/ipv4: minor test cleanups

decode/ipv6: prep for turning ip4h/ip6h into union

Store IPv6 decoder vars in a new Packet::l3 section in the packet.

Use inline functions instead of the often multi-layer macro's for
various IPv6 header getters.

Ticket: #6938.

decode/ipv4: prep for turning ip4h/ip6h into union

Store IPv4 decoder vars in a new Packet::l3 section in the packet.

Use inline functions instead of the often multi-layer macro's for
various IPv4 header getters.

Ticket: #6938.

decode: minor style cleanup in the header ptrs

validate: remove ip4h/ip6h check

In preparation of making them union members.

defrag: track ip hdr offset in tracker

In preparation of future Packet structure changes.

Ticket: #6938.

decode: reduce macro use in IPv4/IPv6

Improve readability by setting up data/data_len once before
passing on to the other decoders.

Work in preparation of other decoder changes.

Ticket: #5517.

flow: avoid direct IP header checks

To prepare future changes to the Packet header pointers.

Ticket: #5517.

decode: reduce PKT_IS_IPV4/PKT_IS_IPV6 use

Replace it with inline functions. Adds inline functions to
wrap PKT_IS_IPV4/PKT_IS_IPV6.

This is in preparation of removing the macro's, and cleaning up the
header pointers.

Ticket: #5517.

decode: rename IP_GET_IPPROTO to PacketGetIPProto

To match function naming style.

Ticket: #5517.

decode: implement IP_GET_IPPROTO as inline func

For better readability and type checking.

Ticket: #5517.

tls/random: fix incorrect direction handling

The connp objects were incorrectly set per direction leading to
incorrect matches on respective directions.

Bug 6989

pcap: address codeql warning

Use of potentially dangerous function: localtime

Windows localtime is thread safe and no localtime_r is availabe on
Windows, so use separate logic for Windows.

rohash: fix codeql warnings

Suspicious pointer scaling to void

rohash: minor code cleanups

misc: remove some unused includes

Remove unused includes noticed while updating runmode access.

run-mode: remove duplicate var; add setter function

Remove the global "run_mode" var as it was a duplicate of the runmode on
the "instance" struct. For direct access outside of suricata.c, use the
getter function.

Also expose a setter function for unit tests that need to change it.

util/base64: add more tests to increase coverage

util/mime: check invalidity after final b64 block

Since there is code in place that skips over invalid base64 characters
and creates a new array out of the remainder vector, all test must be
made after that final array has been created and against the variable
that holds the actual length of the final array.

util/mime: skipped chars should be marked consumed

util/base64: use real numbers in test vectors

util/base64: update tests to correct consumed bytes

Also, don't treat a successful decoding that had invalid characters as
errors. The caller does not treat them as errors so it makes sense to
consider it successful if something was decoded.

Bug 6964

util/base64: use decoder fns per RFC

instead of the common decoder fn.

Bug 6964

util/base64: add base64 decode fns per RFC

Base64 decoder tried to handle several different cases in one fn
including how the data should be decoded and corresponding consumed and
decoded bytes calculated for RFC 2045 and RFC 4648 which are very
different. This left window for mistakes and edge cases that one mode is
not supposed to take care of while the other can.

Separate the decoder per RFC so as to have each variable their own scope
and playground. This also makes it much easier to debug if there are any
issues in decoding w.r.t. different callers.

This also takes care of some known issues like making sure the consumed
bytes are correctly handled.

Bug 6964

doc: add sdp update

rust/sip: parse and log sdp

If SDP payload is found within a SIP message, it will be parsed and then
logged.

Ticket #6627

rust/sdp: implement logger

This implements a logger for the SDP protocol.
Given that SDP is encapsulated within other protocols (such as SIP),
enabling it separately is not necessary.

Ticket #6627