profiling: updated switch block to fix gcc warning

This fixes a warning emitted by Fedora 37 when compiling
with gcc 12.2.1

Signed-off-by: jason taylor <jtfas90@gmail.com>

profiling: minor reformatting

flow/manager: fix prealloc unhandled division by 0

If flow.prealloc was set to zero in our yaml config, this led to
a floating point exception in the flow manager.

Bug: #5919.

enip: optimized tx iterator

As for SMTP, having a linked list.

Ticket: #5927

dnp3: optimized tx iterator

As for SMTP, having a linked list.

Ticket: #5927

smtp: optimized tx iterator

To be more efficient with larger number of transactions.
As was done for FTP.

Ticket: #5927

source-xf-xdp: update for deprecated function in libbpf

libbpf 0.8 deprecates bpf_get_link_xpd_id, and 1.0 removes it. Add
./configure check to see if this method is available and use it if so,
otherwise use the deprecated method which is not available on older
but still supported Linux distributions.

Ticket: #5924

rust: update aes and aes-gcm crates

Addresses RUSTSEC-2021-0059, RUSTSEC-2021-0060.

detect/urilen: fix applying urilen as depth

If urilen induced depth was set, later DetectContentPropagateLimits()
would apply a wrong depth setting, leading to a false negative in
some cases.

Bug: #5929.

detect/urilen: support HTTP/2

Ticket: #5931.

eve/drop: don't log drops unless packet is dropped

In pass/drop combinations where the pass rule took precendence over
the drop, a "drop" false positive could still be logged due to the
storing of the drop record in the packet drop alert store.

Bug: #5867.

detect/mpm: minor code cleanups

detect: apply within as depth where possible

The rule lang allows for within and distance to act as depth/offset,
but internally this was not handle the same way. This patch converts
within/distance w/o a prior pattern to depth/within.

detect/offset: minor code cleanups

detect/content: refactor limit propagation

detect/distance: minor code cleanups

detect/within: minor code cleanups

detect/analyzer: fix lists names

Simpler names that lead to cleaner json.

detect/analyzer: add byte_test/byte_jump detail

detect/analyzer: add content relative_next flag

detect/analyzer: add more pcre detail

detect: split mpm per alproto for file.data & others

Instead of a shared mpm context for just "file.data" or "file.magic"
use per alproto mpms. This way http file.data rules won't affect smb
file.data performance.

Ticket: #4378.

mpm factory: include alproto

In preparation of spliting out mpm's for keywords shared by
multiple protocols, like file.data.

jsonschema: do not enforce keys for alert metadata

As this is a free field and can have any key based on a rule

doc: security.limit-noproc upgrade note

Ticket: #5621

github-ci: Add Netmap build to GH actions

Issue: #5803

smtp: apply suricata.yaml defaults to in-code defaults

Currently the default suricata.yaml sets some values that do not
reflect the default values in the code. As most users are probably
using a default suricata.yaml, make the code have the same defaults as
in suricata.yaml:

- mime.decode-mime: false -> true
- mime.decode-base64: false -> true
- mime.decode-quoted-printable: false -> true
- mime.extract-urls: false -> true

Issue: #5823

schema: add "message_id" to email

conf: document ConfGetChildValueBool

detect-lua: Convert unittests to FAIL/PASS API

Ticket: 4051

source-xdp: only allow busy poll if headers support it

Wrap the enabling of busy poll in a compile time conditional checking
for the required defines to be set. While we have runtime support for
kernels less than 5.11, we also need a compile time check as the headers
may be old as well.

Issue: 5855

github-ci: add Debian 11 builder with XDP

schema: fix optional

"optional" is not part of jsonschema. Instead an array named "required"
is used to list all field names that are required.

schema: fix engines section

The definition of items is an object, not an array.

nflog/time: Fixup timestamp handling

Issue: 5818

This commit corrects the timestamp handling for the packet to work with
the SCTime_t struct.

rust/clippy: allow derivable impls

The latest Rust will automatically "fix" derivable default
implementation, which is nice, but makes changes that don't meet our
current MSRV, so allow derivable impls for now.

detect/app-layer-event: simplify parsing code

Simpler and fully local parsing code.

Remove unittests that relied on previous implementation. Code
is tested by SV tests.

detect/analyzer: add transform names

util/mime: use uint32_t for consumed bytes

In a case of the line buffer being over 255 bytes, the consumed bytes
would reset to 0 as it was uint8_t. Fix this integer overflow by setting
the type to uint32_t.

Redmine ticket: 5883

doc: add dataset examples

detect: add comments for DETECT_SM_LIST_* types

config: put version in configuration as a proper value

Adds a new field, "suricata-version" to the configuration file with
the major and minor version of the Suricata that generated the
configuration file.

This may be useful in the future for presenting warnings about
important changes, or even providing different defaults based on what
the user might expect.

Ticket: 5822

pfring: Packet structure for ts fix

Issue: 5818

This commit addresses the issue with using the address of a packed
member of a structure. The pfring timeval is within a packed structure.

pfring/time: Track stat output with SCTime_t

Issue: 5818

This commit changes the datatype of the tracking value for the last time
stats were dumped.

Changing the type also eliminates a comparison between values with
different signs.

time: SCTime additions -- neq, initializer

Issue: 5818

This commit adds an initializer for the SCTime_t type and a comparison
macro for "not equal".

Use them as follows:
    SCTime_t my_var = SCTIME_INITIALIZER;
    if (SCTIME_CMP_NEQ(sctime1_val, sctime2_val)) {
    }

eve: add version and warning in ntlmssp

Bug OISF#5783

doc: add version filed in NTLMSSP documentation

Bug OISF#5783

smb: fix parser of ntlmssp negotiateflags

Fix endian-conversion bug in function parse_ntlm_auth_nego_flags

Bug OISF#5783

log/thread: Consolidate threaded file tracking

Issue: 5836

This commit removes the duplicate threaded file tracking from the log
file mechanisms.

Tracking is now consolidated with the threaded hash table.

log: Stop if log initialization fails at startup

Issue: 5836

This commit modifies Suricata to fail if log initialization errors occur
during startup.

stream: add seq min and max; use in segment compare

stream: fix overlap detection

If a in-tree segment was partly before base_seq the overlap detection
miscalculated the data offset. This lead to memcmp comparing the wrong
data.

Bug: #5881.

stream: reuse TCP session after TFO SYN+data reject

eve/stream: log tcp reuse flag in packets

flow: remove unused tcp reuse flow flag

stream: support SYN/ACK with TFO only ack'ing ISN

Not ack'ing the data.

stream: add counter for acks for unseen data

This is another indicator for packet loss or strange captures.

eve/stream: ack unseen data

stream: flag ACKs that ack segments after next_seq

Avoid this for async streams.

stream: fix spurious retransmission handling

Fix spurious retransmissions getting dropped, stalling connections in IPS
mode.

There are several reasons why benign spurious retransmissions can happen,
with the most obvious one that an ACK is lost so the sender retransmits
while the receiver has ACK'd it. If Suricata sees the ACK but afterwards
it gets lost, we can get in this condition. Packet loss can have a wide
range of causes here, including packets reaching a host but getting
dropped in the NIC queue or kernel queues due to resource constraints.

So these packets are no longer an "error" in this patch.

Next to this, the accuracy of the spurious retransmission has been
improved. Use SEQ macros to compare sequence numbers. Only use base_seq
if reassembly is still enabled for a stream.

A special case is added for cases where a segment is before last_ack
but after base_seq, which can happen when protocol detection isn't
finished yet. In this case the segment is tagged as spurious, but still
processed. This way we can check for overlaps.

Bug: #5875.

stream: add liberal timetamps option

Linux is slightly more permissive wrt timestamps than many
other OS'. To avoid many events/issues with linux hosts, add an
option to allow for this slightly more permissive behavior.

Ideally the host-os config would be used, but in practice this
setting is rarely set up correctly, if at all.

This option is enabled by default.

stream: D-SACK detection and logging

RFC 2883 specifies a special use of SACKs to indicate a host has
received a segment it considers a spurious retransmission.

stream: Dup-ACK detection

Modeled after Wiresharks Dup-ACK detection.

stream: fix next_seq updates after temporary gap

On every accepted packet in established state, update next_seq if
packet seq+len is larger than existing next_seq. This allows it to
catch up after large gaps that are filled again a bit later.

Bug: #5877.

eve/stream: per packet stream engine logging

Debug facility to get a per packet view into the stream engine's state.

Logs after a packet has been processed in the stream engine, so the view
into the state includes the updates based on the current packet.

Marked as experimental so it can be changed w/o notice.

Bug: #5876.

stream: implement config option for SYN queue

Default to allowing 10 SYNs to not trigger an event on a connection
attempt that times out.

stream: track packet flags in packet

These flags can then later be used by stream logging.

stream: improve first FIN next_seq update

For accepted FIN packets, always update next_seq. This helps track the
FIN sequence.

Bug: #5877.

stream: improve FIN next_seq handling

Update next_seq to SEQ + payload_len + 1, so retransmission checks
work better.

Bug: #5877.

stream: set next_seq before last_ack

next_seq sometimes depends on last_ack in cases of packet loss
catch up, so first update it.

Bug: #5877.

stream/tcp: fix wrong ACK trigger FIN1 to FIN2

An ACK that ACK'd older data while still being in-window could
lead to FIN_WAIT1 to FIN_WAIT2 state transition. Detect this
case and generally harden the check.

Bug: #5877.

stream: SYN queue support

Support case where there are multiple SYN retransmits, where
each has a new timestamp.

Before this patch, Suricata would only accept a SYN/ACK that
matches the last timestamp. However, observed behavior is that
the server may choose to only respond to the first. In IPS mode
this could lead to a connection timing out as Suricata drops
the SYN/ACK it considers wrong, and the server continues to
retransmit it.

This patch reuses the SYN/ACK queuing logic to keep a list
of SYN packets and their window, timestamp, wscale and sackok
settings. Then when the SYN/ACK arrives, it is first evaluated
against the normal session state. But if it fails due to a
timestamp mismatch, it will look for queued SYN's and see if
any of them match the timestamp. If one does, the ssn is updated
to use that SYN and the SYN/ACK is accepted.

Bug: #5856.

stream: fix direction macro to be used in conditions

stream: minor code cleanup

flow: fix comment typo

stream: turn session bool into flag

stream: turn session flags into u32

Due to gaps/padding the size of the struct won't change.

stream/config: optimize stream config structure layout

stream/config: turn async_oneside into bool

stream: minor code cleanups in ACK validation

stream: remove unused macros

stream: remove usused thread pseudo packet queue

stream: remove unused packetqueue argument

rfb: add unittests to rfb.rs

Task: #5741

tcp: pick up a midstream session even with FIN flag

Ticket: #5437

userguide: update tls keywords information

Ticket #5544

smb: handles records with trailing nbss data

If a file (read/write) SMB record has padding/trailing data
after the buffer being read or written, and that Suricata falls
in one case where it skips the data, it should skip until
the very end of the NBSS record, meaning it should also skip the
padding/trailing data.

Otherwise, an attacker may smuggle some NBSS/SMB record in this
trailing data, that will be interpreted by Suricata, but not
by the SMB client/server, leading to evasions.

Ticket: #5786

smb: checks against nbss records length

When Suricata handles files over SMB, it does not wait for the
NBSS record to be complete, and can stream the payload to the
file... But it did not check the consistency of the SMB record
length being read or written against the NBSS record length.

This could lead to an evasion where an attacker crafts a SMB
write with a too big Length field, and then sends its evil
payload, even if the server returned an error for the write request.

Ticket: #5770

userguide: add DHCP EVE log information

Signed-off-by: jason taylor <jtfas90@gmail.com>

stream: minor cleanups

stream: reduce scope of inline drop check

stream: move state queue code into util func

stream: set event on bad timestamp on syn_sent state

stream: remove unnecessary ssn checks

Add debug validation to catch any change.

eve/flow: optimize tcp gap checks

time: don't log debug messages from debug logging

Bug: #5835.

Fixes: 31793aface58 ("time: Replace struct timeval with scalar value")

github: avoid bash escaping

so as to allow ' in github discussion and get CI green

detect: initialize empty buffers

stream/regions: improve region shrinking

Handle failure on shrink.

Keep size multiple of configured buf_size setting.

streaming/sbb: propegate allocation errors