util/mime: use uint32_t for consumed bytes

In a case of the line buffer being over 255 bytes, the consumed bytes
would reset to 0 as it was uint8_t. Fix this integer overflow by setting
the type to uint32_t.

Redmine ticket: 5883

doc: add dataset examples

detect: add comments for DETECT_SM_LIST_* types

config: put version in configuration as a proper value

Adds a new field, "suricata-version" to the configuration file with
the major and minor version of the Suricata that generated the
configuration file.

This may be useful in the future for presenting warnings about
important changes, or even providing different defaults based on what
the user might expect.

Ticket: 5822

pfring: Packet structure for ts fix

Issue: 5818

This commit addresses the issue with using the address of a packed
member of a structure. The pfring timeval is within a packed structure.

pfring/time: Track stat output with SCTime_t

Issue: 5818

This commit changes the datatype of the tracking value for the last time
stats were dumped.

Changing the type also eliminates a comparison between values with
different signs.

time: SCTime additions -- neq, initializer

Issue: 5818

This commit adds an initializer for the SCTime_t type and a comparison
macro for "not equal".

Use them as follows:
    SCTime_t my_var = SCTIME_INITIALIZER;
    if (SCTIME_CMP_NEQ(sctime1_val, sctime2_val)) {
    }

eve: add version and warning in ntlmssp

Bug OISF#5783

doc: add version filed in NTLMSSP documentation

Bug OISF#5783

smb: fix parser of ntlmssp negotiateflags

Fix endian-conversion bug in function parse_ntlm_auth_nego_flags

Bug OISF#5783

log/thread: Consolidate threaded file tracking

Issue: 5836

This commit removes the duplicate threaded file tracking from the log
file mechanisms.

Tracking is now consolidated with the threaded hash table.

log: Stop if log initialization fails at startup

Issue: 5836

This commit modifies Suricata to fail if log initialization errors occur
during startup.

stream: add seq min and max; use in segment compare

stream: fix overlap detection

If a in-tree segment was partly before base_seq the overlap detection
miscalculated the data offset. This lead to memcmp comparing the wrong
data.

Bug: #5881.

stream: reuse TCP session after TFO SYN+data reject

eve/stream: log tcp reuse flag in packets

flow: remove unused tcp reuse flow flag

stream: support SYN/ACK with TFO only ack'ing ISN

Not ack'ing the data.

stream: add counter for acks for unseen data

This is another indicator for packet loss or strange captures.

eve/stream: ack unseen data

stream: flag ACKs that ack segments after next_seq

Avoid this for async streams.

stream: fix spurious retransmission handling

Fix spurious retransmissions getting dropped, stalling connections in IPS
mode.

There are several reasons why benign spurious retransmissions can happen,
with the most obvious one that an ACK is lost so the sender retransmits
while the receiver has ACK'd it. If Suricata sees the ACK but afterwards
it gets lost, we can get in this condition. Packet loss can have a wide
range of causes here, including packets reaching a host but getting
dropped in the NIC queue or kernel queues due to resource constraints.

So these packets are no longer an "error" in this patch.

Next to this, the accuracy of the spurious retransmission has been
improved. Use SEQ macros to compare sequence numbers. Only use base_seq
if reassembly is still enabled for a stream.

A special case is added for cases where a segment is before last_ack
but after base_seq, which can happen when protocol detection isn't
finished yet. In this case the segment is tagged as spurious, but still
processed. This way we can check for overlaps.

Bug: #5875.

stream: add liberal timetamps option

Linux is slightly more permissive wrt timestamps than many
other OS'. To avoid many events/issues with linux hosts, add an
option to allow for this slightly more permissive behavior.

Ideally the host-os config would be used, but in practice this
setting is rarely set up correctly, if at all.

This option is enabled by default.

stream: D-SACK detection and logging

RFC 2883 specifies a special use of SACKs to indicate a host has
received a segment it considers a spurious retransmission.

stream: Dup-ACK detection

Modeled after Wiresharks Dup-ACK detection.

stream: fix next_seq updates after temporary gap

On every accepted packet in established state, update next_seq if
packet seq+len is larger than existing next_seq. This allows it to
catch up after large gaps that are filled again a bit later.

Bug: #5877.

eve/stream: per packet stream engine logging

Debug facility to get a per packet view into the stream engine's state.

Logs after a packet has been processed in the stream engine, so the view
into the state includes the updates based on the current packet.

Marked as experimental so it can be changed w/o notice.

Bug: #5876.

stream: implement config option for SYN queue

Default to allowing 10 SYNs to not trigger an event on a connection
attempt that times out.

stream: track packet flags in packet

These flags can then later be used by stream logging.

stream: improve first FIN next_seq update

For accepted FIN packets, always update next_seq. This helps track the
FIN sequence.

Bug: #5877.

stream: improve FIN next_seq handling

Update next_seq to SEQ + payload_len + 1, so retransmission checks
work better.

Bug: #5877.

stream: set next_seq before last_ack

next_seq sometimes depends on last_ack in cases of packet loss
catch up, so first update it.

Bug: #5877.

stream/tcp: fix wrong ACK trigger FIN1 to FIN2

An ACK that ACK'd older data while still being in-window could
lead to FIN_WAIT1 to FIN_WAIT2 state transition. Detect this
case and generally harden the check.

Bug: #5877.

stream: SYN queue support

Support case where there are multiple SYN retransmits, where
each has a new timestamp.

Before this patch, Suricata would only accept a SYN/ACK that
matches the last timestamp. However, observed behavior is that
the server may choose to only respond to the first. In IPS mode
this could lead to a connection timing out as Suricata drops
the SYN/ACK it considers wrong, and the server continues to
retransmit it.

This patch reuses the SYN/ACK queuing logic to keep a list
of SYN packets and their window, timestamp, wscale and sackok
settings. Then when the SYN/ACK arrives, it is first evaluated
against the normal session state. But if it fails due to a
timestamp mismatch, it will look for queued SYN's and see if
any of them match the timestamp. If one does, the ssn is updated
to use that SYN and the SYN/ACK is accepted.

Bug: #5856.

stream: fix direction macro to be used in conditions

stream: minor code cleanup

flow: fix comment typo

stream: turn session bool into flag

stream: turn session flags into u32

Due to gaps/padding the size of the struct won't change.

stream/config: optimize stream config structure layout

stream/config: turn async_oneside into bool

stream: minor code cleanups in ACK validation

stream: remove unused macros

stream: remove usused thread pseudo packet queue

stream: remove unused packetqueue argument

rfb: add unittests to rfb.rs

Task: #5741

tcp: pick up a midstream session even with FIN flag

Ticket: #5437

userguide: update tls keywords information

Ticket #5544

smb: handles records with trailing nbss data

If a file (read/write) SMB record has padding/trailing data
after the buffer being read or written, and that Suricata falls
in one case where it skips the data, it should skip until
the very end of the NBSS record, meaning it should also skip the
padding/trailing data.

Otherwise, an attacker may smuggle some NBSS/SMB record in this
trailing data, that will be interpreted by Suricata, but not
by the SMB client/server, leading to evasions.

Ticket: #5786

smb: checks against nbss records length

When Suricata handles files over SMB, it does not wait for the
NBSS record to be complete, and can stream the payload to the
file... But it did not check the consistency of the SMB record
length being read or written against the NBSS record length.

This could lead to an evasion where an attacker crafts a SMB
write with a too big Length field, and then sends its evil
payload, even if the server returned an error for the write request.

Ticket: #5770

userguide: add DHCP EVE log information

Signed-off-by: jason taylor <jtfas90@gmail.com>

stream: minor cleanups

stream: reduce scope of inline drop check

stream: move state queue code into util func

stream: set event on bad timestamp on syn_sent state

stream: remove unnecessary ssn checks

Add debug validation to catch any change.

eve/flow: optimize tcp gap checks

time: don't log debug messages from debug logging

Bug: #5835.

Fixes: 31793aface58 ("time: Replace struct timeval with scalar value")

github: avoid bash escaping

so as to allow ' in github discussion and get CI green

detect: initialize empty buffers

stream/regions: improve region shrinking

Handle failure on shrink.

Keep size multiple of configured buf_size setting.

streaming/sbb: propegate allocation errors

streaming: remove unused function

stream/tcp: allow tcp session reuse on null sessions

When a "stream starter" packet finds an existing TCP flow, the flow will be
evaluated for reuse.

The following scenario wasn't handled well:

1. Suricata starts after a tool has just stopped using lots of connections
   (e.g. ab stress testing a webserver)
2. even though the client is closed already, the server is still doing
   connection cleanup sending many FINs and later RSTs
3. Suricata creates flows for these packets, but no TCP sessions
4. client resumes testing, creating flows that have the same 5 tuple as the
   flows created for the FIN/RST packets
5. Suricata refuses to "reuse" the flows as the condition "tcp flow w/o session"
   is not considered valid for session reuse
6. new TCP connection is not properly tracked and evaluated in parsing and
   detection

There may be other vectors into this, like a flow w/o session because of
memcap issues.

Bug: #5843.

streaming/regions: fix consolidation cornercases

Incorrect "end" region for consolidation was selected if the "dst"
would be expanded to overlap with it.

Fix list handling when the first region to consider (src_start) was
not the list start.

Bug: #5833.
Bug: #5834.

streaming: grow more conservatively

Don't grow to next multiple of cfg->buf_size if size is already
a multiple of buf_size.

streaming: minor debug logging improvement

version: start development towards 7.0.0-rc2

release: 7.0.0-rc1; update changelog

requirements: use suricata-update 1.3.0rc1

doc: warn IPS users on new exception policy default

exception/policy: add more info on defaults

Be more informative where a exception value came from: defaults,
master switch or an explicit setting.

stream/midstream: add bug number to policy warning

exception/policy: 'auto' sets IPS to 'drop-flow'

In IPS mode set all exception policies to drop-flow by default, both
in the default yaml and if no `exception-policy` is defined.

exception/policy: fix formatting issues

decoder: mention removal of udp.hlen_invalid sig

rules/decoder: fix sid for udp.len_invalid rule

flow: enforce flow assumption

Enforce assumption that packets in ThreadVars::decode_pq have no flow
attached to it because this is only true for packets while they are
in the FlowWorker.

flow/mgr: remove flows_timeout_inuse counter

flow: rearrange Flow struct to be more compact

flow: remove use_cnt

Packets only ever reference the flow while holding its lock. This
means than any code possibly evicting the flow will have to wait
for the existing users to complete their work. Therefore the use_cnt
serves no function anymore and can be removed.

flowworker: don't keep unnecessary flow reference

Flow stream/detect/log flush packets, don't hold on to the flow
beyond the flow worker module.

stream: remove unused pseudo packet function

github-ci: dump github context and pr body

For debugging the parsing of suricata-verify-pr.

github-ci: annotate job with s-v info

rfb: remove duplicate logging of depth

The "depth" field in the "pixel_format" object was being logged twice.

Issue: 5813

smb: fix duplicate interface logging

An array of interfaces was being logged without creating an array,
resulting in duplicate "interface" objects being logged. Instead put
these interfaces into an array like already done elsewhere.

Issue: 5814

eve: remove dcerpc.interface from schema

Looks like this was due to an error in the dcerpc logging where the
interfaces should have been logged to the "interfaces" array that was
already defined.

Issue: 5814

smb: remove duplicate tree_id logging

Remove the second occurrence of tree_id logging which appears to
always be a duplicate of the first tree_id logged, even though they
come from different data structures.

Issue: 5811

github-ci/rust: display clippy diff

rust: utility function to copy Rust strings to C strings

As there are a few places where a Rust string is copied into a provided
C string buffer, create a utility function to take care of these
details.

tls: fix date logging for dates before 1970

The Rust time crate used by the x509-parser crate represents dates
before 1970 as negative numbers which do not survive the conversion to
SCTime_t and formatting with the current time formatting functions.

Instead of fixing our formatting functions to handle such dates,
create a Rust function for logging TLS dates directly to JSON using
the time crate that handles such dates properly.

Also add a FFI function for formatting to a provided C buffer for the
legacy tls-log.

Issue: 5817

schema: add regular expression for tls date format

detect/frames: improve IPS and GAP handling

Inspect individual chunks in lossy traffic.

Don't use the frame idx as the inspection buffer idx. Engines are running
per frame, so multi inspection can be used for stream chunks instead.

Ticket: #4977.

detect/frames: handle duplicate sigs in candidates

Prefilter engines run on each stream chunk in a lossy stream, so
we can get the same sid in the list multiple times.

stream: add util to get absolute right edge of data

detect/frames: reduce scope of private function

output: move function name in non-release output

detect/tls.certs: improve buffer init logic

detect/quic: update buffer initialization logic