detect/cip: cleanup includes

quic: do not log empty cyu array

Ticket: #5167

dnp3: do not log empty objects array

Ticket: #5167

ike: do not log empty notify array

Ticket: #5167

mqtt: do not log reason_codes if there is none

Ticket: #5167

output: do not log empty arrays for sid

Ticket: #5167

userguide: fix typo in inline mode illustration

The image describing Suricata's sliding window had two of the "packets"
with the same text. Now they actually give the sense of a sliding
window.

This was found by Zhiyuan-liao.

github-actions: bump actions/cache from 3.0.4 to 3.0.5

Bumps [actions/cache](https://github.com/actions/cache) from 3.0.4 to 3.0.5.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/c3f1317a9e7b1ef106c153ac8c0f00fed3ddbc0d...0865c47f36e68161719c5b124609996bb5c40129)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

threads: cleaner code with one instruction per line

As reported by Shchelk

detect: reduce datatype scope for various keywords

detect/cip: remove dead code

detect: update copyright years

includes: minor cleanups

profiling: minor code cleanups

ci: checks include are necessary in github

util: fix integer warnings in profiling

src: remove unused header files

src: rework includes as per cppclean

detect/engine: init alert queue counters on reload

alert_queue_overflow and alerts_suppressed were not being
reinitialized when there was a reload of Suricata rules, leading to
non-valid stats counters if that happened.

Bug #5457

output: skip files logging for ICMP packets

Ticket: #5408

output: use flow's proto for file loggers

As there can be an ICMP packet which gets related to a TCP flow.

Ticket: #5408

fuzz: use forced file store

to find bugs such as 5408

threshold: fix regex to accept by_both and by_rule

As is done in detect-threshold.c or in DETECT_RATE_REGEX
and is expected by switch (rule_type) which makes the same
for THRESHOLD_TYPE_THRESHOLD and THRESHOLD_TYPE_RATE

Ticket: #5327

detect/nfs: use inclusive ranges

detect: use generic integer functions for itype

Ticket: #4112

detect: use generic integer functions for snmp.version

Ticket: #4112

detect: use generic integer functions for rfb.sectype

Ticket: #4112

detect: use generic integer functions for nfs.version

Ticket: #4112

detect: use generic integer functions for nfs.procedure

Ticket: #4112

detect: use generic integer functions for iprep

Ticket: #4112

detect: use generic integer functions for bsize

Ticket: #4112

detect: use generic integer functions for urilen

Ticket: #4112

defrag: use util function for timeout

To fix timestamp overflow as found by oss-fuzz
https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=44608

fixu

detect: update text for nocase used with http.host

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update to include additional rule references

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update intro direction content

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: fixed HOME_NET/EXTERNAL example formatting

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add clarity around HOME_NET/EXTERNAL_NET

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: minor example rule description update

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: minor wording restructure

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add tcp-pkt/tcp-stream to intro

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: minor punctuation update

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: intro example rule update to simpler example

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: minor intro wording update

Signed-off-by: jason taylor <jtfas90@gmail.com>

snmp: rustfmt detect.rs

snmp: adds usm keyword

as is logged

Ticker: #5416

github/codeowners: update

ftp: optimized tx iterator

To be more efficient with larger number of transactions.

Ticket: #5314

mime: remove unused length fields

fuzz/mime: fix call conditions and args

The SMTP parser should not supply lines w/o EOL chars to the mime
parser unless its in the BODY parsing stage. Mimic this in the fuzz
target by testing the state for inputs that have no EOL.

Additionally, make sure the delim cnt reflects the missing EOL.

mime: fix corner case

Fix a corner case where a base64 sequence including a space was followed
by a newline in the input data.

mime: add base64 related debug messages

mime: improved empty line handling

Make sure a new body is not set up on empty lines unless it is
a body that is not encoded as base64/quoted printable.

mime: fix and cleanup tests

Line count check was failing after recent delim handling updates.

smtp: fix passing a wrong delim len around

mime: properly pass full lines to non-decoded body

Use actual delim count and make sure we also pass on empty lines
(so delim(s) only).

mime/base64: fix final data not getting processed

If the last data of the body was not a multple of 4 and not padded
to be a multiple of 4, it would not be processed.

stream: fix GAP check

Gap check would consider a GAP when the current data was in fact
exactly not a gap, but next segment(s) were already available.

mime: minor code cleanup

mime: remove unused 'linerem' logic

smtp/mime: fix parsing edge case

Correctly track "remaining" bytes after partial base64 decoding.

Add comment clarifications and debug validation checks.

smtp: skip preprocessing for mime headers

Mime parser doesn't expect partial lines, which preprocessing can
provide. Add a check to let mime headers be handled by regular line
parsing.

eve/schema: add drop.udplen, email fields

source/pcap: fix infinite loop if interface goes down

When in live-pcap mode, if the sniffed interface went down and up again,
Suri would enter an infinite and keep running, while not registering new
events. This fixes that behavior by allowing Suri to retry to open the
pcap in case of a retry on an already activated capture
('PCAP_ERROR_ACTIVATED').

This change is based on Zhiyuan Liao's work.

Bug #3846

github-actions: bump ossf/scorecard-action from 1.1.1 to 1.1.2

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 1.1.1 to 1.1.2.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/3e15ea8318eee9b333819ec77a36aca8d39df13e...ce330fde6b1a5c9c75b417e7efc510b822a35564)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

detect: impose limits on pcrexform

As is done for pcre keyword

Ticket: #5409

devguide: incorporate contribution process page

That page existed only in our redmine. Updated and added a few things,
like a paragraph about our expectations for feature contributors.

Also updated links, contacts and some other processes that may have
changed since last edition.

Added some section labels in related documents, for ease of referencing.

Task #4929

detect: set drop reason for rule based drops

Call `PacketDrop` with drop reason for drops, keep old logic
in place for the rest.

stream: suppress exception policy debug message

detect/filestore: clean up stream flag handling

github/workflows: add cargo for all Ubuntu jobs

eve/schema: add pcap_filename field

file: consistently track size of gaps

Until now only the size of gaps counted in the regular append, not
close and open.

Bug: #5392.

eve/schema: add new flow fields

stream: remove unused TCP_LISTEN

Keep the values the same so we might be able to bring it back
w/o issues.

counter: tcp liberal counter

stream: after missing segments, be liberal on RST

This avoids long lasting inactive flows because in the most likely
case the RST did in fact end the connection. However Suricata may
still consider it to be "established".

flow: add various flow counters

Add flow.end state counters

Add active TCP sessions counter

Add flow.active counter

Add flow.total counter

Ticket: #1478.

counters: add StatsDecr

flow/manager: add flow.mgr.rows_sec counter

flow/recycler: bring back pthread_cond_t sleep

Bug #4379.

flow/recycler: minor code cleanups

flow/manager: move counters into util func

flow/manager: minor code cleanups

flow/manager: remove debug and dead code

flow/manager: sleep handled by pthread_cond_t again

Use only in live mode to allow FM to respond quickly to time
increases in offline mode.

Bug #4379.

time: add timeradd implementation

timeradd isn't available on MinGW.

flow/manager: adaptive hash eviction timing

The flow manager scans the hash table in chunks based on the flow timeout
settings. In the default config this will lead to a full hash pass every
240 seconds. Under pressure, this will lead to a large amount of memory
still in use by flows waiting to be evicted, or evicted flows waiting to
be freed.

This patch implements a new adaptive logic to the timing and amount of
work that is done by the flow manager. It takes the memcap budgets and
calculates the proportion of the memcap budgets in use. It takes the max
in-use percentage, and adapts the flow manager behavior based on that.

The memcaps considered are:
    flow, stream, stream-reassembly and app-layer-http

The percentage in use, is inversely applies to the time the flow manager
takes for a full hash pass. In addition, it is also applied to the chunk
size and the sleep time.

Example: tcp.reassembly_memuse is at 90% of the memcap and normal flow
hash pass is 240s. Hash pass time will be:

    240 * (100 - 90) / 100 = 24s

Chunk size and sleep time will automatically be updated for this.

Adds various counters.

Bug: #4650.
Bug: #4808.

stream: tcp: Handle retransmitted SYN with TSval

For connections that use TCP timestamps for which the first SYN packet
does not reach the server, any replies to retransmitted SYNs will be
tropped.

This is happening in StateSynSentValidateTimestamp, where the timestamp
value in a SYN-ACK packet must match the one from the SYN packet.
However, since the server never received the first SYN packet, it will
respond with an updated timestamp from any of the following SYN packets.

The timestamp value inside suricata is not being updated at any time
which should happen. This patch fixes that problem.

Bug: #4376.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>

detect/dcerpc: simplify keyword validation

Now that the engine understands the relation between SMB and DCERPC better
we can get rid of some of the special case handling in keywords.

detect/content: fix FNs due to bad depth calc

When trying to propegate the depth/offset, within/distance chains
a logic error would set too a restrictive depth on a pattern that
followed more than one "unchained" patterns.

Bug: #5162.

detect/content: simplify int bounds checking

Use a macro to validate the ranges for overflows. This removes
the clutter of all the checks and warnings, and also no longer
puts the state machine in an undefined state when hitting such
a condition.

detect/dcerpc: apply dcerpc to smb as well

So 'alert dcerpc' also matches if the DCERPC is over SMB.

Explicitly refuse smb keywords for the 'dcerpc' app proto setting:
`alert dceprc ... smb.share; ...` is rejected.

Remove a now useless special case in the stateless rule processing
matching for dcerpc/smb.

Bug: #5208.

event: only sets APPLAYER_UNEXPECTED_PROTOCOL once

If f->alproto == ALPROTO_UNKNOWN, we do not know the new protocol
yet, so we do not set the event yet.

events: reset logged event

Otherwise, if we log a first app_layer_event, then reset
with AppLayerDecoderEventsResetEvents for a new packet,
then get another event, it does not get logged

Ticket: #5391

smb: use default stream-depth 0 by default

As broken by commit e5c948df87

Ticket: #5390

eve/schema: add missing magic from files array

github-actions: bump actions/cache from 3.0.3 to 3.0.4

Bumps [actions/cache](https://github.com/actions/cache) from 3.0.3 to 3.0.4.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/30f413bfed0a2bc738fdfd409e5a9e96b24545fd...c3f1317a9e7b1ef106c153ac8c0f00fed3ddbc0d)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

nfs: fix arbitrary allocation

Bug introduced by https://github.com/OISF/suricata/pull/7111

Nom's count begins by allocating a Vector, which leads to arbitrary
allocation due to flavors_cnt coming from network, and not even
being checked against i.len()

Ticket: #5237

util: fix integer warnings in mime decoding

Ticket: #4516