eve/schema: add missing magic from files array

github-actions: bump actions/cache from 3.0.3 to 3.0.4

Bumps [actions/cache](https://github.com/actions/cache) from 3.0.3 to 3.0.4.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/30f413bfed0a2bc738fdfd409e5a9e96b24545fd...c3f1317a9e7b1ef106c153ac8c0f00fed3ddbc0d)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

nfs: fix arbitrary allocation

Bug introduced by https://github.com/OISF/suricata/pull/7111

Nom's count begins by allocating a Vector, which leads to arbitrary
allocation due to flavors_cnt coming from network, and not even
being checked against i.len()

Ticket: #5237

util: fix integer warnings in mime decoding

Ticket: #4516

defrag: do not cast pkt len to u16

as it can overflow

detect: change InspectEngineFuncPtr2 to return uint8_t

ci: adds warning flag about integer conversions

detect: fix integer warnings

Ticket: #4516

detect: fix integer warnings for content

Ticket: #4516

detect: fix integer warnings for app-layer-event

Ticket: #4516

ftp: fix integer warning

Ticket: #4516

dns: remove unused events field from state

found overflowing by oss-fuzz

detect/threshold: fix offline time handling issue

Due to the TIMEVAL_DIFF_SEC calculating the delta into an unsigned
integer, it would underflow to a high positive value leading to
and incorrect result if the packet timestamp was below the timestamp
for the threshold entry. In normal conditions this shouldn't happen,
but in offline mode each thread has its own concept of time which
might differ significantly based on the pcap. In this case the
overflow would be very common.

Changing it to a signed value calculation triggered fuzz undefined
behavior if the packet timeval was very high, so this patch takes a
new approach where it no longer calculates a diff but sets up the
"seconds" value we compare against as a timeval itself, and uses
that to compare.

Fixes: 9fafc1031c0c ("time: Add TIMEVAL_EARLIER and TIMEVAL_DIFF_SEC macros.")
Fixes: 82dc61f4c3e3 ("detect/threshold: Refactor threshold calculation to handle by_rule and by_both.")
Uses add `timeradd` specific version where available.

Bug: #5386.

stream/midstream: fix double flow reverse case

In the case of midstream SYN/ACK pickup, we reverse the flow based on
the SYN/ACK. If we then later get traffic that appears to be in the
reverse direction based on the app-layer, we would reverse it again.
This isn't correct. When we have the SYN/ACK we know the flow's real
direction.

eve/schema: add missing capture_file field

eve/schema: add missing http fields

eve/schema: add missing alert fields

eve/schema: add missing smb fields

eve/schema: add missing drop fields for ipv6

eve/schema: add profiling detect fields

bypass: af-packet: fix memory leak - reassign of EBPFBypassData

AF-Packet bypass function in some situations allocates EBPF bypass data
for an already bypassed flow and assigns it to the flow without any checks

Issue: #5368

bypass: fix memory leak - reassign of FlowBypassInfo

In some situations bypass callback is called on already bypassed
flow. This allocates FlowBypassInfo structure for the flow but
does not check if the flow already has one.

Issue: #5368

napatech: fix conf API call

exceptions: initial exception-policy implementation

Adds a framework for setting exception policies. These would be called
when the engine reaches some kind of exception condition, like hitting
a memcap or some traffic processing error.

The policy gives control over what should happen next: drop the packet,
drop the packet and flow, bypass, etc.

Implements the policy for:

    stream: If stream session or reassembly memcaps are hit call the
    memcap policy on the packet and flow.

    flow: Apply policy when memcap is reached and no flow could be
    freed up.

    defrag: Apply policy when no tracker could be picked up.

    app-layer: Apply ppolicy if a parser reaches an error state.

All options default to 'ignore', which means the default behavior
is unchanged.

Adds commandline options: add simulation options for exceptions. These
are only exposed if compiled with `--enable-debug`.

Ticket: #5214.
Ticket: #5215.
Ticket: #5216.
Ticket: #5218.
Ticket: #5194.

decode: add pass action wrapper

decode: turn no payload/packet inspect macros into funcs

Remove unused unset macros.

eve/drop: log drop reason

Ticket: #5202.

stream/tests: remove bad test; update failing test to new behavior

stream: clarify error handling comment

stream/reassemble: clarify error handling

stream: remove now unused tcp.insert_list_fail counter

stream/segtree: simplify error handling

Now that spurious retransmissions don't propegate into the reassembly
code, error handling can be simplified.

stream/rules: add example rule for pkt_spurious_retransmission

stream: detect spurious retransmissions early

github-actions: bump github/codeql-action from 1 to 2

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 1 to 2.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/v1...v2)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

config: update commented value to default status

Signed-off-by: jason taylor <jtfas90@gmail.com>

tests: remove unnecessary flow locks

Added once to satisfy debug validation, but we don't mix unittests
and debug validation anymore.

    sed -i -E '/.*FLOWLOCK_.*LOCK/d' *.c

smtp: minor line loop cleanup

smtp: remove defunct check for line with single LF

Don't fix it as DATA processing needs all the bytes.

smtp: constify line arguments where possible

smtp: move current line out of state

smtp: move input out of state

smtp: turn assertions in to debug asserts

smtp: simplify preprocess loop

mime/base64: decode cleanups and simplification

Addresses edge case: > 4 bytes at the end of the input with 2 or more
spaces.

Changes length type for remainder processing to allow for much longer
lines, which can happen in practice.

Adds a series of debug validation checks with real error handling
as well, to assist the fuzzer to find more edge cases.

base64: no special case for nul char

Let it be handled like other invalid input.

base64: make decoder handle decoded data space constraints

So far, it was the job of caller to send the bae64 decoder a perfect
block of data and take care of the destination buffer (decoded data)
size. Now, make it the decoder's job to take care of any space
constraints that the destination buffer may have and return accordingly.

Also, handle space characters in base64 encoded data as per RFC 2045.

Update MIME parser accordingly to handle the base64 data.

Ticket: 5315

base64: add Base64Ecode enum

base64: add Base64Mode enum

smtp: treat CR as a line terminator

The ideal line terminator for an SMTP line is <CRLF>. But, given that
bare LF is still allowed by many systems despite the prohibition by
standards, we have to consider that. In order to simplify things, we
consider bare CR as line terminators as well while updating the
delimiter parameter correctly if they were to be followed by a LF
immediately or as a part of next fragment.

This takes care of some edge cases that made base64 decoder error out
because unexpected data was sent to it at times.

Ticket: 5316

ci: adds CodeQL workflow and LGTM support

Ticket: #5307

github-actions: bump ossf/scorecard-action from 1.1.0 to 1.1.1

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 1.1.0 to 1.1.1.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/5c8bc69dc88b65c66584e07611df79d3579b0377...3e15ea8318eee9b333819ec77a36aca8d39df13e)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump github/codeql-action from 2.1.11 to 2.1.12

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 2.1.11 to 2.1.12.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/a3a6c128d771b6b9bdebb1c9d0583ebd2728a108...27ea8f8fe5977c00f5b37e076ab846c5bd783b96)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

detect: use generic integer functions for streamsize

By the way, adds the prefilter feature

Ticket: #2697
Ticket: #4112

detect: use generic integer functions for filesize

Ticket: #4112

detect: use generic integer functions for tcp mss

Ticket: #4112

detect: use generic integer functions for template2

detect: use generic integer functions for ttl

Ticket: #4112

detect: use generic integer functions for dsize

Ticket: #4112

detect: rust generic functions for integers

Move it away from http2 to generic core crate.
And use it for DCERPC (and SMB)

And remove the C version.
Main change in API is the free function is not free itself, but
a rust wrapper around unbox.

Ticket: #4112

util: better hex print function

Without dangerous snprintf pattern identified by CodeQL
even if this pattern is not a problem in those precise cases,
it may easily get copy pasted in a dangerous place, so better
get rid of it and make CodeQL happy

rust: make suricata context const

So that it is read only and its pointers do not get modified

ftp: remove temporary fields from state

As input, input_len and direction only last for the scope of
one call of AppLayerParserParse, it is not necessary to keep them
in FtpState which lives longer, so we consume less memory.

modbus: bump up rust crate version

So that probing parser is more strict and does not accept unknown
function code as valid modbus.

Ticket: #5377

detect: introduce "like" ip-only signature type

Rules that look like they should be IP-only but contain a negated rule
address are now marked with an LIKE_IPONLY flag. This is so they are
treated like IPONLY rules with respect to flow action, but don't
interfere with other IPONLY processing like using the radix tree.

Ticket: #5361

decode: fix integer warning

Newly introduced warning.
Regular cast as value is checked just before.

Ticket: #4516

defrag: fix integer warnings

Ticket: #4516

rust: cbindgen first verifies existing bindings

So as not to recompile every C file inclusing rust.h

detect: parsing avoiding infinite loop

by comparing size_t to strlen result
Instead of uint16_t which would loop

Ticket: #5310

file: use functions on fd to avoid toctou

Ticket: #5308

util: check for unsigned overflow in rohash

To make CodeQL happy

conf: remove ConfGetValue

All uses of ConfGetValue are satisfied by ConfGet

util: remove malloc from streaming buffer config

as it is unused

github-actions: bump actions/cache from 3.0.2 to 3.0.3

Bumps [actions/cache](https://github.com/actions/cache) from 3.0.2 to 3.0.3.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/48af2dc4a9e8278b89d7fa154b955c30c6aaab09...30f413bfed0a2bc738fdfd409e5a9e96b24545fd)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

doc/tls: Add documentation for TLS logging

doc/tls: Remove redundant example

suricata.yaml.in: Fix default value of prealloc-sessions

doc: Add missing ")" in example

suricata.yaml.in: Remove duplicate "with" in comment.

doc: Fix typos

doc: Fix broken link

output: adds schema.json

Ticket: #1369

log-pcap: remove tunnel locks

The tunnel lock mutex only "protects" the tunnel synchronization,
not the packet data, length or datalink fields.

nflog: fix datalink compile issue

util/action: convert unittests to FAIL/PASS API

Task #5371

util/action: unittests clean-up (to sv tests)

Removing all unittests that work better as suricata-verify tests.

Task #5371

unittest: minor helper cleanup

detect/parse: cleanup test

detect: parsing test cleanups/improvements

host-os-info: add test to show mixed ipv4/ipv6

rule/vars: clean up tests

detect/iponly: minor code cleanup

detect/iponly: include postmatch in determination

detect/iponly: simplify handling of 'any' parsing

detect: address parsing variable rename to match code style

detect/iponly: remove unused code

rust: fix doc comments that trigger rust warnings

Rust generates warnings that are treated as errors for documentation
blocks before `extern` blocks.

github-actions: bump ossf/scorecard-action from 1.0.4 to 1.1.0

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 1.0.4 to 1.1.0.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/c1aec4ac820532bab364f02a81873c555a0ba3a1...5c8bc69dc88b65c66584e07611df79d3579b0377)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

stream: add packet header outside of lock

log/pcap: open handles outside of lock