smtp: minor line loop cleanup

smtp: remove defunct check for line with single LF

Don't fix it as DATA processing needs all the bytes.

smtp: constify line arguments where possible

smtp: move current line out of state

smtp: move input out of state

smtp: turn assertions in to debug asserts

smtp: simplify preprocess loop

mime/base64: decode cleanups and simplification

Addresses edge case: > 4 bytes at the end of the input with 2 or more
spaces.

Changes length type for remainder processing to allow for much longer
lines, which can happen in practice.

Adds a series of debug validation checks with real error handling
as well, to assist the fuzzer to find more edge cases.

base64: no special case for nul char

Let it be handled like other invalid input.

base64: make decoder handle decoded data space constraints

So far, it was the job of caller to send the bae64 decoder a perfect
block of data and take care of the destination buffer (decoded data)
size. Now, make it the decoder's job to take care of any space
constraints that the destination buffer may have and return accordingly.

Also, handle space characters in base64 encoded data as per RFC 2045.

Update MIME parser accordingly to handle the base64 data.

Ticket: 5315

base64: add Base64Ecode enum

base64: add Base64Mode enum

smtp: treat CR as a line terminator

The ideal line terminator for an SMTP line is <CRLF>. But, given that
bare LF is still allowed by many systems despite the prohibition by
standards, we have to consider that. In order to simplify things, we
consider bare CR as line terminators as well while updating the
delimiter parameter correctly if they were to be followed by a LF
immediately or as a part of next fragment.

This takes care of some edge cases that made base64 decoder error out
because unexpected data was sent to it at times.

Ticket: 5316

ci: adds CodeQL workflow and LGTM support

Ticket: #5307

github-actions: bump ossf/scorecard-action from 1.1.0 to 1.1.1

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 1.1.0 to 1.1.1.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/5c8bc69dc88b65c66584e07611df79d3579b0377...3e15ea8318eee9b333819ec77a36aca8d39df13e)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump github/codeql-action from 2.1.11 to 2.1.12

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 2.1.11 to 2.1.12.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/a3a6c128d771b6b9bdebb1c9d0583ebd2728a108...27ea8f8fe5977c00f5b37e076ab846c5bd783b96)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

detect: use generic integer functions for streamsize

By the way, adds the prefilter feature

Ticket: #2697
Ticket: #4112

detect: use generic integer functions for filesize

Ticket: #4112

detect: use generic integer functions for tcp mss

Ticket: #4112

detect: use generic integer functions for template2

detect: use generic integer functions for ttl

Ticket: #4112

detect: use generic integer functions for dsize

Ticket: #4112

detect: rust generic functions for integers

Move it away from http2 to generic core crate.
And use it for DCERPC (and SMB)

And remove the C version.
Main change in API is the free function is not free itself, but
a rust wrapper around unbox.

Ticket: #4112

util: better hex print function

Without dangerous snprintf pattern identified by CodeQL
even if this pattern is not a problem in those precise cases,
it may easily get copy pasted in a dangerous place, so better
get rid of it and make CodeQL happy

rust: make suricata context const

So that it is read only and its pointers do not get modified

ftp: remove temporary fields from state

As input, input_len and direction only last for the scope of
one call of AppLayerParserParse, it is not necessary to keep them
in FtpState which lives longer, so we consume less memory.

modbus: bump up rust crate version

So that probing parser is more strict and does not accept unknown
function code as valid modbus.

Ticket: #5377

detect: introduce "like" ip-only signature type

Rules that look like they should be IP-only but contain a negated rule
address are now marked with an LIKE_IPONLY flag. This is so they are
treated like IPONLY rules with respect to flow action, but don't
interfere with other IPONLY processing like using the radix tree.

Ticket: #5361

decode: fix integer warning

Newly introduced warning.
Regular cast as value is checked just before.

Ticket: #4516

defrag: fix integer warnings

Ticket: #4516

rust: cbindgen first verifies existing bindings

So as not to recompile every C file inclusing rust.h

detect: parsing avoiding infinite loop

by comparing size_t to strlen result
Instead of uint16_t which would loop

Ticket: #5310

file: use functions on fd to avoid toctou

Ticket: #5308

util: check for unsigned overflow in rohash

To make CodeQL happy

conf: remove ConfGetValue

All uses of ConfGetValue are satisfied by ConfGet

util: remove malloc from streaming buffer config

as it is unused

github-actions: bump actions/cache from 3.0.2 to 3.0.3

Bumps [actions/cache](https://github.com/actions/cache) from 3.0.2 to 3.0.3.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/48af2dc4a9e8278b89d7fa154b955c30c6aaab09...30f413bfed0a2bc738fdfd409e5a9e96b24545fd)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

doc/tls: Add documentation for TLS logging

doc/tls: Remove redundant example

suricata.yaml.in: Fix default value of prealloc-sessions

doc: Add missing ")" in example

suricata.yaml.in: Remove duplicate "with" in comment.

doc: Fix typos

doc: Fix broken link

output: adds schema.json

Ticket: #1369

log-pcap: remove tunnel locks

The tunnel lock mutex only "protects" the tunnel synchronization,
not the packet data, length or datalink fields.

nflog: fix datalink compile issue

util/action: convert unittests to FAIL/PASS API

Task #5371

util/action: unittests clean-up (to sv tests)

Removing all unittests that work better as suricata-verify tests.

Task #5371

unittest: minor helper cleanup

detect/parse: cleanup test

detect: parsing test cleanups/improvements

host-os-info: add test to show mixed ipv4/ipv6

rule/vars: clean up tests

detect/iponly: minor code cleanup

detect/iponly: include postmatch in determination

detect/iponly: simplify handling of 'any' parsing

detect: address parsing variable rename to match code style

detect/iponly: remove unused code

rust: fix doc comments that trigger rust warnings

Rust generates warnings that are treated as errors for documentation
blocks before `extern` blocks.

github-actions: bump ossf/scorecard-action from 1.0.4 to 1.1.0

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 1.0.4 to 1.1.0.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/c1aec4ac820532bab364f02a81873c555a0ba3a1...5c8bc69dc88b65c66584e07611df79d3579b0377)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

stream: add packet header outside of lock

log/pcap: open handles outside of lock

log/pcap: add buffer timeout

Set timeout for pcap log so that packets do not sit
in buffer. Set default to one second.

stream: memcap tracking for TcpSegment alloc

log/pcap: handle case of multiple link types

flow: set datalink for pseudo packet

Set pseudo packet datalink to the global one. This fixes the case
where the pcap handle is open with information coming from a
pseudo packet. Without this, we did end up in most cases with
an Ethernet packet being written in a Raw pcap.

suricata: introduce global linktype

As Suricata is not supporting pcap-ng we have to stick with one single
datalink type for the capture if ever we want to do pcap logging.
Assuming this, this patch introduces a function to set the link
type globally. This will be used with pcap conditional logging
to get the logging of TCP segments with the correct link type.

log/pcap: log segments for pseudo packets

log/pcap: fix conditional pcap in tag mode

We were missing the first packet when using condition pcap logging
in tag mode as it was not tagged. As a result we were not getting
the stream data triggering the alert in the pcap file.

detect/tag: add a tag for first packet

We may need to know that a packet has been tagged but is the
first one (and thus is not tagged).

log/pcap: dump segments of both sides of tcp session.

This patch updates tcp segment dumping to dump segments
from both sides of the session in order when capturing
alerts and tags.

doc: add info about capture_file key

log/pcap and eve/alert: get pcap filename to support multi mode

This patch adds a function to get the current pcap file name that
will be used to current packet. This patch also  updates EVE
alerts to add pcap output filename when pcap capture is done in
multi or normal mode.

log/pcap: fix typo in error message

stream: count realloc in memcap

TCP memory cap was not taking into account the memory that can
be used by realloc of Packet headers in TCP segments.

log/pcap: update copyright date

doc: add conditional pcap logging info

log/pcap: introduce tag as logging condition

This patch adds the tag as logging condition. If this option is
used all tagged packets are written to the pcap.

log/pcap: fix some indentation and white spaces

log/pcap: add support for tunnel logging

In alert mode, we need to write the root packet to the pcap
file instead of the packet that did trigger the alert.

log/pcap: add existing stream logging

This patch update the alert mode of pcap logging.

It uses the packet header data added to the TCP segments
to build packets corresponding to the acked data that did trigger
the alert. It then write it to the pcap file before starting to
dump all packet for the flow that did alert.

stream: conditionally add packet header to segment

This patch optionally adds packet header to the TCP segment
and update the for each segment function by changing the
callback.

This patch is based on the work by Scott Jordan <scottfgjordan@gmail.com>

detect: add flag when packet is first with alert

We add a flag to packet to be able to know if this packet was the
first one to get alerts on the flow.

log/pcap: add PcapWrite function

It will be used later when multiple writing operations will be
necessary.

log/pcap: conditional logging

Add an option to only write to pcap packets with alerts and flow
that have alerted.

github-ci: remove fedora 34 build

Fedora 34 goes EOL in early June. The checks in this build are already
covered by the 35 and 36 builds.

github-ci: bump fedora versions

35 -> 36
34 -> 35
33 -> 34

rules: use primary default-rule-path if set on command line

When reloading rules, respect `--set default-rule-path=...` from the
command line if set.

Previously the rule reload would always take the default-rule-path from
the configuration file, even if overrided on the command line.

Issue: #1911

detect/alert: directly increment alerts.discarded

In the unlikely case of AlertQueueExpand failure, we were incrementing
the discarded alerts stats in AlertQueueAppend via the Packet member in the
DetectEngineThreadCtx, which may not be initialized yet.

Bug #5353

dcerpc: use vecdeque tx iterator

Ticket: #5321

github-actions: bump github/codeql-action from 2.1.9 to 2.1.11

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 2.1.9 to 2.1.11.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/7502d6e991ca767d2db617bfd823a1ed925a0d59...a3a6c128d771b6b9bdebb1c9d0583ebd2728a108)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump actions/upload-artifact from 3.0.0 to 3.1.0

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 3.0.0 to 3.1.0.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/6673cd052c4cd6fcf4b4e6e60ea986c889389535...3cea5372237819ed00197afe530f5a7ea3e805c8)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

protodetect: use both directions over UDP

As is already done for TCP

Ticket: #2757

protodetect: be more tolerant

Do not mask protocols on both directions with only first packet

For instance :
When the first packet is no valid DNS but on port 53 (a junk request)
second packet (error response from server) does not get checked for DNS
as first packet bit masked away DNS for both directions

Ticket: #2757

stacktrace-on-signal: Use kill(getpid(), sig_num)

kill(0, ...) re-raises the signal to every processes in the process
group which may impact unrelated processes.

Concretely, in our CI pipeline, a segfaulting Suricata process killed
the test driver.

suricata.yaml: include version that generated this file

Add a line to the configuration that says which version generated the
configuration file.  For example:

    # This configuration generated by:
    #     Suricata 7.0.0-dev

Issue: #4784

stream/segtree: improve docs, error handling

streaming/buffer: add debug validation for 'impossible' condition

app-layer: make registration structure more compact