frames: enable only used frames

Enable only frames that are actually used.

Ticket: #4979.

files: move FileContainer into FileTransferTracker

Update SMB, NFS, HTTP2.

detect/frame: improve frame detection

Add a per frame progress tracker.

output/frame: log frame type stream

output/frame: improve 'complete' logging

frame: add debug validation check

app-layer/frames: use absolute frame offset

Frame offset was already a 64 bit integer, so simplify things by
making it an absolute offset from the start of the stream.

frames: implement generic <alproto>.stream frames

Add a hard coded <alproto>.stream option for all stream data for
a protocol.

Starts at stream offset 0 or at the point of a protocol upgrade
in case of STARTTLS or CONNECT.

detect/frames: minor cleanup in buffer handling

Don't lookup a buffer twice, even if the lookup should be fast.

htp: simplify streaming buffer config

Use a single static config instead of the per profile config.

streaming: remove config pointer from struct

streaming: internal switch to sbcfg by argument

streaming: add sbcfg to StreamingBufferClear

streaming: add sbcfg to StreamingBufferFree

streaming: add sbcfg to StreamingBufferAppendRaw

streaming: add sbcfg to StreamingBufferAppend

streaming: add sbcfg to StreamingBufferSlideToOffset

streaming: add sbcfg to StreamingBufferInsertAt

streaming: add sbcfg to StreamingBufferAppendNoTrack

output/filedata: trunc file in output again

files: update API and callers to take stream config

This is to allow not storing the stream buffer config in each file.

output/filedata: don't call file close

Will be reenabled after file API is updated.

app-layer: get sbconfg with files

files: remove filecontainer drop trait

In preparation of it becoming impossible to use due to the free
function getting an cfg argument.

http2: explicity free files

In preparation of adding an argument to the free functions which
means the drop trait can't be used anymore.

smb: explicity free files

In preparation of adding an argument to the free functions which
means the drop trait can't be used anymore.

nfs: explicity free files

In preparation of adding an argument to the free functions which
means the drop trait can't be used anymore.

nfs: file handling cleanups

smb: file handling cleanups

files: remove unused Rust binding for file pruning

streaming: set size and max regions defaults

htp: remove duplicate prototypes

htp/body: minor optimization

flow: inline commonly used getters

streaming: remove inefficient buffer grow logic

streaming: remove unused slide logic

streaming: remove unused config member

streaming: make minimum region gap size configurable

stream/reassembly: make max-regions configurable; set default

streaming: add max regions config option

stream/list: hack around GAP handling in tests

stream: improve gap tests

eve: log max regions

stream: flow timeout improvement

Check continuous data for app-layer and post gap data as well for
stream inspection.

streaming: implement memory regions

In TCP, large gaps in the data could lead to an extremely poor utilization
of the streaming buffer memory. This was caused by the implementation using
a single continues memory allocation from the "stream offset" to the
current data. If a 100 byte segment was inserted for ISN + 20MiB, we would
allocate 20MiB, even if only 100 bytes were actually used.

This patch addresses the issue by implementing a list of memory regions.
The StreamingBuffer structure holds a static "main" region, which can be
extended in the form of a simple list of regions.

    [ main region ] [ gap ] [ aux region ]
    [ sbb ]                 [ sbb ]

On insert, find the correct region and see if the new data fits. If it
doesn't, see if we can expand the current region, or than we need to add
a new region. If expanding the current region means we overlap or get
too close to the next region, we merge them.

On sliding, we free any regions that slide out of window and consolidate
auxilary regions into main where needed.

Bug: #4580.

stream: reduce streaming buffer internals use

smb: fix post-trunc chunk behavior

After a gap in a file transaction, the file tracker is truncated. However
this did not clear any stored out of order chunks from memory or stop more
chunks to be stored, leading to accumulation of a large number of chunks.

This patches fixes this be clearing the stored chunks on trunc. It also
makes sure no more chunks are stored in the tracker after the trunc.

Bug: #5781.

fuzz: check libpcap timestamp consistency

That is microseconds should be positive

fuzz: fix use of uninitialized value

packet timestamp is not set when function returns error.
also use C positive modulo for microseconds

ftp: completely resets port_line

In the case port_line is first allocated and port_line_len is set,
Then a second request reaches memcap and frees port_line,
port_line_len should also be reset, because both will get used
by the response parsing.

Ticket: #5701

userguide: update http.cookie description

Signed-off-by: jason taylor <jtfas90@gmail.com>

flow-worker: prune frames and stream for pseudo packets as well

debug: add pkt_src to detect/stream entry log

stream: add debug statements

stream: consider any uninspected data

stream: minor constification

streaming/sbb: fix debug message

stream: remove bug on from packet path

output: improve debug format by adding function name

src: fix deprecated-non-prototype compile warnings

Tested on Fedora 37 with clang 15.

util-strlcatu.c:45:8: error: a function definition without a prototype is deprecated in all versions of C and is not supported in C2x [-Werror,-Wdeprecated-non-prototype]
size_t strlcat(dst, src, siz)
           ^
1 error generated.

src: fix unused-but-set-variable compile warnings

Tested on Fedora 37 with clang 15.

datasets.c:852:9: error: variable 'n' set but not used [-Werror,-Wunused-but-set-variable]
    int n = 0;
        ^
1 error generated.

src: fix strict-prototype warnings

Tested on Fedora 37 with clang 15.

app-layer.c:1055:27: error: a function declaration without a prototype is deprecated in all versions of C [-Werror,-Wstrict-prototypes]
void AppLayerSetupCounters()
                          ^
                           void
app-layer.c:1176:29: error: a function declaration without a prototype is deprecated in all versions of C [-Werror,-Wstrict-prototypes]
void AppLayerDeSetupCounters()
                            ^
                             void
2 errors generated.

smb: configurable max number of transactions per flow

Ticket: #5753

smb: convert transaction list to vecdeque

Allows for more efficient removal from front of the list.

Ticket: #5753

detect/frames: fix crash when parsing bad rule

Indexing of Signature::init_data::smlists would fail for a rule that
used a frame and fast_pattern w/o content, as the array would only be
expanded when adding a content.
Adding a check to see if there list id is in bounds
is an implicit check for the "no content" case.

Ticket: #5530

github-actions: bump ossf/scorecard-action from 2.1.1 to 2.1.2

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.1.1 to 2.1.2.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/15c10fcf1cf912bd22260bfec67569a359ab87da...e38b1902ae4f44df626f11ba0734b14fb91f8f86)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

doc/userguide: update logging section for time formats

- Update fragment of configuration file to match suricata.yaml with
  new default-log-format.
- Document new %z format specifier.

logging: use ISO-like timestamp in file log

Also update suricata.yaml to show this default, as updating the
"default-log-format" does not affect the file output.

suricata.yaml: update default-log-format current state

The default-log-format has changed, reflect this in the suricata.yaml.

logging: add new date format: YYYY-MM-DD HH:MM:SS

Adds a new logging format character, %z that uses a more standard time
format of "YYYY-MM-DD HH:MM:SS".

Ticket #5764

src: remove unneeded double colon

git grep ';;' src/ | grep -v for | cut -d: -f1 | uniq
| while read f; do sed -i -e 's/;;/;/' $f; done

smb: fix typo in comment

test: remove one duplicate line

flow: complete stats for app_layer protocol counters

In the case of a gap, or in the case of a flow where one side
is recognized, but the other is not before the end, we still
increase the counters to have consistency between

jq 'select(.event_type=="flow" and .app_proto=="ftp") | .app_proto'  log/eve.json | wc -l
jq 'select(.event_type=="stats") | .stats."app_layer".flow.ftp' log/eve.json

Ticket: #5769

mqtt: rustfmt parser.rs

mqtt: add unittests for nom7 parsers

Ticket: #5742

github-actions: bump actions/download-artifact from 3.0.1 to 3.0.2

Bumps [actions/download-artifact](https://github.com/actions/download-artifact) from 3.0.1 to 3.0.2.
- [Release notes](https://github.com/actions/download-artifact/releases)
- [Commits](https://github.com/actions/download-artifact/compare/9782bd6a9848b53b110e712e20e42d89988822b7...9bc31d5ccc31df68ecc42ccf4149144866c47d8a)

---
updated-dependencies:
- dependency-name: actions/download-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump actions/upload-artifact from 3.1.1 to 3.1.2

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 3.1.1 to 3.1.2.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/83fd05a356d7e2593de66fc9913b3002723633cb...0b7f8abb1508181956e8e162db84b466c27e18ce)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump actions/checkout from 3.2.0 to 3.3.0

Bumps [actions/checkout](https://github.com/actions/checkout) from 3.2.0 to 3.3.0.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v3.2.0...v3.3.0)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

stream: fix memory leak when failing to insert segment

As introduced by commit f848e34bcc266a2a4d8f5fc2661d2b430449b190

DoInsertSegment can now return `-EINVAL` and there was no
generic handling of error values to return the tcp segment
to its pool.

Ticket: #5777

log/stats: Ensure output exists for the stats thread

Issue: 5198

This commit ensures that a log output destination exists for the stats
thread.

log: Use hash table for slot maintenance

Issue: 5198

This commit modifies the threaded logging support to use the hash table
for handling thread/slot mappings. As a result, it's no longer necessary
to provide the thread id when ensuring the log output exists.

log: Add hash table for thread/slot mappings

Issue: 5198

This commit adds a hash table to manage thread id to slot mappings. This
ensures that each thread will have its own slot (file output device)

devguide/install: add note about ubuntu version

We want to make it clear with which system the instructions for
installing from were tested with.

rfb: rustfmt parser.rs

rfb: add unittests for nom7 parsers

Task: #5741

smb: set event for ntlmssp unusual order

smb: rustfmt ntlmssp_records.rs

smb/ntlmssp: parse fields independently of order

Instead of relying on the usual ordering...

Ticket: #5258

github-actions: bump ossf/scorecard-action from 2.0.6 to 2.1.1

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.0.6 to 2.1.1.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/99c53751e09b9529366343771cc321ec74e9bd3d...15c10fcf1cf912bd22260bfec67569a359ab87da)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

detect/cert: Use client side certs

Issue: 5516

This commit modifies the detect logic to choose the certificate based on
the flow direction -- to server or to client.

rust: sync log levels with C

exception-policies: fix typos

scripts: fix app-layer-protos.c setup

After the changes in the script in 05e16820de, the file
app-layer-protos.c was to be modified properly iff it was left unformatted.
However, the file was also formatted as a part of the same commit making
the lines split which broke the output of the script. Fix that by
looking for another pattern and changing the lines following that.

app/protos: reformat string to proto

app-layer: check name vs proto mapping in registration

netmap/runmode: minor code cleanup

ioctl: output cleanups

netmap: output cleanups

dpdk: don't "fix" broken ips setting