detect: remove unused data struct

eve/schema: flow/stream updates

flow/worker: process injected flows more gradually

Worker threads are responsible for final processing of timed out flows.
These are selected by the Flow Manager and inserted into a per thread
queue. The Flow Worker then checks this queue after each packet. Due to
the burstiness of this process, the packet threads would sometimes process
a lot of these flows in the context of a single packet, leading to spike
in latency which might cause packet loss.

This patch changes the behavior to only process at max 2 flows per packet.
This way added processing cost is amortized over many packets.

flow: count max number of injected flows in workers

stream: reduce pool locking overhead

Add thread local cache to avoid locking overhead for ssns and segments.

A thread will return segments/ssns to a local cache first, and if that
is full, to a return queue where the actual return to the pool returns
a batch, to amortize locking overhead.

Adds segment and session pool/cache counters to see where how effective
the cache is.

stream: minor test cleanup

cocci: fix python issues

files: only call loggers is there is work to do

filestore: remove obsolete checks

filestore: fix empty file not opening, but trying to close

app-layer: reduce app cleanup and output-tx calls

Track packets that updated the app-layer, and for those run
the transaction housekeeping and output-tx logging loops.

Do the same of end of flow packets.

This skips needless iterations over the transaction stores.

output/tx: minor cleanups/optimizations

src: includes cleanup

Work towards making `suricata-common.h` only introduce system headers
and other things that are independent of complex internal Suricata
data structures.

Update files to compile after this.

Remove special DPDK handling for strlcpy and strlcat, as this caused
many compilation failures w/o including DPDK headers for all files.

Remove packet macros from decode.h and move them into their own file,
turn them into functions and rename them to match our function naming
policy.

detect: clean up detect-engine-state.h

Remove prototypes that are not about purely the data structures.

detect: remove wrapper func

detect: move DetectTransaction to header its used in

detect/files: optimize file.data by skipping non-file txs

As well as 'file' txs not in our direction.

Implement the same logic for file.name and file.magic prefilter engines.

files/tx: inspection, logging and loop optimizations

Introduce AppLayerTxData::file_tx as direction(s) indicator for transactions.
When set to 0, its not a file tx and it will not be considered for file
inspection, logging and housekeeping tasks.

Various tx loop optimizations in housekeeping and output.

Update the "file capable" app-layers to set the fields based on their
directional file support as well as on the traffic.

detect/tx: add AppLayerTxData to PrefilterTx

In preparation of some file inspection optimizations, for which we need the
tx data.

Update all users.

files: remove unused code

files: don't set NOSTORE in 'store all' case

smtp: remove bad tests

app-layer: move files into transactions

Update APIs to store files in transactions instead of the per flow state.

Goal is to avoid the overhead of matching up files and transactions in
cases where there are many of both.

Update all protocol implementations to support this.

Update file logging logic to account for having files in transactions. Instead
of it acting separately on file containers, it is now tied into the
transaction logging.

Update the filestore keyword to consider a match if filestore output not
enabled.

app-layer: trunc parser per direction

app-layer: parser flags to u16

app-layer: specify direction in tx cleanup

In preparation of per tx files storage.

app-layer: introduce common AppLayerStateData API

Add per state structure for storing flags and other variables.

file: minor debug updates

file: clean up file flags handling

files: debug log flags

lua: store id with tx ptr

userguide: Add rule file globbing option details

Signed-off-by: jason taylor <jtfas90@gmail.com>

github-actions: bump codecov/codecov-action from 3.1.0 to 3.1.1

Bumps [codecov/codecov-action](https://github.com/codecov/codecov-action) from 3.1.0 to 3.1.1.
- [Release notes](https://github.com/codecov/codecov-action/releases)
- [Changelog](https://github.com/codecov/codecov-action/blob/master/CHANGELOG.md)
- [Commits](https://github.com/codecov/codecov-action/compare/81cd2dc8148241f03f5839d295e000b8f761e378...d9f34f8cd5cb3b3eb79b3e4b5dae3a16df499a70)

---
updated-dependencies:
- dependency-name: codecov/codecov-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump ossf/scorecard-action from 2.0.3 to 2.0.4

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.0.3 to 2.0.4.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/865b4092859256271290c77adbd10a43f4779972...e363bfca00e752f91de7b7d2a77340e2e523cb18)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

decode-ipv4: adjust validation to RFC

RFC1108 only specifies a minimum field length of 3, not
a fixed length of 11.

decode-ipv4: implement extended security option

IP option 0x85 (extended security) is mentioned in the
documentation for the ipopts keyword but was not implemented.

ci: build with -Wimplicit-int-conversion

Seems to have got lost on the way in CFLAGS

ssl: fix compiler warning

implicit conversion loses integer precision: 'int' to 'uint16_t'
because C shifts << translates automatically to signed integers

rust: lock to time 0.3.13 to avoid MSRV bump to 1.59

Indirect dependency through x509-parser.

rust: remove nom 5 dependency

rust/applayertemplate: convert to nom7

rust/asn1: convert parsers to nom7

rust/x509: finish transition to nom7

rust/telnet: convert parsers to nom7

rust/conf: convert parser to nom7

rust/ssh: finish transition to nom7

rust/rdp: convert parsers to nom7

rust/rdp: upgrade dependency on tls-parser

rust: upgrade versions of BER/DER, Kerberos and SNMP parsers

rust: update x509-parser to 0.14.0

Resolves RustSec issues in time and chrono:
- https://rustsec.org/advisories/RUSTSEC-2020-0071
- https://rustsec.org/advisories/RUSTSEC-2020-0159

Ticket: #5259.

Ammended by Victor Julien to bump to 0.14 instead of 0.13.

rust/x509: update dependency on x509-parser

stream: fix reachable assertion

Fix `Flow::thread_id` not always getting properly set up, leading to
a reachable assertion.

Bug #4582.

userguide: add section about exception policies

This describes briefly what the exception policies are, what is the
engine's behavior, what options are available and to which parts are
they implemented.

Task #5475
Task #5515

userguide: minor rewording and typo fixes

Some of these were recently introduced, some were highlited after the
applayer sections got merged. Some paragraphs seem to have been changed
due to trying to respect character limits for lines. Also includes a
typo pointed out by one of our community members via Discord.

stream/tcp: typo fix

detect: update ttl debug log messages

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect/stream_size: Rename detect.rs to stream_size.rs

This commit renames detect.rs to stream_size.rs to reflect its content.

detect/iprep: Move iprep logic into a separate module

detect/uri: Move uri logic into a separate module

detect/uint: Move uint logic into a separate module

This commit moves the uint logic into its own module.

doc/byte_math: Add byte_math differences with snort

Issue: 5077

doc: Fixup byte* entries to display tables properly

rust/detect: Create detect module for rule parsing

This commit creates a module named "detect" for rule parsing logic. As
part of this commit, detect.rs is moved from its toplevel position into
the new module. Thus, use crate::detect::detect to refer to items within
detect.rs (instead of create::detect).

Ticket: 5077

detect/bytemath: convert parser to Rust

Issue: 5077

This commit
- Converts the PCRE based parser to Rust.
- Adds unit tests to the new Rust modules
- Removes the PCRE parser from detect-bytemath.c
- Adjusts the C source modules to refer to the Rust definitions
- Includes the multiply operator (missing from the C parser)

log: fix coverity warning

CID 1515529

Checks ftell return value for negative/error

github-ci/codecov: add rust coverage support

Based on Rust 1.63 and LLVM 14. Update the jobs to meet those requirements.

Includes the bundled libhtp coverage now, including libhtp tests.

Ticket: #4278.

tls: handle incomplete header sooner

Make sure to exit the parser early on incomplete header data.

Additionally, make sure to not create duplicated tls frames in this
case.

Add a debug validation check for the header parser parsing too much
data, which should never happen.

ssl: add debug validation check for incomplete api

debug: add bool string print helper macro

tls: improve record checks

Improve unknown record handling. Inspired by Wireshark 'unknown record'
handling, we take a best effort approach for records with unknown content
types in TLS versions 1.0, 1.1 and 1.2.

Improve record length check and set 'invalid_record_length' event instead
of 'invalid_tls_header'.

tls: improve versions extension logic

Skip over unusable versions like GREASE.

tls: make version and size checks stricter

This way bad records won't buffer lots of stream data.

eve/schema: add tls client logging

tls: store cert data in heap buffer

Cert chain is a list of pointers into this buffer, so can't use a
stream slice approach.

eve/tls: implement client cert logging

Enable client logging in extended mode.

Add "client", "client_certificate" and "client_chain", where the latter two
depend on "client".

tls: parse client certificates

Parse client cerificates and store them in the state similar to how
this is done for server certificates.

Update "progress" handling to not consider the TLS handshake complete
if the server indicated a client cert was needed.

tls: prepare for client cert parsing

eve/tls: prepare for client cert logging

Code cleanups that work on per direction "connp" instead of hard coding
to the server side.

tls: make cert handling more generic

In preparation for client cert handling.

tls: avoid tls.invalid_handshake_message FP

Don't set TLS_DECODER_EVENT_INVALID_HANDSHAKE_MESSAGE event on encrypted
handshake messages.

tls: don't set 2 events for a single exception

Keep the more specific ones.

tls: remove incomplete tests

These tests are incompatible with the incomplete API usage and should
have been pcap based tests in the first place.

tls: set event if record size exceeds limit

tls: support server hello done message

tls: support handshake fragmentation

Implement TLS record defrag for handshake messages.

Ticket: #5183.

tls: remove certificate buffering code

TCP Buffering is now done in the app-layer using the incomplete API, on
the SSL/TLS record level. TLS level fragmentation will be implemented
separately.

tls: parse handshake protocol records in single pass

sslv2: use version from client hello

Remove streaming code that is now unused.

Incomplete handling makes this record parsing work on full data.

ssl: implement 'incomplete' handling for SSLv2

tls: streaming mode for application records

To avoid overhead of stream buffering for records we don't do
much with anyway, pass through application records instead of
buffering the entire record in the stream engine.

tls: use incomplete API to get full TLS records

The TLS record header is parsed in streaming mode still, but once the
record size is known we tell the app-layer API to give us the full
record.

Ticket: #5481

github-ci: disable cppclean as it is too noisy

We can reenable it after the larger cleanup efforts are complete.

ipfw: remove setting of SO_BROADCAST on the divert(4) socket

My review of the FreeBSD kernel code reveals that this setting
a) is ignored by the kernel b) is not required.  The sending
side of divert(4) never checks so->so_options, but always gives
IP_ALLOWBROADCAST to ip_output().

github-actions: bump ossf/scorecard-action from 1.1.2 to 2.0.3

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 1.1.2 to 2.0.3.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/ce330fde6b1a5c9c75b417e7efc510b822a35564...865b4092859256271290c77adbd10a43f4779972)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

dpdk/i40e: fix warning with number of queues for RSS configuration

detect: adds flow.age keyword

Ticket: #5536

flow/icmpv4: fix vlan.use-for-tracking

For ICMPv4 error messages the vlan ids were always considered,
even if the 'vlan.use-for-tracking' option was disabled.

Ticket: #5330

ebpf: update deprecated API calls

This fixes build errors when libbpf 1.0 is used. It removes previously
deprecated API functions that were still in use in Suricata's eBPF
code.

pgsql: config limit maximum number of live transactions

As is done for other protocols

Ticket: #5527

mqtt: remove quadratic time complexity

When having many transactions in a single parsing call...

Fix has overhead of having one more field in the mqtt state.

Completes commit a8079dc9787d77cf705aa47000b499a325be0716

Ticket: #5399