util/thash: decrease memuse if array was allocated

THashInitConfig may not allocate array and increase memuse.
Such a failure leads to THashShutdown which should not decrease
the memuse.

Ticket: 7135

dpdk: replace TSC clock with GetTime (gettimeofday) function

Getting clock through Time Stamp Counter (TSC) can be precise and fast,
however only for a short duration of time.
The implementation across CPUs seems to vary. The original idea is to
increment the counter with every tick. Then dividing the delta of CPU ticks
by the CPU frequency can return the time that passed.
However, the CPU clock/frequency can change over time, resulting in uneven
incrementation of TSC. On some CPUs this is handled by extra logic.
As a result, obtaining time through this method might drift from the real
time.

This commit therefore substitues TSC time retrieval by the standard system
call wrapped in GetTime function - on Linux it is gettimeofday.

Ticket: 7115

applayer/htp-range: fix off by one in expiry check

doc: add note about datasets string memcaps

Bug 3910

datasets: fix memuse to include string len

So far, when the data size was passed to the THash API, it was sent as
a sizeof(Struct) which works fine for the other data types as they have
a fixed length but not for the StringType.
However, because of the sizeof construct, the length of a string type
dataset was always taken to be 16 Bytes which is only the size of the struct
itself. It did not accomodate the actual size of the string that the
StringType holds. Fix this so that the memuse that is used to determine
whether memcap was reached also takes into consideration the size of the
actual string.

Bug 3910

util/thash: add a length getter fn

In order to have access to the length of datatypes with variable lengths
to correctly update memuse to calculate memcaps.

Bug 3910

bypass: really bypass udp flow from first packet

Ticket: 7053

As flow state would be overwritten by established...

github-actions: bump actions/checkout from 3.6.0 to 4.1.7

Bumps [actions/checkout](https://github.com/actions/checkout) from 3.6.0 to 4.1.7.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v3.6.0...692973e3d937129bcbf40652eb9f2f61becf3332)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

github-ci: add non-bundled libhtp build

github-ci/builds: don't run if only doc changes

A new workflow, "docs" has been created for only doc changes.

Factor out prepare-deps into a reusable action.

detect: parse units for integer for every cases

Ticket: #6423

Not just equality, but also >3MB should work
For example flow.bytes_toserver>3MB

smb/ntlmssp: improve version check

Don't assume the ntlmssp version field is always present if the flag is
set. Instead keep track of the offsets of the data of the various blobs
and see if there is space for the version.

Inspired by how Wireshark does the parsing.

Bug: #7121.

github-actions: bump github/codeql-action from 3.25.7 to 3.25.11

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.25.7 to 3.25.11.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Commits](https://github.com/github/codeql-action/compare/v3.25.7...v3.25.11)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump codecov/codecov-action from 4.4.1 to 4.5.0

Bumps [codecov/codecov-action](https://github.com/codecov/codecov-action) from 4.4.1 to 4.5.0.
- [Release notes](https://github.com/codecov/codecov-action/releases)
- [Changelog](https://github.com/codecov/codecov-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/codecov/codecov-action/compare/125fc84a9a348dbcf27191600683ec096ec9021c...e28ff129e5465c2c0dcc6f003fc735cb6ae0c673)

---
updated-dependencies:
- dependency-name: codecov/codecov-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: remove centos:7 build due to EOL

qa: remove depcrecated files

lgtm has been superseded by codeql github action
docker and travis are obsolete

Preparatory work for ticket 2696 libhtp rust conversion

output/tx: use dynamic number of app-layer protos

OutputTxLoggerThreadData gets allocated after the number of app-layer
protos is definite

detect/profiling: use dynamic number of app-layer protos

app-layer: use already defined constant

FLOW_PROTO_APPLAYER_MAX

detect/file-data: use dynamic number of app-layer protos

detect: helper function for multibuffer

doc/userguide: document threshold backoff type

stream: enable backoff on event rules

Enable backoff for most rules. The rules looking at the session start up
use a count of 1 and a multiplier of 2.

Post-3whs rules use a count of 1 and a multiplier of 10.

detect/threshold: implement backoff type

Implement new `type backoff` for thresholding. This allows alerts to be
limited.

A count of 1 with a multiplier of 10 would generate alerts for matching packets:
1, 10, 100, 1000, 10000, 100000, etc.

A count of 1 with a multiplier of 2 would generate alerts for matching packets:
1, 2, 4, 8, 16, 32, etc.

Like with other thresholds, rule actions like drop and setting of
flowbits will still be performed for each matching packet.

Current implementation is only for the by_flow tracker and for per rule
threshold statements.

Tracking is done using uint32_t. When it reaches this value, the rest of
the packets in the tracker will use the silent match.

Ticket: #7120.

detect/threshold: regex cleanup

detect/threshold: format file

doc/userguide: document new threshold config options

detect/threshold: make hash size and memcap configurable

detect/threshold: includes cleanup

detect/threshold: expand cache support for rule tracking

Use the same hash key as for the regular threshold storage,
so include gid, rev, tentant id.

detect/threshold: consider tenant id in tracking

Ticket: #6967.

detect/threshold: include rev in threshold tracking

detect/threshold: improve hash function

thresholds: use dedicated storage

Instead of a Host and IPPair table thresholding layer, use a dedicated
THash to store both. This allows hashing on host+sid+tracker or
ippair+sid+tracker, to create more unique hash keys.

This allows for fewer hash collisions.

The per rule tracking also uses this, so that the single big lock is no
longer a single point of contention.

Reimplement storage for flow thresholds to reuse as much logic as
possible from the host/ippair/rule thresholds.

Ticket: #426.

range: use thash expiry API for timeout

thash: add expiration logic

Add a callback and helper function to handle data expiration.

Update datasets to explicitly not use expiration.

detect/address: constify ipv6 cmp funcs

detect/threshold: minor rate filter cleanup

detect/threshold: minor code cleanup

Packet pointer is not used during allocation.

detect/threshold: minor cleanup

detect/threshold: implement per thread cache

Thresholding often has 2 stages:

1. recording matches
2. appling an action, like suppress

E.g. with something like:
threshold:type limit, count 10, seconds 3600, track by_src;
the recording state is about counting 10 first hits for an IP,
then followed by the "suppress" state that might last an hour.

By_src/by_dst are expensive, as they do a host table lookup and lock
the host. If many threads require this access, lock contention becomes
a serious problem.

This patch adds a thread local cache to avoid the synchronization
overhead. When the threshold for a host enters the "apply" stage,
a thread local hash entry is added. This entry knows the expiry
time and the action to apply. This way the action can be applied
w/o the synchronization overhead.

A rbtree is used to handle expiration.

Implemented for IPv4.

detect: add ticket id to var related todos

detect/detection_filter: add support for track by_flow

doc: add thresholding by_flow

detect/content: fix wrong value for depth check

Limits propegation checked for DETECT_DEPTH as a content flag,
which appears to have worked by chance. After reshuffling the
keyword id's it no longer worked. This patch uses the proper
flag DETECT_CONTENT_DEPTH.

detect: group content inspect keyword id's

detect: group types used in traffic variables

Traffic variables (flowvars, flowbits, xbits, etc) use a smaller int for
their type than detection types. As a workaround make sure the values fit
in a uint8_t.

threshold: add by_flow support for global thresholds

Allow rate_filter and thresholds from the global config to specify
tracking "by_flow".

detect/threshold: implement tracking 'by_flow'

Add support for 'by_flow' track option. This allows using the various
threshold options in the context of a single flow.

Example:

    alert tcp ... stream-event:pkt_broken_ack; \
        threshold:type limit, track by_flow, count 1, seconds 3600;

The example would limit the number of alerts to once per hour for
packets triggering the 'pkt_broken_ack' stream event.

Implemented as a special "flowvar" holding the threshold entries. This
means no synchronization is required, making this a cheaper option
compared to the other trackers.

Ticket: #6822.

util/var: add comments explaining types

util/var: remove printf; add assert

http2: do not expand duplicate headers

Ticket: 7104

As this can cause a big mamory allocation due to the quadratic
nature of the HPACK compression.

modbus: abort flow parsing on flood

Ticket: 6987

Let's not spend more resources for a flow which is trying to
make us do it...

detect: remove unnecessary detect thread flags stores

detect/nfs: do not free a null pointer

https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=69840

detect/base64: Use Rust defined modes everywhere

Issue: 6487

To avoid ambiguity, a single definition for base 64 decoding modes will
be used. The Rust base64 transform contains the definitions for the
existing mode types: Strict, RFC2045, RFC4648

doc/transform: Correct typo

doc/transform: Describe the from_base64 transform

Issue: 6487

Document the new transform and indicate that it's the preferred way to
perform base64 decoding (preferred over base64_decode)

detect/transform: Add from_base64 transform

Issue: 6487

Implement the from_base64 transform:
    [bytes value] [offset value] [mode strict|rfc4648|rfc2045]

    The value for bytes and offset may be a byte_ variable or an
    unsigned integer.

detect/transform: from_base64 option parsing

Issue: 6487

Implement from_base64 option parsing in Rust. The Rust module also
contains unit tests.

detect/parser: Refactor utility routines

Refactor utility functions/definitions from the byte_math module into
the parser module. This includes parse_var and ResultValue

Issue: 6487

flow: declare and use constansts where possible

flow/manager: make fn calls only when necessary

flow/timeout: cleanup fn names and comments

flow: remove unneeded args to fn

flow/manager: add fn docs

flow: add defensive check

packetpool: use DEBUG_VALIDATE statement

flow: use bool wherever possible

detect/icmp: require real packet in signature

Fixes: 956c8bebd1 ("detect/prefilter: use sig mask to exclude pkt engines")

detect: add to signature mask for decode events

Ticket: 6291

detect: fix check for app_layer events

Ticket: 7106

af-packet: Remove unused preprocessor define

Remove unused preprocessor value; exposed by compilation warning

output: configurable payload_length field for alerts

Ticket: 7098

dcerpc: add app-layer metadata in alerts

Ticket: 6090

filestore: do not try to store a file set to nostore

Ticket: 6390

This can happen with keyword filestore:both,flow
If one direction does not have a signature group with a filestore,
the file is set to nostore on opening, until a signature in
the other direction tries to set it to store.
Subsequent files will be stored in both directions as flow flags
are now set.

app-layer: fix -Wshorten-64-to-32 warnings

Ticket: #6186

Warnings about downcast from 64 to 32 bits

util: fix -Wshorten-64-to-32 warnings

Ticket: 6186

Warnings about downcast from 64 to 32 bits

Generic fixes required to get app-layer clean

detect: remove unused field

content_inspect_window is used in app-layer-smtp, but
not directly in detect-file-data

detect: add tls.alpn keyword

Ticket: #7108.

eve/schema: update for alpn

eve/tls: log ALPN for client and server

Part of the extended logging.

Logs `client_alpns` and `server_alpns` arrays in the tls object.

Ticket: #7055.

tls: store all ALPN records in the state

For later logging and detection.

eve/schema: minor enip reformat

github-ci: run cargo update test on pull requests

Previously it was run once a week, hiding some issues until
Monday's. Instead run on pull requests, but still not every push.

detect/icmp-id: remove prefilter pseudo check

This is now handled at registration with SIG_MASK_REQUIRE_REAL_PKT.

detect/dsize: remove prefilter pseudo check

This is now handled at registration with SIG_MASK_REQUIRE_REAL_PKT.

detect/stream_size: allow match on pseudo packets

Often used with stream content, which can be inspected with pseudo packets.

detect/csum: remove pseudo packet checks

detect/csum: general code cleanups

detect/prefilter: use sig mask to exclude pkt engines

Add an argument to the packet prefilter registration function to include
`SignatureMask` flags. This will be used at runtime to only call these
prefilter engines when the mask check passes.

detect/prefilter: minor function ptr cleanup

Use a typedef'd function pointer for packet Prefilter callbacks to make
the code consistent with the other callbacks.

detect: remove pseudo checks from packet keywords

Keep as debug validation check.

detect: skip pseudo packets if sig needs real pkt

If a signature uses a condition that requires a real packet, filter
out pseudo packets as early as possible. To do this, the SignatureMask
logic is used.

This allows for the removal of checks for pseudo packets in individual
keywords `Match` functions, which will be done in a follow up commit.

Update analyzer to output the new flag.

Ticket: #7002.

tests: move detect http.uri tests to suricata-verify

Ticket: 3725

fuzz: adapt target to number of keywords being dynamic

Ticket: 4683

rust: remove unnecessary nested unsafe

sip: use right slice to take line from

We iterate over input, but we are now at start.
Avois quadratic complexity turning to OOM.

Ticket: 7093

rust/ike: prefix never read field names with _

New warning from rustc.

The other option is to allow dead code, however this is more explicit,
and when they are read, its obvious they should be renamed.

rust: simply matches with unwrap_or_default

New default clippy warning:
https://rust-lang.github.io/rust-clippy/master/index.html#manual_unwrap_or_default