pgsql: check for eol when parsing response

It was brought to my attention by GLongo that Pgsql parser handled eof
diffrently for requests and responses, and apparently there isn't a good
reason for such a difference therefore, apply same logic used for
rs_pgsql_parse_request for checking for eof when parsing a response.

eve/alert: add missing pgsql metadata

Bug #6092

ja4: implement for TLS and QUIC

Ticket: OISF#6379

ja3: make feature compile time configurable

suricata: initialize feature tracking earlier

This gives app layer code a chance to access feature
information.

flow/inject: Select thread_id by flow flag

Issue: 6957

Rather than selecting the thread_id index by packets traveling to the
server, use the flow flags. If the flow has been reversed, the second
slot is represents the thread id to be used.

decode/ppp: add missing types definitions

Recognize PPP_CCP, PPP_CBCP and PPP_COMP_DGRAM.

Does not implement decoders for these record types, so these
are logged as unsupported types. Was "wrong_type" before.

decode/ppp: clean up ppph pointer use

No users of the pointer anymore, so remove it.

decode/ppp: remove ppph check in favor of flag

As we now support variable size headers, we can't use the old pointer.

Replace with a flag.

decode/ppp: support different header formats

Support compressed proto and optional HDLC header.

Bug: #6942.

detect/analyzer: add more details for tcp_mss

Issue: #6355

detect/analyzer: create tojson function for generic integers

As will be needed for tcp.mss

util: remove unused bloom filter code

Ticket: 4083

src: remove unused headers-exported functions

+ remove double definition of IPPairLock

Ticket: #4083

stats: Memcap pressure max relocation

This commit moves the memcap pressure/pressure_max stats from the global
stats namespace into the memcap namespace.

With per-thread stats, they will be within the flow-manager's values.

Issue: 6398

doc: Describe noalert keyword

Issue: 6685

output: generic simple tx json logger

Ticket: 3827

output/dns: do not add empty app-layer metadata

output/dnp3: restrict function scope to one file

pcap: support LINKTYPE_IPV6 (229)

This is just another variant of DLT_RAW.

Ticket: #6943.

defrag: fix wrong datalink being logged

Eve's packet_info.linktype should correctly indicated what the `packet`
field contains. Until now it was using DLT_RAW even if Ethernet or other
L2+ headers were present.

This commit records the datalink of the packet creating the first
fragment, which can include the L2+ header data.

Bug: #6887.

eve/stats: allow hiding counters whose valued is 0

Some stats can be quite verbose if logging all zero valued-counters.
This allows users to disable logging such counters. Default is still
true, as that's the expected behavior for the engine.

Task #5976

dpdk: support 52 byte long key on ice (E810) cards

dpdk: enlarge key length to 52 bytes

ci: clean some disk space to run CIFuzz again

cargo: add description and license

Required for publishing to crates.io.

automake/rust: remove path.lib

Remove the path.lib parameter that is substituted into the output
Cargo.toml by autoconf. Instead, as part of the build, "cd" into the
source directory. We already set the Rust target directory to the
external build directory.

This makes the Cargo.toml more generic, and in a format suitable for
publishing to crates.io. It also makes it easier to pull in external
crates without needing to patch up their Cargo.toml, for example, it
might make pulling libhtp-rs easier.

alert/syslog: fetch ipproto once

alert/syslog: stringify addresses outside alert loop

alert/syslog: minor code cleanups

alert/syslog: only hold lock for syslog call

log/stats: allow longer counter names

With the addition of exception policy stats counters, the human readable
version of the sats log was mis-aligned, when counters for per-app-proto
were enabled.

Width change made large enough to accomodate a counter as long as
"app_layer.error.bittorrent-dht.exception_policy.pass_packet" which
could be valid.

Task #5816

yaml: minor wording fix on Suricata package version

yaml: explicitly mention exception policy in conf

While our documentation indicated what were the possible configuration
settings for exception policies, our yaml only explicitly mentioned
exception policy for the master switch. Clearly indicate which config
settings are about exception policies.

Related to
Task #5816

userguide: document exception policy stats

Configuration options and defaults, existing counters etc.

Related to
Task #5816

userguide: highlight exception policy effects

Some exception policies can only be applied to entire flows or
individual packets, for some exception scenarios. Make this easier to
read, in the documentation.

Related to
Task #5816

stream/midstream: add counter for exception policy

Add stats counters for when there is an exception policy applied in case
of a session picked up midstream.

Task #5816

stream/reassemble: add exception policy counters

Add stats counters for exception policies applied in case of memcap hit
during stream reassembly.

Task #5816

stream/tcp: add ssnmemcap exception policy counter

Add stats counters for exception policies applied in case a stream
session memcap is hit.

Task #5816

applayer: add stats counters for exception errors

Add stats counters for exception policy are applied for app-layer errors

Part of
Task #5816

defrag: add exception policy memcap stats counters

Add defrag memcap stats counter.

Task #5816

decode/flow: add exception policy stats counters

We will register stats counters for all policies, even though for now
Suri only uses one possible configuration policy at a time. The idea is
that this could change in the near future, so we want to have this
ready.

Task #5816

exceptions: make types and ToStr fns more accessible

Decode file needed ExceptionPolicy types and exception-policy file
needed Decode types, rendering some works quite difficult to work
around.

ExceptionPolicyToStr is useful for registering exception policy
counters, so make that public.

Part of
Task #5816

schema: apply clang formatting changes

app-layer/htp: clean up unused code in unittests

Remove unit test that was disabled and printf statements that were
replaced but not deleted, both in 48cf0585fb69c9bad71237.

app-layer: fix minor typo and formatting in LogInfo

Also update copyright years.

detect/analyzer: add more details for tcp_seq

Log the matched Sequence number of a packet
Issue: 6353

dpdk: implement DPDK SW tests

Implement Github CI tests to run DPDK Suri with the minimal
configuration to verify that Suricata can start in both IDS
and IPS configuration.

dpdk: fix thread slot assignment

Commit 5592ec07 introduced a bug where ptv->slot was
assigned with the current one instead of the next one
in the list. This caused a Suricata crash in the DPDK mode.

Ticket: 6877

dpdk: make static variables thread_local

Per a newly obtained knowledge, static variables in functions
are not thread-safe and as a result thread_local attribute was
added.

ci: bump up the DPDK versions

doc: update http keyword listing order

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update file.name keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update file.data keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.response_header keyword

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.request_header keyword

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.host http.host.raw keyword

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.location keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.server keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.response_body keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.response_line keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.stat_msg keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.stat_code keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.request_body keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.header_names keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.start keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.referer keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.content_len keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.content_type keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.connection keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.accept_lang keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.accept_enc keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http keyword normalization notes

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.accept keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.user_agent keyword

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.cookie keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect: minor http.cookie keyword typo fix

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.header keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: remove legacy description/duplicated data

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.request_line keyword information

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.protocol keyword documentation

Ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update urilen keyword documentation

ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: remove legacy uricontent information

ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.uri and http.uri.raw keywords

ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http.method keyword

ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add http keyword links

ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update http primer information

ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: remove legacy tables and image references

ticket: 3025

Signed-off-by: jason taylor <jtfas90@gmail.com>

systemd: reimplement sd_notify logic using UNIX socket

One of the lessons of the XZ backdoor story was that just linking to
libsystemd to call sd_notify is discouraged by the systemd project:

Lennart Poettering:
"PSA: In context of the xzpocalypse we now added an example reimplementation
of sd_notify() to our man page:

https://www.freedesktop.org/software/systemd/man/devel/sd_notify.html#Notes

It's pretty comprehensive (i.e. uses it for reload notification too), but
still relatively short.

In the past, I have been telling anyone who wanted to listen that if all you
want is sd_notify() then don't bother linking to libsystemd, since the
protocol is stable and should be considered the API, not our C wrapper
around it. After all, the protocol is so trivial"

From: https://mastodon.social/@pid_eins/112202687764571433

This commit takes the example code and uses it to reimplement the notify
logic.

The code is enabled if Linux is detected in configure. Since the code
won't do anything if the NOTIFY_SOCKET env var isn't set, this should
also work fine on systems w/o systemd.

Ticket: #6913.

detect/analyzer: add more details for the tcp ack keyword

Issue: 6354
Added the DETECT_ACK case to detect-engine-analyzer.c

decode: don't clear computed csums twice

Already done in a generic way by PACKET_RESET_CHECKSUMS.

decode/ipv4: remove unused field

output/eve: constify mac address logic

macset: constify addr parameters

decode/udp: no need to pack the structure

decode/tcp: no need to pack the structure

decode/icmpv4: no need to pack the structure

configure: tabs to spaces; minor reformatting

unittests: don't set ports for non-port proto

detect/http: fix compile warning in body tests

When --enable-unittests w/o --enable-debug is used.