rust/gen: turn *mut*const T into const T **

userguide: Document app-layer anomaly items

This changeset expands the anomaly section to include newly added
app-layer items.

eve/logging: 2991 Optimize logging by TX

This changeset makes changes to the TX logging path. Since the txn
is passed to the TX logger, the TX can be used directly instead of
through the TX id.

logging/anomaly: Track event log progress

This changeset adds a mechanism to track when individual events
are logged. Transactions can be provided more than once; track
events to prevent event re-logging.

app-layer: Extend event container with progress

logging/anomaly: TX based logging addition

app-layer/logging Add TX packet logging support

Add transactional logging support for packet based loggers, like
the anomaly logger.

app-layer/logging: protocol parser updates

logging: anomaly log updates

app-layer: Initial app layer logging

flow: no bypass manager for Windows

bypass: switch to gettimeofday

mingw: fix compile error

Declare _POSIX_C_SOURCE before sys/time.h to avoid:

util-time.c: In function 'SCUtcTime':
util-time.c:222:12: error: implicit declaration of function 'gmtime_r'; did you mean 'gmtime_s'? [-Werror=implicit-function-declaration]
  222 |     return gmtime_r(&timep, result);
      |            ^~~~~~~~
      |            gmtime_s
util-time.c:222:12: warning: returning 'int' from a function with return type 'struct tm *' makes pointer from integer without a cast [-Wint-conversion]
  222 |     return gmtime_r(&timep, result);
      |            ^~~~~~~~~~~~~~~~~~~~~~~~
util-time.c: In function 'SCLocalTime':
util-time.c:305:9: error: implicit declaration of function 'localtime_r'; did you mean 'localtime_s'? [-Werror=implicit-function-declaration]
  305 |         localtime_r(&timep, &cached_local_tm[lru]);
      |         ^~~~~~~~~~~
      |         localtime_s
util-time.c:321:56: warning: comparison between pointer and integer
  321 |         if (localtime_r(&timep, &cached_local_tm[lru]) == NULL)
      |                                                        ^~
cc1.exe: some warnings being treated as errors

Tickets: #2994 #3051

doc: address norg comments on eBPF doc

doc: specify config file in ebpf doc

This patch updates the ebpf-xdp.rst file to specify which
configuration file has to be modified.

util-ebpf: fix creation of flow from pinned maps

af-packet: xdp pinned maps need to be read

flow-bypass: registration of non periodic check

This patch adds the capability to register a set of functions
without providing a periodic check function. This permit to
run a task only at init.

flow-hash: real hash computation for FlowKey

util-ebpf: log bypassed flow maps count

doc: info for new bypass counters

bypass: add counter for local captured bypass

Packets from captured bypassed flows that are received by Suricata
before the capture method start to bypass them can represent an
important part due to various buffer and insertion delay.

This patch adds a two counters to know the number of packets and
bytes in this case.

bypass: flow bypass is not ebpf only

util-ebpf: early exit if no map

util-ebpf: reindex

af-packet: some conditional fields

doc: update bypass stats doc

bypass: bytes and pkts counters for local bypass

af-packet: better accounting and error handling

This patch improves the bypass error handling add adds more counters
to the interface so it is possible to get a view on success and
failure of insertion in the eBPF maps via the `iface-bypassed-stat`
command.

util-ebpf: optimization on flow storage queries

util-ebpf: simplify free function

First key can't be null.

util-ebpf: set livedev in flow

This will fix the accounting for pinned maps as the livedev field
of Flow is used to do the accounting of bypass flows.

util-device: introduce bypassed stats sub function

flow-manager: move bypass timeout to a inline func

util-ebpf: case is not possible so remove warning

bypass: implement iface-bypassed-stat for callback

bypass: account callback method in stats

bypass: restore interface counter

bypass: compress flow keys structure

ebpf: get rid of hash in map value

bypass: new callback stragegy

This patch introduces and uses a new bypass strategy
based on a callback. EBPF bypass implementation is
updated to use this new strategy.

Once the flow manager detect that a flow should be timeouted,
it asks the capture method if it has seen packets in the interval.
If it is the case the lastts of the flow is updated and the timeout
is postponed.

af-packet: improve error handling for some hw

Some cards seems to return EAGAIN when there is no more place in
the hash table.

bypass: fix accounting

The flow bypass stats is computed at every pass so the accounting
needs to be done at each pass. This patch fixes the accounting
in the flow_bypassed counters.

ebpf: only display that file is loaded if we do it

af-packet: avoid error flooding when bypass fails

util-ebpf: more useful error message

At the time of the writing, libbpf output useful error message
on strdout only and errno is not really interesting. So let's
tell user to look at stdout.

ebpf: don't use nexthdr to build hash

As pointed by Victor Julien, it is not a good idea to use the
nexthdr value, as init key for the hash as it could contain some
other headers and can be changed for a session.

util-ebpf: improve code readability

As pointed by Victor Julien, the pkts_cnt usage was quite confusing
so functions are now returning a bool.

util-ebpf: discard flow if no Flow storage

doc: document flow event_type

util-ebpf: fix ebpf bypass

Fix endian order in eBPF bypass. It has to be updated after the
bypassed flows handling change.

bypass: fix wait time at exit

The loop on bypassed flow maps can take a few seconds on heavily
loaded system causing Suricata to not honor a stop before a few
seconds.

This patch adds the code needed to detect the need to exit from
the check loop.

af-packet: fix use after free on config

ASAN did find that afp config was used after free. This was in
fact done in the Flow bypass manager hence this patch.

bypass: allow bypass for packet without flow

For capture method that have their own flow structure (not maintained
by Suricata), it can make sense to bypass a packet even if there is
no Flow in Suricata.

For AF_PACKET it does not make sense as the eBPF map entry will
be destroyed as soon as it will be checked by the flow bypass
manager. Thus we shortcut the bypass function if ever no Flow is
attached to the packet.

This path also removes reference to Flow in the bypass functions
for AF_PACKET. It was not necessary and we possibly could benefit
of it if ever we change the bypass algorithm.

ebpf: fix bypass filter vlan

doc: update ebpf doc following bypass_filter change

ebpf: complete vlan support for ebpf bypass filter

doc: update for latest xdp_filter.c change

bypass: use flow storage for bypass counter

There is a synchronization issue occuring when a flow is
added to the eBPF bypass maps. The flow can have packets
in the ring buffer that have already passed the eBPF stage.
By consequences, they are not accounted in the eBPF counter
but are accounted by Suricata flow engine.

This was causing counters to be completely wrong. This code
fixes the issue by avoiding the counter change in invalid
case.

To avoid adding 4 64bits integers to the Flow structure for the
bypass accounting, we use instead a FlowStorage. This limits the
memory usage to the size of a pointer.

ebpf: add vlan tracking option to xdp_filter

If vlan is not use for tracking in Suricata this result in vlan not
being used in the flow key in Suricata and we need to adjust that
in the XDP filter to avoid any problem.

ebpf: tls encrypted bypass in xdp_filter

Tests have shown that when we bypass encrypted traffic a non
neglicteable amount of encrypted  packets of the session are already in the
capture ring buffer. Result is that Suricata is doing unnecessary
work on these packets.

These packets can be identified via the first bytes of their payloads
so we can bypass them directly in the XDP code. This is done here
for application data packets on port 443 and for TLS 1.2.

ebpf: fix UDP bypass in xdp_filter

ebpf: fix typo in xdp_filter.c comment

bypass: generalize iface bypass stats

Introduce functions in util-device.c to be able to manage the
flow bypassed count stats.

ebpf: add comment for some define in XDP filter

ebpf: remove useless var in xdp_filter

util-ebpf: change flow accounting logic

Update the flow counters during the life of a bypassed flow
instead of just accounting at the end of it.

util-ebpf: better error handling

util-ebpf: better error handling of map unlink

util-ebpf: rename field 'unlink' to avoid confusion

af-packet: improve warning message

af-packet: rename option 'no-percpu-hash'

af-packet: warn when XDP is not supported

af-packet: remove question from code

flow-bypass: rename variables

flow-hash: doc and code cleaning

flow-bypass: clock_gettime error handling

Only reason clock_gettime could fail is a permission so let's
error and leave the flow bypass manager if it is the case.

Also let's suppress the error message if ever the error appear in
the middle of a run (which is unlikely).

util-ebpf: log level fixes and code cleaning

util-ebpf: init code optimization

configure: libbpf path

ebpf: reindent xdp_filter.c

doc: improve ebpf doc

Add example of bypass rules and explain clang dependency.

doc: document netronome hardware bypass usage

util-ebpf: fix error reported by coccinelle check

Some allocation errors were not checked during init phase.

af-packet: add vlan_id in bypass key

Bypassing on vlan was not supported due to the missing key.

ebpf: fix percpu hash handling

An alignement issue was preventing the code to work properly.
We introduce macros taken from Linux source code sample to get
something that should work on the long term.

flow-bypass: increase bypass timeout

This is needed as we did switch from counter maintained in kernel
to internal polling so we need a bigger value.

flow-bypass: fix timeout of maps bypassed flows

The time is taken from the parameter and is checked against real
flow entries so we need a standard time.

util-ebpf: fix IPv6 deletion loop

af-packet: fix bypass for IPv6

util-ebpf: add message if key deletion fails

util-ebpf: can't delete in place so update algo

af-packet: fix default in pinned maps name

af-packet: be sure to nullify option if not set

util-ebpf: simplify function declarations

util-ebpf: micro optimization

util-ebpf: create flow from bypassed flows

flow-hash: new function to get flow from flowkey

ebpf: make table iterator generic

Also adds a basic skeleton for flow creation loop.

af-packet: bypass with init function