http: fixes overflow in range parsing

stream: fix midstream reverse flow handling

When a TCP session is picked up from the response the flow is
reversed by the protocol detection code.

This would lead to duplicate logging of the response. The reason this
happened was that the per stream app progress tracker was not handled
correctly by the direction reversing code. While the streams were
swapped the stream engine would continue to use a now outdated pointer
to what had become the wrong direction.

This patches fixes this by making the stream a ptr to ptr that can be
updated by the protocol detection as well.

In addition, the progress tracking was cleaned up and the GAP error
handling in this case was improved as well.

ebpf: remove left over debug in lb.c

ftp: removes one use of atoi

Fixes only one small part of #3053

pcap: code reformatting and minor cleanups

flow: minor formatting updates

af-packet: Always fill in vlan_id

The vlan tag will be filled in either from the extended header (for
kernel version >= 3.0) or from the packet itself.

Related to https://redmine.openinfosecfoundation.org/issues/3076

pfring: Always fill in vlan_id

Previously, source-pfring.c would copy the vlan_id from the extended
header only if vlan.use-for-tracking was enabled. This commit removes
that check.

Related to https://redmine.openinfosecfoundation.org/issues/3076

decode erspan: Always fill in vlan_id

Fill in the vlan_id fields unconditionally. We can now remove the check
for the vlan.use-for-tracking setting in decode.c. The debug log message
is moved to suricata.c.

decode vlan: Always fill in vlan_id

Since the vlan.use-for-tracking setting is now handled in flow-hash.c,
we can fill in the vlan_id fields unconditionally. This makes the vlanh
fields unnecessary.

Related to https://redmine.openinfosecfoundation.org/issues/3076

flow hash: Mask vlan_id if not used for tracking

If vlan.use-for-tracking is disabled, set the vlan_id fields to 0 when
hashing or comparing flows. This is done using a bitmask as suggested by
Victor Julien in IRC, in order to avoid adding more branches to this
code.

Currently, suricata does not fill in vlan_id fields if
vlan.use-for-tracking is disabled and instead leaves them at the default
0 value, so this commit makes no functional change. This change is in
preparation for future commits where the vlan_ids will be always filled
in.

Related to https://redmine.openinfosecfoundation.org/issues/3076

flow hash: Make CMP_FLOW macro an inline function

runmodes: remove unused prototypes

afl: fix afl-ftp causing FPE due to missing ippair

runmodes: remove no-Rust logic

runmodes: simply default runmode logic

runmodes: code cleanups

leak: Fixes leak in AppLayerProtoDetectPMRegisterPattern

Fixes #3070

leak: Fixes leak in DetectAppLayerEventPrepare

log: use SCLogError instead of fprintf

leak: fixes leak in DetectAddressParse2

geoip: fix unittests w/o db present

mem: avoid potential shadow vars with 'len' name

mem: add SCStrndup() function to wrap strndup().

detect/geoip: migrate to GeoIP2 database format

Issue #2765

detect/mpm: improve stats reporting

detect: add ipv6.hdr sticky buffer

Inspects IPv6 header and extension headers.

decode/ipv6: track length of ext hdrs

decoder/ipv6: minor cleanups

Remove unused field and macros.

Minor code style cleanups.

detect/ipv4: add ipv4.hdr sticky buffer

detect/tcp/udp: minor cleanups

detect: introduce pkt mpm engines

Instead of the hardcode L4 matching in MPM that was recently introduced,
add an API similar to the AppLayer MPM and inspect engines.

Share part of the registration code with the AppLayer.

Implement for the tcp.hdr and udp.hdr keywords.

detect: remove Threadvars argument from API calls

Remove it as it's (almost) never used. If it is really needed it can
be accessed through DetectEngineThreadCtx::tv as well.

detect/bsize: support transforms in case w/o content

python: fix parsing Suricata version from configure.ac

If parsing the version fails, or no version is found, fail
instead of defaulting to a version of 0.0.0.

decoder/vxlan: improvements and cleanups

Implement port config handling. Also check both src port and dest
port for tunnels that only set the destination port to the VXLAN
port. At the point of the check we don't know the packet direction
yet.

Implement as Suricata tunnel similar to Teredo.

Cleanups.

decoder/vxlan: initial implementation of decoder

mem: fix shadow declaration warning

Avoid clash by adding a leading underscore to the declaration in the
macro. These temporary vars should never clash with valid variables
from the code where they are called from.

doc: add tcp.hdr and udp.hdr

warnings : Fixes integer sizes in format strings

configure: update configure.ac to reflect modern autoconf syntax

rust/snmp: add event when expected/received PDU versions mismatch

rust/snmp: use generic parsing function, for all SNMP versions

Do no restrict parsing to the version seen in the first packet, but
use a generic function, independent of the version.

dns-log: remove from config

dns-log has been removed from the code.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2297

profiling: fix undefined profiling code use

detect: add udp.hdr sticky buffer

detect/tcp: rename tcp keyword files

detect/tcp: add tcp.<field> notation variants

detect/prefilter: minor error handling cleanup

detect: tcp.hdr sticky buffer

Sticky buffer to inspect the TCP header.

detect/mpm: add l4-header support

Prepare MPM part of the detection engine for a new type of per
packet matching, where the L4 header will be inspected.

Preparation for TCP header inspection keyword.

detect: pkt inspect engines

Instead of hard coded calls to the inspection logic for
payload inspection and 'MATCH'-list inspection use a callback
approach. This will register a callback per 'sm_list' much like
how app-layer inspect engines are registered.

This will allow for adding more types later without adding
runtime overhead.

Implement the callback for the PMATCH and MATCH logic.

detect/build: minor code cleanups

doc: document tcp.mss keyword

detect: add tcp.mss keyword

Allows matching on TCP option MSS.

Syntax:

    tcp.mss:<value>;
    tcp.mss:<value1>-<value2>;
    tcp.mss:<op><value>;

Operator can be: >, <.

output/json: Avoid use of uninitialized value

In JsonPacket, a Base64Decode error could cause an uninitialized
variable to be used because its return value is ignored.

rust/snmp: Support get-info-by-id

rust/ntp: Support get-info-by-id

rust/krb: Support get-info-by-id

rust/ikev2: Support get-info-by-id

rust/dhcp: Support get-info-by-id

rust/parser: Extend Rust parser for event-by-id

Extend the Rust parsing infrastructure with the "get event info by id"
calls. This changeset extends the parser structure, the C-based
registration handlers and the template parser.

snmp: Fix type

rust/smb: Implement get event by id

rust/snmp: fix libc deprecation warnings

rust: remove libc crate dependency

Use std::os::raw instead.

nfs: implement get_event_info_by_id callback

rust/gen: turn *mut*const T into const T **

userguide: Document app-layer anomaly items

This changeset expands the anomaly section to include newly added
app-layer items.

eve/logging: 2991 Optimize logging by TX

This changeset makes changes to the TX logging path. Since the txn
is passed to the TX logger, the TX can be used directly instead of
through the TX id.

logging/anomaly: Track event log progress

This changeset adds a mechanism to track when individual events
are logged. Transactions can be provided more than once; track
events to prevent event re-logging.

app-layer: Extend event container with progress

logging/anomaly: TX based logging addition

app-layer/logging Add TX packet logging support

Add transactional logging support for packet based loggers, like
the anomaly logger.

app-layer/logging: protocol parser updates

logging: anomaly log updates

app-layer: Initial app layer logging

flow: no bypass manager for Windows

bypass: switch to gettimeofday

mingw: fix compile error

Declare _POSIX_C_SOURCE before sys/time.h to avoid:

util-time.c: In function 'SCUtcTime':
util-time.c:222:12: error: implicit declaration of function 'gmtime_r'; did you mean 'gmtime_s'? [-Werror=implicit-function-declaration]
  222 |     return gmtime_r(&timep, result);
      |            ^~~~~~~~
      |            gmtime_s
util-time.c:222:12: warning: returning 'int' from a function with return type 'struct tm *' makes pointer from integer without a cast [-Wint-conversion]
  222 |     return gmtime_r(&timep, result);
      |            ^~~~~~~~~~~~~~~~~~~~~~~~
util-time.c: In function 'SCLocalTime':
util-time.c:305:9: error: implicit declaration of function 'localtime_r'; did you mean 'localtime_s'? [-Werror=implicit-function-declaration]
  305 |         localtime_r(&timep, &cached_local_tm[lru]);
      |         ^~~~~~~~~~~
      |         localtime_s
util-time.c:321:56: warning: comparison between pointer and integer
  321 |         if (localtime_r(&timep, &cached_local_tm[lru]) == NULL)
      |                                                        ^~
cc1.exe: some warnings being treated as errors

Tickets: #2994 #3051

doc: address norg comments on eBPF doc

doc: specify config file in ebpf doc

This patch updates the ebpf-xdp.rst file to specify which
configuration file has to be modified.

util-ebpf: fix creation of flow from pinned maps

af-packet: xdp pinned maps need to be read

flow-bypass: registration of non periodic check

This patch adds the capability to register a set of functions
without providing a periodic check function. This permit to
run a task only at init.

flow-hash: real hash computation for FlowKey

util-ebpf: log bypassed flow maps count

doc: info for new bypass counters

bypass: add counter for local captured bypass

Packets from captured bypassed flows that are received by Suricata
before the capture method start to bypass them can represent an
important part due to various buffer and insertion delay.

This patch adds a two counters to know the number of packets and
bytes in this case.

bypass: flow bypass is not ebpf only

util-ebpf: early exit if no map

util-ebpf: reindex

af-packet: some conditional fields

doc: update bypass stats doc

bypass: bytes and pkts counters for local bypass

af-packet: better accounting and error handling

This patch improves the bypass error handling add adds more counters
to the interface so it is possible to get a view on success and
failure of insertion in the eBPF maps via the `iface-bypassed-stat`
command.

util-ebpf: optimization on flow storage queries

util-ebpf: simplify free function

First key can't be null.

util-ebpf: set livedev in flow

This will fix the accounting for pinned maps as the livedev field
of Flow is used to do the accounting of bypass flows.

util-device: introduce bypassed stats sub function