detect: fix inspection order with stateful rules

When stateful detection rules, for which detection has already started
for a previous packet, are added to the candidates array, the array
is sorted to mantain the correct inspection order. However, due to a
trivial error in the sort helper the array was sorted in descending
instead of ascending order.

dcerpc/udp: fix transaction handling and logging

Implement missing transaction handling.

Fix logging wrongly casting 'state' to DCERPCState instead of
DCERPCUDPState leading to crashes and malformed output.

Remove unused fields from DCERPCUDPState.

detect/mpm: remove usused cleanup function

detect: optimize prefilter result handling

detect/prefilter: small cleanup

github-ci: check for duplicate SIDs in rules/

rules/mqtt: renumber mqtt events to avoid conflict with ssh

Both SSH and MQTT events were in the 2228000 range. As SSH was
added first, renumber MQTT events into the 2229000 range which is
free.

rust: fix warnings found by nightly compiler

warning: getting the inner pointer of a temporary `CString`
this `CString` is deallocated at the end of the statement,
bind it to a variable to extend its lifetime

decode/null: fix type parsing

atomics: fix compilation on ppc64

dnp3: set byte order when logging dnp3 src and dst

DNP3 uses little endian on the wire, for the most part this
is handled as the messages are deserialize. However, the link
header is a cast over raw data, so swap these bytes as they
are being logged.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4173

github-ci: windows in builds

doc/userguide: update http keywords

doc/userguide: explain --strict-rule-keywords

app-layer: do not try to parse gaps during protocol change

As this will leak the flow alstate because AppLayerParserParse
relies on FlowChangeProto to know if it should allocate a new
alstate

detect: apply transforms to http body

ci: updates github ci add-path mechanism

tools: bash from env

Use of hardcoded bash prevents users from using an upgraded bash which may
live in a different location. This behavior is often seen on OSX systems.

Utilize env to find the preferred bash to call for scripts.

rust/log: clarify comment in non-debug mode SCLogDebug

rust/log: order log macros in descending order

Readability cleanup.
- error, notice, ... debug

rust/log: expand macros after checking log level

Expand macros in the do_log macro after checking the log level
instead of each log macro (ie: SCLogDebug) expanding the macros
then passing off to do_log to have the log level check.

Will eliminate any expense of expanding macros if this log level
does not permit the given message to be logged.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4114

dcerpc/log: Log fields particular to an RPC version

Log fields that only are meant to be in a PDU for a particular RPC
version. Since DCERPC/UDP works on RPC version 4 and DCERPC/TCP works on
RPC version 5, there are certain fields that are particular to each
version.
Remove call_id from the logger for UDP.
Add activityuuid and seqnum fields to the logger for UDP.
call_id and (activityuuid + seqnum) fields are used to uniquely pair a
request with response for RPC versions 5 and 4 respectively.

rust/dcerpc: Remove redundant fields

rust/dcerpc: Make tx_id u64

dcerpc/udp: Fix pairing of request response

So far, request and response were paired with serial number fields in
the header. This is incorrect. According to
https://pubs.opengroup.org/onlinepubs/9629399/chap12.htm,
"Together, the activity UUID and the sequence number uniquely identify
a remote procedure call."

Hence, add activity uuid and sequence number to the transaction and pair
the request accordingly. Remove incorrect handling of this and fix
tests.

rust/dcerpc: Add UDP flag definitions

app-layer: lower limit for protocol detection on protocol change

So that protocol detection does not run for too long because
TCPProtoDetectCheckBailConditions somehow relies on its TCP stream
to start from zero, which is not the case on protocol change

Adds also debug validation checks, such as
both sides are known on protocol change

And only sets once alproto_orig

doc: New sticky buffer icmpv4.hdr

detect: Register icmpv4 header

detect: Add icmpv4.hdr sticky buffer

This commit adds a new sticky buffer to access the ICMPv4 header.

detect: New enum for icmpv4 header keyword

decode: Improved handling of ICMPv4 messages

This commit improves handling of ICMPv4 messages, especially those with
variable sized headers.

This commit also adds a header length variable for use by the new
sticky buffer for the header.

github-ci: fix debian 10 test using rustup

detect: Treat offset as a signed value

This commit updates the detector to treat 'offset' as a signed value to
be compatible with Snort.

napatech: Added comment indicating that hba will be deprecated

HBA will be deprecated in Suricata 7

napatech: Add Deprecation Warning Message for HBA

Added a message that HBA will be deprecated in the future and removed
hba from default conf file.

doc: provide eve 1 deprecation date

dns: eve 1 deprecation warning

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4137

dns: fix leak in dns v1 logging

Intermediate JsonBuilder object was not being freed.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4086

napatech: Removed restriction on use of inline mode

Removed the unnecessary restriction on the use of inline mode only when
bypass is enabled.  Now, Inline can be used independent of bypass
functionality.

napatech: Fix potential double release of packet

This addresses readmine issue #4018.  There was the potential for a packet
buffer to be released twice in response to an error condition.  This
addresses this by only calling NT_NetRxRelease() when the p->ReleasePacket
is called.

fuzz: better packet recycling in sigpcap target

need especially to set datalink for every packet

fuzz: applayer target uses yaml config

so that every app-layer protocol is enabled

ci: adds cifuzz workflow

fuzz: adds fuzzing status badge in README

eve: do not access flow storage in packet context

We must make sure not to access the flow storage (e.g. keeping a
MacSet) before making sure we have a flow to begin with, We can,
for example, run into an alert without a flow with `ip` rules,
in which case the flow might be NULL. See Redmine issue #4109.

github-ci: Improve body parsing

This commit improves handling of the PR body parsing to eliminate
unneeded characters.

detect/file-data: Improved support for share bufs

This commit improves support for shared buffer usage, i.e., when
multiple rules share the file data (http) buffer and apply different
combinations of transforms and fast_patterns (or none).

github-ci: remove deprecated set-env and add-path

Use the new methods for setting an environment variable and
updating the PATH.

mingw: fix format string warnings

github-ci: add windows build with suricata-verify

Initial attempt with a few hacks:
- npcap dlls are extracted from the installer and placed in cwd
- cbindgen is installed system wide desipte a preinstalled copy

This does not yet hook into the "prep" build from build.yaml or
support using custom support PRs/branches (SV, SU).

appveyor: remove in favor of github-ci

detect/mpm: fix id confusion in mpm_ctx sharing

Mixing of dynamic id's and hardcoded config values could possibly
lead to the settings not getting applied properly.

detect/mpm: improve transforms handling

Make sure keywords with transforms get their own mpm ctx, instead of
sharing it with the 'pure' version of the keyword.

detect/mpm: rename variable to ease code review

dcerpc/udp: add missing tx free logic

dcerpc: fix stream flag handling

Only hardcoded direction flags were passed to the parser, not the
full range.

Handle receiving an EOF flag w/o data.

Bug: #3856

dcerpc/tcp: fix compile warning

warning: variable does not need to be mutable
    --> src/dcerpc/dcerpc.rs:1036:42
     |
1036 |                     let tx = if let Some(mut tx) = self.get_tx_by_call_id(current_call_id, core::STREAM_TOCLIENT) {
     |                                          ----^^
     |                                          |
     |                                          help: remove this `mut`
     |
     = note: `#[warn(unused_mut)]` on by default

warning: variable does not need to be mutable
    --> src/dcerpc/dcerpc.rs:1061:30
     |
1061 |                         Some(mut tx) => {
     |                              ----^^
     |                              |
     |                              help: remove this `mut`

dcerpc/tcp: add missing detect state cleanup

detect/magic: fix crash on rule reloading

This changseset fixes a bug causing a segmentation fault.
When rules are reloaded and a rule using libmagic matches, suricata
crashes due to an improper reinitialization of the thread contexts.

Bug: #3726

unix-socket: fix alert metadata logging

This changeset fixes a bug that was preventing suricata to dump
alert metadata info when running in unix-socket mode.
When running in unix-socket mode, suricata was skipping the
initialization of the output modules and, as a consequence,
the metadata output module was never invoked.

alert/syslog: fix minor compile warning

stream: harden data size handling

Handle edge cases around ACKs and last_ack getting below
'app_progress', which can happen during shutdown of a flow
with multiple GAPs.

stream: bail early if no data after a gap

stream: harden data size handling

stream: don't send STREAM_START multiple times

detect/content: add more negation tests

dnp3: reword warning message

defrag: fix pthread warning on OpenBSD

configure: remove left over reference to unified2

doc/rules: document config rule option

version: start development towards 6.0.1

version: update to 6.0.0, require libhtp 0.5.35

changelog: update for 6.0.0 final

logrotate: reindent to 4 spaces

4 spaces seems to be the norm on Linux, so reindent from a mix
of 8 spaces and tabs to 4 spaces.

signature: checks protocol for file.name keyword

By setting the flags as for the filename keyword (not sticky version)

dnp3: more precise probing for banners

dnp3: fix probing test not using final null in string

http2: asymetric sizes for headers tables

The headers table from client to server
and the one from server to client
may have different maximum sizes
(even if both endpoints have to keep both tables)

ssl: do not reuse struct session_id_length

As it can be confused between SSLv2 and TLSv13
In SSLv2, this variable is not used after the function scope, so
we can use a temporary variable.

smb: resistance against padding evasions

Scenario is use of dummy padding in write AndX request
or other similar commands using a data offset.

Parsing skips now these dummy bytes, and generates one event

smb: adds file overlap event against evasions

Evasion scenario is
- a first dummy write of one byte at offset 0 is done
- the second full write of EICAR at offset 0 is then done
and does not trigger detection

The last write had the final value, and as we cannot "cancel"
the previous write, we set an event which is then transformed into
an app-layer decoder alert

rdp: fix incomplete result

Aggregating the consumed bytes

detect: fix use of uninit memory in DetectDatarepParse

By initializing to empty string

util: fix warning about format string for integer

util: THashInitConfig limits hash size when fuzzing

util: THashInitConfig does not exit but return error

enip: set unidirection transaction flag

dhcp: set unidirection transaction flag

ikev2: set unidirection transaction flag

mqtt: set unidirection transaction flag

sip: set unidirection transaction flag

rdp: set unidirection transaction flag

krb5: set unidirection transaction flag

ntp: set unidirection transaction flag

snmp: set unidirectional transaction flag

app-layer: handle unidirectional transactions

ssl: adds safety checks

Ensure the client version is valid by checking hello flags

Ensure no integer underflow occurs in SSLv3ParseHandshakeType

detect/transform: Validator for compress-ws

This commit adds a buffer validator for compress whitespace. Buffers
containing two or more consecutive whitespace characters are invalid
with this transform.

detect: Correct typo