detect: Register icmpv4 header

detect: Add icmpv4.hdr sticky buffer

This commit adds a new sticky buffer to access the ICMPv4 header.

detect: New enum for icmpv4 header keyword

decode: Improved handling of ICMPv4 messages

This commit improves handling of ICMPv4 messages, especially those with
variable sized headers.

This commit also adds a header length variable for use by the new
sticky buffer for the header.

github-ci: fix debian 10 test using rustup

detect: Treat offset as a signed value

This commit updates the detector to treat 'offset' as a signed value to
be compatible with Snort.

napatech: Added comment indicating that hba will be deprecated

HBA will be deprecated in Suricata 7

napatech: Add Deprecation Warning Message for HBA

Added a message that HBA will be deprecated in the future and removed
hba from default conf file.

doc: provide eve 1 deprecation date

dns: eve 1 deprecation warning

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4137

dns: fix leak in dns v1 logging

Intermediate JsonBuilder object was not being freed.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4086

napatech: Removed restriction on use of inline mode

Removed the unnecessary restriction on the use of inline mode only when
bypass is enabled.  Now, Inline can be used independent of bypass
functionality.

napatech: Fix potential double release of packet

This addresses readmine issue #4018.  There was the potential for a packet
buffer to be released twice in response to an error condition.  This
addresses this by only calling NT_NetRxRelease() when the p->ReleasePacket
is called.

fuzz: better packet recycling in sigpcap target

need especially to set datalink for every packet

fuzz: applayer target uses yaml config

so that every app-layer protocol is enabled

ci: adds cifuzz workflow

fuzz: adds fuzzing status badge in README

eve: do not access flow storage in packet context

We must make sure not to access the flow storage (e.g. keeping a
MacSet) before making sure we have a flow to begin with, We can,
for example, run into an alert without a flow with `ip` rules,
in which case the flow might be NULL. See Redmine issue #4109.

github-ci: Improve body parsing

This commit improves handling of the PR body parsing to eliminate
unneeded characters.

detect/file-data: Improved support for share bufs

This commit improves support for shared buffer usage, i.e., when
multiple rules share the file data (http) buffer and apply different
combinations of transforms and fast_patterns (or none).

github-ci: remove deprecated set-env and add-path

Use the new methods for setting an environment variable and
updating the PATH.

mingw: fix format string warnings

github-ci: add windows build with suricata-verify

Initial attempt with a few hacks:
- npcap dlls are extracted from the installer and placed in cwd
- cbindgen is installed system wide desipte a preinstalled copy

This does not yet hook into the "prep" build from build.yaml or
support using custom support PRs/branches (SV, SU).

appveyor: remove in favor of github-ci

detect/mpm: fix id confusion in mpm_ctx sharing

Mixing of dynamic id's and hardcoded config values could possibly
lead to the settings not getting applied properly.

detect/mpm: improve transforms handling

Make sure keywords with transforms get their own mpm ctx, instead of
sharing it with the 'pure' version of the keyword.

detect/mpm: rename variable to ease code review

dcerpc/udp: add missing tx free logic

dcerpc: fix stream flag handling

Only hardcoded direction flags were passed to the parser, not the
full range.

Handle receiving an EOF flag w/o data.

Bug: #3856

dcerpc/tcp: fix compile warning

warning: variable does not need to be mutable
    --> src/dcerpc/dcerpc.rs:1036:42
     |
1036 |                     let tx = if let Some(mut tx) = self.get_tx_by_call_id(current_call_id, core::STREAM_TOCLIENT) {
     |                                          ----^^
     |                                          |
     |                                          help: remove this `mut`
     |
     = note: `#[warn(unused_mut)]` on by default

warning: variable does not need to be mutable
    --> src/dcerpc/dcerpc.rs:1061:30
     |
1061 |                         Some(mut tx) => {
     |                              ----^^
     |                              |
     |                              help: remove this `mut`

dcerpc/tcp: add missing detect state cleanup

detect/magic: fix crash on rule reloading

This changseset fixes a bug causing a segmentation fault.
When rules are reloaded and a rule using libmagic matches, suricata
crashes due to an improper reinitialization of the thread contexts.

Bug: #3726

unix-socket: fix alert metadata logging

This changeset fixes a bug that was preventing suricata to dump
alert metadata info when running in unix-socket mode.
When running in unix-socket mode, suricata was skipping the
initialization of the output modules and, as a consequence,
the metadata output module was never invoked.

alert/syslog: fix minor compile warning

stream: harden data size handling

Handle edge cases around ACKs and last_ack getting below
'app_progress', which can happen during shutdown of a flow
with multiple GAPs.

stream: bail early if no data after a gap

stream: harden data size handling

stream: don't send STREAM_START multiple times

detect/content: add more negation tests

dnp3: reword warning message

defrag: fix pthread warning on OpenBSD

configure: remove left over reference to unified2

doc/rules: document config rule option

version: start development towards 6.0.1

version: update to 6.0.0, require libhtp 0.5.35

changelog: update for 6.0.0 final

logrotate: reindent to 4 spaces

4 spaces seems to be the norm on Linux, so reindent from a mix
of 8 spaces and tabs to 4 spaces.

signature: checks protocol for file.name keyword

By setting the flags as for the filename keyword (not sticky version)

dnp3: more precise probing for banners

dnp3: fix probing test not using final null in string

http2: asymetric sizes for headers tables

The headers table from client to server
and the one from server to client
may have different maximum sizes
(even if both endpoints have to keep both tables)

ssl: do not reuse struct session_id_length

As it can be confused between SSLv2 and TLSv13
In SSLv2, this variable is not used after the function scope, so
we can use a temporary variable.

smb: resistance against padding evasions

Scenario is use of dummy padding in write AndX request
or other similar commands using a data offset.

Parsing skips now these dummy bytes, and generates one event

smb: adds file overlap event against evasions

Evasion scenario is
- a first dummy write of one byte at offset 0 is done
- the second full write of EICAR at offset 0 is then done
and does not trigger detection

The last write had the final value, and as we cannot "cancel"
the previous write, we set an event which is then transformed into
an app-layer decoder alert

rdp: fix incomplete result

Aggregating the consumed bytes

detect: fix use of uninit memory in DetectDatarepParse

By initializing to empty string

util: fix warning about format string for integer

util: THashInitConfig limits hash size when fuzzing

util: THashInitConfig does not exit but return error

enip: set unidirection transaction flag

dhcp: set unidirection transaction flag

ikev2: set unidirection transaction flag

mqtt: set unidirection transaction flag

sip: set unidirection transaction flag

rdp: set unidirection transaction flag

krb5: set unidirection transaction flag

ntp: set unidirection transaction flag

snmp: set unidirectional transaction flag

app-layer: handle unidirectional transactions

ssl: adds safety checks

Ensure the client version is valid by checking hello flags

Ensure no integer underflow occurs in SSLv3ParseHandshakeType

detect/transform: Validator for compress-ws

This commit adds a buffer validator for compress whitespace. Buffers
containing two or more consecutive whitespace characters are invalid
with this transform.

detect: Correct typo

detect/file-data: Apply transforms on file_data

This commit cause transforms to be applied on the sticky buffer.

http: error check htp_list_size

This avoids a potential casting to uint64_t of -1, leading to a very
high upper bound of the tx loop.

doc/eve: Update threaded filename examples

output/json: Update threaded filename example

log/eve: Threaded filename change: eve.N.json

This commit changes the name of the file used with threaded eve logging
to better support log rotation

Instead of using "eve.json.N" and creating potential issues with log
rotation (which also uses a ".N" suffix), the eve logs will be named
"eve.N.json" when threaded.

path: SCBasename - function to return basename

This commit returns the basename of a file, if it exists
in the same way that `basename(1)` works.

detect/rules: Fix copy/paste error

This commit corrects a copy/paste error handling the `include-mpm-stats`
configuration setting.

detect: Apply clang-format updates

detect/rules: Increase array size to remove SEGV

This commit changes the size of reporting variables to be dynamic based
on the buffer ids in use instead of a fixed value to address a SEGV when
the fixed value was less than the max buffer/type id in use.

scripts/setup-app-layer: fix rust generation

Fix Rust app-layer generation. Main parser file was being named
gopher.rs instead of the name of the protocol.

http2: complete parsing of priority frames

http2: keep track of dynamic headers table size

And evict entries accordingly to maximum size

http2: variable size integers decoded everywhere

http2: StreamIdReuse frame types exceptions

Also handles better the state so as not to revert from
HTTP2StateHalfClosedClient to HTTP2StateDataServer and not
go to final HTTP2StateClosed

http2: use variable integer for headers lengths

protodetect: rerun probing parser if pattern matched

If a pattern matches in the other direction, after
probing parser finished without finding a protocol,
we will rerun the probing parser, which will include
the newly protocol found by its pattern

protodetect: runs probing parser on protocol found

It a protocol is found in a first direction, we should run the
probing parser, even if it is not in the known ports.

That can happen for HTTP2, where client magic is detected,
then server probe can be run

applayer: fix a leak in protocol change

TCPProtoDetect can either set f->alproto, change f->alstate
and return error.

When the original alstate gets freed, we shall set the pointer
to NULL, as it can get reused.

dcerpc: fix gap handling

This patch addresses issues discovered by redmine ticket 3896. With the
approach of finding latest record, there was a chance that no record was
found at all and consumed + needed became input length.

e.g.
input_len = 1000
input = 01 05 00 02 00 03 a5 56 00 00 .....

There exists no |05 00| identifier in the rest of the record. After
having parsed |05 00|, there was a search for another record with the
leftover data. Current data length at this point would be 997. Since the
identifier was not found in the data, we calculate the consumed bytes at
this point i.e. consumed = current_data.len() - 1 which would be 996.
Needed bytes still stay at a constant of 2. So, consumed + needed = 996
+ 2 = 998 which is lesser than initial input length of 1000 and hence
the assertion fails.

There could be two fixes to this problem.
1. Finding the latest record but making use of the last found record in
   case no new record was found.
2. Always use the earliest record.

This patch takes the approach (2). It also makes sure that the gap and
current direction are the same.

fuzz: better configure checks for MSAN building

More compatible check for rust nightly
Checks for CARGO_BUILD_TARGET
Builds release or debug mode independently

log/anomaly: Move metadata out of anomaly section

This commit moves the metadata from the anomaly object where it was
incorrectly located.

doc/userguide: add info about --set and lists

app-layer: improve depth handling

Consider txs inspected and done for a direction after depth is reached for
that direction.

stream: make sure to call app-layer in case of depth reached

dcerpc: implement tx free function

dcerpc/tcp: implement trunc logic

When one side of the connection reaches the STREAM_DEPTH condition the
parser should be aware of this. Otherwise transactions will forever be
waiting for data in that direction.

applayer/rust: expose truncate callback

app-layer: don't check tx detect flags if detect is disabled