dpdk: set new running flag at thread startup

threads: count thread types after all initialized

To avoid double counting in case a thread took longer than
expected to start up.

detect-icmp-seq: convert unittests to FAIL/PASS APIs

Task: #4043

dns/eve: add 'HTTPS' type logging

Add a new DNS record type to represent HTTPS
Ticket: #4751

detect-itype: remove unittests

Ticket: #5590

detect-replace: Convert unittests to FAIL/PASS API

Ticket: 4054

security: prevents process creation

with setrlimit NPROC.

So that, if Suricata wants to execve or such to create a new process
the OS will forbid it so that RCE exploits are more painful to write.

Ticket: #5373

profiling: sort LoggerId's in same order as defined

Sort the LoggerId's in the order they are define in suricata-common.h.

loggers: all json tx loggers can share the same loggerid

This is to avoid the tx logging code that doesn't support LoggerId
values over 31 at this time. The simplest fix for now is to just have
all JSON (eve) loggers use the same ID.

DNP3 is left as-is for now as it needs some extra support in the parser.

workflow: add systemd integration and check

Intergration of systemd is a feature that enables notification of
a running service to the service manager. The workflow now ensures
compilation with systemd and checks the binary has been built against
libsystemd.

doc/systemd: add documentation for sd_notify

suricata: add sd_notify support

Upon all threads reaching a running state the system generates
a notification for systems running and configured for systemd

Implements feature 5384
(https://redmine.openinfosecfoundation.org/issues/5384)

source: add THV_RUNNING flag to notify of running state

Each module (thread) updates its status to indicate running.
Main thread awaits for all threads to be in a running state
before continuing the initialisation process

Implements feature 5384
(https://redmine.openinfosecfoundation.org/issues/5384)

doc: add reference to ipaddr in IP matching

datasets: don't exit on invalid data

detect: doc link for ip.src and ip.dst

doc: add ip.dst and ip.src doc

doc: document new dataset types

Feature: #5383

datasets: introduce new IPv6 type

This patch also simplifies IPv6 parsing.

Feature: #5383

detect: add ip.dst keyword as sticky buffer

Feature: #5383

detect: add ip.src keyword

It is a sticky buffer matching on src_ip.

Feature: #5383

datasets: introduce ipv4 type

This patch introduce the IPv4 type for dataset so Suricata commandmatch
on a set of IPv4 addresses. This is meant to complement iprep feature
for people that needs more flexibility such as settings the IP on
the packet path.

Feature: #5383

datasets: factorize serialised operations

Ticket: #5184

doc: document dataset-lookup

Ticket: #5184

suricatasc: add dataset-lookup command

Ticket: #5184

datasets: add dataset-lookup command

Ticket: #5184

doc: add dataset-clear command

Ticket: #5184

suricatasc: add dataset-clear command

Ticket: #5184

datasets: add dataset-clear command

Ticket: #5184

doc: document dataset-dump command

Ticket: #5184

datasets: add dump via unix socket

This patch adds a dataset-dump command to the list of unix socket
commands. Implementation is not optimal as we are locking the
datasets when doing the dump. But if we consider that the current
alternative from an implementation point of view is to stop Suricata
then this is far better than current state.

Ticket: #5184

release: 7.0.0-beta1; update changelog

packet: turn tunnel lock into spinlock

Lock is only held to update/check ints, so spin lock will be more
efficient.

Place the member of Packet in a new "persistent" area to make it
clear this is not touched by the PacketReinit logic.

Ticket: #5592.

stream/tcp: remove obsolete and commented out tests

decode/vxlan/tests: don't memset new packet

decode/mpls/tests: improve pkt handling; cleanups

app-layer/tests: don't memset new packet

doc/devguide: update packet (de)alloc in unittests

decode/geneve/tests: don't memset packet

Packet is already initialized.

threading: improve/add thread queues explanations

eve/alert: remove tunnel locking

Tunnel lock is only used to sync verdict logic.

decode: alloc packets using calloc

packetpool: remove PKT_ALLOC flag

Use Packet::pool instead. If Packet::pool is non-NULL the packet is
owned by a pool. Otherwise it is allocated and should be freed after
use.

runmodes: remove dead error check

smtp/mime: no error logging in packet path

defrag: no error logging in packet path

applayer: make sure to use correct ipproto

eve/alert: use flow proto to avoid crash on ICMP

detect-filemd5: convert unittests to FAIL/PASS APIs

Task: #4035

detect-filesha256: convert unittests to FAIL/PASS APIs

Task: #4038

github-actions: bump actions/upload-artifact from 3.1.0 to 3.1.1

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 3.1.0 to 3.1.1.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/3cea5372237819ed00197afe530f5a7ea3e805c8...83fd05a356d7e2593de66fc9913b3002723633cb)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

github-actions: bump actions/download-artifact from 3.0.0 to 3.0.1

Bumps [actions/download-artifact](https://github.com/actions/download-artifact) from 3.0.0 to 3.0.1.
- [Release notes](https://github.com/actions/download-artifact/releases)
- [Commits](https://github.com/actions/download-artifact/compare/fb598a63ae348fa914e94cd0ff38f362e927b741...9782bd6a9848b53b110e712e20e42d89988822b7)

---
updated-dependencies:
- dependency-name: actions/download-artifact
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

rust: fix lint warnings about mixed case hex literals

Ticket: #4593

rust: fix lint warnings about if same then else

Ticket: 4609

rust: fix lint warnings about ptr_arg

Ticket: #4599

rust: fix clippy lint for unneeded late initialization

rust: fix clippy lint for cmp_null is debug code

Ticket: 5577

rust: fix clippy lints for unneeded reference in debug code

rust: fix clippy lints for is_empty in debug code

github-ci: running clippy with all features

Without it, it own't see the usage of variables in SCDebugLog macros,
etc.

rust: don't allow fixed up clippy lints

rust: clippy fix for bitwise or with 0

rust: fix clippy lints for clippy::unnecessary_cast

rust: fix clippy lints for clippy::redundant_static_lifetimes

rust: fix clippy lints for clippy::redundant_pattern_matching

rust: fix clippy lints for clippy::nonminimal_bool

rust: fix clippy lints for clippy::map_flatten

rust: fix clippy lints for clippy::manual_find

rust: fix clippy lints for clippy::collapsible_if

rust: fix clippy lints for clippy::collapsible_else_if

rust: fix clippy lints for clippy::bool_comparison

rust: fix clippy lints for clippy::crate_in_macro_def

rust: fix clippy lints for clippy::redundant_field_names

rust: fix clippy lints for clippy::needless_bool

rust: fix clippy lints for clippy::manual_range_contains

rust: fix clippy lints for clippy::len_zero

rust: fix clippy lints for clippy::char_lit_as_u8

rust: fix clippy lints for clippy::assign_op_pattern

rust: fix clippy lints for clippy::derive_partial_eq_without_eq

rust: suppress large enum variant lint at location

And disable the global lint.

rust/http2: box decompressor variants

These variants, in particular the Brotli one can be large at over 2500
bytes which is allocated no matter which decompressor is being used.

Gzip comes in at over 500 bytes.  Box deflate for consistency.

rust: remove clippy lints that no longer warn

rust: sort clippy allow statements

src: Use WARN_UNUSED for ByteExtract* functions

Add WARN_UNUSED macro for ByteExtract* functions
Fix warning raised in code related to WARN_UNUSED for ByteExtract*

Ticket: #3658

github-actions: bump ossf/scorecard-action from 2.0.4 to 2.0.6

Bumps [ossf/scorecard-action](https://github.com/ossf/scorecard-action) from 2.0.4 to 2.0.6.
- [Release notes](https://github.com/ossf/scorecard-action/releases)
- [Changelog](https://github.com/ossf/scorecard-action/blob/main/RELEASE.md)
- [Commits](https://github.com/ossf/scorecard-action/compare/e363bfca00e752f91de7b7d2a77340e2e523cb18...99c53751e09b9529366343771cc321ec74e9bd3d)

---
updated-dependencies:
- dependency-name: ossf/scorecard-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

detect-filename: convert unittests to FAIL/PASS APIs

Task: #4036

detect-filemagic: convert unittests to FAIL/PASS APIs

Task: #4034

docs: remove outdated constraint of negation support for ssl_state

Commit 487cdda93d1836acc33323c3b57135c1844a8f41 adds negation support for the SSL state.

flow/storage: use const for getter

eve: mac logging code cleanup

eve/drop: log direction if we have a flow

eve: log mac addresses in packet direction

dpdk: fix timestamp issues

Each thread had its own version of the `machine_start_time`, which
lead to slight time differences. This became apparent mostly in IPS,
where 2 threads each process a side of the flow.

This patch makes the `machine_start_time` global.

packet: move action functions to packet files

detect/tag: improve time handling on windows

Bug: #5584.

detect: unittest guards for ut only function

detect: remove unused function

eve/alert: minor cleanups

cocci: remove action check as we no longer use macros

detect: issue drop to root packet in all cases

Update DROP action handling in tunnel packets. DROP/REJECT action is set
to outer (root) and inner packet.

Check action flags both against outer (root) and inner packet.

Remove PACKET_SET_ACTION macro. Replace with RESET for the one reset usecase.
The reason to remove is to make the logic easier to understand.

Reduce scope of RESET macros.

Rename PacketTestAction to PacketCheckAction except in unittests. Keep
PacketTestAction as a wrapper around PacketCheckAction. This makes it
easier to trace the action handling in the real code.

Fix rate_filter setting actions directly.

General code cleanups.

Bug: #5571.