datasets: fix error handling in StringSet

datasets: factorize set operation

datasjson: fix include barrier name

detect/pcre: fix copyright date

datajson: key length fix

When using type string, we should not limit the size of the string.

This patch also fixes some implicit cast issues.

datajson: value_key is necessary in json format

doc/userguide: enrichment_key is now context_key

datajson: rename enrichment_key to context_key

datajson: factorize code

Code was duplicated and a build error was reported so factorizing
was the best way to clean it.

datajson: add sanity check on length

Also cast to avoid compilation error.

datajson: use systematic allocation

datajson: more explicit memory handling

doc/userguide: fix some typos

Suggestions from Juliana.

Co-authored-by: Juliana Fajardini Reichow <jufajardini@gmail.com>

eve/schema: fix ordering

datasets: remove comment about unused return value

datajson: simplify memory handling

DatajsonAdd function is now responsible of the handling of the mem
of datajsontype passed as argument.

datajson: use wrapper

datajson: fix potential leak in error handling

datajson: remove unnecessary abstraction

github: upload scan-build artifacts

datajson: use more broadly supported formatter

datajson: fix formatting

datasets: factorize dataset creation

Factorize DatasetGet and DatajsonGet to only have the difference
between the two in the respective function.

datasets: separate DatasetGet in 2 functions

This will be used to factorize the code with datajson.

datasets/context: rename the datajson files

They are is renamed to datasets-context-json.* so we see that
it is about context and not about a new datasets type.

doc/userguide: jsonline is now standard ndjson

datajson: rename jsonline to ndjson

doc/userguide: improve datajson doc

datajson: output context to "context"

Using `alert.extra` was not really reflecting the nature of what
was added. So renaming it to `alert.context`.

datajson: fix thread safety violation

datajson: reduce size length

datajson: fix string format in error message

eve/schema: remove reference to datajson

doc/userguide: remove left over datajson reference

doc/userguide: improve datajson doc

Patch adds ``remove_key`` option and clarifies the text.

datajson: add remove_key option to dataset

This option allows to remove the key corresponding to the match
value from the JSON object before creating the JSON object that
will be added to the `extra` data.

For example, matching on the following JSON on the `ip` key:

```json
{"ip": "10.16.1.11", "test": "success", "context":3}
```

with a match like:

```
dataset:isset,src_ip,type ip,load src.lst,format jsonline,enrichment_key src_ip,value_key ip;
```

will produce the following:

```json
"extra": {
  "src_ip": {
    "ip": "10.16.1.11",
    "test": "success",
    "context": 3
  }
```

if we add the `remove_key` option to the match:

```
dataset:isset,src_ip,type ip,load src.lst,format jsonline,enrichment_key src_ip,value_key ip, remove_key;
```

it will produce the following:

```json
"extra": {
  "src_ip": {
    "test": "success",
    "context": 3
  }
```

The option is set to false by default.

Ticket: #7372

doc/userguide: basic doc for jsonline format

datajson: implement jsonline format

This format allows to use a one valid JSON object per line in the
data file.

Ticket: #7372

datajson: prepare jsonline format

There is just a change in the iterator to go from json to jsonline
so let's factorize the parsing functions.

Ticket: #7372

doc/userguide: add dataset with json

eve/schema: document datajson output

eve/schema: pktvars is a container

It can contain any vars so need addition properties.

detect/pcre: add extraction for alert

With datajson infrastructure in place, it is now possible to
add data in the extra information section. Following an idea
by Jason Ish, this patch adds the feature for pcre extraction.

A PCRE such as pcre:"/(?P<alert_ua>[a-zA-Z]+)\//" will add the
content of the captured group to alert.extra.ua.

datajson: introduce feature

This patch introduces new option to dataset keyword.
Where regular dataset allows match from sets, dataset with json
format allows the same but also adds JSON data to the alert
event. This data is coming from the set definition it self.
For example, an ipv4 set will look like:

  [{"ip": "10.16.1.11", "test": "success","context":3}]

The syntax is a JSON array but it can also be a JSON object
with an array inside. The idea is to directly used data coming
from the API of a threat intel management software.

The syntax of the keyword is the following:

  dataset:isset,src_ip,type ip,load src.lst,format json, \
       enrichment_key src_ip, value_key ip;

Compare to dataset, it just have a supplementary option key
that is used to indicate in which subobject the JSON value
should be added.

The information is added in the even under the alert.extra
subobject:

  "alert": {
    "extra": {
      "src_ip": {
        "ip": "10.6.1.11",
        "test": "success",
        "context": 3
      },

The main interest of the feature is to be able to contextualize
a match. For example, if you have an IOC source, you can do

 [
   {"buffer": "value1", "actor":"APT28","Country":"FR"},
   {"buffer": "value2", "actor":"APT32","Country":"NL"}
 ]

This way, a single dataset is able to produce context to the
event where it was not possible before and multiple signatures
had to be used.

The format introduced in datajson is an evolution of the
historical datarep format. This has some limitations. For example,
if a user fetch IOCs from a threat intel server there is a large
change that the format will be JSON or XML. Suricata has no support
for the second but can support the first one.

Keeping the key value may seem redundant but it is useful to have it
directly accessible in the extra data to be able to query it
independantly of the signature (where it can be multiple metadata
or even be a transformed metadata).

In some case, when interacting with data (mostly coming from
threat intel servers), the JSON array containing the data
to use is not at the root of the object and it is ncessary
to access a subobject.

This patch implements this with support of key in level1.level2.
This is done via the `array_key` option that contains the path
to the data.

Ticket: #7372

util/byte: add HexToRaw function

util/ip: add IPv4 and IPv6 length

detect: replace DetectEngineCtx flag with EngineModeIsFirewall

detect/config: supported for firewall rules

help: group and reorder help/usage output

commandline: add --help option

Acts same as -h.

firewall: add --firewall and firewall.enabled

Allows for enabling firewall mode

firewall: move config into yaml object

To make it easier to group settings or include them.

ldap: avoid unneeded renaming of variables

ldap: fix clippy warnings (unneded conversions)

ldap: factorize code and remove duplicated structs, use ldap_parser where relevant

ldap: update ldap-parser to 0.5.0

json/schema: link file.name to email.attachment

As a Suricata keyword.

Ticket: #7683

doc/upgrade: note about dns address swap on responses

Document the change in DNS addresses for ticket 6400.

Ticket: https://redmine.openinfosecfoundation.org/issues/6400

fuzz: fix -Wshorten-64-to-32 warnings

Ticket: #6186

util: fix -Wshorten-64-to-32 warnings for afpacket

Ticket: #6186

configure: add -Wshorten-64-to-32 to the flags

when configure is run with --enable-warnings

Ticket: 6186

Also add -Wimplicit-int-conversion to the flags

Both are not compatible with unit tests

detect/engine: fix -Wshorten-64-to-32 warnings

Ticket: #6186

Especially take care of the case where byte_extract extracts a u64
value that does not fit in a u32

time: replace usleep by SleepUsec/SleepMsec

Helps cross platform support, esp Windows

threads: clean up module flags

Remove unused TM_FLAG_STREAM_TM.

Rename TM_FLAG_DETECT_TM to TM_FLAG_FLOWWORKER_TM as it was mostly used
to check if a thread is a flow worker. TM_FLAG_DETECT_TM was always set
for a flow worker, even when there was no detection in use.

threading: fix shutdown of IPS autofp modes

For IPS modes with a verdict thread in autofp there was an issue with
the verdict thread not shutting down, leading to a long shutdown time
until an error condition was reached.

The problem was that when the packet threads, of which the verdict
thread is one, were told to enter their flow timeout loop the verdict
thread got stuck as it immediately progressed to THV_RUNNING_DONE
instead of the expected THV_FLOW_LOOP.

This patch updates the shutdown logic to only apply the flow timeout
logic to the relevant threads, and skip the verdict thread(s).

Add TM_FLAG_VERDICT_TM to indicate a thread has a verdict module to more
explicitly shut it down.

Fixes: 12f8f03532e5 ("threads: fix autofp shutdown race condition")
Bug: #7681.

rust: bindgen AppLayerParserConfParserEnabled

Ticket: 7667

rust: bindgen SCAppLayerParserRegisterLogger

Ticket: 7667

rust: bindgen AppLayerParserRegisterParserAcceptableDataDirection

Ticket: 7667

rust: bindgen AppLayerParserSetStreamDepth

Ticket: 7667

rust: bindgen SCAppLayerParserStateIssetFlag

Ticket: 7667

rust: bindgen AppLayerParserStateSetFlag

Ticket: 7667

src: clean includes for app-layer-parser.h

To prepare bindgening

detect/config: add flow tracking doc

detect/config: remove unused include

detect/config: add func docs

detect/config: remove filestore reference from comments

detect/config: add support for skipping flow tracking

Allow rules in the `pre_flow` hook to disable flow tracking for a
packet:

    config:packet tcp:pre_flow any any <> any 12345 (           \
        config: tracking disable, type flow, scope packet;      \
        sid:1;)

This rule will be evaluated before a packet is handled by the flow
engine, and a match will ensure that the flow engine is skipped.

Ticket: #7715.

detect: set detect table for non-firewall mode as well

This also exposed a difference between the handling of TD alerts in
firewall vs non-firewall mode. In firewall mode the table/hook is also
part of the alert ordering to make sure actions from packet:td are
applied before app:td. Handle that explicitly for now.

detect/config: allow setting a scope for action config

util/config: comment out unused types

detect/config: clean up keyword value parsing

detect: clean up signature validate logic

`SigValidate` was doing more than just validation. Break out the
function into validation steps and consolidation steps.

detect: tables support per keyword

Allow keywords to specify in which detect table they can function.

E.g. the pre_flow table will not support flow keywords, as no flow is
availble at this time.

detect: use accept:hook policy for pre_* hooks

Set firewall policy in scratch pad. Default to drop:packet for filter tables,
use accept:hook for pre_stream and pre_hook.

detect: add pre_flow hook

Allows dropping of packets before a flow is created/updated.
Directionless as direction is inferred from the flow.

Ticket: #7714.

detect: add pre_stream hook

Meant to be used from the detection engine, to allow rules to drop
traffic before it modifies the stream state.

Ticket: #7712.

detect: add tcp.wscale keyword

Allows matching on wscale option value in TCP header options.

Ticket: #7713.

flow-worker: use explicit type for DetectEngineThreadCtx

detect: only reset packet alert things in unittest mode

detect: pass de_ctx around as const

detect/bsize: constify signature pointer in callback

detect/absent: constify signature pointer in callback

eve/schema: reformat with clang-format

rust: allow some lints in suricatactl and suricatasc

These are lints we allow in the Suricata Rust source code for style
reasons.

suricatasc: reconnect on loss of connection

If the connection is lost (for example, Suricata is restarted), try to
re-open the connect and re-execute the command.

This was the behavior of the Python implementation.

Ticket: #7746

affinity: avoid zero-division in the CPU selector

Ticket: 7747

runmodes: remove redundant NULL check

Ticket: 7747

detect: Ensure byte* variable usages is for same buffers

Issue: 7549

Use the active buffer list to fetch SM variables to ensure that they are
part of the same list so a variable created with bytemath or byteextract
will have context when used with bytejump, e.g

Not needed for content modifiers.

dns: log addresses in order of packet

DNS logs have always been logged in flow direction, this can be
confusing as DNS responses have a src_ip of the client, but it makes
more sense to have the src_ip for the server, as that is the src_ip of
the response packet.

As this is a breaking change, limit it DNS v3 logging which was
introduced, and is the default for Suricata 8.0.

Ticket: #6400

output: delayed initialization for custom loggers

When a plugin is first initialized, it is too early to register
transaction loggers. Instead, a plugin can register a callback to be
called when Suricata is ready for outputs like transaction loggers to
be registered.

Likewise for library users, there is a window in SuricataInit where
transaction loggers can be registered that library users don't have
access to. So a lifecycle callback useful here as well.

Ticket #7236