threading: set min thread stack size; set it early

Multi-tenancy uses loader threads that initialize detection engines. During
this, esp the AC family of MPM implementations, there is significant stack
usage. In most OS' threads have a lower stack size by default. In Linux, when
using the Musl C library, a thread by default gets 128KiB.

This patch does 2 things:

1. it centralizes the handling of the `threading.stack-size`. It it is not
   longer handled by the runmodes, but called from the global initialization
   logic.

2. it sets a minimum per thread stack size of 512k, unless `threading.stack-size`
   is set.

Ticket: #6265.

mpm: allocate StateQueue on the heap

So that we can have multi-tenant on MacOS without stack
overflows because of the size of the structure...

Ticket: #6263.

detect/loader: minor code cleanups

workflows: use s-v --debug-failed

detect: fix path creation in Windows

Fixes file loading for rule files and Lua scripts.

Bug: #6095.

doc/userguide: add reload-tenant(s) doc

multi-tenant: add reload-tenants command

Command to reload all tenants. Their original yaml path will be
used.

Ticket: #6267.

multi-tenant: allow reload w/o yaml path

Store yaml path in de ctx, for reloads w/o path.

This allows for a simpler `reload-tenant N`, where the previously
used yaml is reloaded.

multi-tenant: don't init config twice in tenant reload

detect: add multi-detect.config-path

Add option to specify path from which to load the tenants.

Mostly meant to be used in testing.

detect: free all tenant detect engines

Free all tenants registered in the master.

path: new funcs to merge paths

Take windows directory separators into account.

Path is not checked or "resolved".

stat: add wrappers to isolate OS_WIN32 specifics

threshold: minor code cleanups

threshold: fix multi-tenant file parsing

Switch to DetectParseRegex and use a local pcre2_match_data to
avoid concurrency issues.

Bug: #6247.

output: deinit last so logging can happen until the end

var-names: reimplement var name handling

Implement a new design for handling var name id's. The old logic
was aware of detection engine versions and generally didn't work
well for multi-tenancy cases. Other than memory leaks and crashes,
logging of var names worked or failed based on which tenant was
loaded last.

This patch implements a new approach, where there is a global store
of vars and their id's for the lifetime of the program.

Overall Design:

Base Store: "base"

Used during keyword registration. Operates under lock. Base is shared
between all detect engines, detect engine versions and tenants.
Each variable name is ref counted.

During the freeing of a detect engine / tenant, unregistration decreases
the ref cnt.

Base has both a string to id and a id to string hash table. String to
id is used during parsing/registration. id to string during unregistration.

Active Store Pointer (atomic)

The "active" store atomic pointer points to the active lookup store. The call
to `VarNameStoreActivate` will build a new lookup store and hot swap
the pointer.

Ensuring memory safety. During the hot swap, the pointer is replaced, so
any new call to the lookup functions will automatically use the new store.
This leaves the case of any lookup happening concurrently with the pointer
swap. For this case we add the old store to a free list. It gets a timestamp
before which it cannot be freed.

Free List

The free list contains old stores that are waiting to get removed. They
contain a timestamp that is checked before they are freed.

Bug: #6044.
Bug: #6201.

detect/pcre: use local match data during parsing

Fixes multi-tenant multi-loader crashes.

Bug: #6247.

eve/schema: add host

The "host" field is added to EVE events if the "sensor-name" field is
configured in suricata.yaml.

eve: fix double free of sensor-name on error

Remove the free of "sensor_name" on error in output-json as this is
cleaned up by the LogFileCtx.

Bug: #6256

af-packet: terminate on same interface & copyiface

If the interface and copy-iface are same for an af-packet IPS device
setting then fataly exit else it leads to a segfault in later stages.

Bug 5870

af-packet: check out_iface not NULL

detect/file: use util to turn keyword to nocase

This changes the way the pattern is stored by making it lowercase.

detect/content: cleanup nocase conversion

doc: update file.magic information

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update fileext keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: update file.name keyword information

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc/userguide: improve SCStreamingBuffer example

Add direction indication in SCStreamingBuffer usage example.
This adds documentation for the changes introduced by commit
5b1d8c7e94ef613107870d4d9d9cdde76d4c3438.

dpdk/mlx5: fix shutdown crash in IPS mode

Make sure to first close all ports before freeing device mempools.

Thread 1 "Suricata-Main" received signal SIGSEGV, Segmentation fault.
0x00007ffff456a3fb in ?? () from /usr/lib/x86_64-linux-gnu/dpdk/pmds-20.0/librte_pmd_mlx5.so
(gdb) bt
 #0  0x00007ffff456a3fb in ?? () from /usr/lib/x86_64-linux-gnu/dpdk/pmds-20.0/librte_pmd_mlx5.so
 #1  0x00007ffff469a948 in ?? () from /usr/lib/x86_64-linux-gnu/dpdk/pmds-20.0/librte_pmd_mlx5.so
 #2  0x00007ffff45606aa in ?? () from /usr/lib/x86_64-linux-gnu/dpdk/pmds-20.0/librte_pmd_mlx5.so
 #3  0x00007ffff6d4ed8d in rte_eth_dev_close () from /usr/lib/x86_64-linux-gnu/librte_ethdev.so.20.0
 #4  0x000000000055fc4c in DPDKCloseDevice (ldev=ldev@entry=0xe3a400) at util-dpdk.c:53
 #5  0x000000000055f4eb in LiveDeviceListClean () at util-device.c:331
 #6  0x00000000005511c8 in GlobalsDestroy (suri=<optimized out>) at suricata.c:381
 #7  0x0000000000550a76 in SuricataMain (argc=<optimized out>, argv=<optimized out>) at suricata.c:3059
 #8  0x00007ffff6a24083 in __libc_start_main (main=0x54cca0 <main>, argc=8, argv=0x7fffffffe4c8, init=<optimized out>, fini=<optimized out>, rtld_fini=<optimized out>, stack_end=0x7fffffffe4b8) at ../csu/libc-start.c:308
 #9  0x000000000054cbde in _start ()

Bug: #5619.

userguide/ppa: fix typo

The launchpad repo for suricata-beta read 'oisd' instead of 'oisf'

detect/analysis: Move globals to engine ctx

Issue: 6239

This commit moves the global variables associated with engine analysis
into the detect engine context. Doing so provides encapsulation of the
analysis components as well as thread-safe operation in a multi-tenant
(context) deployment.

userguide/install: add info on ubuntu ppa installs

Bringing info that was only in our Redmine wiki to our documentation.

Task #6231

docs: miscellanea updates

- Fix a DPDK reference link, add some line breaks.
- Exemplify what a good commit message looks
like, for Suricata's commit style.

github-ci: disable some workflows on doc only changes

Don't run the following GitHub workflows on documentation only
changes:
- cifuzz
- codeql
- formatting
- rust
- scan-build

doc/userguide: display version on front page

When viewing the docs online at Readthedocs, or similar it might be
immediately apparent what version of the documentation is being
displayed. Display the version on the first line before the table of
contents to make it clear.

rust: update cargo.lock

detect: update filename buffer description name

Signed-off-by: jason taylor <jtfas90@gmail.com>

stream: special handling for RST data

Data on RST packets is not invalid, but also shouldn't be used
in reassembly.

RFC 1122:

  4.2.2.12  RST Segment: RFC-793 Section 3.4

    A TCP SHOULD allow a received RST segment to include data.

    DISCUSSION
        It has been suggested that a RST segment could contain
        ASCII text that encoded and explained the cause of the
        RST.  No standard has yet been established for such
        data.

RST data will be presented to the detection engine per packet,
but will not be part of stream reassembly.

Bug: #6244.

stream: add stream.rst_with_data event for RST with data

ftp: reenable debug check; improve debug log

pcap/file: normalize file timestamps

Normalize the timestamps that are too far in the past to epoch.

Bug: #6240.

threads: improve spawn failure error reporting

doc: add note about cpu prio overwrite behavior

doc: dataset - add type to be mandatory

radix: Detect duplicate netblocks

This commit prevents duplicate IPV4/IPV6 netblocks from being added to the
radix tree.

Contributed by Giuseppe Longo <giuseppe@glongo.it>

Issue: 5748

error: Add SC_EEXIST for dups

Issue: 5748

This commit adds SC_EEXIST to be used for cases where an
item/resource/artifact with the same attributes already exists.

gen/bool: Use bool type instead of ints

This commit converts usages of `int` to `bool` within the radix utility
code.

reputation: Release memory on key add fails

Ensure that memory for the reputation key is released on failed adds.

Contributed by Giuseppe Longo <giuseppe@glongo.it>

Issue: 5748

gen/typos: Correct misc. typos.

general: Remove unused include files

output/stats: Handle stat names w/out scope

Issue: 6094

Not all stat names are scoped, e.g. decoder.pkts is scoped to decoder;
mempressure_max is unscoped.

The concept of a short-name is added to the underlying stat structure so
- Calculation is done once, at stat registration time
- The output code can easily determine if a stat has a scope

mem/alloc: Replace malloc with calloc

Minor cleanup so SCCalloc is used in preference to SCMalloc.

general/typo: Correct spelling/grammar issues

schema: Add memcap pressure values

Issue: 6094

This commit extends the EVE schema with memcap_pressure values; these
are included in the stat event type records.

dcerpc: accept ALTER_CONTEXT as a valid request

So far, if only the starting request was a DCERPC request, it would be
considered DCERPC traffic. Since ALTER_CONTEXT is a valid request type,
it should be accepted too.

Reported and patch proposed in the following Redmine ticket by
InterNALXz.

Bug 6191

dpdk: treat unknown socket ID as a valid socket ID

Ticket: #6232

dpdk: fix DPDK thread check for IPS mode

Ticket: #6233

userguide/upgrade: link to exception policy FAQ

With the release of 7, people are starting to have issues with traffic
being blocked. While we don't add a more expansive documentation for
this, add a link to the FAQ covering possible fixes for drops caused by
the fail closed default behavior of the exception policies.

output: add storing boolean for files

When filestore keyword is triggered, the file is not yet stored,
when the alert is generated, but only marked for storing.

Ticket: 4881

jsonschema: add missing field .files[].file_id

src: checks to avoid divisions by zero

Ticket: #5920

profiling: fix check to compute average bytes

stats: add drop reason counters

{
  "accepted": 296185,
  "blocked": 162,
  "rejected": 0,
  "replaced": 0,
  "drop_reason": {
    "decode_error": 0,
    "defrag_error": 0,
    "defrag_memcap": 0,
    "flow_memcap": 0,
    "flow_drop": 94,
    "applayer_error": 0,
    "applayer_memcap": 0,
    "rules": 3,
    "threshold_detection_filter": 0,
    "stream_error": 63,
    "stream_memcap": 0,
    "stream_midstream": 2,
    "nfq_error": 0,
    "tunnel_packet_drop": 0
  }
}

Ticket: #6230.

stats: update ips capture counters centrally

This adds support to all capture methods for these counters.

The updates happen only on "real" packets, not on encapsulated
packets.

Ticket: #4756.

stats: register ips capture stats for each packet thread

ReleasePacket based verdicts can happen in several threads,
depending on the runmode details.

Only register and update if in IPS mode.

eve/schema: add ips capture stats

stats: simplify ips capture stats logic

Since many implementations use the ReleasePacket callback to issue
their verdict, no thread ctx is available. To work around this
just register the stats in a `thread_local` variable instead.

mime: replace small memcpy with loop

To address:

      In file included from /usr/include/string.h:535,
                 from suricata-common.h:108,
                 from util-decode-mime.c:26:
In function ‘memcpy’,
    inlined from ‘ProcessBase64Remainder’ at util-decode-mime.c:1201:13:
/usr/include/mipsel-linux-gnu/bits/string_fortified.h:29:10: warning: ‘__builtin_memcpy’ forming offset 4 is out of the bounds [0, 4] of object ‘block’ with type ‘uint8_t[4]’ {aka ‘unsigned char[4]’} [-Warray-bounds=]
   29 |   return __builtin___memcpy_chk (__dest, __src, __len,
      |          ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   30 |                                  __glibc_objsize0 (__dest));
      |                                  ~~~~~~~~~~~~~~~~~~~~~~~~~~
util-decode-mime.c: In function ‘ProcessBase64Remainder’:
util-decode-mime.c:1174:13: note: ‘block’ declared here
 1174 |     uint8_t block[B64_BLOCK];
      |             ^~~~~

Copy data should be <= 4 bytes.

detect: fix minor compile warning

      detect-engine.c: In function ‘DetectKeywordCtxHashFunc’:
detect-engine.c:3550:75: warning: cast from pointer to integer of different size [-Wpointer-to-int-cast]
 3550 |     uint64_t hash = StringHashDjb2((const uint8_t *)name, strlen(name)) + (uint64_t)ctx->data;
      |

sysfs: fix minor compile warning

Seen in Debian QA on mipsel.

util-sysfs.c: In function ‘SysFsWriteValue’:
util-sysfs.c:50:45: warning: format ‘%ld’ expects argument of type ‘long int’, but argument 4 has type ‘int64_t’ {aka ‘long long int’} [-Wformat=]
   50 |     snprintf(sentence, sizeof(sentence), "%ld", value);
      |                                           ~~^   ~~~~~
      |                                             |   |
      |                                             |   int64_t {aka long long int}
      |                                             long int
      |                                           %lld

decode-ipv6: Set L4 proto on ipv6 incase of GRE decode error

Set the L4 proto before decoding GRE in ipv6 decoding in case there is a
GRE header decoding error.

Bug: #6222

decode: fix offset for DCE layer

Fixes: 136d351e403b ("decode: single network layer entrypoint")
Ticket: #3637

detect/include: Remove unnecessary includes

version: start development towards 7.0.1

release: 7.0.0; update changelog

detect/multi-tenant: Make tenant_id 32 bits everywhere

Issue: 6047

This commit ensures that the tenant id is contained in a unsigned 32 bit
container.

detect/pcre: Use local match variables

pcre2 is not thread-safe wrt match objects so use locally scoped
objects.

Issue: 4797

detect/base64_decode: use local pcre2_match_data

reference: fix multi-tenant loading issues

Bug: #4797.

classification: fix multi-tenant loading issues

Move pcre2 data structures used for parsing into the detect engine
context, so that multiple tenant loading threads don't use the same
data structures.

Bug: #4797.

doc/userguide: update ref to installation from git

It was still pointing to the redmine wiki and the documentation to be
truthful to the new documentation.

meta-docs: update links

Readme and PR template was still pointing to the redmine wiki and
readthedocs, replace with docs.suricata links.

doc: security policy

github-ci: don't build docs in almalinux:8, centos:8

Our docs require a newer version of Sphinx.

doc/support-status: add support status page

Convert the wiki page,
https://redmine.openinfosecfoundation.org/projects/suricata/wiki/Support_Status
into a page that is versioned along with the user guide.

Includes many updates to reflect our current support status.

doc/userguide: avoid horizontal scroll on rtd

Add CSS to avoid horizontal scroll in tables on ReadTheDocs. This will
wrap the text instead.

Also, vertically align to top so if a cell does wrap, other cells that
do not wrap don't place the text in the middle of the cell.

file: remove FILE_USE_DETECT flag

All implementations were converted to use the logic, so the flag itself
can be removed.

detect/file: Remove centralized proto definition

Issue: 4145

Remove centralized protocol definitions for file handling in favor of
consolidated file access handling.

detect/file_data: Consolidate file handling

Issue: 4145

Consolidate file handling for all protocols that use file objects for
file_data.

Make sure http_server_body / http.response_body for HTTP1 continue
to inspect the actual body. For HTTP2, http.response_body acts as
an internal alias for `file_data`.

detect/file: Filehandler registration logic

Add file handler registration functions for consolidated file handling.

Issue: 4145

file/htp: Add logic for file access

Set file inspection sizes and marker for use with detect logic when
opening files by name or as part of a range.

Issue: 4145

file: Window and edge adjustments

Issue: 4145

Adjust edge and window values after considering file size/inspected
values.

detect/engine: minor debug cleaup

detect/mpm: remove useless checks

The pattern store has already done these checks before.

mpm: Use typedef for mpm registration

Issue: 4145

rust: fix clippy warnings

rust: update cargo.lock

userguide/eve: format and reorganize alert section

The `field action` portion seemed to be comprised of a more generic
section that followed it. Also formatted the section for lines to be
within the character limit.

output/drop: add verdict field

Related to
Bug #5464

output/alert: add verdict field

Related to
Bug #5464