output: add storing boolean for files

When filestore keyword is triggered, the file is not yet stored,
when the alert is generated, but only marked for storing.

Ticket: 4881

jsonschema: add missing field .files[].file_id

src: checks to avoid divisions by zero

Ticket: #5920

profiling: fix check to compute average bytes

stats: add drop reason counters

{
  "accepted": 296185,
  "blocked": 162,
  "rejected": 0,
  "replaced": 0,
  "drop_reason": {
    "decode_error": 0,
    "defrag_error": 0,
    "defrag_memcap": 0,
    "flow_memcap": 0,
    "flow_drop": 94,
    "applayer_error": 0,
    "applayer_memcap": 0,
    "rules": 3,
    "threshold_detection_filter": 0,
    "stream_error": 63,
    "stream_memcap": 0,
    "stream_midstream": 2,
    "nfq_error": 0,
    "tunnel_packet_drop": 0
  }
}

Ticket: #6230.

stats: update ips capture counters centrally

This adds support to all capture methods for these counters.

The updates happen only on "real" packets, not on encapsulated
packets.

Ticket: #4756.

stats: register ips capture stats for each packet thread

ReleasePacket based verdicts can happen in several threads,
depending on the runmode details.

Only register and update if in IPS mode.

eve/schema: add ips capture stats

stats: simplify ips capture stats logic

Since many implementations use the ReleasePacket callback to issue
their verdict, no thread ctx is available. To work around this
just register the stats in a `thread_local` variable instead.

mime: replace small memcpy with loop

To address:

      In file included from /usr/include/string.h:535,
                 from suricata-common.h:108,
                 from util-decode-mime.c:26:
In function ‘memcpy’,
    inlined from ‘ProcessBase64Remainder’ at util-decode-mime.c:1201:13:
/usr/include/mipsel-linux-gnu/bits/string_fortified.h:29:10: warning: ‘__builtin_memcpy’ forming offset 4 is out of the bounds [0, 4] of object ‘block’ with type ‘uint8_t[4]’ {aka ‘unsigned char[4]’} [-Warray-bounds=]
   29 |   return __builtin___memcpy_chk (__dest, __src, __len,
      |          ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   30 |                                  __glibc_objsize0 (__dest));
      |                                  ~~~~~~~~~~~~~~~~~~~~~~~~~~
util-decode-mime.c: In function ‘ProcessBase64Remainder’:
util-decode-mime.c:1174:13: note: ‘block’ declared here
 1174 |     uint8_t block[B64_BLOCK];
      |             ^~~~~

Copy data should be <= 4 bytes.

detect: fix minor compile warning

      detect-engine.c: In function ‘DetectKeywordCtxHashFunc’:
detect-engine.c:3550:75: warning: cast from pointer to integer of different size [-Wpointer-to-int-cast]
 3550 |     uint64_t hash = StringHashDjb2((const uint8_t *)name, strlen(name)) + (uint64_t)ctx->data;
      |

sysfs: fix minor compile warning

Seen in Debian QA on mipsel.

util-sysfs.c: In function ‘SysFsWriteValue’:
util-sysfs.c:50:45: warning: format ‘%ld’ expects argument of type ‘long int’, but argument 4 has type ‘int64_t’ {aka ‘long long int’} [-Wformat=]
   50 |     snprintf(sentence, sizeof(sentence), "%ld", value);
      |                                           ~~^   ~~~~~
      |                                             |   |
      |                                             |   int64_t {aka long long int}
      |                                             long int
      |                                           %lld

decode-ipv6: Set L4 proto on ipv6 incase of GRE decode error

Set the L4 proto before decoding GRE in ipv6 decoding in case there is a
GRE header decoding error.

Bug: #6222

decode: fix offset for DCE layer

Fixes: 136d351e403b ("decode: single network layer entrypoint")
Ticket: #3637

detect/include: Remove unnecessary includes

version: start development towards 7.0.1

release: 7.0.0; update changelog

detect/multi-tenant: Make tenant_id 32 bits everywhere

Issue: 6047

This commit ensures that the tenant id is contained in a unsigned 32 bit
container.

detect/pcre: Use local match variables

pcre2 is not thread-safe wrt match objects so use locally scoped
objects.

Issue: 4797

detect/base64_decode: use local pcre2_match_data

reference: fix multi-tenant loading issues

Bug: #4797.

classification: fix multi-tenant loading issues

Move pcre2 data structures used for parsing into the detect engine
context, so that multiple tenant loading threads don't use the same
data structures.

Bug: #4797.

doc/userguide: update ref to installation from git

It was still pointing to the redmine wiki and the documentation to be
truthful to the new documentation.

meta-docs: update links

Readme and PR template was still pointing to the redmine wiki and
readthedocs, replace with docs.suricata links.

doc: security policy

github-ci: don't build docs in almalinux:8, centos:8

Our docs require a newer version of Sphinx.

doc/support-status: add support status page

Convert the wiki page,
https://redmine.openinfosecfoundation.org/projects/suricata/wiki/Support_Status
into a page that is versioned along with the user guide.

Includes many updates to reflect our current support status.

doc/userguide: avoid horizontal scroll on rtd

Add CSS to avoid horizontal scroll in tables on ReadTheDocs. This will
wrap the text instead.

Also, vertically align to top so if a cell does wrap, other cells that
do not wrap don't place the text in the middle of the cell.

file: remove FILE_USE_DETECT flag

All implementations were converted to use the logic, so the flag itself
can be removed.

detect/file: Remove centralized proto definition

Issue: 4145

Remove centralized protocol definitions for file handling in favor of
consolidated file access handling.

detect/file_data: Consolidate file handling

Issue: 4145

Consolidate file handling for all protocols that use file objects for
file_data.

Make sure http_server_body / http.response_body for HTTP1 continue
to inspect the actual body. For HTTP2, http.response_body acts as
an internal alias for `file_data`.

detect/file: Filehandler registration logic

Add file handler registration functions for consolidated file handling.

Issue: 4145

file/htp: Add logic for file access

Set file inspection sizes and marker for use with detect logic when
opening files by name or as part of a range.

Issue: 4145

file: Window and edge adjustments

Issue: 4145

Adjust edge and window values after considering file size/inspected
values.

detect/engine: minor debug cleaup

detect/mpm: remove useless checks

The pattern store has already done these checks before.

mpm: Use typedef for mpm registration

Issue: 4145

rust: fix clippy warnings

rust: update cargo.lock

userguide/eve: format and reorganize alert section

The `field action` portion seemed to be comprised of a more generic
section that followed it. Also formatted the section for lines to be
within the character limit.

output/drop: add verdict field

Related to
Bug #5464

output/alert: add verdict field

Related to
Bug #5464

misc: fix typos & update copyright years

util/mime: skip over any invalid char

For certain edge case handling for spaces, spaces were handled
particularly in the remainder processing functions. Make sure that now
that as per RFC 2045, util-base64 would skip over any invalid char, the
edge cases in MIME processor also be handled the same way.

This completes the work done in e46b033.

Ticket 6135
Ticket 6207

http2: do not append data after closing file

Ticket: #6211

Completes commit 02dece5db5170ae9bd946d0b8805e45ac071a97c

Once a http2 stream has end of stream flag, we close the file.
If we see new data frames with this stream id, the new_chunk
function should ignore them as the file was already closed.

doc/upgrade: add more 6 to 7 changes and minor improvements

Issue: #5473

config/swf: SWF deprecation warning message

Issue: 6183

Issue a deprecation warning if SWF decompression is enabled.

flow/hash: fix and cleanup key/flow_id getters

Bug: #6205.

doc: hyperscan information updated

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add multi buffer support note to keyword docs

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add multiple buffer matching documentation

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc/userguide: more eve http upgrade notes

Add more information with a examples of how the changes to EVE HTTP
logging may affect users.

userguide: add details about tcp flow pass

Signed-off-by: jason taylor <jtfas90@gmail.com>

requirements: use libhtp 0.5.45

detect/filemagic: fix thread ctx registration; reloads

Make sure thread ctx registration happens and id remains correct
in case of reloads.

To do so, move id var into the detect ctx.

detect: more compact layout of DetectEngineCtx

detect: reduce failure_fatal to bool to save space

spm: reduce spm_matcher size to uint8_t

No more space is needed.

detect: create more strict rule validation

Don't allow control characters other than LF, CR, TAB.

detect/iponly: fix minor warning with unittest but no debug

github-ci: run cocci in fedora 38

detect/byte_math: Permit var name for bytes value

Issue: 6145

Modifications to permit a variable name to be used for the byte_math
bytes value.

detect/byte_math: Use proper index for rvalue var

Use the proper index for extracting the rvalue variable value.

detect/byte_math: Document bytes variable name

Issue: 6145

Document that byte_math accepts a variable name for bytes (optional)

detect/byte-jump: Document var usage for nbytes

Issue: 6105

detect/bytejump: Allow nbytes to be a variable

Issue: 6105

This commit adds the ability for nbytes to be a variable when used with
the byte_jump keyword.

doc/byte_test: Document byte_test variable usage

Issue: 6144

This commit updates the byte_test documentation now that a variable name
can be used for the nbytes value.

detect/byte_test: Allow nbytes value to be a variable

Issue: 6144

This commit allows the byte_test keyword to accept an existing
variable name for a value (the value may still be specified directly as
an integer).

All nbytes values are subject to the same value constraints as before
- 23 if included with string
- 8 otherwise

dpdk: improve handling of SOCKET_ID_ANY in DPDK 22.11+

Suricata complained that NIC is on different NUMA node than the CPU
thread. However, sometimes DPDK might be unable to resolve NUMA
location and as a result operate with any NUMA node that is available.
Current implementation reported NUMA ID as -1 which could have been
confusing to users.

Ticket: #6115

dpdk: refactor log messages

Be more consistent with the log message format,
remove some unnecessary device name queries.

Ticket: #6116

dpdk: improve DPDK thread handling

Ticket: #6106

doc: update install instructions

Ticket: #5987

requirements: suricata-update 1.3.0

util/base64: fix tests for RFC2045

util/base64: update test macro to use user data

util/base64: check dest buf size to hold 3Bytes

The destination buffer should be able to hold at least 3 Bytes during
the processing of the last block of data. If it cannot hold at least 3
Bytes, then that may lead to dynamic buffer overflow while decoding.

util/base64: check for dest buf size in last block

Just like the check for destination buffer size done previously for
complete data, it should also be done for the trailing data to avoid
goind out of bounds.

util/base64: fix padding bytes for trailing data

Padding bytes for the last remainder data should be as follows:

Case   |    Remainder bytes     |    Padding
----------------------------------------------
  I    |              1         |      3
  II   |              2         |      2
  III  |              3         |      1

However, we calculate the decoded_bytes with the formula:
decoded_bytes = ASCII_BLOCK - padding

this means for Case I when padding is 3 bytes, the decoded_bytes would
be 0. This is incorrect for any trailing data. In any of the above
cases, if the parsing was successful, there should at least be 1 decoded
byte.

util/base64: skip any invalid char for RFC2045

RFC 2045 states that any invalid character should be skipped over, this
is the RFC used by mime handler in Suricata code to deal with base64
encoded data.
So far, only spaces were skipped as a part of implementation of this
RFC, extend it to also skip over any other invalid character. Add
corresponding test.

util/base64: add test for long string w RFC4648

http: remove obsolete checks for files

With libhtp having been improved, Suricata does not need to check
that there is either a response line or HTTP/0.9 as libhtp
will trigger the callbacks only in those cases

http2: file tracker is initialized when file is closed

Ticket: #6130

This avoids quadratic complexity by having http2_range_key_get
looking in a growing number of frames

file-data: better error for conflicting keywords

Instead of just erroring out with "rule contains conflicting
keywords", give an error that says what is actually wrong.

github-ci: remove fedora 36 builds

Fedora 36 is now EOL.

github-ci: update rust versions

New minimum Rust version: 1.63.0.
Current latest known good version: 1.70.0.

Add test specifically for MSRV as we didn't have one.

Ticket: #4163

configure: set minimum rust version to 1.63.0

Ticket: #4163

doc/http: use "sticky buffer" where applicable

output/file: http2 metdata is logged in http object

as is done for http2 events and alerts.
The http.version integer can help to determine if this is HTTP2

Ticket: #6165

detect/fileext: reimplement based on file.name

Ticket: #6194.

detect/filename: switch to file.name implementation

Ticket: #6194.

detect/filemagic: switch to file.magic implementation

Replace implementation of the legacy `filemagic` keyword by the
implementation for the `file.magic` variant. This leads to better
performance and hooks the rules into the detection engine better.

Remove unittests that depended on the old logic.

Ticket: #6194.

detect/tls: minor fingerprint cleanup

detect/content: minor cleanup

config/af-packet: Warn/replace rollover usage

Issue: 6128

No longer permit rollover/cluster_rollover to be used. Usage will
generate a warning message and cluster_flow will be used instead.

config: Document cluster_rollover deprecation

Issue: 6128

cluster_rollover is no longer permitted; using it will generate a
warning message and it'll be replaced with cluster_flow

doc/afpacket: Document rollover deprecation

detect/stat: Display 0 instead of nan

This commit updates the summary message when Suricata terminates.
Without this commit, "nan" was displayed if there were no drops/packets

github-ci: add CentOS Stream builders

Builders for CentOS Stream 8 and 9.

github-ci: replace dist builder with Debian 12

Add new dist builder job based on Debian 12. Debian 12 gives us news
Sphinx that AlmaLinux 8, plus avoids any potential disruption in the
RHEL rebuild ecosystem.

Also make dist building its own job so it finishes quicker, allowing
other jobs to proceed.  The new non-dist building Debian 12 job will
still do a complete distcheck, as do other jobs.

github-ci: add Debian 12 builder