rust: bump minimum supported version to 1.34.2

rust/nfs: minor code cleanups

rust/rpc: add partial data tests

rust: use the streaming version of combinators to fix incomplete reads

rust/rdp: use the streaming version of combinators to fix incomplete reads

rust/rdp: fix regression introduced during nom 5 upgrade

rust: Add types annotation when required

Unfortunately, the transition to nom 5 (and functions instead of macros)
has side-effects, one of them being requiring lots of types annotations
when using a parsing, for ex in a match instruction.

rust/ftp: upgrade to nom 5

CompleteByteSlice type has been removed, and replaced by combinators
under the nom::character::complete namespace.

rust/rdp: add custom error handling

rust/smb: add custom error handling

rust: add SecBlobError custom error type for the Kerberos parser

rust: add take_until_and_consume replacement function

rust/dns: remove unneeded calls to closure!

rust: upgrade all parsers to nom 5

log-pcap: fix log message: unified2 -> pcap

Likely a result of copy and pasted code.

unified2: not supported message if configured

unified2: remove deprecated output unified2

Ticket 2385:
https://redmine.openinfosecfoundation.org/issues/2385

wirefuzz: removed unified2 file removal

doc: removed unified2 output

pcre: Sticky buffer check

This commit adds logic checking if the sticky buffer in effect provides
the required content.

If the sticky buffer doesn't, the rule will not load and a diagnostic
message with follow-on steps is displayed.

general: Wordsmith "no rules loaded" message

rules: fix files.rules typo

snmp-version: make comment more clear

snmp: do not set SIGMATCH_NOOPT

spelling: Fix spelling error

detect/ssl_state: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

detect/flowvar: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

detect/filestore: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

doc: Correct RST quote usage

Corrects misplaced backticks preventing proper formatting of `mpm-algo`
section.

util-error: define SC_ERR_PCRE_COPY_SUBSTRING

general: Convert _Bool to bool

This commit addresses task 3167 and changes usages of '_Bool` to `bool`.
The latter is included from `suricata-common.h`

doc/userguide: Update for dump-features

detect/feature: Support --dump-features

detect: update version comment

detect: Fix typos/spelling errors.

main: feature init and release

output/filestore: announce provided features

detect/filestore: Warn if req'd feature missing

detect/analysis: Warn if required feature missing

feature: feature tracking services

perf: optimizes alert fast log

In the case when we have multiple alerts for one packet
We suppose this happens more often than having decoder_event != 0

napatech: add hardware based bypass support

Napatech hardware bypass support enables Suricata to utilize
capabilities of Napatech SmartNICs to selectively bypass flow-based
traffic.

napatech: documentation hardware based bypass support

Napatech hardware bypass support enables Suricata to utilize
capabilities of Napatech SmartNICs to selectively bypass flow-based
traffic.

doxygen: update config from 1.8.4 to 1.8.17

detect/parse: move spaces skip up the stack

Switch to isspace() as well.

parser: make rust probing parsers optional

decode: Fix typos/spelling

decode: Handle ERSPAN Type I

configure: update to match autoscan suggestions

configure: clean up func checks

init: move main to a separate file

so as to reuse code from suricata.c with fuzz targets

fuzz: disable signal handlers while fuzzing

init: make PostConfLoadedSetup global

to be used by fuzz targets

init: fix PostConfLoadedSetup to use local suri ptr

init: InitGlobal function

To be reused by fuzz targets

util: UTHmemsearch to use memmem if defined

check: Using const keyword for some arguments

For ConfigSetLogDirectory and PrintRawLineHexBuf

log: can use a file set from env variable

Enables the redirection of log to a file set by an environment
variable SC_LOG_FILE when SC_LOG_OP_IFACE=file

stream/reassembly: fix data overlap check

Fix function CheckOverlap bug.

tls: fix missing extern logic for cert_id tracking

stats: fix missing extern keyword

defrag: fix use of globals

threading: fix queue handlers globals use

htp: fix globals use for flags

proto: fix globals use

flow: fix global variable use

stream: fix global declaration of the config

threading/modules: fix global declarations

ippair: fix global declarations

host: fix global declarations

mpm: fix global declarations

detect: fix global declaration of sigmatch_table

spm: fix global declaration of spm_table

threading: fix global declaration of threading_set_cpu_affinity

unix-socket: avoid using global variable w/o extern

decode: fix default-packet-size global variable

nfs: implement post-GAP transaction cleanup

Close all prior transactions in the direction of the GAP, except the
file xfers. Those use their own logic described below.

After a GAP all normal transactions are closed. File transactions
are left open as they can handle GAPs in principle. However, the
GAP might have contained the closing of a file and therefore it
may remain active until the end of the flow.

This patch introduces a time based heuristic for these transactions.
After the GAP all file transactions are stamped with the current
timestamp. If 60 seconds later a file has seen no update, its marked
as closed.

This is meant to fix resource starvation issues observed in long
running SMB sessions where packet loss was causing GAPs. Due to the
similarity of the NFS and SMB parsers, this issue is fixed for NFS
as well in this patch.

Bug #3424.
Bug #3425.

detect/file-data: remove debug abort that wasn't reachable

detect/file-data: fix function doc

files: tracking flag update

Improve flow file flags and file flags updates. Introduce a mask
that is set at start up to avoid lots of runtime checks.

Disable cocci flags check as it doesn't support the more dynamic
nature of the flag updates.

app-layer/files: optimize GetFiles calls

Remove FlowGetProtoMapping calls from the GetFiles wrapper and
get the alstate from the flow directly.

app-layer: all protocols are tx aware now

So remove the runtime check for it.

init: Fix dropping privileges in nflog runmode

Using the run-as configuration option with the nflog capture method
results in the following error during the startup of suricata:
[ERRCODE: SC_ERR_NFLOG_BIND(248)] - nflog_bind_pf() for AF_INET failed

This is because SCDropMainThreadCaps does not have any capabilities
defined for the nflog runmode (unlike other runmodes). Therefore, apply
the same capabilities to the nflog runmode that are already defined for
the nfqueue runmode. This has been confirmed to allow suricata start
and drop its privileges in the nflog runmode.

Fixes redmine issue #3265.

Signed-off-by: Timo Sigurdsson <public_timo.s@silentcreek.de>

decode: remove pseudo packet checks

Bug 1107 checks/hacks should not longer be needed, so remove them.

threading/queues: simplify error handling

threading/queues: remove 256 queue limit

Convert fixed size array to a dynamic TAILQ so we can
grow as needed.

threading: remove 'trans_q' array of packet queues

Let the queues code set up PacketQueues on demand.

packet-queue: create alloc and free functions

threading: hide 'trans_q' from queue handlers

threading/threadvars: optimize layout

Make sure StatsPublicThreadContext is on its own cache line.

flowworker/stream: use no-lock packet queue

Use smaller structure for temporary packet queues.

threading: change local packet queue logic

Previously each 'TmSlot' had it's own packet queue that was passed
to the registered SlotFunc as an argument. This was used mostly for
tunnel packets by the decoders and by defrag.

This patch removes that in favor of a single queue in the ThreadVars:
decode_pq. This is the non-locked version of the queue as this is
only a temporary store for handling packets within a thread.

This patch removes the PacketQueue pointer argument from the API.
The new queue can be accessed directly through the ThreadVars
pointer.

packet-queue: introduce a non-locked version

Works exactly like PacketQueue, just does not contain a mutex
and cond var, leading to much reduced memory size.

threading: more efficient TmSlot layout

threading: remove 'id' field from TmSlot

Field was now unused.

detect: cleanup reload thread handling

threading: simplify flow timeout loop

threading: shrink and reorganize TmSlot

threading/threadvars: rearrange for better cache behavior

threading/threadvars: remove unused 'prev' field