pcre: Sticky buffer check

This commit adds logic checking if the sticky buffer in effect provides
the required content.

If the sticky buffer doesn't, the rule will not load and a diagnostic
message with follow-on steps is displayed.

general: Wordsmith "no rules loaded" message

rules: fix files.rules typo

snmp-version: make comment more clear

snmp: do not set SIGMATCH_NOOPT

spelling: Fix spelling error

detect/ssl_state: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

detect/flowvar: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

detect/filestore: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

doc: Correct RST quote usage

Corrects misplaced backticks preventing proper formatting of `mpm-algo`
section.

util-error: define SC_ERR_PCRE_COPY_SUBSTRING

general: Convert _Bool to bool

This commit addresses task 3167 and changes usages of '_Bool` to `bool`.
The latter is included from `suricata-common.h`

doc/userguide: Update for dump-features

detect/feature: Support --dump-features

detect: update version comment

detect: Fix typos/spelling errors.

main: feature init and release

output/filestore: announce provided features

detect/filestore: Warn if req'd feature missing

detect/analysis: Warn if required feature missing

feature: feature tracking services

perf: optimizes alert fast log

In the case when we have multiple alerts for one packet
We suppose this happens more often than having decoder_event != 0

napatech: add hardware based bypass support

Napatech hardware bypass support enables Suricata to utilize
capabilities of Napatech SmartNICs to selectively bypass flow-based
traffic.

napatech: documentation hardware based bypass support

Napatech hardware bypass support enables Suricata to utilize
capabilities of Napatech SmartNICs to selectively bypass flow-based
traffic.

doxygen: update config from 1.8.4 to 1.8.17

detect/parse: move spaces skip up the stack

Switch to isspace() as well.

parser: make rust probing parsers optional

decode: Fix typos/spelling

decode: Handle ERSPAN Type I

configure: update to match autoscan suggestions

configure: clean up func checks

init: move main to a separate file

so as to reuse code from suricata.c with fuzz targets

fuzz: disable signal handlers while fuzzing

init: make PostConfLoadedSetup global

to be used by fuzz targets

init: fix PostConfLoadedSetup to use local suri ptr

init: InitGlobal function

To be reused by fuzz targets

util: UTHmemsearch to use memmem if defined

check: Using const keyword for some arguments

For ConfigSetLogDirectory and PrintRawLineHexBuf

log: can use a file set from env variable

Enables the redirection of log to a file set by an environment
variable SC_LOG_FILE when SC_LOG_OP_IFACE=file

stream/reassembly: fix data overlap check

Fix function CheckOverlap bug.

tls: fix missing extern logic for cert_id tracking

stats: fix missing extern keyword

defrag: fix use of globals

threading: fix queue handlers globals use

htp: fix globals use for flags

proto: fix globals use

flow: fix global variable use

stream: fix global declaration of the config

threading/modules: fix global declarations

ippair: fix global declarations

host: fix global declarations

mpm: fix global declarations

detect: fix global declaration of sigmatch_table

spm: fix global declaration of spm_table

threading: fix global declaration of threading_set_cpu_affinity

unix-socket: avoid using global variable w/o extern

decode: fix default-packet-size global variable

nfs: implement post-GAP transaction cleanup

Close all prior transactions in the direction of the GAP, except the
file xfers. Those use their own logic described below.

After a GAP all normal transactions are closed. File transactions
are left open as they can handle GAPs in principle. However, the
GAP might have contained the closing of a file and therefore it
may remain active until the end of the flow.

This patch introduces a time based heuristic for these transactions.
After the GAP all file transactions are stamped with the current
timestamp. If 60 seconds later a file has seen no update, its marked
as closed.

This is meant to fix resource starvation issues observed in long
running SMB sessions where packet loss was causing GAPs. Due to the
similarity of the NFS and SMB parsers, this issue is fixed for NFS
as well in this patch.

Bug #3424.
Bug #3425.

detect/file-data: remove debug abort that wasn't reachable

detect/file-data: fix function doc

files: tracking flag update

Improve flow file flags and file flags updates. Introduce a mask
that is set at start up to avoid lots of runtime checks.

Disable cocci flags check as it doesn't support the more dynamic
nature of the flag updates.

app-layer/files: optimize GetFiles calls

Remove FlowGetProtoMapping calls from the GetFiles wrapper and
get the alstate from the flow directly.

app-layer: all protocols are tx aware now

So remove the runtime check for it.

init: Fix dropping privileges in nflog runmode

Using the run-as configuration option with the nflog capture method
results in the following error during the startup of suricata:
[ERRCODE: SC_ERR_NFLOG_BIND(248)] - nflog_bind_pf() for AF_INET failed

This is because SCDropMainThreadCaps does not have any capabilities
defined for the nflog runmode (unlike other runmodes). Therefore, apply
the same capabilities to the nflog runmode that are already defined for
the nfqueue runmode. This has been confirmed to allow suricata start
and drop its privileges in the nflog runmode.

Fixes redmine issue #3265.

Signed-off-by: Timo Sigurdsson <public_timo.s@silentcreek.de>

decode: remove pseudo packet checks

Bug 1107 checks/hacks should not longer be needed, so remove them.

threading/queues: simplify error handling

threading/queues: remove 256 queue limit

Convert fixed size array to a dynamic TAILQ so we can
grow as needed.

threading: remove 'trans_q' array of packet queues

Let the queues code set up PacketQueues on demand.

packet-queue: create alloc and free functions

threading: hide 'trans_q' from queue handlers

threading/threadvars: optimize layout

Make sure StatsPublicThreadContext is on its own cache line.

flowworker/stream: use no-lock packet queue

Use smaller structure for temporary packet queues.

threading: change local packet queue logic

Previously each 'TmSlot' had it's own packet queue that was passed
to the registered SlotFunc as an argument. This was used mostly for
tunnel packets by the decoders and by defrag.

This patch removes that in favor of a single queue in the ThreadVars:
decode_pq. This is the non-locked version of the queue as this is
only a temporary store for handling packets within a thread.

This patch removes the PacketQueue pointer argument from the API.
The new queue can be accessed directly through the ThreadVars
pointer.

packet-queue: introduce a non-locked version

Works exactly like PacketQueue, just does not contain a mutex
and cond var, leading to much reduced memory size.

threading: more efficient TmSlot layout

threading: remove 'id' field from TmSlot

Field was now unused.

detect: cleanup reload thread handling

threading: simplify flow timeout loop

threading: shrink and reorganize TmSlot

threading/threadvars: rearrange for better cache behavior

threading/threadvars: remove unused 'prev' field

threading: remove unused 'TmThreadRemove' function

threading: remove handler names to shink struct

Shrink ThreadVars by removing the queue handler names that are only
used at shutdown. Since this is not performance critical, we can use
the id's to look up the queue handler.

threading/queues: add way to lookup by ID

In preparation of doing runtime operations by ID instead of by name,
add functions to look up by ID and to convert name to ID.

threading: shrink threadvars struct size

threading: remove unused threadvars field

threading: clarify threadvars fields

threading: cleanup packet thread shutdown loop

source-pcap: remove unused function

threading/modules: declare prototypes static

Declare registered threading API funcs static where appropriate.

sources: fix pipeline failure handling

When TmThreadsSlotProcessPkt fails it will return the packet that was
passed to it to the packetpool.

Some of the packet sources were doing this manually as well. This patch
fixes those sources.

threading: use tm_flowworker for pseudo packets

Pseudo packets don't need to be processed by the decoding layer.

threading: add shortcut to flowworker

threading: remove per slot post_pq

Use a single packet queue per thread for flow timeout packet
injection. The per slot queue was unused except for this use
case. Having a single queue makes the logic and implementation
simpler.

In case of 'autofp', the per thread packet queue will actually
use the threads input queue. For workers/single a dedicated
queue will be set up.

Rename TmThreadsSlotHandlePostPQs to TmThreadsHandleInjectedPackets
to reflect the changed logic.

af-packet: prototypes cleanup

Remove unused prototype.

Declare other prototypes static.

threading: remove post_pq argument from 'SlotFunc'

This was not in use anywhere.

runmodes: code cleanups

detect: clean up threads handling

Clean up reload and break loop thread handling.

detect: inject packet cleanup

flow-manager: code cleanups