sip: address trailing space parsing

mime: Test cases for filename length limit

smtp/mime: Fix typos

smtp/mime: Set event when name exceeds limit

smtp/mime: Restrict file name lengths

This commit places restrictions on the length of the file name specified
in attachments (`name=` or `filename=`) to `NAME_MAX`. Names exceeding
these limits will be truncated and processing will continue with the
truncated name.

pcap/file: improve time handling

This patch addresses two problems.

First, various parts of the engine, but most notably the flow manager (FM),
use a minimum of the time notion of the packet threads. This did not
however, take into account the scenario where one or more of these
threads would be inactive for prolonged times. This could lead to the
time used by the FM could get stale.

This is addressed by keeping track of the last time the per thread packet
timestamp was updated, and only considering it for the 'minimum' when it
is reasonably current.

Second, there was a minor race condition at start up, where the FM would
already inspect the hash table(s) while the packet threads weren't active
yet. Since FM gets the time from the packet threads, it would use a bogus
time of 0.

This is addressed by adding a wait loop to the start of the FM that waits
for 'time' to get ready.

threads/time: rename ts to pktts to make purpose clear

pcap/file: fix race during pcap processing start

A race condition during the start of pcap file processing could cause
missed alerts and logged events. This race happens between the packet
threads and the flow manager. It was observed on slower hardware, but in
theory could happen on any machine. It required the 'autofp' runmode.

In commit 6f560144c1b9 ("time: improve offline time handling") the logic
was added to make the flow manager use a minimum of all the packet threads
perception of time.

The race condition was that the flow manager may become active _before_
all of the packet threads have started processing packets and thus setting
their timestamp. The threads that had not yet initialized their timestamp
would not be considered when calculating the minimum.

As a result of this, older packets timestamps would not yet be registered.
This would give the Flow Manager a timestamp too far in the future. While
the FM was running, the packet processing would start and a flow would
be created. This flow would then immediately be considered 'timed out' by
the FM, due to the timestamp too far in the future.

In the observed case, the thread processing packet 1 from the pcap had not
yet started processing while other threads had already started. The FM was
also already active. Due to the timestamps in the pcap this meant that the
time the FM used was about 500 seconds in the future compared to packet 1.

This patch fixes the issue by initializing all of the threads timestamps
with the timestamp value of the first packet. This way the minimum will
always consider this timestamp.

time: remove unused time structure

time: minor code cleanup

time: fix function name typo

pcap/file: fix function ptr naming

rust: bump minimum supported version to 1.34.2

rust/nfs: minor code cleanups

rust/rpc: add partial data tests

rust: use the streaming version of combinators to fix incomplete reads

rust/rdp: use the streaming version of combinators to fix incomplete reads

rust/rdp: fix regression introduced during nom 5 upgrade

rust: Add types annotation when required

Unfortunately, the transition to nom 5 (and functions instead of macros)
has side-effects, one of them being requiring lots of types annotations
when using a parsing, for ex in a match instruction.

rust/ftp: upgrade to nom 5

CompleteByteSlice type has been removed, and replaced by combinators
under the nom::character::complete namespace.

rust/rdp: add custom error handling

rust/smb: add custom error handling

rust: add SecBlobError custom error type for the Kerberos parser

rust: add take_until_and_consume replacement function

rust/dns: remove unneeded calls to closure!

rust: upgrade all parsers to nom 5

log-pcap: fix log message: unified2 -> pcap

Likely a result of copy and pasted code.

unified2: not supported message if configured

unified2: remove deprecated output unified2

Ticket 2385:
https://redmine.openinfosecfoundation.org/issues/2385

wirefuzz: removed unified2 file removal

doc: removed unified2 output

pcre: Sticky buffer check

This commit adds logic checking if the sticky buffer in effect provides
the required content.

If the sticky buffer doesn't, the rule will not load and a diagnostic
message with follow-on steps is displayed.

general: Wordsmith "no rules loaded" message

rules: fix files.rules typo

snmp-version: make comment more clear

snmp: do not set SIGMATCH_NOOPT

spelling: Fix spelling error

detect/ssl_state: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

detect/flowvar: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

detect/filestore: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

doc: Correct RST quote usage

Corrects misplaced backticks preventing proper formatting of `mpm-algo`
section.

util-error: define SC_ERR_PCRE_COPY_SUBSTRING

general: Convert _Bool to bool

This commit addresses task 3167 and changes usages of '_Bool` to `bool`.
The latter is included from `suricata-common.h`

doc/userguide: Update for dump-features

detect/feature: Support --dump-features

detect: update version comment

detect: Fix typos/spelling errors.

main: feature init and release

output/filestore: announce provided features

detect/filestore: Warn if req'd feature missing

detect/analysis: Warn if required feature missing

feature: feature tracking services

perf: optimizes alert fast log

In the case when we have multiple alerts for one packet
We suppose this happens more often than having decoder_event != 0

napatech: add hardware based bypass support

Napatech hardware bypass support enables Suricata to utilize
capabilities of Napatech SmartNICs to selectively bypass flow-based
traffic.

napatech: documentation hardware based bypass support

Napatech hardware bypass support enables Suricata to utilize
capabilities of Napatech SmartNICs to selectively bypass flow-based
traffic.

doxygen: update config from 1.8.4 to 1.8.17

detect/parse: move spaces skip up the stack

Switch to isspace() as well.

parser: make rust probing parsers optional

decode: Fix typos/spelling

decode: Handle ERSPAN Type I

configure: update to match autoscan suggestions

configure: clean up func checks

init: move main to a separate file

so as to reuse code from suricata.c with fuzz targets

fuzz: disable signal handlers while fuzzing

init: make PostConfLoadedSetup global

to be used by fuzz targets

init: fix PostConfLoadedSetup to use local suri ptr

init: InitGlobal function

To be reused by fuzz targets

util: UTHmemsearch to use memmem if defined

check: Using const keyword for some arguments

For ConfigSetLogDirectory and PrintRawLineHexBuf

log: can use a file set from env variable

Enables the redirection of log to a file set by an environment
variable SC_LOG_FILE when SC_LOG_OP_IFACE=file

stream/reassembly: fix data overlap check

Fix function CheckOverlap bug.

tls: fix missing extern logic for cert_id tracking

stats: fix missing extern keyword

defrag: fix use of globals

threading: fix queue handlers globals use

htp: fix globals use for flags

proto: fix globals use

flow: fix global variable use

stream: fix global declaration of the config

threading/modules: fix global declarations

ippair: fix global declarations

host: fix global declarations

mpm: fix global declarations

detect: fix global declaration of sigmatch_table

spm: fix global declaration of spm_table

threading: fix global declaration of threading_set_cpu_affinity

unix-socket: avoid using global variable w/o extern

decode: fix default-packet-size global variable

nfs: implement post-GAP transaction cleanup

Close all prior transactions in the direction of the GAP, except the
file xfers. Those use their own logic described below.

After a GAP all normal transactions are closed. File transactions
are left open as they can handle GAPs in principle. However, the
GAP might have contained the closing of a file and therefore it
may remain active until the end of the flow.

This patch introduces a time based heuristic for these transactions.
After the GAP all file transactions are stamped with the current
timestamp. If 60 seconds later a file has seen no update, its marked
as closed.

This is meant to fix resource starvation issues observed in long
running SMB sessions where packet loss was causing GAPs. Due to the
similarity of the NFS and SMB parsers, this issue is fixed for NFS
as well in this patch.

Bug #3424.
Bug #3425.

detect/file-data: remove debug abort that wasn't reachable

detect/file-data: fix function doc

files: tracking flag update

Improve flow file flags and file flags updates. Introduce a mask
that is set at start up to avoid lots of runtime checks.

Disable cocci flags check as it doesn't support the more dynamic
nature of the flag updates.

app-layer/files: optimize GetFiles calls

Remove FlowGetProtoMapping calls from the GetFiles wrapper and
get the alstate from the flow directly.

app-layer: all protocols are tx aware now

So remove the runtime check for it.

init: Fix dropping privileges in nflog runmode

Using the run-as configuration option with the nflog capture method
results in the following error during the startup of suricata:
[ERRCODE: SC_ERR_NFLOG_BIND(248)] - nflog_bind_pf() for AF_INET failed

This is because SCDropMainThreadCaps does not have any capabilities
defined for the nflog runmode (unlike other runmodes). Therefore, apply
the same capabilities to the nflog runmode that are already defined for
the nfqueue runmode. This has been confirmed to allow suricata start
and drop its privileges in the nflog runmode.

Fixes redmine issue #3265.

Signed-off-by: Timo Sigurdsson <public_timo.s@silentcreek.de>

decode: remove pseudo packet checks

Bug 1107 checks/hacks should not longer be needed, so remove them.

threading/queues: simplify error handling

threading/queues: remove 256 queue limit

Convert fixed size array to a dynamic TAILQ so we can
grow as needed.

threading: remove 'trans_q' array of packet queues

Let the queues code set up PacketQueues on demand.

packet-queue: create alloc and free functions