app-layer: extend AppLayerResult to add convenience

rust: merge parser.rs into applayer.rs

Both were serving the same purpose.

app-layer: document return macros

nfs: switch to new 'incomplete' logic

Remove buffering code in favor of using incomplete API.

nfs: switch to AppLayerResult

smb: update return type of GAP handling

smb: convert to return AppLayerResult

Support returning 'incomplete' and remove the buffering
code from the parser.

app-layer: add 'incomplete' return logic

Allow app-layer parsers to indicate how much data they need
before being called again.

app-layer: update API to return more details

Add AppLayerResult struct as the Parser return type in
preparation of allowing returning 'Incomplete(size)' similar
to what nom in Rust allows.

app-layer: change return codes

This patch simplifies the return codes app-layer parsers use,
in preparation of a patch set for overhauling the return type.

Introduce two macros:

APP_LAYER_OK (value 0)
APP_LAYER_ERROR (value -1)

Update all parsers to use this.

app-layer: minor optimization

stream: fix function style

ftp: minor code cleanups

nfs: code cleanups

Use 'if let' to replace simple 'match' statements.

Use explicit returns to easy code review.

smb: fix rustc 1.42 warnings

config: General typo and grammar cleanup

docs/napatech: Correct typo

python: style for prscript

Remove unnecessary pass
Remove unused variable

python: style for suricatasc.py

Remove unnecessary return
Better comparison with None

python: remove unused imports

dag: Skip over ERF_TYPE_META records

Suricata generates an error on unrecognised ERF types.
Suricata should ignore ERF 'Provenance' records with ERF_TYPE_META.

suricata.yaml/dns: removed unused settings

Remove DNS settings global-memcap, state-memcap and request-flood.
These have never been used in the Rust implementation of the DNS
decoder.

detect/parse: allow for OK signature parsing errors

The idea of an OK signature parsing error is an error that is
allowed to occur, but still lets test mode pass, unlike
silent errors which will still fail testing.

This is introduced to allow for app-layer event keywords to be
removed, but not have old rules fail out on this case. For example
the Rust DNS parser removes from DNS app-layer events that are
not used anymore.

To signal that an error is OK, -3 is returned. This also implies
silent.

detect/parse: softer error on unknown app-layer event

On an unknown app-layer event, return -3 for "silent OK fail". A
warning will still be emitted, but its not considered a rule parse
error. This is to handle app-layer events being removed in a more
graceful manner for the user.

This allows -T to pass with an old app-layer events rule file
that may used removed app-layer event keywords.

dhcp: remove C app-layer-dhcp wrapper

This just wrapped the Rust function to register the parse,
so instead just call the Rust function directly to remove
the C wrapper, and the 2 C files.

dns: register parsers from Rust

And port the C DNS tests to Rust.

dns: remove C wrapper functions to Rust

Remove registration of C wrapper functions and register
the Rust functions directly for UDP.

dns: cleanup: move event callbacks into Rust

Remove app-layer-dns-common.c as its no longer needed.

dns: cleanup: remove unused events

Removed events that are no longer used since the Rust
implementation of DNS:
- UnsolicitedResponse
- StateMemCapReached
- Flooded

dns: cleanup: remove C DNS type definitions (dead code)

dns: cleanup: move DnsGetRcode (Lua) to rust

Move the implementation of Lua DnsGetRcode to Rust.

dns: cleanup: remove unused function DNSCreateTypeString

doc: Fix typo Generate -> Generator

doc: Add chassis for dev docs

Closes redmine ticket 3344.

kerberos: fix against packet split in record size

krb5/tcp: remove notice logging on failed records

detect: adds icmpv6.hdr keyword

detect: fix typo for ipv6.hdr description

detect: use SC macros for IPV6 header

doc: add missing documentation for ipv6.hdr keyword

doc: fix typo in ByteExtractUint32 description

detect/threshold: Correct typos

detect/threshold: Don't allow duplicates

This commit detects duplicate threshold rule options. When duplicates
are found in a rule, an error message is displayed and the rule is
rejected.

pcap/file: minor code cleanups

threads/time: minor code cleanup

sip: address trailing space parsing

mime: Test cases for filename length limit

smtp/mime: Fix typos

smtp/mime: Set event when name exceeds limit

smtp/mime: Restrict file name lengths

This commit places restrictions on the length of the file name specified
in attachments (`name=` or `filename=`) to `NAME_MAX`. Names exceeding
these limits will be truncated and processing will continue with the
truncated name.

pcap/file: improve time handling

This patch addresses two problems.

First, various parts of the engine, but most notably the flow manager (FM),
use a minimum of the time notion of the packet threads. This did not
however, take into account the scenario where one or more of these
threads would be inactive for prolonged times. This could lead to the
time used by the FM could get stale.

This is addressed by keeping track of the last time the per thread packet
timestamp was updated, and only considering it for the 'minimum' when it
is reasonably current.

Second, there was a minor race condition at start up, where the FM would
already inspect the hash table(s) while the packet threads weren't active
yet. Since FM gets the time from the packet threads, it would use a bogus
time of 0.

This is addressed by adding a wait loop to the start of the FM that waits
for 'time' to get ready.

threads/time: rename ts to pktts to make purpose clear

pcap/file: fix race during pcap processing start

A race condition during the start of pcap file processing could cause
missed alerts and logged events. This race happens between the packet
threads and the flow manager. It was observed on slower hardware, but in
theory could happen on any machine. It required the 'autofp' runmode.

In commit 6f560144c1b9 ("time: improve offline time handling") the logic
was added to make the flow manager use a minimum of all the packet threads
perception of time.

The race condition was that the flow manager may become active _before_
all of the packet threads have started processing packets and thus setting
their timestamp. The threads that had not yet initialized their timestamp
would not be considered when calculating the minimum.

As a result of this, older packets timestamps would not yet be registered.
This would give the Flow Manager a timestamp too far in the future. While
the FM was running, the packet processing would start and a flow would
be created. This flow would then immediately be considered 'timed out' by
the FM, due to the timestamp too far in the future.

In the observed case, the thread processing packet 1 from the pcap had not
yet started processing while other threads had already started. The FM was
also already active. Due to the timestamps in the pcap this meant that the
time the FM used was about 500 seconds in the future compared to packet 1.

This patch fixes the issue by initializing all of the threads timestamps
with the timestamp value of the first packet. This way the minimum will
always consider this timestamp.

time: remove unused time structure

time: minor code cleanup

time: fix function name typo

pcap/file: fix function ptr naming

rust: bump minimum supported version to 1.34.2

rust/nfs: minor code cleanups

rust/rpc: add partial data tests

rust: use the streaming version of combinators to fix incomplete reads

rust/rdp: use the streaming version of combinators to fix incomplete reads

rust/rdp: fix regression introduced during nom 5 upgrade

rust: Add types annotation when required

Unfortunately, the transition to nom 5 (and functions instead of macros)
has side-effects, one of them being requiring lots of types annotations
when using a parsing, for ex in a match instruction.

rust/ftp: upgrade to nom 5

CompleteByteSlice type has been removed, and replaced by combinators
under the nom::character::complete namespace.

rust/rdp: add custom error handling

rust/smb: add custom error handling

rust: add SecBlobError custom error type for the Kerberos parser

rust: add take_until_and_consume replacement function

rust/dns: remove unneeded calls to closure!

rust: upgrade all parsers to nom 5

log-pcap: fix log message: unified2 -> pcap

Likely a result of copy and pasted code.

unified2: not supported message if configured

unified2: remove deprecated output unified2

Ticket 2385:
https://redmine.openinfosecfoundation.org/issues/2385

wirefuzz: removed unified2 file removal

doc: removed unified2 output

pcre: Sticky buffer check

This commit adds logic checking if the sticky buffer in effect provides
the required content.

If the sticky buffer doesn't, the rule will not load and a diagnostic
message with follow-on steps is displayed.

general: Wordsmith "no rules loaded" message

rules: fix files.rules typo

snmp-version: make comment more clear

snmp: do not set SIGMATCH_NOOPT

spelling: Fix spelling error

detect/ssl_state: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

detect/flowvar: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

detect/filestore: Fix memory leaks from pcre_get_substring

This commit replaces usages of pcre_get_substring with
pcre_copy_substring to avoid leaking memory on error conditions.

doc: Correct RST quote usage

Corrects misplaced backticks preventing proper formatting of `mpm-algo`
section.

util-error: define SC_ERR_PCRE_COPY_SUBSTRING

general: Convert _Bool to bool

This commit addresses task 3167 and changes usages of '_Bool` to `bool`.
The latter is included from `suricata-common.h`

doc/userguide: Update for dump-features

detect/feature: Support --dump-features

detect: update version comment

detect: Fix typos/spelling errors.

main: feature init and release

output/filestore: announce provided features

detect/filestore: Warn if req'd feature missing

detect/analysis: Warn if required feature missing

feature: feature tracking services

perf: optimizes alert fast log

In the case when we have multiple alerts for one packet
We suppose this happens more often than having decoder_event != 0

napatech: add hardware based bypass support

Napatech hardware bypass support enables Suricata to utilize
capabilities of Napatech SmartNICs to selectively bypass flow-based
traffic.

napatech: documentation hardware based bypass support

Napatech hardware bypass support enables Suricata to utilize
capabilities of Napatech SmartNICs to selectively bypass flow-based
traffic.