rust/rdp: Fix use of incorrect buffer

This commit updates the connection confirmation parsing function to use
the correct buffer when determining the packet type.

smb: use uuid crate

rust: only run cbindgen if needed

Only run cbindgen when necessary. This is a bit tricky. When
building a dist we want to unconditionally build the headers.

When going through a "make; sudo make install" type process,
cbindgen should not be run as the headers already exist, are
valid, and the environment under sudo is more often than
not suitable to pick up the Rust toolchains when installed
with rustup.

For the normal "make" case we have the gen/rust-bindings.h file
depend on library file, this will cause it to only be rebuilt
if the code was modified.

For "make dist" we unconditionally create "dist/rust-bindings.h".
This means the generated file could be in 2 locations, so update
configure.ac, and the library search find to find it.

The "gen/rust-bindings.h" should be picked up first if it exists,
for those who develop from a dist archive where "dist/rust-bindings.h"
also exists.

Not completely happy having the same file in 2 locations, but not
sure how else to get the dependency tracking correct.

alert/eve: add snmp metadata for rdp alerts

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3441

alert/eve: add snmp metadata for snmp alerts

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3441

dcerpc: handle gap for TCP streams

dns: add tailing data to split tcp unit test

Add trailing data to the complete payload to test the case
where data is consumed, but still incomplete.

dns: fix subtraction overflow in debug message

The math for the return value wasn't updated in the debug log
to match the logic and could lead to a subtraction overflow

dns: return status from parsing tcp request

dns: fix incomplete results

and messages parsing whose length is >= 32768

pcap: recusively reading pcaps / documentation

Changes to doc/userguide/partials/options.rst for feature 2363
   (reading pcaps recursively)

pcap: read directories recursively

Describe Changes
- Added ability to recursively read pcap directories
- src/suricata.c: addition of new command line parameter
    --pcap-file-recursive
- src/source-pcap-file.c: parsing of the command line argument
- src/source-pcap-file-directory-helper.h: two thread vars tracking
    directory depth and should recurse
- src/util-error.c / src/util-error.h:
   Added new warning code "SC_WARN_PATH_READ_ERROR"
- Redmine ticket: https://redmine.openinfosecfoundation.org/issues/2363

Ticket: #2363

path: introduce path handling util funcs

This commit provides changes to util-path.c and util-path.h
to support the recursive reading of directories. It adds
4 functions.
- SCIsRegularFile to provide OS independent file info.
- SCIsRegularDirectory to provide OS independent directory info.
- SCRealPath is an OS independent wrapper for realpath.
- PathJoin to manage path resolution logic.

stream/app-layer: break loop on proto change

datasets: fix null pointer deref

datasets: Init even in socket mode

Closes redmine ticket 3476.

detect-mqtt: unify error handling in rule parsing

This is meant to provide a single path to the error case.
This might help make things more clear for static
checkers.

detect-engine: initialize struct fields

http: merge duplicated code

HtpRequestBodyHandlePUT and HtpRequestBodyHandlePOST

http: use more precise parameter in HtpRequestBodySetupMultipart

So that we can see that it does not have to handle gaps

http: remove unused code

HtpRequestBodySetupPUT function
So that we can see that we do not use data=NULL in there

file: handles gaps natively

ie data=NULL and len>0 parameters

util: PrintRawDataFp handles null

for gaps which are data=NULL and len>0

files: rust closes files even on 0 length chunk

applayer: allow rust parsers to have only one probe

output-json: add MAC address output

This commit adds MAC address output to the EVE-JSON format. We follow the
remarks made in Redmine ticket #962: for packets, log MAC src/dst as a
scalar field in EVE; for flows, log MAC src/dst as lists in EVE. Field names
are different between flow and packet context to avoid type confusion
(src_mac vs. src_macs). Configuration approach and JSON representation is
taken from previous GitHub PR #2700.

output/anomaly: Restrict anomaly logger count

This commit restricts the anomaly logger count. The restriction is
necessary due to state maintenance in the logger that doesn't scale
beyond a single logger.

Until that issue's solved, when multiple anomaly loggers are configured,
an error message will be emitted to highlight the restriction.

signature: checks for integer overflow in limits propagation

eve/yaml: move mqtt down

fuzz/pcap: enable MQTT parser

datasets: reload static sets

rust/mqtt: add MQTT parser

detect: adds engine for u8 keywords

doc/output: Document multithreaded eve option

output/json: Multi-threaded EVE logging support

This commit modifies the JSON loggers with changes necessary to support
multi-threaded EVE output.

Each "thread-init" function sets up the per-thread log file context for
subsequent calls to the JSON output to buffer function.

log: Support multi-threaded eve output.

output: Check for fwrite_unlocked

This commit creates a macro for fwrite_unlocked which is probed during
configuration time.

output: Correct typos

output: Remove unused variables/define

log: remove unused include files

output/flow: Eliminate unnecessary parameter

This commit removes a parameter to an internal-only function call.
Removing the parameter allows an JSON builder optimization to be used.

output/netflow: Eliminate unneeded parameter

This commit changes an internal-only function to remove a parameter
that's invariant in all use cases. This allows an JSON builder
optimization to be used.

transform: adds url_decode keyword

Fixes https://redmine.openinfosecfoundation.org/issues/2689

Adds a new source file to handle this keyword.
And modifies documentation, Makefile, and registration accordingly.

url_decode decodes url-encoded data, ie replacing '+' with space
and '%HH' with its value.

stream: fix endless loop in traffic with gaps

flow: avoid double state update on reuse

Avoids an unnecessary atomic operation.

flow: minor cleanups

flow: validate emergency timeout settings

Make sure they are below the regular values.

flow: improve performance in emergency mode

When the flow engine enters emergency mode, 3 things happen:

1. a different set of (lower) timeout values are applied
2. the flow manager runs more often
3. worker threads go get a flow directly from the hash table

Testing showed that performance went down significantly due to concurrency
issues:

1. worker threads would fight each other over the hash access
2. flow manager would get in the way of workers

This patch changes the behavior in 2 ways:

1. it makes the flow manager slightly less aggressive. It will still
   try to run ~3 times per second, but no longer 10 times.

   This should be reducing the contention. At the same time flows
   won't time out faster if they are checked many times per second.

2. The 'get a used flow' logic optimizes the use of atomics by only
   doing an atomic operation once, and while doing so reserving
   a slice of the hash per worker.

   The worker will also give up much quicker, to avoid the overhead
   of hash walking and taking and releasing locks.

These combined changes show much better 'under stress' behavior, esp
on multi-NUMA systems.

enip: use status for probing parser

signature: checks for integer overflow in limits propagation

detect: fix read overflow in DetectGetLastSMByListId

eve: remove unused jansson code

eve/metadata: create preformatted json string at start up

Avoid runtime overhead of assembling metadata json string by
pre-creating it at rule parsing time.

detect/profile: convert match dumps to jsonbuilder

Remove unused code and do minor misc cleanups as well.

pfring: fix compile warning

eve: remove unused json_t common functions

These are no longer used as all callers have switched to
the JsonBuilder equivalents.

eve/tls: minor cleanups

eve/metadata: convert to jsonbuilder

stream: call parser with 0 data on EOF

This way both sides can call the EOF logic.

app-layer/tcp: don't use un-ACK'd data

Still use un-ACK'd data in unclean shutdown. This means any state
before TCP_CLOSED, or TCP_CLOSED that was caused by a RST.

flow/timeout: flag last pseudo packet

Flag the last flow timeout pseudo packet so that we can force
TX logging w/o setting both app-layer flags.

Case this fixes:

1. flow times out when only TS TCP data received, but non of it is ACK'd.
   So there is no app-layer proto yet, or app state or Flow::alparser. So
   EOF flags can't be set.

2. Flow timeout sees no reason to create pseudo packet in TC direction.

3. TS pseudo packet finds HTTP, creates HTTP state, flag EOF TS.

4. TX logging skips HTTP logging because:
   - TC progress not reached
   - EOF TC flag not set.

The solution has been to flag the very last packet for the flow as such
and use it has a master-EOF flag.

stream/tcp: track if ssn has been closed with RST

app-layer: set EOFs on app-layer disable

flow/worker: set EOF flags on change proto

flow-timeout: set app-layer EOF flag

app-layer: add debug

stream: minor debug fixup

app-layer/pd: improve size check in bail conditions

app-layer: split EOF flag per direction

stream: app update from loop

When the stream engine has data ready for the app-layer it will call
this API from a loop instead of just once. The loop is to ensure that
if we have a very lossy stream where between 'app_progress' and
'last_ack' there are multiple chunks of data and multiple gaps we
process all the chunks.

stream: improve gap handling with 'incomplete'

Make sure stream requiring more data because of 'incomplete' records
properly move ahead if there is a GAP in the window of required data.

stream: fix IDS mode using un-ACK'd data

stream: code cleanup

flow/tcp: consider pkts established based on 3whs

detect/flow: test cleanup

detect/dns-query: Splice UT to rust

dns: Remove parser buffering code

sources: hide RegisterTests behind ifdef UNITTESTS

Update callers.

eve/ssh: change hassh logging format

Elastic search didn't accept the 'hassh' and 'hassh.string'. It would
see the first 'hassh' as a string and split the second key into a
object 'hassh' with a string member 'string'. So two different types
for 'hassh', so it rejected it.

This patch mimics the ja3(s) logging by creating a 'hassh' object
with 2 members: 'hash', which holds the md5 representation, and
'string' which holds the string representation.

eve/ssh: minor cleanup

dcerpc: adds invalid signature unit test

dcerpc: check app proto for signature keywords

detect: hide RegisterTests behind ifdef UNITTESTS

Update all callers to more aggressively use UNITTESTS guards as well.

ftp: fix direction of expectation for STOR command

Fix direction in active mode.

sip: minor cleanup

htp: minor UNITTESTS guarding cleanup

ftp: small code cleanup

gitignore: add .vscode and various other files

ftp: Restrict file name lengths

Restrict file name lengths to PATH_MAX - 1 to avoid over subscribing
memory to FTP file name tracking.

bytetest: use ByteExtractString instead of StringParse

util: fix trailing char check with ByteExtractString

ssh: fixing incomplete kex parsing

We use the record length from the ssh record header,
and not the size of the parsed data, as is done in other places.

nfs: fix 'dangling' files in lossy sessions

In case of lossy connections the NFS state would properly clean up
transactions, including file transactions. However for files the
state was never set to 'truncated', leading to files to stay 'active'.

This would lead these files staying in the NFS's state. In long running
sessions with lots of files this would lead to performance and memory
use issues.

This patch cleans truncates the file that was being transmitted when
a file transaction is being closed.

Based on 65e9a7c31cc68bdb1fb3e1412b0a56260265c608

nfs: check post-gap timeouts once a second at most

Based on 25f2efe97749611760e6e26d388b420091423732

nfs: update ts only if it changed

Based on 8aa380600da15b95e74a6649e6003a1c484c4ce0

rdp: remove parser buffering code

rdp/eve: convert to jsonbuilder

rdp: rustfmt (update)

threads/runmode: Changes to thread config behaviour

gh-checks: Add enable-debug-validation to test