output-json: add MAC address output

This commit adds MAC address output to the EVE-JSON format. We follow the
remarks made in Redmine ticket #962: for packets, log MAC src/dst as a
scalar field in EVE; for flows, log MAC src/dst as lists in EVE. Field names
are different between flow and packet context to avoid type confusion
(src_mac vs. src_macs). Configuration approach and JSON representation is
taken from previous GitHub PR #2700.

output/anomaly: Restrict anomaly logger count

This commit restricts the anomaly logger count. The restriction is
necessary due to state maintenance in the logger that doesn't scale
beyond a single logger.

Until that issue's solved, when multiple anomaly loggers are configured,
an error message will be emitted to highlight the restriction.

signature: checks for integer overflow in limits propagation

eve/yaml: move mqtt down

fuzz/pcap: enable MQTT parser

datasets: reload static sets

rust/mqtt: add MQTT parser

detect: adds engine for u8 keywords

doc/output: Document multithreaded eve option

output/json: Multi-threaded EVE logging support

This commit modifies the JSON loggers with changes necessary to support
multi-threaded EVE output.

Each "thread-init" function sets up the per-thread log file context for
subsequent calls to the JSON output to buffer function.

log: Support multi-threaded eve output.

output: Check for fwrite_unlocked

This commit creates a macro for fwrite_unlocked which is probed during
configuration time.

output: Correct typos

output: Remove unused variables/define

log: remove unused include files

output/flow: Eliminate unnecessary parameter

This commit removes a parameter to an internal-only function call.
Removing the parameter allows an JSON builder optimization to be used.

output/netflow: Eliminate unneeded parameter

This commit changes an internal-only function to remove a parameter
that's invariant in all use cases. This allows an JSON builder
optimization to be used.

transform: adds url_decode keyword

Fixes https://redmine.openinfosecfoundation.org/issues/2689

Adds a new source file to handle this keyword.
And modifies documentation, Makefile, and registration accordingly.

url_decode decodes url-encoded data, ie replacing '+' with space
and '%HH' with its value.

stream: fix endless loop in traffic with gaps

flow: avoid double state update on reuse

Avoids an unnecessary atomic operation.

flow: minor cleanups

flow: validate emergency timeout settings

Make sure they are below the regular values.

flow: improve performance in emergency mode

When the flow engine enters emergency mode, 3 things happen:

1. a different set of (lower) timeout values are applied
2. the flow manager runs more often
3. worker threads go get a flow directly from the hash table

Testing showed that performance went down significantly due to concurrency
issues:

1. worker threads would fight each other over the hash access
2. flow manager would get in the way of workers

This patch changes the behavior in 2 ways:

1. it makes the flow manager slightly less aggressive. It will still
   try to run ~3 times per second, but no longer 10 times.

   This should be reducing the contention. At the same time flows
   won't time out faster if they are checked many times per second.

2. The 'get a used flow' logic optimizes the use of atomics by only
   doing an atomic operation once, and while doing so reserving
   a slice of the hash per worker.

   The worker will also give up much quicker, to avoid the overhead
   of hash walking and taking and releasing locks.

These combined changes show much better 'under stress' behavior, esp
on multi-NUMA systems.

enip: use status for probing parser

signature: checks for integer overflow in limits propagation

detect: fix read overflow in DetectGetLastSMByListId

eve: remove unused jansson code

eve/metadata: create preformatted json string at start up

Avoid runtime overhead of assembling metadata json string by
pre-creating it at rule parsing time.

detect/profile: convert match dumps to jsonbuilder

Remove unused code and do minor misc cleanups as well.

pfring: fix compile warning

eve: remove unused json_t common functions

These are no longer used as all callers have switched to
the JsonBuilder equivalents.

eve/tls: minor cleanups

eve/metadata: convert to jsonbuilder

stream: call parser with 0 data on EOF

This way both sides can call the EOF logic.

app-layer/tcp: don't use un-ACK'd data

Still use un-ACK'd data in unclean shutdown. This means any state
before TCP_CLOSED, or TCP_CLOSED that was caused by a RST.

flow/timeout: flag last pseudo packet

Flag the last flow timeout pseudo packet so that we can force
TX logging w/o setting both app-layer flags.

Case this fixes:

1. flow times out when only TS TCP data received, but non of it is ACK'd.
   So there is no app-layer proto yet, or app state or Flow::alparser. So
   EOF flags can't be set.

2. Flow timeout sees no reason to create pseudo packet in TC direction.

3. TS pseudo packet finds HTTP, creates HTTP state, flag EOF TS.

4. TX logging skips HTTP logging because:
   - TC progress not reached
   - EOF TC flag not set.

The solution has been to flag the very last packet for the flow as such
and use it has a master-EOF flag.

stream/tcp: track if ssn has been closed with RST

app-layer: set EOFs on app-layer disable

flow/worker: set EOF flags on change proto

flow-timeout: set app-layer EOF flag

app-layer: add debug

stream: minor debug fixup

app-layer/pd: improve size check in bail conditions

app-layer: split EOF flag per direction

stream: app update from loop

When the stream engine has data ready for the app-layer it will call
this API from a loop instead of just once. The loop is to ensure that
if we have a very lossy stream where between 'app_progress' and
'last_ack' there are multiple chunks of data and multiple gaps we
process all the chunks.

stream: improve gap handling with 'incomplete'

Make sure stream requiring more data because of 'incomplete' records
properly move ahead if there is a GAP in the window of required data.

stream: fix IDS mode using un-ACK'd data

stream: code cleanup

flow/tcp: consider pkts established based on 3whs

detect/flow: test cleanup

detect/dns-query: Splice UT to rust

dns: Remove parser buffering code

sources: hide RegisterTests behind ifdef UNITTESTS

Update callers.

eve/ssh: change hassh logging format

Elastic search didn't accept the 'hassh' and 'hassh.string'. It would
see the first 'hassh' as a string and split the second key into a
object 'hassh' with a string member 'string'. So two different types
for 'hassh', so it rejected it.

This patch mimics the ja3(s) logging by creating a 'hassh' object
with 2 members: 'hash', which holds the md5 representation, and
'string' which holds the string representation.

eve/ssh: minor cleanup

dcerpc: adds invalid signature unit test

dcerpc: check app proto for signature keywords

detect: hide RegisterTests behind ifdef UNITTESTS

Update all callers to more aggressively use UNITTESTS guards as well.

ftp: fix direction of expectation for STOR command

Fix direction in active mode.

sip: minor cleanup

htp: minor UNITTESTS guarding cleanup

ftp: small code cleanup

gitignore: add .vscode and various other files

ftp: Restrict file name lengths

Restrict file name lengths to PATH_MAX - 1 to avoid over subscribing
memory to FTP file name tracking.

bytetest: use ByteExtractString instead of StringParse

util: fix trailing char check with ByteExtractString

ssh: fixing incomplete kex parsing

We use the record length from the ssh record header,
and not the size of the parsed data, as is done in other places.

nfs: fix 'dangling' files in lossy sessions

In case of lossy connections the NFS state would properly clean up
transactions, including file transactions. However for files the
state was never set to 'truncated', leading to files to stay 'active'.

This would lead these files staying in the NFS's state. In long running
sessions with lots of files this would lead to performance and memory
use issues.

This patch cleans truncates the file that was being transmitted when
a file transaction is being closed.

Based on 65e9a7c31cc68bdb1fb3e1412b0a56260265c608

nfs: check post-gap timeouts once a second at most

Based on 25f2efe97749611760e6e26d388b420091423732

nfs: update ts only if it changed

Based on 8aa380600da15b95e74a6649e6003a1c484c4ce0

rdp: remove parser buffering code

rdp/eve: convert to jsonbuilder

rdp: rustfmt (update)

threads/runmode: Changes to thread config behaviour

gh-checks: Add enable-debug-validation to test

travis: add test for enable-debug-validation

jsonbuilder: run test if not debug-validate

sip: remove extra jsonbuilder close

dcerpc: fix tests to have a valid header

logging: Add DCERPC logger

dcerpc: Add multi transaction support

DCERPC parser so far provided support for single transactions only.
Extend that to support multiple transactions.

In order for multiple transactions to work, there is always a
transaction identifier for any protocol in its header that lets a
response match the request. In DCERPC, for TCP, that param is call_id in
the header which is a 32 bit field. For UDP, however since it uses
different version of RPC (4.x), this is defined by serial number field
defined in the header. This field however is not contiguous and needs to
be assembled by the provided serial_low and serial_hi fields.

detect/mpm: fix hs check

doc: fix spelling in flowbits image

pcap: 32bit counters can wrap-around

Fixes issue 2845.

pcap_stats is based on 32bit counters and given a big enough throughput
will overflow them. This was reported by people using Myricom cards which
should only be a happenstance. The problem exists for all pcap-based
interfaces.

Let's use internal 64bit counters that drag along the pcap_stats and
handle pcap_stats wrap-around as we update the 64bit stats "often enough"
before the pcap_stats can wrap around twice.

krb: convert to jsonbuilder

Closes redmine ticket 3754.

snmp: convert to jsonbuilder

Closes redmine ticket 3756.

github-ci: build rust doc on stable and 1.34.2

Nothing is done with the rustdoc, its just build to make
sure it builds with our supported versions of Rust

rust: add doc target to build rust docs

Uses "cargo doc --no-deps" to build the documentation just for
our Suricata package. Without --no-deps, documentation will be
build for all our dependencies as well.

The generated documentation will end up in target/doc as HTML.

applayer template (rust): better gap handling example

In the request parser, show checking if a gap was received
and what one example of trying to continue might look like.

applayer template (rust): incomplete support

Show how to use the incomplete AppLayerResult type within the
limits of what the template protocol parser can provide.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3541

rust app-layer template: add stubs for gap handling

rust/dns: use new flags field to set parser option flags

applayer: add flags to parser registration struct

This will allow Rust parsers to register for gap handing from
Rust (some Rust parsers do handle gaps, but they set the flag
from C).

template: add gap handling

doc/userguide: fix outdated mpm info

detect/mpm: 'mpm-algo' parsing cleanups

flow: fix unlikely issue with int handling

Thanks for reporting this magenbluten PR 4575.

doc/suricata-update: fix typo and do minor cleanups

Thanks to showipintbri PR 4465.

buildbot-pcaps: remove redundant sudo

suricatasc: updates copyright date and FSF address

Signed-off-by: jason taylor <jtfas90@gmail.com>