eve/metadata: create preformatted json string at start up

Avoid runtime overhead of assembling metadata json string by
pre-creating it at rule parsing time.

detect/profile: convert match dumps to jsonbuilder

Remove unused code and do minor misc cleanups as well.

pfring: fix compile warning

eve: remove unused json_t common functions

These are no longer used as all callers have switched to
the JsonBuilder equivalents.

eve/tls: minor cleanups

eve/metadata: convert to jsonbuilder

stream: call parser with 0 data on EOF

This way both sides can call the EOF logic.

app-layer/tcp: don't use un-ACK'd data

Still use un-ACK'd data in unclean shutdown. This means any state
before TCP_CLOSED, or TCP_CLOSED that was caused by a RST.

flow/timeout: flag last pseudo packet

Flag the last flow timeout pseudo packet so that we can force
TX logging w/o setting both app-layer flags.

Case this fixes:

1. flow times out when only TS TCP data received, but non of it is ACK'd.
   So there is no app-layer proto yet, or app state or Flow::alparser. So
   EOF flags can't be set.

2. Flow timeout sees no reason to create pseudo packet in TC direction.

3. TS pseudo packet finds HTTP, creates HTTP state, flag EOF TS.

4. TX logging skips HTTP logging because:
   - TC progress not reached
   - EOF TC flag not set.

The solution has been to flag the very last packet for the flow as such
and use it has a master-EOF flag.

stream/tcp: track if ssn has been closed with RST

app-layer: set EOFs on app-layer disable

flow/worker: set EOF flags on change proto

flow-timeout: set app-layer EOF flag

app-layer: add debug

stream: minor debug fixup

app-layer/pd: improve size check in bail conditions

app-layer: split EOF flag per direction

stream: app update from loop

When the stream engine has data ready for the app-layer it will call
this API from a loop instead of just once. The loop is to ensure that
if we have a very lossy stream where between 'app_progress' and
'last_ack' there are multiple chunks of data and multiple gaps we
process all the chunks.

stream: improve gap handling with 'incomplete'

Make sure stream requiring more data because of 'incomplete' records
properly move ahead if there is a GAP in the window of required data.

stream: fix IDS mode using un-ACK'd data

stream: code cleanup

flow/tcp: consider pkts established based on 3whs

detect/flow: test cleanup

detect/dns-query: Splice UT to rust

dns: Remove parser buffering code

sources: hide RegisterTests behind ifdef UNITTESTS

Update callers.

eve/ssh: change hassh logging format

Elastic search didn't accept the 'hassh' and 'hassh.string'. It would
see the first 'hassh' as a string and split the second key into a
object 'hassh' with a string member 'string'. So two different types
for 'hassh', so it rejected it.

This patch mimics the ja3(s) logging by creating a 'hassh' object
with 2 members: 'hash', which holds the md5 representation, and
'string' which holds the string representation.

eve/ssh: minor cleanup

dcerpc: adds invalid signature unit test

dcerpc: check app proto for signature keywords

detect: hide RegisterTests behind ifdef UNITTESTS

Update all callers to more aggressively use UNITTESTS guards as well.

ftp: fix direction of expectation for STOR command

Fix direction in active mode.

sip: minor cleanup

htp: minor UNITTESTS guarding cleanup

ftp: small code cleanup

gitignore: add .vscode and various other files

ftp: Restrict file name lengths

Restrict file name lengths to PATH_MAX - 1 to avoid over subscribing
memory to FTP file name tracking.

bytetest: use ByteExtractString instead of StringParse

util: fix trailing char check with ByteExtractString

ssh: fixing incomplete kex parsing

We use the record length from the ssh record header,
and not the size of the parsed data, as is done in other places.

nfs: fix 'dangling' files in lossy sessions

In case of lossy connections the NFS state would properly clean up
transactions, including file transactions. However for files the
state was never set to 'truncated', leading to files to stay 'active'.

This would lead these files staying in the NFS's state. In long running
sessions with lots of files this would lead to performance and memory
use issues.

This patch cleans truncates the file that was being transmitted when
a file transaction is being closed.

Based on 65e9a7c31cc68bdb1fb3e1412b0a56260265c608

nfs: check post-gap timeouts once a second at most

Based on 25f2efe97749611760e6e26d388b420091423732

nfs: update ts only if it changed

Based on 8aa380600da15b95e74a6649e6003a1c484c4ce0

rdp: remove parser buffering code

rdp/eve: convert to jsonbuilder

rdp: rustfmt (update)

threads/runmode: Changes to thread config behaviour

gh-checks: Add enable-debug-validation to test

travis: add test for enable-debug-validation

jsonbuilder: run test if not debug-validate

sip: remove extra jsonbuilder close

dcerpc: fix tests to have a valid header

logging: Add DCERPC logger

dcerpc: Add multi transaction support

DCERPC parser so far provided support for single transactions only.
Extend that to support multiple transactions.

In order for multiple transactions to work, there is always a
transaction identifier for any protocol in its header that lets a
response match the request. In DCERPC, for TCP, that param is call_id in
the header which is a 32 bit field. For UDP, however since it uses
different version of RPC (4.x), this is defined by serial number field
defined in the header. This field however is not contiguous and needs to
be assembled by the provided serial_low and serial_hi fields.

detect/mpm: fix hs check

doc: fix spelling in flowbits image

pcap: 32bit counters can wrap-around

Fixes issue 2845.

pcap_stats is based on 32bit counters and given a big enough throughput
will overflow them. This was reported by people using Myricom cards which
should only be a happenstance. The problem exists for all pcap-based
interfaces.

Let's use internal 64bit counters that drag along the pcap_stats and
handle pcap_stats wrap-around as we update the 64bit stats "often enough"
before the pcap_stats can wrap around twice.

krb: convert to jsonbuilder

Closes redmine ticket 3754.

snmp: convert to jsonbuilder

Closes redmine ticket 3756.

github-ci: build rust doc on stable and 1.34.2

Nothing is done with the rustdoc, its just build to make
sure it builds with our supported versions of Rust

rust: add doc target to build rust docs

Uses "cargo doc --no-deps" to build the documentation just for
our Suricata package. Without --no-deps, documentation will be
build for all our dependencies as well.

The generated documentation will end up in target/doc as HTML.

applayer template (rust): better gap handling example

In the request parser, show checking if a gap was received
and what one example of trying to continue might look like.

applayer template (rust): incomplete support

Show how to use the incomplete AppLayerResult type within the
limits of what the template protocol parser can provide.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3541

rust app-layer template: add stubs for gap handling

rust/dns: use new flags field to set parser option flags

applayer: add flags to parser registration struct

This will allow Rust parsers to register for gap handing from
Rust (some Rust parsers do handle gaps, but they set the flag
from C).

template: add gap handling

doc/userguide: fix outdated mpm info

detect/mpm: 'mpm-algo' parsing cleanups

flow: fix unlikely issue with int handling

Thanks for reporting this magenbluten PR 4575.

doc/suricata-update: fix typo and do minor cleanups

Thanks to showipintbri PR 4465.

buildbot-pcaps: remove redundant sudo

suricatasc: updates copyright date and FSF address

Signed-off-by: jason taylor <jtfas90@gmail.com>

suricatasc: update copyright date and FSF address

Signed-off-by: jason taylor <jtfas90@gmail.com>

prscript: update copyright dates and FSF address

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect/stream_size: minor code cleanups

dns: conditional logging

Apply config to newly created response TX.

detect/config: set config for special cases

Allow app-layer to declare the txs are uni-directional and special
care is needed for applying config.

detect/config: initial version

app-layer: handle AppLayerTxData being NULL

Http parser can have 'NULL' user data in case of memcap limit getting
reached.

app-layer: remove unused detect flags API

app-layer/rust: don't use option for GetTxDataFn anymore

app-layer: GetTxData callback is mandatory

app-layer: remove DetectFlags API. Replaced by AppLayerTxData

rdp: support AppLayerTxData

app-layer: remove logged API calls

template: support AppLayerTxData

tftp: support AppLayerTxData

sip: support AppLayerTxData

ntp: support AppLayerTxData

ikev2: support AppLayerTxData

applayer/template: support AppLayerTxData

dhcp: support AppLayerTxData

snmp: support AppLayerTxData

rfb: support AppLayerTxData

krb5: support AppLayerTxData

ssh: support AppLayerTxData

dcerpc/udp: support AppLayerTxData

dcerpc: support AppLayerTxData

modbus: support AppLayerTxData