ftp: Restrict file name lengths

Restrict file name lengths to PATH_MAX - 1 to avoid over subscribing
memory to FTP file name tracking.

bytetest: use ByteExtractString instead of StringParse

util: fix trailing char check with ByteExtractString

ssh: fixing incomplete kex parsing

We use the record length from the ssh record header,
and not the size of the parsed data, as is done in other places.

nfs: fix 'dangling' files in lossy sessions

In case of lossy connections the NFS state would properly clean up
transactions, including file transactions. However for files the
state was never set to 'truncated', leading to files to stay 'active'.

This would lead these files staying in the NFS's state. In long running
sessions with lots of files this would lead to performance and memory
use issues.

This patch cleans truncates the file that was being transmitted when
a file transaction is being closed.

Based on 65e9a7c31cc68bdb1fb3e1412b0a56260265c608

nfs: check post-gap timeouts once a second at most

Based on 25f2efe97749611760e6e26d388b420091423732

nfs: update ts only if it changed

Based on 8aa380600da15b95e74a6649e6003a1c484c4ce0

rdp: remove parser buffering code

rdp/eve: convert to jsonbuilder

rdp: rustfmt (update)

threads/runmode: Changes to thread config behaviour

gh-checks: Add enable-debug-validation to test

travis: add test for enable-debug-validation

jsonbuilder: run test if not debug-validate

sip: remove extra jsonbuilder close

dcerpc: fix tests to have a valid header

logging: Add DCERPC logger

dcerpc: Add multi transaction support

DCERPC parser so far provided support for single transactions only.
Extend that to support multiple transactions.

In order for multiple transactions to work, there is always a
transaction identifier for any protocol in its header that lets a
response match the request. In DCERPC, for TCP, that param is call_id in
the header which is a 32 bit field. For UDP, however since it uses
different version of RPC (4.x), this is defined by serial number field
defined in the header. This field however is not contiguous and needs to
be assembled by the provided serial_low and serial_hi fields.

detect/mpm: fix hs check

doc: fix spelling in flowbits image

pcap: 32bit counters can wrap-around

Fixes issue 2845.

pcap_stats is based on 32bit counters and given a big enough throughput
will overflow them. This was reported by people using Myricom cards which
should only be a happenstance. The problem exists for all pcap-based
interfaces.

Let's use internal 64bit counters that drag along the pcap_stats and
handle pcap_stats wrap-around as we update the 64bit stats "often enough"
before the pcap_stats can wrap around twice.

krb: convert to jsonbuilder

Closes redmine ticket 3754.

snmp: convert to jsonbuilder

Closes redmine ticket 3756.

github-ci: build rust doc on stable and 1.34.2

Nothing is done with the rustdoc, its just build to make
sure it builds with our supported versions of Rust

rust: add doc target to build rust docs

Uses "cargo doc --no-deps" to build the documentation just for
our Suricata package. Without --no-deps, documentation will be
build for all our dependencies as well.

The generated documentation will end up in target/doc as HTML.

applayer template (rust): better gap handling example

In the request parser, show checking if a gap was received
and what one example of trying to continue might look like.

applayer template (rust): incomplete support

Show how to use the incomplete AppLayerResult type within the
limits of what the template protocol parser can provide.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3541

rust app-layer template: add stubs for gap handling

rust/dns: use new flags field to set parser option flags

applayer: add flags to parser registration struct

This will allow Rust parsers to register for gap handing from
Rust (some Rust parsers do handle gaps, but they set the flag
from C).

template: add gap handling

doc/userguide: fix outdated mpm info

detect/mpm: 'mpm-algo' parsing cleanups

flow: fix unlikely issue with int handling

Thanks for reporting this magenbluten PR 4575.

doc/suricata-update: fix typo and do minor cleanups

Thanks to showipintbri PR 4465.

buildbot-pcaps: remove redundant sudo

suricatasc: updates copyright date and FSF address

Signed-off-by: jason taylor <jtfas90@gmail.com>

suricatasc: update copyright date and FSF address

Signed-off-by: jason taylor <jtfas90@gmail.com>

prscript: update copyright dates and FSF address

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect/stream_size: minor code cleanups

dns: conditional logging

Apply config to newly created response TX.

detect/config: set config for special cases

Allow app-layer to declare the txs are uni-directional and special
care is needed for applying config.

detect/config: initial version

app-layer: handle AppLayerTxData being NULL

Http parser can have 'NULL' user data in case of memcap limit getting
reached.

app-layer: remove unused detect flags API

app-layer/rust: don't use option for GetTxDataFn anymore

app-layer: GetTxData callback is mandatory

app-layer: remove DetectFlags API. Replaced by AppLayerTxData

rdp: support AppLayerTxData

app-layer: remove logged API calls

template: support AppLayerTxData

tftp: support AppLayerTxData

sip: support AppLayerTxData

ntp: support AppLayerTxData

ikev2: support AppLayerTxData

applayer/template: support AppLayerTxData

dhcp: support AppLayerTxData

snmp: support AppLayerTxData

rfb: support AppLayerTxData

krb5: support AppLayerTxData

ssh: support AppLayerTxData

dcerpc/udp: support AppLayerTxData

dcerpc: support AppLayerTxData

modbus: support AppLayerTxData

enip: support AppLayerTxData

ssl/tls: support AppLayerTxData

smtp: support AppLayerTxData

ftp: support AppLayerTxData

dnp3: support AppLayerTxData

smb: support AppLayerTxData

nfs: support AppLayerTxData

dns: remove detect_flags and logged now that we use AppLayerTxData

htp: support AppLayerTxData

app-layer: add ApplyTxConfig API

Optional callback a parser can register for applying configuration
to the 'transaction'. Most parsers have a bidirectional tx. For those
parsers that have different types of transaction handling, this new
callback can be used to properly apply the config.

output/tx: implement filtering

detect: store detect flags in AppLayerTxData

app-layer: add logger flags to AppLayerTxData

app-layer: define AppLayerTxData and AppLayerTxConfig

AppLayerTxData is a structure each tx should include that will contain
the common fields the engine needs for tracking logging, detection and
possibly other things.

AppLayerTxConfig will be used by the detection engine to configure
the transaction.

htp: alloc user data at tx start

This way the AppLayerTxData is set up from the start. Any type of
processing (logging, detection) will lead to setting up the user
data later on anyway.

Remove other places where it was added.

config: common definitions

rules: add config action

dnp3/eve: update for regenerated dnp3 object logging code

Migration from Jansson to JsonBuilder.

dnp3/eve: regenerator object logging code

scripts/dnp3-gen: update to generate JsonBuilder code

jsonbuilder: set_float, append_float methods

New methods for setting and appending float values.

dnp3/eve: convert to jsonbuilder (non generated code)

First step of converting DNP3 to JsonBuilder by first converting
the non-generated code.

script/dnp3-gen: update generator to reflect in tree changes

Some changes were made to the generated files instead of the
generator script. Update the script to generate what is
in the current state of the in-tree generated files.

src: use FatalError whenever possible

Replaces all patterns of SCLogError() followed by exit() with
FatalError(). Cocci script to do this:

@@
constant C;
constant char[] msg;
@@

- SCLogError(C,
+ FatalError(SC_ERR_FATAL,
  msg);
- exit(EXIT_FAILURE);

Closes redmine ticket 3188.

doc: Add byte_math documentation

general: Correct typos

detect: byte_math support

detect: Use byte-math to byte var handling func

detect: Add byte_math detector

detect: Add utility module for byte var handling

eve/alert: minor cleanups

eve/alert: move files logging into util func

eve/alert: move app-layer logic into a util func

hyperscan: better error message if not compiled

ssh: fix incomplete return for ssh kex

In the case where we already parsed some records

dcerpc: detect right parsing of empty op version