detect/stream_size: minor code cleanups

dns: conditional logging

Apply config to newly created response TX.

detect/config: set config for special cases

Allow app-layer to declare the txs are uni-directional and special
care is needed for applying config.

detect/config: initial version

app-layer: handle AppLayerTxData being NULL

Http parser can have 'NULL' user data in case of memcap limit getting
reached.

app-layer: remove unused detect flags API

app-layer/rust: don't use option for GetTxDataFn anymore

app-layer: GetTxData callback is mandatory

app-layer: remove DetectFlags API. Replaced by AppLayerTxData

rdp: support AppLayerTxData

app-layer: remove logged API calls

template: support AppLayerTxData

tftp: support AppLayerTxData

sip: support AppLayerTxData

ntp: support AppLayerTxData

ikev2: support AppLayerTxData

applayer/template: support AppLayerTxData

dhcp: support AppLayerTxData

snmp: support AppLayerTxData

rfb: support AppLayerTxData

krb5: support AppLayerTxData

ssh: support AppLayerTxData

dcerpc/udp: support AppLayerTxData

dcerpc: support AppLayerTxData

modbus: support AppLayerTxData

enip: support AppLayerTxData

ssl/tls: support AppLayerTxData

smtp: support AppLayerTxData

ftp: support AppLayerTxData

dnp3: support AppLayerTxData

smb: support AppLayerTxData

nfs: support AppLayerTxData

dns: remove detect_flags and logged now that we use AppLayerTxData

htp: support AppLayerTxData

app-layer: add ApplyTxConfig API

Optional callback a parser can register for applying configuration
to the 'transaction'. Most parsers have a bidirectional tx. For those
parsers that have different types of transaction handling, this new
callback can be used to properly apply the config.

output/tx: implement filtering

detect: store detect flags in AppLayerTxData

app-layer: add logger flags to AppLayerTxData

app-layer: define AppLayerTxData and AppLayerTxConfig

AppLayerTxData is a structure each tx should include that will contain
the common fields the engine needs for tracking logging, detection and
possibly other things.

AppLayerTxConfig will be used by the detection engine to configure
the transaction.

htp: alloc user data at tx start

This way the AppLayerTxData is set up from the start. Any type of
processing (logging, detection) will lead to setting up the user
data later on anyway.

Remove other places where it was added.

config: common definitions

rules: add config action

dnp3/eve: update for regenerated dnp3 object logging code

Migration from Jansson to JsonBuilder.

dnp3/eve: regenerator object logging code

scripts/dnp3-gen: update to generate JsonBuilder code

jsonbuilder: set_float, append_float methods

New methods for setting and appending float values.

dnp3/eve: convert to jsonbuilder (non generated code)

First step of converting DNP3 to JsonBuilder by first converting
the non-generated code.

script/dnp3-gen: update generator to reflect in tree changes

Some changes were made to the generated files instead of the
generator script. Update the script to generate what is
in the current state of the in-tree generated files.

src: use FatalError whenever possible

Replaces all patterns of SCLogError() followed by exit() with
FatalError(). Cocci script to do this:

@@
constant C;
constant char[] msg;
@@

- SCLogError(C,
+ FatalError(SC_ERR_FATAL,
  msg);
- exit(EXIT_FAILURE);

Closes redmine ticket 3188.

doc: Add byte_math documentation

general: Correct typos

detect: byte_math support

detect: Use byte-math to byte var handling func

detect: Add byte_math detector

detect: Add utility module for byte var handling

eve/alert: minor cleanups

eve/alert: move files logging into util func

eve/alert: move app-layer logic into a util func

hyperscan: better error message if not compiled

ssh: fix incomplete return for ssh kex

In the case where we already parsed some records

dcerpc: detect right parsing of empty op version

rfb: set app proto for signature keyword rfb.secresult

suricata.yaml.in: update stream-depth description

doc: update stream-depth description

doc: update file-store stream depth description

filestore: Use proper string in error case

When make-open-files has an invalid value, the incorrect value was being
displayed improperly

filestore: Validate stream-depth when non-zero

Make sure that configured non-zero values for stream-depth are
greater than stream_config.depth

output/json: Correct clang warning

This commit corrects the warning for mismatched type.

output/alert: Correct FORWARD_NULL Coverity issue.

This commit corrects the FORWARD_NULL issue in AlertJson by
null-checking p->flow

output/ftp: Correct Coverity DEADCODE issue

This commit corrects the deadcode (CID 1465224) issue in
EveFTPLogCommand.

filestore: Correct Coverity RESOURCE_LEAK issue

This commit corrects the RESOURCE_LEAK issue (CID 1465222) of the `FILE`
pointer.

detect: Correct Coverity REVERSE_INULL issue

This commit corrects the "Null pointer dereferences" issue (CID
1465221).

qa: add atoi to list of banned functions

pfring: fix StringParse* warnings

Closes redmine ticket 3808.

ttl: Make IPV4 TTL uint_8t

src: remove multiple uses of atoi

atoi() and related functions lack a mechanism for reporting errors for
invalid values. Replace them with calls to the appropriate
ByteExtractString* functions.

Partially closes redmine ticket 3053.

detect/asn1: Simplify errors and checks

detect/asn1: Update ASN1 struct lifetime

- 'static is only realistic when allocating and leaking it over the
FFI boundary

detect/asn1: Log out errors

- Failure to parse asn1-max-frames
- Failure on asn1 detection checks

detect/asn1: Update relative_offset keyword

- To be consistent with recent C version changes
- Add checks for over/underflows

detect/asn1: Remove asn1 C parser

- In favor of rust parser

detect/asn1: Update asn1 C files to use rust code

Mark rust extern "C" functions as pub in asn1 module to expose via cbindgen
Update detect-asn1.c/h to use rust functions

rust/asn1: Introduce ASN1 rust module

This module uses the `der-parser` crate to parse ASN1 objects in order to replace src/util-decode-asn1.c
It also handles the parsing of the asn1 keyword rules and detection checks performed in src/detect-asn1.c

rust: Update der, kerberos and snmp parser dependencies

- The update to der-parser allows us to use the latest API changes

util/proto: Convert validation routine to bool

This commit changes the signature of the protocol validation code to
bool and simplifies the validation steps.

output/json: Improve protocol output handling

Improve protocol label handling by eliminating an unneeded copy.

Additionally, unknown protocol values are no longer zero-padded.

output/flow: Improve protocol output handling

This commit improves handling of the protocol label by removing an
unnecessary copy.

Additionally, unknown protocol values are no longer zero-padded.

log/syslog: Improve protocol output handling

Move protocol handling outside of the packet alert loop.

log: Use updated SCProtoNameValid signature

output/lua: Remove unused proto code

This commit removes unused protocol string handling logic.

applayer template (rust): convert to JsonBuilder

applayer template (C): convert to JsonBuilder

modbus: align comments properly

modbus: make subfunction uint16_t

enip: remove unnecessarry definition

src: remove multiple uses of atoi

atoi() and related functions lack a mechanism for reporting errors for
invalid values. Replace them with calls to the appropriate
ByteExtractString* functions.

Closes redmine ticket 3053.

fuzz/sigpcap: make sure hassh is enabled

userguide: add documentation for Hassh usage

1. Rules keywords
2. Json keywords
3. Usage in lua
4. Enabling in configuration file

lua: add functions to get hassh parameters

eve: add Hassh fields to SSH JSON logger and add ssh log condition