config: common definitions

rules: add config action

dnp3/eve: update for regenerated dnp3 object logging code

Migration from Jansson to JsonBuilder.

dnp3/eve: regenerator object logging code

scripts/dnp3-gen: update to generate JsonBuilder code

jsonbuilder: set_float, append_float methods

New methods for setting and appending float values.

dnp3/eve: convert to jsonbuilder (non generated code)

First step of converting DNP3 to JsonBuilder by first converting
the non-generated code.

script/dnp3-gen: update generator to reflect in tree changes

Some changes were made to the generated files instead of the
generator script. Update the script to generate what is
in the current state of the in-tree generated files.

src: use FatalError whenever possible

Replaces all patterns of SCLogError() followed by exit() with
FatalError(). Cocci script to do this:

@@
constant C;
constant char[] msg;
@@

- SCLogError(C,
+ FatalError(SC_ERR_FATAL,
  msg);
- exit(EXIT_FAILURE);

Closes redmine ticket 3188.

doc: Add byte_math documentation

general: Correct typos

detect: byte_math support

detect: Use byte-math to byte var handling func

detect: Add byte_math detector

detect: Add utility module for byte var handling

eve/alert: minor cleanups

eve/alert: move files logging into util func

eve/alert: move app-layer logic into a util func

hyperscan: better error message if not compiled

ssh: fix incomplete return for ssh kex

In the case where we already parsed some records

dcerpc: detect right parsing of empty op version

rfb: set app proto for signature keyword rfb.secresult

suricata.yaml.in: update stream-depth description

doc: update stream-depth description

doc: update file-store stream depth description

filestore: Use proper string in error case

When make-open-files has an invalid value, the incorrect value was being
displayed improperly

filestore: Validate stream-depth when non-zero

Make sure that configured non-zero values for stream-depth are
greater than stream_config.depth

output/json: Correct clang warning

This commit corrects the warning for mismatched type.

output/alert: Correct FORWARD_NULL Coverity issue.

This commit corrects the FORWARD_NULL issue in AlertJson by
null-checking p->flow

output/ftp: Correct Coverity DEADCODE issue

This commit corrects the deadcode (CID 1465224) issue in
EveFTPLogCommand.

filestore: Correct Coverity RESOURCE_LEAK issue

This commit corrects the RESOURCE_LEAK issue (CID 1465222) of the `FILE`
pointer.

detect: Correct Coverity REVERSE_INULL issue

This commit corrects the "Null pointer dereferences" issue (CID
1465221).

qa: add atoi to list of banned functions

pfring: fix StringParse* warnings

Closes redmine ticket 3808.

ttl: Make IPV4 TTL uint_8t

src: remove multiple uses of atoi

atoi() and related functions lack a mechanism for reporting errors for
invalid values. Replace them with calls to the appropriate
ByteExtractString* functions.

Partially closes redmine ticket 3053.

detect/asn1: Simplify errors and checks

detect/asn1: Update ASN1 struct lifetime

- 'static is only realistic when allocating and leaking it over the
FFI boundary

detect/asn1: Log out errors

- Failure to parse asn1-max-frames
- Failure on asn1 detection checks

detect/asn1: Update relative_offset keyword

- To be consistent with recent C version changes
- Add checks for over/underflows

detect/asn1: Remove asn1 C parser

- In favor of rust parser

detect/asn1: Update asn1 C files to use rust code

Mark rust extern "C" functions as pub in asn1 module to expose via cbindgen
Update detect-asn1.c/h to use rust functions

rust/asn1: Introduce ASN1 rust module

This module uses the `der-parser` crate to parse ASN1 objects in order to replace src/util-decode-asn1.c
It also handles the parsing of the asn1 keyword rules and detection checks performed in src/detect-asn1.c

rust: Update der, kerberos and snmp parser dependencies

- The update to der-parser allows us to use the latest API changes

util/proto: Convert validation routine to bool

This commit changes the signature of the protocol validation code to
bool and simplifies the validation steps.

output/json: Improve protocol output handling

Improve protocol label handling by eliminating an unneeded copy.

Additionally, unknown protocol values are no longer zero-padded.

output/flow: Improve protocol output handling

This commit improves handling of the protocol label by removing an
unnecessary copy.

Additionally, unknown protocol values are no longer zero-padded.

log/syslog: Improve protocol output handling

Move protocol handling outside of the packet alert loop.

log: Use updated SCProtoNameValid signature

output/lua: Remove unused proto code

This commit removes unused protocol string handling logic.

applayer template (rust): convert to JsonBuilder

applayer template (C): convert to JsonBuilder

modbus: align comments properly

modbus: make subfunction uint16_t

enip: remove unnecessarry definition

src: remove multiple uses of atoi

atoi() and related functions lack a mechanism for reporting errors for
invalid values. Replace them with calls to the appropriate
ByteExtractString* functions.

Closes redmine ticket 3053.

fuzz/sigpcap: make sure hassh is enabled

userguide: add documentation for Hassh usage

1. Rules keywords
2. Json keywords
3. Usage in lua
4. Enabling in configuration file

lua: add functions to get hassh parameters

eve: add Hassh fields to SSH JSON logger and add ssh log condition

detect: add (mpm) hassh keywords

Match on Hassh using ssh.hassh, ssh.hassh.server, ssh.hassh.string, ssh.hassh.server.string keywords, e.g:

alert ssh any any -> any any (msg:"match SSH hash"; ssh.hassh; content:"xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"; sid:1000010;)
alert ssh any any -> any any (msg:"match SSH hash-server"; ssh.hassh.server; content:"xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"; sid:1000020;)
alert ssh any any -> any any (msg:"match SSH hash-string"; ssh.hassh.string; content:"none,zlib@openssh.com,zlib"; sid:1000030;)
alert ssh any any -> any any (msg:"match SSH hash-server-string"; ssh.hassh.server.string; content:"umac-64-etm@openssh.com,umac-128-etm@openssh.com,"; sid:1000040;)

rust/ssh: add hassh generation

Add generation of hassh fingerprints based on fields in the kexinit record

detect/bsize: Use U16 bit macros

This commit changes the flag bit values to be expressed using the
BIT_U16 macro instead with hex values.

detect/bsize: Use SCLogDebug instead of printf

This commit updates debug "printf" message to use SCLogDebug

detect: Increase flag size for byte_jump

general: Fix typo in detect-bytejump.c

detect/bytejump: Add "from_end" support

This commit adds support for the byte jump "from_end" keyword and
unittests.

output/ikev2: Convert to JsonBuilder

Convert the IKEV2 Json logging to use JsonBuilder.

dnp3: adds unit test against previous bug

dnp3: fix buffer over read in responses parsing

dnp3: probing parser fixes direction based on dnp3 header

fuzz: disable DNP3 checksums while fuzzing

fuzz: improves fuzz target applayerparserparse

Does not proceed final chunk if we got an error previously
Flips the direction for last chunk as usual

flow: use stream state to string util func

stream: add state to string funcs

app-layer: set EOF flag in case of unsupported GAP

If GAP is not supported set EOF flags in the parser.

flow: improve 'under stress' behavior

When under stress, the packet threads ultimately fall back
to walking the hash table until they find a flow they can
safely evict and reuse. This could lead to all threads
fighting over the FlowBucket locks.

Fix by adding a limit to the number of hash rows that are
checked for a new flow. If the limit is reached, simply fail
to get a flow.

flow: fix TCP closed default initialization

TCP closed state was initialized to 0 by default.

Clean up 'closed' value setting for other protocols and the common
default.

flow: remove unused function declaration

flow: remove unused sctp enum member

This caused some arrays to be larger than needed.

flow: cleanup validation check

smb: fix 'dangling' files in lossy sessions

In case of lossy connections the SMB state would properly clean up
transactions, including file transactions. However for files the
state was never set to 'truncated', leading to files to stay 'active'.

This would lead these files staying in the SMB's state. In long running
sessions with lots of files this would lead to performance and memory
use issues.

This patch cleans truncates the file that was being transmitted when
a file transaction is being closed.

smb: check post-gap timeouts once a second at most

smb: update ts only if it changed

output/tftp: Convert to JsonBuilder

This commit converts the TFTP logging mechanisms to JsonBuilder.

signature: fix linked list for bidirectional signatures

Bidirectional signatures are really two signatures with one id
This needs to be handled with care when changing a linked list

detect: fail properly on invalid transform pcrexform

detect/flowbits: fix stack overflow in analyzer

Fix stack overflow in DetectFlowbitsAnalyze.

Use dynamically allocated array instead of stack and free
it after it is no longer needed.

netflow/eve: convert to JsonBuilder

doc: Correct typos

doc: Update byte_extract doc

doc: Fix spelling error

general: Fix spelling error

detect/content: Validate content byte array

This commit checks whether the content byte array is compatible with the
transforms, if any, for the rule.

detect: Add transform validation api

This commit extends the API with a function that validates arguments
against the transforms for the SM list (if any).

detect/transform: Add validation function

This commit adds a function to pre-validate buffers. If a content
buffer contains whitespace, the validation fails.

detect/transform: Add transform "validate" function

This commit adds an (optional) entry for a validation function. The
validation function, if present, will be used during rule processing.

Its role is to determine if the arguments are compatible with the
transform. E.g., a content string of "this string has whitespace" is not
compatible with the `strip_whitespace` transform.

dhcp/eve: remove erroneous jsonbuilder close

The JsonBuilder was being closed to early.

jsonbuilder: add debug_validate to state

If debug validation is enabled, panic on invalid state errors.

For example, calling close on an already closed jsonbuilder
object.

rust: macro debug_validate_fail to fail with message

Add a new debug_validate macro that unconditionally panics
with a message. Useful in Rust pattern matching.