smb: fix 'dangling' files in lossy sessions

In case of lossy connections the SMB state would properly clean up
transactions, including file transactions. However for files the
state was never set to 'truncated', leading to files to stay 'active'.

This would lead these files staying in the SMB's state. In long running
sessions with lots of files this would lead to performance and memory
use issues.

This patch cleans truncates the file that was being transmitted when
a file transaction is being closed.

smb: check post-gap timeouts once a second at most

smb: update ts only if it changed

output/tftp: Convert to JsonBuilder

This commit converts the TFTP logging mechanisms to JsonBuilder.

signature: fix linked list for bidirectional signatures

Bidirectional signatures are really two signatures with one id
This needs to be handled with care when changing a linked list

detect: fail properly on invalid transform pcrexform

detect/flowbits: fix stack overflow in analyzer

Fix stack overflow in DetectFlowbitsAnalyze.

Use dynamically allocated array instead of stack and free
it after it is no longer needed.

netflow/eve: convert to JsonBuilder

doc: Correct typos

doc: Update byte_extract doc

doc: Fix spelling error

general: Fix spelling error

detect/content: Validate content byte array

This commit checks whether the content byte array is compatible with the
transforms, if any, for the rule.

detect: Add transform validation api

This commit extends the API with a function that validates arguments
against the transforms for the SM list (if any).

detect/transform: Add validation function

This commit adds a function to pre-validate buffers. If a content
buffer contains whitespace, the validation fails.

detect/transform: Add transform "validate" function

This commit adds an (optional) entry for a validation function. The
validation function, if present, will be used during rule processing.

Its role is to determine if the arguments are compatible with the
transform. E.g., a content string of "this string has whitespace" is not
compatible with the `strip_whitespace` transform.

dhcp/eve: remove erroneous jsonbuilder close

The JsonBuilder was being closed to early.

jsonbuilder: add debug_validate to state

If debug validation is enabled, panic on invalid state errors.

For example, calling close on an already closed jsonbuilder
object.

rust: macro debug_validate_fail to fail with message

Add a new debug_validate macro that unconditionally panics
with a message. Useful in Rust pattern matching.

output/fileinfo: Optimize filename output

This commit optimizes the JSON preparation of the file name by
eliminating the temporary copy before adding to the Json builder buffer.

output/rdp: Include common output options

This commit will cause common metadata values and the community id to be
included in log output when configured.

output/dhcp: Include common output options

This commit will cause common metadata values and the community id to be
included in log output when configured.

output/smb: Include common output options

This commit will cause common metadata values and the community id to be
included in log output when configured.

output/tftp: Include common options

This commit will cause common metadata values and the community id to be
included in log output when configured.

detect/http_raw_header: Correct type mismatch

This changeset fixes a bug on the computation of the buffer
lenght for raw http headers. The bug is due to a mismatch
on the data type of the length (uint8_t vs uint32_t) and it
was causing signature misses.

doc/manpage: improve intro, add examples

rule/parse: minor action parsing cleanup

doc/manpage: add --reject-dev option

doc/userguide: update app-proto list

doc/userguide: list valid rule actions

reject: support single vlan layer

Support sending RST/ICMP errors for packet with a single VLAN header.

reject: get MTU for reject-dev and use it

reject: minor optimization of reset entry code

reject: remove L3 from function names

reject: allow configuration of the reject interface

Using the '--reject-dev <dev>' commandline option. This is a global option
that applies to all 'reject' actions.

If the interface specified is using ethernet, libnet will use the faster
L2 (link) layer. Suricata sets up the ethernet header based on the packet.

When the interface is specified, cache libnet_t ctx for (much) better
performance.

reject: don't respond to tunnel packets

reject: check tcp header sooner to avoid potential leak

reject: optimize and simplify run test

reject: never return error

Errors by thread modules are not handled.

file-hash-common: fix rule_file truncation

Loading file hash lists uses dirname(3) on the
de_ctx->rule_file which modifies the contents,
removing the last part of the path. So on subsequent
calls the rule_file no longer contains the rule_file,
but instead just the directory name.

Mostly noticed when using "-S" with rule files outside
of the default-rule-path which requires more hunting for
the rule file.

output/ftp: Use "Eve" prefix with FTP helpers

This commit changes the prefix of the FTP helper routines from Json to
Eve.

output/eve: Remove unused helper function

This commit removes an unused helper function no longer required/used
after conversion to JsonBuilder.

ftp/eve: Convert FTP logging to use JsonBuilder

This commit converts the FTP logging mechanisms to use JsonBuilder.

smb/eve: convert to jsonbuilder

Closes redmine ticket 3712.

output/anomaly: Use helpers for string output

output/flow: Use helpers for string output

output/json: Include fileinfo in alerts

This commit adds fileinfo to alerts when `metadata` is configured.

json: macro for setting formatted false value

output/json: Refactor file output helper

This commit creates a common file output helper function based on the
logic in output-file-info.c:BuildBuildFileInfoRecord

The refactored helper will be used to create "fileinfo" information
during the alert output path.

util: check if parsed data is in range

src: remove multiple uses of atoi

atoi() and related functions lack a mechanism for reporting errors for
invalid values. Replace them with calls to the appropriate
ByteExtractString* and StringParse* functions.

Partially closes redmine ticket #3053.

affinity: Convert nb_threads to uint32_t

napatech: make stream_id uint8_t

redis: Change port type to uint16_t

rust: lock to nom 5.1.1

5.1.2 pulls in dependencies that don't build on Rust 1.34.

app-layer: remove old MPMId API calls

Had been deprecated and non-functional since 2017.

json: macros for setting formatted true and string values

JB_SET_TRUE(jb, key), and JB_SET_STRING(string, key, val) are C macros
around jb_set_formatted to set static string and true values as a
(micro) optimization.

jsonbuilder: setter for formatted data

Create a method to set preformatted data that contains the key
and the value already formatted.

This is an optimization for static data.

jsonbuilder: export {set,append}_string_from_bytes to C

jsonbuilder: use Box::from_raw instead of transmute to free

I think this is a bad use of transmute, while the end result
is the same, Box::from_raw is more correct as we created this
pointer with Box::into_raw.

signature: adds file flag for file_data keyword

So that SigValidate can check if a protocol not supporting
files was set after this keyword

ssh/eve: convert to jsonbuilder

doc: Improve tos description

This commit improves the description of the `tos` keyword by emphasizing
that the value used should adhere to the guidelines in RFC2474. Instead
of specifying the DSCP value directly, right shift the DSCP value and
use that.

doc: pcrexform documentation

detect: Register pcrexform

This commit registers the `pcrexform` transform.

transform/pcrexform: Add pcrexform source files

detect/pcrexform: New transform: applies RE

This commit adds a new transform -- pcrexform -- that applies a regular
expression to the transformation buffer. If an expression was captured,
that is output to the transformation buffer. Otherwise, the
transformation buffer is unchanged.

detect: Add constant for new transform

This commit adds the definition of the new `pcrexform` transform.

detect/transform: Support transform options

This commit adds support for transform-specific options. During Setup,
transforms have the signature string available for options detection.
When a transform detects an option, it should convert the option into an
internal format and supply a pointer to this format as the last argument
to DetectSignatureAddTransform.

Transforms that support options must provide a function in their
Sigmatch table entry. When the transform is freed, a pointer to the
internal format of the option is passed to this function.

general: Correct typos

general: Update copyright year

detect/asn1: Fix relative_offset keyword option

- Fix relative_offset keyword option to be relative in regards to the
last content match
- Change relative_offset to int32_t with bounds check to allow the full
range of the packet buffer size (uint16_t)
- Added checks for over/underflows
- Changed the offset type to uint16_t because the offset is applied to
the payload length, which is a uint16_t
- Adjusted test cases to work relative to the content match
- Added test case to verify bounds

redis: ensure a dump per second

In sync mode, Suricata was waiting to have batch size alerts before
logging them. This was introducing delay in some configuration with
low traffic.

redis: fix reconnect in batch mode

In case of redis outage, the redis session was reset but the replies
were still fetch even if there is none replies in the new session.

redis: add support for unix socket

If there is a '/' in the redis server string then we consider that
the connection should be done other a unix socket.

cmdline: --list-app-layer-protos respects -c arg

htp: enforce body limits more exact

eve/alert: convert decoder event logging to jsonbuilder

eve/anomaly: don't add timestamp twice

Timestamp is added unconditionally by CreateEveHeader(), so no need
to have a local timestamp in case of non-IP packets.

eve/alert: clean up decoder event logging

eve/nfs: switch output to jsonbuilder

jsonbuilder: fix build error

Clang's build in travis-ci is actually failing because of this error:

output-json-alert.c:476:40: error: missing field 'state_index' initializer

      [-Werror,-Wmissing-field-initializers]

            JsonBuilderMark mark = { 0 };

userguide: remove old drop-log documentation

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2381

drop-log: remove drop log (deprecated)

Remove the old style line based drop log.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2381

userguide: RDP now enabled by default

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3255

rdp: enable by default

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3255

userguide: SIP now enabled by default

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3256

sip: enable by default

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3256

Napatech: Fix network byte order when comparing addresses

This fixes an issue where the "endieness" was not properly accounted for
when comparing two IPv4 addresses to be sorted.

Napatech: Change to use separate FlowStream handle for each thread

Previously a single handle to the FlowStream (which is  used to program
flows to the card) was shared between the threads.  This resulted
in contention between the threads where sometimes programming the flow would
silently fail.

doc/userguide: add IPS with BPF info, minor cleanups

eve: print interface info for vxlan and other tunnel pkts

github-ci: allow pull-request to be referenced in pr body

For example, to use suricata-verify pr #239:

suricata-verify-pr: 239

Also update the pull request template to contain the available
parameters that can be set.

rfb/eve: convert to jsonbuilder

smtp/eve: convert to jsonbuilder

jsonbuilder: add reset marks

Add methods to get the state of a JsonBuilder (called a mark),
then allow restoring to the mark.

anomaly/eve: convert to jsonbuilder

tls/eve: convert to jsonbuilder

http/eve: remove jansson version of metadata logger

With fileinfo converted over to JsonBuilder, these
Jansson versions are no longer needed.

fileinfo-filestore/eve: convert to jsonbuilder