util: check if parsed data is in range

src: remove multiple uses of atoi

atoi() and related functions lack a mechanism for reporting errors for
invalid values. Replace them with calls to the appropriate
ByteExtractString* and StringParse* functions.

Partially closes redmine ticket #3053.

affinity: Convert nb_threads to uint32_t

napatech: make stream_id uint8_t

redis: Change port type to uint16_t

rust: lock to nom 5.1.1

5.1.2 pulls in dependencies that don't build on Rust 1.34.

app-layer: remove old MPMId API calls

Had been deprecated and non-functional since 2017.

json: macros for setting formatted true and string values

JB_SET_TRUE(jb, key), and JB_SET_STRING(string, key, val) are C macros
around jb_set_formatted to set static string and true values as a
(micro) optimization.

jsonbuilder: setter for formatted data

Create a method to set preformatted data that contains the key
and the value already formatted.

This is an optimization for static data.

jsonbuilder: export {set,append}_string_from_bytes to C

jsonbuilder: use Box::from_raw instead of transmute to free

I think this is a bad use of transmute, while the end result
is the same, Box::from_raw is more correct as we created this
pointer with Box::into_raw.

signature: adds file flag for file_data keyword

So that SigValidate can check if a protocol not supporting
files was set after this keyword

ssh/eve: convert to jsonbuilder

doc: Improve tos description

This commit improves the description of the `tos` keyword by emphasizing
that the value used should adhere to the guidelines in RFC2474. Instead
of specifying the DSCP value directly, right shift the DSCP value and
use that.

doc: pcrexform documentation

detect: Register pcrexform

This commit registers the `pcrexform` transform.

transform/pcrexform: Add pcrexform source files

detect/pcrexform: New transform: applies RE

This commit adds a new transform -- pcrexform -- that applies a regular
expression to the transformation buffer. If an expression was captured,
that is output to the transformation buffer. Otherwise, the
transformation buffer is unchanged.

detect: Add constant for new transform

This commit adds the definition of the new `pcrexform` transform.

detect/transform: Support transform options

This commit adds support for transform-specific options. During Setup,
transforms have the signature string available for options detection.
When a transform detects an option, it should convert the option into an
internal format and supply a pointer to this format as the last argument
to DetectSignatureAddTransform.

Transforms that support options must provide a function in their
Sigmatch table entry. When the transform is freed, a pointer to the
internal format of the option is passed to this function.

general: Correct typos

general: Update copyright year

detect/asn1: Fix relative_offset keyword option

- Fix relative_offset keyword option to be relative in regards to the
last content match
- Change relative_offset to int32_t with bounds check to allow the full
range of the packet buffer size (uint16_t)
- Added checks for over/underflows
- Changed the offset type to uint16_t because the offset is applied to
the payload length, which is a uint16_t
- Adjusted test cases to work relative to the content match
- Added test case to verify bounds

redis: ensure a dump per second

In sync mode, Suricata was waiting to have batch size alerts before
logging them. This was introducing delay in some configuration with
low traffic.

redis: fix reconnect in batch mode

In case of redis outage, the redis session was reset but the replies
were still fetch even if there is none replies in the new session.

redis: add support for unix socket

If there is a '/' in the redis server string then we consider that
the connection should be done other a unix socket.

cmdline: --list-app-layer-protos respects -c arg

htp: enforce body limits more exact

eve/alert: convert decoder event logging to jsonbuilder

eve/anomaly: don't add timestamp twice

Timestamp is added unconditionally by CreateEveHeader(), so no need
to have a local timestamp in case of non-IP packets.

eve/alert: clean up decoder event logging

eve/nfs: switch output to jsonbuilder

jsonbuilder: fix build error

Clang's build in travis-ci is actually failing because of this error:

output-json-alert.c:476:40: error: missing field 'state_index' initializer

      [-Werror,-Wmissing-field-initializers]

            JsonBuilderMark mark = { 0 };

userguide: remove old drop-log documentation

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2381

drop-log: remove drop log (deprecated)

Remove the old style line based drop log.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2381

userguide: RDP now enabled by default

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3255

rdp: enable by default

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3255

userguide: SIP now enabled by default

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3256

sip: enable by default

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3256

Napatech: Fix network byte order when comparing addresses

This fixes an issue where the "endieness" was not properly accounted for
when comparing two IPv4 addresses to be sorted.

Napatech: Change to use separate FlowStream handle for each thread

Previously a single handle to the FlowStream (which is  used to program
flows to the card) was shared between the threads.  This resulted
in contention between the threads where sometimes programming the flow would
silently fail.

doc/userguide: add IPS with BPF info, minor cleanups

eve: print interface info for vxlan and other tunnel pkts

github-ci: allow pull-request to be referenced in pr body

For example, to use suricata-verify pr #239:

suricata-verify-pr: 239

Also update the pull request template to contain the available
parameters that can be set.

rfb/eve: convert to jsonbuilder

smtp/eve: convert to jsonbuilder

jsonbuilder: add reset marks

Add methods to get the state of a JsonBuilder (called a mark),
then allow restoring to the mark.

anomaly/eve: convert to jsonbuilder

tls/eve: convert to jsonbuilder

http/eve: remove jansson version of metadata logger

With fileinfo converted over to JsonBuilder, these
Jansson versions are no longer needed.

fileinfo-filestore/eve: convert to jsonbuilder

fileinfo: use addr info cache for address logging (jsonbuilder prep)

This is to prepare for JsonBuilder conversion where we can't
overwrite an already set value. Here we prepare the addresses
to be logged in a struct, overwite with XFF if needed, then
log.

http/eve: convert to jsonbuilder

flow/eve: convert to jsonbuilder

rust: allow some clippy lints without warning

Suppresses some clippy lints that have more to do with style
than anything else, to reduce the amount of noise in the
clippy output.

dns/eve: convert to jsonbuilder

sip/eve: convert to jsonbuilder

dhcp/eve: add common eve fields

Add the common eve fields like metadata and community id.

dhcp/eve: convert to jsonbuilder

alert/eve: convert to jsonbuilder

Convert alert Eve logging JsonBuilder. Currently
makes heavy use of JsonBuilder being able to log Jansson's json_t
which is a temporary measure until all protocols loggers can be
converted to JsonBuilder.

New functions that replace Jansson versions with JsonBuilder
variations use "Eve" instead of "JSON".

jsonbuilder: new module for generating json

JsonBuilder is a Rust module for creating JSON output. Unlike
Jansson, the final JSON string is built up as items are added,
instead of building up an object tree and rendering it when
done.

The idea is to create a more efficient JSON serializer instead
of a flexible one.

rust: bring back libc as a dependency

Its already pulled in by some of other dependencies so adds zero
extra weight, and provides handy definitions for basic functions
like free().

rust/json: expose libjansson json_dumps

This will be temporarily used by JsonBuilder to add the ability
to extend JsonBuilder with Jansson's json_t types.

alert/eve: use addr info struct for source/target (jsonbuilder prep)

Update the source/target logging to use the cached address info
instead of fetching it from the constructed json_t object.

This is required for migration to JsonBuilder which does not
have the ability to retrieve already set fields.

flow/eve: separate flow and app_proto logging (jsonbuilder prep)

Currently the flow logger also logs app_proto information,
but not to the flow object, but instead to the root object
of the log record.

Refactor into 2 separate methods, one for the app_proto
and one for the flow, to make this more clear, as well
as make it easier to refactor for JsonBuilder as JsonBuilder
can only write to the currently open object.

eve/fivetuple: use intermediate address struct (jsonbuilder prep)

Currently alert logging relies on the ability to change existing
values in the json_t structure to overwrite addresses with xff
data. This feature is also used for the "target" logging.

As we can't do this with JsonBuilder, create a new struct to
hold the 5 tuple, with the values swapped as needed, and
overwritten with XFF data if needed. This struct will now
be used to write out the 5 tuple, as well as cache the information
for log fields to be written out later on in the log path.

alert/eve: remove jansson specific feature (jsonbuilder prep)

Remove the Jansson specific feature of being able to delete
an object from json_t, in prep for refactors to JsonBuilder.

Instead create a new header for each alert to be logged.

alert/eve: move logging of rule text (jsonbuilder prep)

Move the logging of the rule text to where the alert object
is being logged to remove the usage of json_object_get...

Getting previously logged objects will not be possible with
JsonBuilder.

detect/pcre: set app proto correctly when using modifiers

detect/pcre: minor code cleanups

detect: clarify and slightly cleanup non-pf logic

flow/manager: fix management tasks not running

Fix tasks not running on the first manager, even if there is just
a single manager.

ssh: minor cleanups in incomplete handling

app-layer: support Copy and Clone traits in AppLayerResult

app-layer: add methods to get status from AppLayerResult

ssh: handles incomplete record after banner

To signal incomplete data, we must return the number of
consumed bytes. When we get a banner and some records, we have
to take into account the number of bytes already consumed by
the banner parsing before reaching an incomplete record.

magic: get rid of global lock

Global magic context was involving a lock that appear to be really
costly for some traffic.

af-packet: fix warnings by undefined sanitizer

capture: optimize checksum handling

Don't use a flag in the livedev, but overwrite the config setting after
'auto' mode has determined checksums should be disabled.

build: allows use of env variable CARGO_BUILD_TARGET

needed by oss-fuzz

windows: fix timestring timezone display

Bug: #3690

detect/pcre: Use the keyword context for JIT stack

When PCRE `jit` is available, store the JIT stack in the keyword context
instead of on a global id. This ensures proper cleanup and
re-initialization over a rule reload.

profiling: c11 atomics fixup

github actions: extract repo/branch names from PR message

Create a "prep" build that parses libhtp, suricata-update and
suricata-verify repo and branch information from the pull
request message and turn these into artifacts that are
used by the builders

Examples:

libhtp-repo: https://github.com/OISF/libhtp
libhtp-branch: 0.5.x

suricata-verify-repo: http://github.com/OISF/suricata-verify
suricata-verify-branch: master

suricata-update-repo: http://github.com/OISF/suricata-update
suricata-update-branch: master

Other changes:
- checkout@v2 (faster)
- working directory cleanup

doc: document file-store v1 to v2 configuration changes

suricata.yaml: remove filestore v1 configuration

filestore v1: remove

File store v1 has been deprecated and was scheduled for removal
by June 2020.

Log an error if a file-store configuration is loaded without
version set to 2.

rules: add SSH decoder events rules

parse: move SSH parser from C to Rust

style: compressed function headers for rustfmt

rust: export enums definition to C

smb: Import constants from DCERPC

Remove DCERPC constants to avoid duplicate name errors. Import the
required constants from DCERPC implementation.

dcerpc: Replace C function calls with Rust

All the dead code in C after the Rust implementation is hereby removed.
Invalid/migrated tests have also been deleted.
All the function calls in C have been replaced with appropriate calls to
Rust functions. Same has been done for smb/detect.rs as a part of this
migration.

rust: Add DCERPC parser

This parser rewrites the DCE/RPC protocol implementation of Suricata
in Rust. More tests have been added to improve the coverage and some
fixes have been made to the tests already written in C. Most of the
valid tests from C have been imported to Rust.

File anatomy

src/dcerpc.rs
This file contains the implementation of single transactions in DCE/RPC
over TCP. It takes care of REQUEST, RESPONSE, BIND and BINDACK business
logic before and after the data parsing. DCERPCState holds the state
corresponding to a particular transaction and handles all important
aspects. It also defines any common structures and constants required
for DCE/RPC parsing irrespective of the carrier protocol.

src/dcerpc_udp.rs
This file contains the implementation of single transactions in DCE/RPC
over UDP. It takes care of REQUEST and RESPONSE parsing. It borrows the
Request and Response structs from src/dcerpc.rs.

src/detect.rs
This file contains the implementation of dce_iface and opnum detect
keywords. Both the parsing and the matching is taken care of by
functions in this file. Tests have been rewritten with the test data
from C.

src/parser.rs
This file contains all the nom parsers written for DCERPCRequest,
DCERPCResponse, DCERPCBind, DCERPCBindAck, DCERPCHeader, DCERPCHdrUdp.
It also implements functions to assemble and convert UUIDs. All the
fields have their endianness defined unless its an 8bit field or an
unusable one, then it's little endian but it won't make any difference.

src/mod.rs
This file contains all the modules of dcerpc folder which should be
taken into account during compilation.

Function calls

This is a State-wise implementation of the protocol for single
transaction only i.e. a valid state object is required to parse any
record. Function calls start with the app layer parser in C which
detects the application layer protocol to be DCE/RPC and calls the
appropriate functions in C which in turn make a call to these functions
in Rust using FFI. All the necessary information is passed from C to the
parsers and handlers in Rust.

Implementation

When a batch of input comes in, there is an analysis of whether the
input header and the direction is appropriate. Next check is about the
size of fragment. If it is as defined by the header, process goes
through else the data is buffered and more data is awaited. After this,
type of record as indicated by the header is checked. A call to the
appropriate handler is made. After the handling, State is updated with
the latest information about whatever record came in.
AppLayerResult::ok() is returned in case all went well else
AppLayerResult::err() is returned indicating something went wrong.

rust: Add debug_validate_bug_on macro

This macro allows to check if certain parts of the code are reachable
during fuzzing.

rust: Add new crate uuid

rust: Add Debug and PartialEq to AppLayerResult

fuzz: do not reuse global variable named suricata

fuzz: improves sigpcap target

So that it can cover alert generation
ie in function DetectRun, get past scratch.sgh == NULL condition

doc/devguide: create basic layout

Issue: #3343