app-layer: improve depth handling

Consider txs inspected and done for a direction after depth is reached for
that direction.

stream: make sure to call app-layer in case of depth reached

dcerpc: implement tx free function

dcerpc/tcp: implement trunc logic

When one side of the connection reaches the STREAM_DEPTH condition the
parser should be aware of this. Otherwise transactions will forever be
waiting for data in that direction.

applayer/rust: expose truncate callback

app-layer: don't check tx detect flags if detect is disabled

stream: remove GAP flag from stream

This flag was checked in many places, but never set expect in 2 unittests.

log/eve: Rename fileinfo alert object to files

This commit changes the name of the "fileinfo" array in the alert object
to "files" to better support legacy use of "fileinfo" in reporting and
elsewhere.

The "fileinfo" event type is not an array while the alert "fileinfo"
member was.

doc/userguide: include man page even when not including pdf

Fix a mistake in Makefile.am where the man page was only being
added to the distribution if the PDF was also created. It should
be included even if the PDF cannot be included.

dcerpc: fix datatypes while handling stub data

dcerpc: fix datatype for stub data len

rust: rebuilds std when building fuzzers

so as to have MSAN working

version: continue 6 development

version: update to 6.0.0-rc1

changelog: update for 6.0.0-rc1

dceprc: signature rust check with is_char_boundary

before calling split_at which would panic

datasets: use default memcap

detect: initialize pointer before calling pcre_study

So as not to check an uninitialized value
Found by MSAN

datasets: remove experimental warning

doc/datasets: add info about memcap and hashsize

datasets: parse defaults section from yaml

Datasets can now have a global defaults setting in suricata.yaml. In
case the settings for memcap and hashsize are not find in the yaml or
rule, this shall be the fallback.

Example:

datasets:
  defaults:
    memcap: 100mb
    hashsize: 2048
  ua-seen:
    type: string
    load: datasets.csv

datasets: allow memcap, hashsize be set via yaml or rule

It is now possible to set the memcap and hashsize via suricata.yaml and
rules.

Rule example:

alert http any any -> any any (http.user_agent; dataset:isset,ua-seen,type string,load datasets.csv,memcap 100mb,hashsize 2048; sid:1;)

suricata.yaml example:

datasets:
  ua-seen:
    type: string
    load: datasets.csv
    memcap: 20mb
    hashsize: 2048

datasets: allow max possible memcap while loading

While using the "load" option of datasets, it should be possible to load
any file from the disk, so set the limit to highest possible.

rules/tls: sync with changes to the TLS events

Sync rules with event changes in commit
01aef49cbd32fb2437d1615a2111111e5f3ee862.

log/eve: Ensure eve logs have sequential suffixes

This commit ensures that the eve logs have sequential suffixes without
gaps.

atomics: Add "decl and init with value" function

This commit adds an interface to declare and initialize an atomic with a
specific value. This can help with situations where there's no defined
initialization path to set things up.

log: Ensure threaded eve honors SIGHUP

This commit ensures that all logging contexts register for the file
rotation mechanism (SIGHUP and configured).

doc: document removal of unified2

And suggest an alternate tool, Meer if compatibility with
Barnyard2 style databases is required.

Redmine ticket:
https://redmine.openinfosecfoundation.org/issues/3497

doc: add removal of individual json loggers

Add link to multiple eve instances as a replacement for this
feature.

http: disables lzma by default for HTTP

http2: settings from http1 upgrade

http2: mimic HTTP1 request from upgrade

http2: first connection upgrade from http1

dnp3: fix unit tests when fuzzing

applayer: keep running detection on protocol change

ie do not stop on first try if we do not have enough data

applayer: on protocol change, use previous state

http: removal of connect unit tests

moved to suricata-verify

applayer: pass parameter to StateAlloc

This parameter is NULL or the pointer to the previous state
for the previous protocol in the case of a protocol change,
for instance from HTTP1 to HTTP2

This way, the new protocol can use the old protocol context.
For instance, HTTP2 mimicks the HTTP1 request, to have a HTTP2
transaction with both request and response

mqtt: add some extra tests for varint parsing

http2: handles incomplete frames after banner

To signal incomplete data, we must return the number of
consumed bytes. When we get a banner and some records, we have
to take into account the number of bytes already consumed by
the banner parsing before reaching an incomplete record.

mqtt: limit size of variable integer

datasets: fix dataset load path construction

Test the full path instead of just the filename provided in the
rule to see if it exists.

Fixes the case where a rule file is loaded from a directory
other than the default-rule-directory.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3916

http2: returns error in case of index 0

As is documented in RFC 7541, section 6.1
The index value of 0 is not used.  It MUST be treated as a decoding
error if found in an indexed header field representation.

signature: frees transform options in SigMatchPrepare

detect: checks for overflow when comparing signatures priorities

flow: suppress Coverity FP

flow: minor code cleanup

flow: turn BUG_ON into debug check

ebpf: fix invalid description in doc string

doc/datasets: explain reloads, general improvements

detect/app-layer-events: improve warnings/errors

Improve handling of outdated events that are no longer supported by the engine.

prscript: port to python 3

flow/bypass: don't bypass on flow timeout pseudo packets

rule parsing: valid that input rule string is UTF8

Before parsing a rule string, validate that it is UTF-8 first.

Related Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3850

rust/util: expose function to test strings for valid UTF-8

rs_check_utf8 will check that the provided string is valid
UTF-8 by converting it to a Rust string and returning true
or false.

http/eve: use set_string_from_bytes where appropriate

The JsonBuilder set_string_from_bytes will escape unprintable
characters in the output stream. Using BytesToStringBuffer
can generate invalid UTF-8 which prevents the conversion from
a C string to a Rust string.

detect/dataset: error if set couldn't be fully loaded

datasets: free old data when reusing a hash container

log: Log errors while writing log info

This commit adds logic to log errors during output. Errors are logged
once and the number of errors is maintained.

log: Add log output error code

log: Use unlocked variants of stdio functions

This commit uses the unlocked variants of additional stdio functions

log: Add more stdio_unlocked macros

This commit adds additional macros for interfaces in stdio_unlocked
according to their local availability.

error: reformat enum

app-layer: handle parser return code issues more gracefully

pcap: fix minor scan-build warnings

commandline: add static analyzer hint for -r parsing

commandline: minor formatting fixes

general: Improve grammar in error messages

This commit corrects a minor grammar issue in address/port error
messages.

decode/geneve: add config to yaml

github-ci: apply default CFLAGS to all builds

github-ci: add test build without jansson

This is to cover a test from Travis CI where we make sure
that ./configure fails if libjansson is not available.

github-ci: update debian 9 test to use known Rust version

Choose Rust 1.39.0 as a known version of Rust that we build against
to see in CI if we build with this version, but fail with latest.

This is to cover a similar test from Travis CI.

github-ci: enable debug on Fedora 32 build

github-ci: check that configure fails if rust to old

Migration of similar test from Travis-CI.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3869

github-ci: Ubuntu 20.4 build with -NDEBUG

To cover Travis-CI test that builds with -NDEBUG.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3869

github-ci: ubuntu 20.04 build without nss/nspr

Adds a test that builds and tests Suricata without nss/nspr
to replace the similar test on Travis-CI.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3869

github-ci: Fedora 32 builder with asan enabled

Also enables -Wshadow and rust-strict to cover those cases
from Travis.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3868

decode/teredo: Modified/refactored Teredo logic

This is just a slight refactor to make analagous decoding/encapsulation
schemes - Geneve, Teredo, and VXLAN - be implemented as similarly as
possible.

decode/vxlan: Modified/refactored VXLAN logic

This is just a slight refactor to make analagous decoding/encapsulation
schemes - Geneve, Teredo, and VXLAN - be implemented as similarly as
possible.

decode/geneve: Add Geneve decoding functionality

These changes are in response to feature request 3063. Geneve is
very similar to VXLAN, but uses a slightly different encapsulation
scheme.

doc: dns - document additional fields in eve event

Documentation of additional fields for soa and sshfp. Also some minor
doc fixes and updates.

dns: parse and log fields for SOA record type

Added `dns_parse_rdata_soa` to parse SOA fields into an `DNSRDataSOA`
struct.

Added logging for answer and authority SOA records in both version
1 & 2, as well as grouped formats.

dns: use nom's rest to take all remaining rdata

Using nom's `rest` combinator eliminates the need to call the do_parse
macro for parsing a single element.

dns: refactor to handle more rdata formats

Represent rdata as `DNSRData` enum variants instead of `Vec<u8>`.
This will allow parsing/logging of more complex formats like SOA.

decode: reformat event table

doc: Improve grammar, spelling and clarifications

This commit improves the overall documentation's grammar, spelling, and
adds clarifications  where needed.

plugins: require registration function SCPluginRegister

Instead of looking for a symbol, "PluginSpec" look for a function
named SCPluginRegister that returns a SCPlugin.

This makes it much easier to create Rust plugins without having
to deal with dlopen constructors and such, which is rather
straight forward in C, but a bit of advanced boilerplate in Rust
that can be eliminated by simply calling a registration function.

rust/log: minor cleanup

Group functions for setting and getting the log level
together.

rust: function macro now returns the function name

Borrow a macro from https://github.com/popzxc/stdext-rs that
will give us the Rust function name in SCLog messages in Rust.

As this trick only works on Rust 1.38 and newer, keep the old
macro around and set a feature based on a Rust version test
done during ./configure.

rust: plugin bootstrap function

Functions written in Rust will need to suricata::plugin::init()
to bootstrap themselves. This bootstrap process sets the log level
within the Rust address space, and hooks up function pointers
that are expected to be set during normal runs of Suricata.

rust/log: set the log level with a pure Rust function

Make sure the log level is setup with a pure Rust function, so
when it is set, its set within the address space of the caller.

This is important for Rust plugins where the Rust modules are not
in the address space of the Suricata main process.

suricata: expose the SuricataContext with a function

Expose the "SuricataContext" required by Rust as a function. During
normal startup we register this context with the Rust code, but
plugins written in Rust will need to get the same registration
done, but to do this in a plugin, the plugin code must
call and set the context within its address space.

logging: expose the log level with a function

The log level needs to exposed so Rust plugins can bootstrap
themselves with the correct login to SCLogNotice!(), etc work
as expected.

rust/logging: allow log macros to be used by plugins

Fix plugin macros so they can be used by external Rust crates
such as plugins.

rust/Cargo: build as rlib for plugin linkage

Build Rust code as an rlib, in addition to a staticlib so plugins
can link with the Rust code.

rust-context: remove unused opaque type Store

runmodes: memory leak on runmode single

configure: fix test for rust headers for cross compile

Use "if test ..." instead of AC_CHECK_FILES which does not work
when cross compiling.

config/lua: Cross-compiling support

This commit guards the run-time check for a Lua integer so that it no
longer attempts execution in a cross-compilation environment.

config/pcre: Improved support for cross-compiling

This commit changes the logic used to determine if pcre_jit_exec is
available from a run-time to a compile-time check.