flow/bypass: don't bypass on flow timeout pseudo packets

rule parsing: valid that input rule string is UTF8

Before parsing a rule string, validate that it is UTF-8 first.

Related Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3850

rust/util: expose function to test strings for valid UTF-8

rs_check_utf8 will check that the provided string is valid
UTF-8 by converting it to a Rust string and returning true
or false.

http/eve: use set_string_from_bytes where appropriate

The JsonBuilder set_string_from_bytes will escape unprintable
characters in the output stream. Using BytesToStringBuffer
can generate invalid UTF-8 which prevents the conversion from
a C string to a Rust string.

detect/dataset: error if set couldn't be fully loaded

datasets: free old data when reusing a hash container

log: Log errors while writing log info

This commit adds logic to log errors during output. Errors are logged
once and the number of errors is maintained.

log: Add log output error code

log: Use unlocked variants of stdio functions

This commit uses the unlocked variants of additional stdio functions

log: Add more stdio_unlocked macros

This commit adds additional macros for interfaces in stdio_unlocked
according to their local availability.

error: reformat enum

app-layer: handle parser return code issues more gracefully

pcap: fix minor scan-build warnings

commandline: add static analyzer hint for -r parsing

commandline: minor formatting fixes

general: Improve grammar in error messages

This commit corrects a minor grammar issue in address/port error
messages.

decode/geneve: add config to yaml

github-ci: apply default CFLAGS to all builds

github-ci: add test build without jansson

This is to cover a test from Travis CI where we make sure
that ./configure fails if libjansson is not available.

github-ci: update debian 9 test to use known Rust version

Choose Rust 1.39.0 as a known version of Rust that we build against
to see in CI if we build with this version, but fail with latest.

This is to cover a similar test from Travis CI.

github-ci: enable debug on Fedora 32 build

github-ci: check that configure fails if rust to old

Migration of similar test from Travis-CI.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3869

github-ci: Ubuntu 20.4 build with -NDEBUG

To cover Travis-CI test that builds with -NDEBUG.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3869

github-ci: ubuntu 20.04 build without nss/nspr

Adds a test that builds and tests Suricata without nss/nspr
to replace the similar test on Travis-CI.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3869

github-ci: Fedora 32 builder with asan enabled

Also enables -Wshadow and rust-strict to cover those cases
from Travis.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3868

decode/teredo: Modified/refactored Teredo logic

This is just a slight refactor to make analagous decoding/encapsulation
schemes - Geneve, Teredo, and VXLAN - be implemented as similarly as
possible.

decode/vxlan: Modified/refactored VXLAN logic

This is just a slight refactor to make analagous decoding/encapsulation
schemes - Geneve, Teredo, and VXLAN - be implemented as similarly as
possible.

decode/geneve: Add Geneve decoding functionality

These changes are in response to feature request 3063. Geneve is
very similar to VXLAN, but uses a slightly different encapsulation
scheme.

doc: dns - document additional fields in eve event

Documentation of additional fields for soa and sshfp. Also some minor
doc fixes and updates.

dns: parse and log fields for SOA record type

Added `dns_parse_rdata_soa` to parse SOA fields into an `DNSRDataSOA`
struct.

Added logging for answer and authority SOA records in both version
1 & 2, as well as grouped formats.

dns: use nom's rest to take all remaining rdata

Using nom's `rest` combinator eliminates the need to call the do_parse
macro for parsing a single element.

dns: refactor to handle more rdata formats

Represent rdata as `DNSRData` enum variants instead of `Vec<u8>`.
This will allow parsing/logging of more complex formats like SOA.

decode: reformat event table

doc: Improve grammar, spelling and clarifications

This commit improves the overall documentation's grammar, spelling, and
adds clarifications  where needed.

plugins: require registration function SCPluginRegister

Instead of looking for a symbol, "PluginSpec" look for a function
named SCPluginRegister that returns a SCPlugin.

This makes it much easier to create Rust plugins without having
to deal with dlopen constructors and such, which is rather
straight forward in C, but a bit of advanced boilerplate in Rust
that can be eliminated by simply calling a registration function.

rust/log: minor cleanup

Group functions for setting and getting the log level
together.

rust: function macro now returns the function name

Borrow a macro from https://github.com/popzxc/stdext-rs that
will give us the Rust function name in SCLog messages in Rust.

As this trick only works on Rust 1.38 and newer, keep the old
macro around and set a feature based on a Rust version test
done during ./configure.

rust: plugin bootstrap function

Functions written in Rust will need to suricata::plugin::init()
to bootstrap themselves. This bootstrap process sets the log level
within the Rust address space, and hooks up function pointers
that are expected to be set during normal runs of Suricata.

rust/log: set the log level with a pure Rust function

Make sure the log level is setup with a pure Rust function, so
when it is set, its set within the address space of the caller.

This is important for Rust plugins where the Rust modules are not
in the address space of the Suricata main process.

suricata: expose the SuricataContext with a function

Expose the "SuricataContext" required by Rust as a function. During
normal startup we register this context with the Rust code, but
plugins written in Rust will need to get the same registration
done, but to do this in a plugin, the plugin code must
call and set the context within its address space.

logging: expose the log level with a function

The log level needs to exposed so Rust plugins can bootstrap
themselves with the correct login to SCLogNotice!(), etc work
as expected.

rust/logging: allow log macros to be used by plugins

Fix plugin macros so they can be used by external Rust crates
such as plugins.

rust/Cargo: build as rlib for plugin linkage

Build Rust code as an rlib, in addition to a staticlib so plugins
can link with the Rust code.

rust-context: remove unused opaque type Store

runmodes: memory leak on runmode single

configure: fix test for rust headers for cross compile

Use "if test ..." instead of AC_CHECK_FILES which does not work
when cross compiling.

config/lua: Cross-compiling support

This commit guards the run-time check for a Lua integer so that it no
longer attempts execution in a cross-compilation environment.

config/pcre: Improved support for cross-compiling

This commit changes the logic used to determine if pcre_jit_exec is
available from a run-time to a compile-time check.

output: Remove unused output functions

This commit removes registration, initialization, and de-initialization
functions no longer needed

log: Remove standalone output registration

Remove standalone output logger registration since eve is
multi-instance.

doc: http.host keyword note for matching on port

Signed-off-by: jason taylor <jtfas90@gmail.com>

flow: fix multi-manager hash range calculation

github-ci: fix building against request libhtp/sv PR

The variable name was wrong, causing the libhtp-pr and sv-pr
parameters in the commit message to not be applied.

flow: suppress noisy messages

dns: simply skips zero-sized dns requests/responses

dcerpc: validate signature with dcerpc keywords

so that they do not use another protocol's keywords

http: handles gaps

ie data=NULL and len>0 from libhtp callbacks

flowbits: convert flowbits dumping to json builder

detect/analyzer: convert to jsonbuilder

ci: Run formatting check on pull request

util: Add clang-format helper script

doc: Add dev code-style

common: Add clang-format file

clang-format allows to auto-format C code. The settings here are set
up to follow the code style, see
https://redmine.openinfosecfoundation.org/projects/suricata/wiki/Coding_Style.

threshold: fix potential memory leak

reject: minor code cleanup

Use enum for direction to assist compiler.

stream: fix GAP size

Fix GAPs sizes sometimes exceeding the ACK'd data size.

stream: fix deinit after incomplete init

output/flow: fix deinit after incomplete init

nfq: suppress debug message using info level

plugins: suppress coverity toctou warning

flow: work around harmless coverity warnings

flow: fix spare sync incomplete counter

reject: work around coverity warning

plugin: fix typo in long_opts struct

mqtt: fixed wrong slice access

Slice access esults in rust panic when mqtt ping is processed

napatech: Style -- remove extra space

napatech: Use proper parser for type

This commit uses the proper parser call for the value being parsed.

napatech: Improve configuration range handling

This commit corrects issues parsing ranges from the Napatech section of
the configuration file.

napatech: Fix compiler issues w/out bypass

This commit fixes compiler errors when Napatech bypass is not configured

threshold: Change rule parsing to use pcre_copy_substring

Fixes memory leak when parsing threshold rules.
All parsed strings are less than 16 characters except
for the IP address which could be up to 48 characters.
Remove redefinition of MAX_SUBSTRINGS

configure: fix detection of netfilter_queue with older headers

Define _GNU_SOURCE and include sys/types.h so older
netfilter_queue headers can be detected properly, as they are
using u_int_xx style integers.

doc/userguide: fix outdated xdp info

plugins: track all loaded plugins in a list

Track the pointer returned from dlopen in a list to prevent a
resource leak by the pointer going out of scope.

Found by Coverity, CID 1465661.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3864

plugins: use closedir to close open directory (not free)

Found by Coverity, CID 1465665: ALLOC_FREE_MISMATCH.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3864

output-json: fix Coverity USE_AFTER_FREE

Return error if plugin open fails. Fixes Coverity CID 1465664
USE_AFTER_FREE error.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3864

automake: add acsite.m4 to EXTRA_DIST

This file is required to successfully re-run autoreconf, which
many packaging tools will do even on a prepared distribution
archive.

github-ci: add autoreconf to centos-7 build

The prepared distribution packages are failing autoreconf
due to a missing acsite.m4. Add autoreconf to the centos-7
build which uses the prepared package to test for this
issue.

fuzz/pcap: add missing flow queue

fuzz/pcap: enable http2

version: continue 6 development

version: update to 6.0.0-beta1

changelog: update for 6.0.0-beta1

plugins: remove unused func, suppressing compile warning

plugins: add missing guards

detect/http2: fix header inspection

Header inspection was overwriting data that was still being
referenced by the detect engine, leading to ASAN issues.

output/ssh: Use correct file context

This commit corrects an issue with the SSH output module that resulted
in a SEGV when SSH output is logged.

plugins: support for capture plugins

Allow a plugin to register itself as a capture source. This isn't that
much different than how current sources register, it just happens
a little later on during startup.

One "slot" is reserved for capture plugins, but multiple plugins
implementing a capture can be loaded.  The --capture-plugin command
line option must be used to tell Suricata which plugin
to use.

This is still very much a work in progress, but can load
PF_RING as a capture plugin.

plugins: initial support for a filetype plugin

A filetype plugin is a plugin that implements an eve filetype. Most
of the current filetypes could likely be implemented as such a plugin.
Such a plugin must implement Open, Close and Write, where Write
is provided the formatted JSON to be logged.

This commit also includes the plumbing for plugin loading. Example
plugin to come.

Plugins are loaded by the "plugin" section in the configuration
file:

  plugins:
    - /path/to/directory/plugins
    - /path/to/plugin_file.so

This can also be done on the command line with:

  --set plugins.0=/path/plugin_file.so

util-error: define generic plugin error code

configure: check for plugin support

Currently plugin support requires the dlfcn.h header
file and compiler support for -rdynamic.