eve: refactor OutputJsonBuilderBuffer to take context

All callers of OutputJsonBuilderBuffer are now calling it
using fields from an OutputJsonThreadCtx, so just pass
a pointer to the thread context now.

eve: convert many loggers to use generate thread context

- mqtt
- dnp3
- smtp
- ike
- dns
- alert
- tls
- anomaly
- drop
- file
- http
- http2
- templates
- dhcp

The idea is to factor out the commom code for setting
up the output file objects, which is repetitive, and
often done wrong when it comes to threading.

eve: reset buffer in OutputJsonBuilderBuffer

Reset the buffer here so each caller doesn't need to do it.

eve: factor thread context creation/free for reuse

eve: remove duplicate call to LogFileEnsureExists

Remove duplicate call to LogFileEnsureExists in the generic
eve thread init function.

github-ci: add ebpf build

Use Debian 10 to build eBPF.

util/ebpf: fix deprecation warning

The function bpf_program__title has been deprecated in favor of
bpf_program__section_name.

ebpf: fix gre encapsulation in xdp_lb

The xdp_lb was not handling correctly the GRE load balancing
and it was not supporting the GRE + ERSPAN that is used by
some aggregator devices.

ippair/bit: fix formatting

ebpf/util: change flow storage to new 'id' type

device/storage: use dedicated 'id' type

- Wrap the id in a new LiveDevStorageId struct, to avoid id
 confusion with other storage API calls.
- Formatting fixes by clang.

detect/engine-tag: fix typo

host/storage: use dedicated 'id' type

- Wrap the id in a HostStorageId struct to avoid id confusion
with other storage API calls.
- Fix formatting with clang script.

ippair/storage: use dedicated 'id' type

- Wrap the id in a new IPPairStorageId struct, to avoid id
confusion with other storage API calls.
- Formatting fixes by clang.

output/log: Removed pcie (Tilera) log vestiges

This commit removes the last remnants of the Tilera log output mechanism
(unsupported since 5.0.x).

output/log: Ensure files closed in threaded mode

This commit ensures that file objects are closed in threaded mode.

flow/storage: use dedicated 'id' type

Wrap the id in a new FlowStorageId struct to avoid id confusion with other
storage API calls.

rust: remove exported unused functions

app-layer/expectation: clean up storage id logic

ftp: fixes leak with duplicate expectation

fuzz: use stream.midstream=true

fuzz: specify protocol with fuzz target name

cf https://redmine.openinfosecfoundation.org/issues/4125

This allows fuzz_applayerparser_parse to fuzz one specific
app-layer protocol based on the binary name, as is done
with the environment variable FUZZ_APPLAYER
That is if we rename/copy to fuzz_applayerparser_parse_smb,
it will fuzz only SMB protocol
This way, we can easily produce different fuzz targets for
each protocol in oss-fuzz

rdp: correctly returns incomplete in parse_tc

Adding the already consumed bytes
In case an incomplete tls handshake is handled with/after
a refular rdp t123_tpkt

http2: adds check about dynamic headers table size

rules: add newer rule files to makefile for release tarball

general: Typo cleanup

detect/threshold: Improve threshold.config perf

This commit improves performance when parsing threshold.config by
removing a loop-invariant to create a one-time object with the parsed
address(es).

Then, as needed, copies of this object are made as the suppression
rule(s) are processed.

detect/threshold: Function to deep-copy thresh obj

This commit adds a function to make a deep copy of a DetectThresholdData
object.

The function is used when parsing threshold.config items to make a
one-time object and then add copies as needed.

detect/address: Expose DetectAddressCopy function

http2: pass data through when decompression fails

as is done for HTTP1

threshold-config: Improve support for big IP lists

templates: fix typos

- *template*files[ch][rs]: fix typos
- scripts/setup-app-layer: fix typos

scripts/setup-app-layer: fix Makefile.am patch

adjust lines for patching /src/Makefile.am, as current generated
Makefile wasn't building Suricata.
Add suggestion to run "./configure" before running "make".
Add --logger and --parser options to examples.

logging: removed unused logger IDs

- pre-json dns logger
- unified2
- pre-json drop logger

dns: only register a single logger

DNS no longer requires a logger to be registered for to-client and
to-server directions. This has not been required with the stateless
design of the Rust DNS parser.

output/tx: add warning to avoid future bugs

output/tx: move eof checks out of logging loop

app-layer: minor code cleanups

app-layer: remove conditional logic around API calls

Remove logic that suggested some API calls could be conditional,
even though Suricata wouldn't even start up if they weren't
registered.

eve/netflow: use generic json context

eve/flow: use generic json context

eve/ftp: use generic json context

The FTP logger contained no extra data in its context so the
generic json context can be used.

eve: refactor CreateEveHeaderWithTx to include common options

eve cleanup: remove duplicate/redundant code

The first change was to have CreateEveHeader add the common options
as this was left out in a few loggers. While update all the loggers
that use CreateEveHeader, remove redundant code, in particular
from loggers that don't need to use their own context but
can use the generic one.

eve/mqtt: fix mqtt logging with threaded eve

Mqtt was not setting up a per-thread file context for logging
in threaded mode, leading a crash when used in threaded mode.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4404

general: Correct typos

thresholds: Improve validation of threshold.config

This commit improves the handling of threshold.config. When used with
"-T", a non-zero return code occurs when the file cannot be validated.

To maintain legacy behavior, when "-T" is not used and threshold.config
contains one or more invalid lines, Suricata continues execution.

error: Add code for threshold config validation

This commit adds a new warning code for threshold config file validation
failures.

eve/ike: restore common option logging

sslv2: precise detection pattern with probing parser

fuzz: adds structure aware target

so as not to fuzz libpcap
and generate structure aware signatures

rust: bump bitflags dependency version

So that lexical-core, needed by nom, and using bitflags
is used with version 0.7.5 instead of version 0.7.0
which fixed the fact that BITS is now a reserved keyword
in nightly version

kerberos: fix probing parser tag condition

according to the comment

install: better warning on install-full and don't fail

If suricata-update is not available on "make install-full", don't
exit 1, instead give the reason why its not installed, but still
succeed the install.

github-ci: add libnet to ubuntu-20-04-cov-sv builder

eve/drop: use highest priority drop

When adding the alert to a drop record make sure the add the highest
priority.

It would until now add all drops from high to low prio, effectively
overwriting the record each time.

Ticket #4397

detect/alert: apply pd only actions to flow

Ticket #4394

detect/alert: minor code refactor

Use a simpler reject check and move logic into util func.

detect/iponly: don't check & set flow flags twice

Per flow IP-only flags are checked and set by IP-only engine, so
no need to set/check them per alert.

eve/ike: gracefully handle renamed output config

ikev1: add documentation for ikev1

ikev1: add metadata to alerts

ikev1: add ikev1 parser

ikev1: rename ikev2 to common ike

Renaming was done with shell commands, git mv for moving the files and content like
find -iname '*.c' | xargs sed -i 's/ikev1/ike/g' respecting the different mixes of upper/lower case.

detect: added support for protocol-aliases

util: add function converting u8-array into a hex-String

detect: add comparison-mode LTE/GTE for Detect(U32/u8)Data

detect/analyzer: fix mpm display on payload only rules

detect: suppress error message for pcre only rules

detect/analyzer: suggest modern keywords

detect/analyzer: fix json output for warnings/notes

detect/asn1: minor cleanups

detect/http-server-body: clean up test

detect/icmp: reject invalid rules for icode/itype

detect/prefilter: fix null ptr deref on invalid rule

A bad rule 'icode:<0; prefilter;' would trigger a null ptr deref
in ApplyToU8Hash.

Bug #4375.

detect/state: fix reset bug

Fix issue where after a reset the now empty list elements are not
reused and the values may not be valid for the current detect
engine anymore.

Introduce a 'current' (cur) pointer that points to the store element
currently being filled. This way existing stores will be reused.

If 'cur' is NULL and 'head' is not NULL it means we need to use
'tail' to append a new store.

detect/state: test to show reset bug

detect/state: minor code cleanup

filestore: fix global counter init in unix socket mode

Move initialization of filestore global counter to PreRunInit,
so they get registered during program initialization, or as
required in unix-socket mode, initialized for each file run.

Fixes Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4216

smb: relax probing parser to handle first NBSS message

cf dcerpc-udp S-V test :
First message is Message Type: Session request (0x81)
Second message is SMB

protodetect: only run ProbingParserTc if STREAM_TOCLIENT

fuzz: more precise assertion for protocol detection

Only in the cases of stream start is the assertion valable.
Otherwise, it can only be best effort.

smb: probing parser for start and midstream

The probing parser is more strict at the start of the stream

smb: split probing function for code style

Introduces rs_smb_probe_tcp_midstream

detect: fix overflows in SetupU8Hash

For instance ">255" resulted in overflow

ssl: reset state when breaking out of SSLV3_HANDSHAKE_PROTOCOL

So that we cannot resumt it with corrupted values

modbus: stop allocating transactions when flooded

cf #4224

icmpv6: bail out for icmpv6.hdr keyword if not ICMPv6

output/http2: Multi-threaded EVE logging support

This commit adds multi-threaded EVE logging support to the HTTP/2
logging path.

eve: fix memory leak in metadata

Fixes #4205

doc: fix ubuntu pkg name for tcmalloc

decode: limits the number of decoded layers

so as to avoid overrecursion leading to stack exhaustion

detect: set HTTP SWF decompress limits

detect/http.request_body: fix tracking with xforms

Fix handling of file progress tracking for regular http.request_body
along with transform combinations.

This is done by implementing the 'base id' logic.

Related tickets: #4361 #4199 #3616

detect/file.data: fix mixing transforms (http)

Fix handling of file progress tracking for regular file.data along
with transform combinations for the part of the implementation that
uses the HTTP inspection logic.

This is done by implementing the 'base id' logic.

Related tickets: #4361 #4199 #3616

detect/file.data: fix mixing transforms (file api)

Fix handling of file progress tracking for regular file.data along
with transform combinations for the part of the implementation that
uses the File API.

This is done by implementing the 'base id' logic.

Related tickets: #4361 #4199 #3616

detect: track base id for xform buffers

Buffers with transforms are based on the non-transformed "base"
buffer, with a new ID assigned and the transform callbacks added.

This patch stores the id of the original buffer in the new buffer
inspect and prefilter structures. This way the buffers with and
without transforms can share some of the logic are progression
of file and body inspection trackers.

Related tickets: #4361 #4199 #3616

detect/analyzer: fix pkt engine display

classification: sync and update

Sync to latest ET open and introduce inappropriate as a classification
to replace something some find inappropriate.

dcerpc: trigger raw assembly on record completion