unix-socket: reset to ready state on startup

As part of commit ea15282f47c6ff781533e3a063f9c903dd6f1afb,
some initialization was moved to happen even in unix socket mode,
however, this initialization does setup some loggers that can only have
one instance enabled (anomaly, drop, file-store).

This will cause these loggers to error out on the first pcap, but work
on subsequent runs of the pcap as some deinitialization is done after
each pcap.

This fix just runs the post pcap-file deinitialization routine to
reset some of the initialization done on startup, like is done after
running each pcap in unix socket mode.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4225

Additionally this prevents alerts from being logged two times
on the first run of a pcap through the unix socket:

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4434

decode/vntag: Add VNTag decoder logic

tests/vntag: VNTAG decoder unittests

decode/vntag: VNTAG 802.1Qbh decoder

decode/stats: VNTAG stats

decode/events: VNTAG decoder events

decode: Add ethertype for VNTAG

github: Update codeowner handle

ftp: completely parses pasv and epsv responses

flow/bypass: Properly set the ICMP emergency-bypassed value

Currently the ICMP emergency-bypassed value defined in suricata.conf is
overwriting the UDP value rather than correctly setting it for ICMP.
This commit corrects this bug so that the ICMP value can be set as
expected.

general: Cleanup bool usage

http2: have filecontainer for both directions

misc: include queue.h before other headers

At least on FreeBSD, some other include is including "sys/queue.h"
which results in FreeBSDs /usr/include/sys/queue.h being picked
up and setting __SYS_QUEUE_H__ so our queue.h is not picked up.

But the FreeBSD queue.h does not have the CIRCLEQ definitions. To
fix just include our queue.h first, which also sets __SYS_QUEUE_H__
preventing the system one from being picked up.

dns: remove flood protection purging

It doesn't look like flood protection is required with the
stateless parser anymore. It actually can get in the way of TCP
DNS when a large number of requests end-up in the same segment
where a TX can get purged before it has a chance to go through
the normal TX life-cycle.

tx: fix unidir tx cleanup

A unidirection protocol parser should only have its transactions
marked as "skipped" if it is skipped in both the TS and TC
directions, otherwise unidir transactions are always considered
skipped and the cleanup will never updates its minimum id.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4437

general: Typo cleanup

detect/address: Improve support for large addrs

This commit improves support for large address variables. Without this
commit, address size was fixed at 8196 or less. This commit permits
larger sized address variables.

applayer: fix test data for a valid DCERPC pkt

dcerpc/tcp: improve detection

Lately, some of the TLS data was misdetected as DCERPC/TCP because of
the pattern |05 00|. Add more checks in DCERPC probe function to ensure
that it is in fact DCERPC/TCP.

doc: add documentation for rawbytes keyword

detect-rawbytes: add rawbytes doc help output

detect-rawbytes: update to new clang format

eve: refactor OutputJsonBuilderBuffer to take context

All callers of OutputJsonBuilderBuffer are now calling it
using fields from an OutputJsonThreadCtx, so just pass
a pointer to the thread context now.

eve: convert many loggers to use generate thread context

- mqtt
- dnp3
- smtp
- ike
- dns
- alert
- tls
- anomaly
- drop
- file
- http
- http2
- templates
- dhcp

The idea is to factor out the commom code for setting
up the output file objects, which is repetitive, and
often done wrong when it comes to threading.

eve: reset buffer in OutputJsonBuilderBuffer

Reset the buffer here so each caller doesn't need to do it.

eve: factor thread context creation/free for reuse

eve: remove duplicate call to LogFileEnsureExists

Remove duplicate call to LogFileEnsureExists in the generic
eve thread init function.

github-ci: add ebpf build

Use Debian 10 to build eBPF.

util/ebpf: fix deprecation warning

The function bpf_program__title has been deprecated in favor of
bpf_program__section_name.

ebpf: fix gre encapsulation in xdp_lb

The xdp_lb was not handling correctly the GRE load balancing
and it was not supporting the GRE + ERSPAN that is used by
some aggregator devices.

ippair/bit: fix formatting

ebpf/util: change flow storage to new 'id' type

device/storage: use dedicated 'id' type

- Wrap the id in a new LiveDevStorageId struct, to avoid id
 confusion with other storage API calls.
- Formatting fixes by clang.

detect/engine-tag: fix typo

host/storage: use dedicated 'id' type

- Wrap the id in a HostStorageId struct to avoid id confusion
with other storage API calls.
- Fix formatting with clang script.

ippair/storage: use dedicated 'id' type

- Wrap the id in a new IPPairStorageId struct, to avoid id
confusion with other storage API calls.
- Formatting fixes by clang.

output/log: Removed pcie (Tilera) log vestiges

This commit removes the last remnants of the Tilera log output mechanism
(unsupported since 5.0.x).

output/log: Ensure files closed in threaded mode

This commit ensures that file objects are closed in threaded mode.

flow/storage: use dedicated 'id' type

Wrap the id in a new FlowStorageId struct to avoid id confusion with other
storage API calls.

rust: remove exported unused functions

app-layer/expectation: clean up storage id logic

ftp: fixes leak with duplicate expectation

fuzz: use stream.midstream=true

fuzz: specify protocol with fuzz target name

cf https://redmine.openinfosecfoundation.org/issues/4125

This allows fuzz_applayerparser_parse to fuzz one specific
app-layer protocol based on the binary name, as is done
with the environment variable FUZZ_APPLAYER
That is if we rename/copy to fuzz_applayerparser_parse_smb,
it will fuzz only SMB protocol
This way, we can easily produce different fuzz targets for
each protocol in oss-fuzz

rdp: correctly returns incomplete in parse_tc

Adding the already consumed bytes
In case an incomplete tls handshake is handled with/after
a refular rdp t123_tpkt

http2: adds check about dynamic headers table size

rules: add newer rule files to makefile for release tarball

general: Typo cleanup

detect/threshold: Improve threshold.config perf

This commit improves performance when parsing threshold.config by
removing a loop-invariant to create a one-time object with the parsed
address(es).

Then, as needed, copies of this object are made as the suppression
rule(s) are processed.

detect/threshold: Function to deep-copy thresh obj

This commit adds a function to make a deep copy of a DetectThresholdData
object.

The function is used when parsing threshold.config items to make a
one-time object and then add copies as needed.

detect/address: Expose DetectAddressCopy function

http2: pass data through when decompression fails

as is done for HTTP1

threshold-config: Improve support for big IP lists

templates: fix typos

- *template*files[ch][rs]: fix typos
- scripts/setup-app-layer: fix typos

scripts/setup-app-layer: fix Makefile.am patch

adjust lines for patching /src/Makefile.am, as current generated
Makefile wasn't building Suricata.
Add suggestion to run "./configure" before running "make".
Add --logger and --parser options to examples.

logging: removed unused logger IDs

- pre-json dns logger
- unified2
- pre-json drop logger

dns: only register a single logger

DNS no longer requires a logger to be registered for to-client and
to-server directions. This has not been required with the stateless
design of the Rust DNS parser.

output/tx: add warning to avoid future bugs

output/tx: move eof checks out of logging loop

app-layer: minor code cleanups

app-layer: remove conditional logic around API calls

Remove logic that suggested some API calls could be conditional,
even though Suricata wouldn't even start up if they weren't
registered.

eve/netflow: use generic json context

eve/flow: use generic json context

eve/ftp: use generic json context

The FTP logger contained no extra data in its context so the
generic json context can be used.

eve: refactor CreateEveHeaderWithTx to include common options

eve cleanup: remove duplicate/redundant code

The first change was to have CreateEveHeader add the common options
as this was left out in a few loggers. While update all the loggers
that use CreateEveHeader, remove redundant code, in particular
from loggers that don't need to use their own context but
can use the generic one.

eve/mqtt: fix mqtt logging with threaded eve

Mqtt was not setting up a per-thread file context for logging
in threaded mode, leading a crash when used in threaded mode.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4404

general: Correct typos

thresholds: Improve validation of threshold.config

This commit improves the handling of threshold.config. When used with
"-T", a non-zero return code occurs when the file cannot be validated.

To maintain legacy behavior, when "-T" is not used and threshold.config
contains one or more invalid lines, Suricata continues execution.

error: Add code for threshold config validation

This commit adds a new warning code for threshold config file validation
failures.

eve/ike: restore common option logging

sslv2: precise detection pattern with probing parser

fuzz: adds structure aware target

so as not to fuzz libpcap
and generate structure aware signatures

rust: bump bitflags dependency version

So that lexical-core, needed by nom, and using bitflags
is used with version 0.7.5 instead of version 0.7.0
which fixed the fact that BITS is now a reserved keyword
in nightly version

kerberos: fix probing parser tag condition

according to the comment

install: better warning on install-full and don't fail

If suricata-update is not available on "make install-full", don't
exit 1, instead give the reason why its not installed, but still
succeed the install.

github-ci: add libnet to ubuntu-20-04-cov-sv builder

eve/drop: use highest priority drop

When adding the alert to a drop record make sure the add the highest
priority.

It would until now add all drops from high to low prio, effectively
overwriting the record each time.

Ticket #4397

detect/alert: apply pd only actions to flow

Ticket #4394

detect/alert: minor code refactor

Use a simpler reject check and move logic into util func.

detect/iponly: don't check & set flow flags twice

Per flow IP-only flags are checked and set by IP-only engine, so
no need to set/check them per alert.

eve/ike: gracefully handle renamed output config

ikev1: add documentation for ikev1

ikev1: add metadata to alerts

ikev1: add ikev1 parser

ikev1: rename ikev2 to common ike

Renaming was done with shell commands, git mv for moving the files and content like
find -iname '*.c' | xargs sed -i 's/ikev1/ike/g' respecting the different mixes of upper/lower case.

detect: added support for protocol-aliases

util: add function converting u8-array into a hex-String

detect: add comparison-mode LTE/GTE for Detect(U32/u8)Data

detect/analyzer: fix mpm display on payload only rules

detect: suppress error message for pcre only rules

detect/analyzer: suggest modern keywords

detect/analyzer: fix json output for warnings/notes

detect/asn1: minor cleanups

detect/http-server-body: clean up test

detect/icmp: reject invalid rules for icode/itype

detect/prefilter: fix null ptr deref on invalid rule

A bad rule 'icode:<0; prefilter;' would trigger a null ptr deref
in ApplyToU8Hash.

Bug #4375.

detect/state: fix reset bug

Fix issue where after a reset the now empty list elements are not
reused and the values may not be valid for the current detect
engine anymore.

Introduce a 'current' (cur) pointer that points to the store element
currently being filled. This way existing stores will be reused.

If 'cur' is NULL and 'head' is not NULL it means we need to use
'tail' to append a new store.

detect/state: test to show reset bug

detect/state: minor code cleanup