rust: SCLogDebug is real nop when built as release

Before, even if there were no outputs, all the arguments
were evaluated, which could turn expensive

All variables which are used only in certain build configurations
are now prefixed by underscore to avoid warnings

http2: set Debug on structs

unittests: optimize RunmodeIsUnittests()

stream: packet to stream flags macro

packets: more detailed entry debug for detect/stream

files: construct with default, free on drop

Update protocols.

files: implement default support

rust: fix app-layer parser flags

This especially allows for SSH bypass to work

decode/vxlan: Delay var init until needed

This commit modifies the var initialization slightly until after
integrity checks have been performed.

general/typo: Correct typo

decode: Eliminate NULL pkt checks

This commit removes the NULL pkt check that each decoder performs as
this is a "can't happen" case.

thresholds: Fix buffer overflow in threshold context

th_entry is resized using ThresholdHashRealloc() every time a rule with
a threshold using by_rule tracking is added. The problem is that this is
done before the rules are reordered, so occasionally a rule with by_rule
tracking gets a higher signature number (after reordering) than the
number of th_entries allocated, causing Suricata to crash.

This commit fixes this by allocating th_entries after all the rules are
loaded and reordered.

Backtrace from core dump:

  Program terminated with signal SIGSEGV, Segmentation fault.

  #0  0x000000000051b381 in ThresholdHandlePacket (p=p@entry=0x7fb0080f3960, lookup_tsh=0x51, new_tsh=new_tsh@entry=0x7fb016c316e0, td=td@entry=0x14adedf0, sid=9800979, gid=1, pa=0x7fb0080f3b18)
      at detect-engine-threshold.c:415
  415>----                if (TIMEVAL_DIFF_SEC(p->ts, lookup_tsh->tv1) < td->seconds) {

Bug #4503.

thresholds: syntax fixes

Fix syntax of if statement in SigGetThresholdTypeIter()

thresholds: remove unneeded function argument

Remove packet pointer from SigGetThresholdTypeIter() as it is
unused.

doc/eve: common fields and alert updates

- update examples for both
- change app_proto from alert field to common field, as
  per JsonBuilder's changes.

doc/eve: fix typos

output: Fix possible null deref

This commit corrects an issue uncovered by Coverity. See the redmine
issue for details: https://redmine.openinfosecfoundation.org/issues/4495

http2: only mimic http1 request if there is one

That may not be the case in midstream/async configurations

makefile: don't include the whole test/ directory

Including the whole directory results in .deps files ending up
in the distribution archive which shouldn't be there. Instead
we have to list all the test sources individually.

rust/default: Enable Default usage

nfs: Rework constructs to use Self/Default

dhcp: Rework constructs to use Self/Default

dcerpc: Rework constructs to use Self/Default

dns: Rework constructs to use Self/Default

smb: Rework constructs to use Self/Default

This commit modifies the constructors to use Self and/or
Default::default() when feasible

rust/default: Enable Default usage in SMB

doc: update sphinx api to use add_css_file

instead of deprecated add_stylesheet

dcerpc/udp: Add rust registration function

Get rid of the C glue code and move registration completely to Rust.

dcerpc/udp: Change fn sign as per rust registration requirement

Registering parsers in Rust requires signatures to be a certain way and
compatible with C. Change signatures of all the functions.

dcerpc: Add rust registration function

Get rid of the C glue code and move registration completely to Rust.

dcerpc: Change fn sign as per rust registration requirement

Registering parsers in Rust requires signatures to be a certain way and
compatible with C. Change signatures of all the functions.

rust/core: Make AppProto type u16

applayer/rust: add extern AppLayerProtoDetectPMRegisterPatternCSwPP

github: work around rustc mingw issue

https://github.com/msys2/MINGW-packages/issues/8732#issuecomment-845079799

suricata-plugin.h: don't include autoconf.h

It is not required here and just creates double inclusion in some
scenarios.

http2: remove dead code

http2: remove assertion which can be wrong

Brotli decoder stops consuming input it it reaches the
end of its input

modbus: fix quantity and count calculation

The [Modbus Spec S6.11](https://modbus.org/docs/Modbus_Application_Protocol_V1_1b.pdf)
clearly states that the `count = quantity / 8` and not the other way
around. This is fixed in sawp-0.5.0.

http2: http.cookie keyword now works for HTTP2

http2: http.host.raw keyword now works for HTTP2

http2: http.method keyword now works for HTTP2

http2: makes all HTTP1 header keywords work

http2: there is no status msg in HTTP2

so we revert its detection, mistaken with the status code

http2: http.stat_code keyword now works for HTTP2

doc: Protocol name/case change for upgrade doc

This commit adds a one-liner to the upgrade document for 7.0 stating
that protocol names/values are now builtin to Suricata and that names
and their casing may change.

proto: Remove dependency on /etc/protocols

This commit eliminates the dependency on /etc/protocols and equivalent
on other platforms by using a static table of IANA assigned protocol
values (names, description).

github-ci: enable hiredis on fedora 33 build

yaml: treat some unquoted values as null (per spec)

Per the YAML spec, the following values when present unquoted
should be equivalent to null:
- ~
- NULL
- Null
- null

output/redis: Redis threaded output changes

config/plugin: Add template for plugins

output/plugin: Support threaded output plugins

output/plugin: API changes for threaded support

This commit extends the interface to better support file output plugins.

doc/modbus: add eve logging documentation

modbus: add eve logging

modbus: move tests from c to rust

Move tests in a seperate commit so that we can use the previous one for
regression testing. This also gets rid of the temporary glue that made
the C tests work with the rust implementation.

modbus: move from C to rust

Adds a new rust modbus app layer parser and detection module.

Moves the C module to rust but leaves the test cases in place to
regression test the new rust module.

modbus: fix app-layer test cases

invalidFunctionCode: make protocol id valid since we are only testing
the function code here.

readCoilsErrorRsp: changed to different invalid response code.

ModbusParserTest10: wrong length was passed to AppLayerParserParse.

ModbusParserTest11: allocate the entire buffer.

ci: update known rust version

Update RUST_VERSION_KNOWN to the latest stable known to succeed. Also
updates the documentation to avoid confusion around the use of this
variable.

travis: remove ci file as we switched to github-ci

ike: set event for multiple server proposals

unix-socket: reset to ready state on startup

As part of commit ea15282f47c6ff781533e3a063f9c903dd6f1afb,
some initialization was moved to happen even in unix socket mode,
however, this initialization does setup some loggers that can only have
one instance enabled (anomaly, drop, file-store).

This will cause these loggers to error out on the first pcap, but work
on subsequent runs of the pcap as some deinitialization is done after
each pcap.

This fix just runs the post pcap-file deinitialization routine to
reset some of the initialization done on startup, like is done after
running each pcap in unix socket mode.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4225

Additionally this prevents alerts from being logged two times
on the first run of a pcap through the unix socket:

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4434

decode/vntag: Add VNTag decoder logic

tests/vntag: VNTAG decoder unittests

decode/vntag: VNTAG 802.1Qbh decoder

decode/stats: VNTAG stats

decode/events: VNTAG decoder events

decode: Add ethertype for VNTAG

github: Update codeowner handle

ftp: completely parses pasv and epsv responses

flow/bypass: Properly set the ICMP emergency-bypassed value

Currently the ICMP emergency-bypassed value defined in suricata.conf is
overwriting the UDP value rather than correctly setting it for ICMP.
This commit corrects this bug so that the ICMP value can be set as
expected.

general: Cleanup bool usage

http2: have filecontainer for both directions

misc: include queue.h before other headers

At least on FreeBSD, some other include is including "sys/queue.h"
which results in FreeBSDs /usr/include/sys/queue.h being picked
up and setting __SYS_QUEUE_H__ so our queue.h is not picked up.

But the FreeBSD queue.h does not have the CIRCLEQ definitions. To
fix just include our queue.h first, which also sets __SYS_QUEUE_H__
preventing the system one from being picked up.

dns: remove flood protection purging

It doesn't look like flood protection is required with the
stateless parser anymore. It actually can get in the way of TCP
DNS when a large number of requests end-up in the same segment
where a TX can get purged before it has a chance to go through
the normal TX life-cycle.

tx: fix unidir tx cleanup

A unidirection protocol parser should only have its transactions
marked as "skipped" if it is skipped in both the TS and TC
directions, otherwise unidir transactions are always considered
skipped and the cleanup will never updates its minimum id.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4437

general: Typo cleanup

detect/address: Improve support for large addrs

This commit improves support for large address variables. Without this
commit, address size was fixed at 8196 or less. This commit permits
larger sized address variables.

applayer: fix test data for a valid DCERPC pkt

dcerpc/tcp: improve detection

Lately, some of the TLS data was misdetected as DCERPC/TCP because of
the pattern |05 00|. Add more checks in DCERPC probe function to ensure
that it is in fact DCERPC/TCP.

doc: add documentation for rawbytes keyword

detect-rawbytes: add rawbytes doc help output

detect-rawbytes: update to new clang format

eve: refactor OutputJsonBuilderBuffer to take context

All callers of OutputJsonBuilderBuffer are now calling it
using fields from an OutputJsonThreadCtx, so just pass
a pointer to the thread context now.

eve: convert many loggers to use generate thread context

- mqtt
- dnp3
- smtp
- ike
- dns
- alert
- tls
- anomaly
- drop
- file
- http
- http2
- templates
- dhcp

The idea is to factor out the commom code for setting
up the output file objects, which is repetitive, and
often done wrong when it comes to threading.

eve: reset buffer in OutputJsonBuilderBuffer

Reset the buffer here so each caller doesn't need to do it.

eve: factor thread context creation/free for reuse

eve: remove duplicate call to LogFileEnsureExists

Remove duplicate call to LogFileEnsureExists in the generic
eve thread init function.

github-ci: add ebpf build

Use Debian 10 to build eBPF.

util/ebpf: fix deprecation warning

The function bpf_program__title has been deprecated in favor of
bpf_program__section_name.

ebpf: fix gre encapsulation in xdp_lb

The xdp_lb was not handling correctly the GRE load balancing
and it was not supporting the GRE + ERSPAN that is used by
some aggregator devices.

ippair/bit: fix formatting

ebpf/util: change flow storage to new 'id' type

device/storage: use dedicated 'id' type

- Wrap the id in a new LiveDevStorageId struct, to avoid id
 confusion with other storage API calls.
- Formatting fixes by clang.

detect/engine-tag: fix typo

host/storage: use dedicated 'id' type

- Wrap the id in a HostStorageId struct to avoid id confusion
with other storage API calls.
- Fix formatting with clang script.

ippair/storage: use dedicated 'id' type

- Wrap the id in a new IPPairStorageId struct, to avoid id
confusion with other storage API calls.
- Formatting fixes by clang.

output/log: Removed pcie (Tilera) log vestiges

This commit removes the last remnants of the Tilera log output mechanism
(unsupported since 5.0.x).

output/log: Ensure files closed in threaded mode

This commit ensures that file objects are closed in threaded mode.

flow/storage: use dedicated 'id' type

Wrap the id in a new FlowStorageId struct to avoid id confusion with other
storage API calls.

rust: remove exported unused functions