decode/flow/esp: Add ESP decoder & flow

- Adds an ESP (Encapsulating Security Payload) header decoder
- Tracks ESP flows via the SPI field

decode: reformat REINIT macro

decode: minor unittest cleanups

proto/names: add SCTP if not defined in system

If SCTP is missing from /etc/protocols, add it manually.

github: add codecov.yml

Don't report until both cov runs are available to avoid partial
reporting in pull request comments.

json: remove unused jansson wrappers

http: enable and fix content range tests

app-layer/nfs: dead code removal

detect/rpc: clean up unittests

- detect-rpc: convert unit tests to new FAIL/PASS API.
- detect-rpc: replace SigInit with DetectEngineAppendSig for more
  concise code.

github: add codecov badge

ci: initial codecov integration

configure: fix llc detection on recent Debian

Where clang --version was returning:

clang version 9.0.1-15+b1
Target: x86_64-pc-linux-gnu
Thread model: posix
InstalledDir: /usr/bin

Newer version like clang-10 on Debian are returning:

Debian clang version 10.0.1-8+b1
Target: x86_64-pc-linux-gnu
Thread model: posix
InstalledDir: /usr/bin

As a result the parsing was failing to determine which llc was
available on the system.

lua: fix coverity issue with out of scope variable

Fix usage of out-of-scope variables. Introduced with the hashing
and adding the guard of g_disable_hashing.

To fix, just remove the guard so all variables are in scope. Hashes
are not initialized here so there is no need for the guard.

lua/test: Test cases using SC prefix

This commit adds paired test cases to ensure that the SC variant of the
entry points are tested.

doc/lua: Lua API name consistency

This commit updates the documentation of the SCFlow* function names
available to Lua scripts.

Formerly, they used the prefix "Sc"; now they use "SC".

general: Correct typo

lua: Use SC prefix for Lua functions

This commit adds additional Lua API interfaces to bring consistency to
functions such that the `SC` prefix is available consistently across
flow int and flow var functions.

email/md5: optimize md5 handling

doc/userguide/transforms: remove not about libnss being required

doc/userguide/install: remove libnss

travis-ci: don't install libnss

email/eve: use Rust function to hash buffer to hex

Use SCMd5HashBufferToHex to hash the subject to a hex string.
Removes snprintf loop.

rust/hashing: add function to finalize md5 to hex string

New function, SCMd5FinalizeToHex to finalize an md5 hash
to a hex string.

ja3: use SCMd5HashBufferToHex to print hash as hex

Replace snprintf loop with new function that hashes a single
buffer to an MD5 hex string.

rust/hashing: function to md5 hash buffer to hex

Add function SCMd5HashBufferToHex to hash a single buffer to an
md5 hex string.

filestore: respect g_disable_hashing

If g_disable_hashing is set, behave like libnss wasn't compiled
in.

github-ci: don't install libnss/libnspr packages

configure.ac: remove tests for libnspr and libnss

hashing: remove remaining HAVE_NSS guards

For features, we pretend to HAVE_NSS so scripts, external tests
continue to work.

output-json-email: use Rust md5 bindings instead of libnss

util/mime: use Rust md5 bindings instead of libnss

As the new Md5 hashing consumes its context on finalize, an bool
has_md5 flag has been added to let the logger know there is an
md5 hash available.

transform-sha256: use Rust sha256 bindings

Use new Rust sha256 bindings insead of libnss.

rust/hashing: method to SHA256 and finalize in one call

Add SCSha256HashBuffer to hash a single buffer returning the
result.

transform-sha1: use Rust sha1 bindings

Removes dependence on NSS.

util-crypt: remove ComputeSHA1

There is now a Rust replacement for ComputeSHA1 that is exposed
to C as SCSha1HashBuffer.

ssl: replace ComputeSHA1 with Rust SCSha1HashBuffer

Removes the final use of internal ComputeSHA1 function.

transform/md5: use Rust md5 bindings

error: new disabled hashing error code

Add new error code to be used when something fails due to hashing being
disabled.

doc/userguide: document --disable-hashing

suricata: add --disable-hashing option

The idea with a flag to disable hashing is to provide a way to
get the effect of building Suricata without libnss, which is
sometimes done for performance reasons.

suricata.c: clang-format required after new option added

suricata.c: disable clang-format on long_opts init

clang-format will reformat this to have multiple options on a
single line which is hard to read and I don't see a specific
clang-format option to format this better. So for now,
disable clang-format on this section of code.

community-id: use Rust SHA1 to compute hash

Removes use of our internal ComputeSHA1 for calculating the
community ID.

rust/hashing: new function to SHA1 hash a single buffer

SCSha1HashBuffer will has a single buffer and compute the digest
in one call.

rust: remove md5 crate, unalias md-5

Remove the md5 crate as a dependency as it is no longer removed.
We now use md-5 from RustCrypto.

rust/ssh: use md-5 crate instead of md5

The "md-5" crate is part of the RustCrypto project that also
uses the sha1 and sha256 crates we are using. These all implement
the Digest trait for a common API.

doc/ja3: libnss support no longer required

ja3: remove requirement on NSS

rust/hashing: a method to md5 hash a single buffer

Add SCMd5HashBuffer as a replacement for NSS HASH_HashBuf as
used in ja3 to hash a single buffer.

filestore: remove requirement of nss for filestore

Required including NSS header in places that depended on
util-file.h including it.

All filestore suricata-verify tests now pass without libnss.

Also enabled detect-file{md5,sha1,sha256} without NSS support.

filestore: use Rust bindings for sha256/sha1/md5

rust: add ffi module for sha256, sha1 and md5

Add a Rust module that exposes Rust implementations of
sha256, sha1 and md5 from the RustCrypto project.

This is an experiment in replacing the libnss hash functions with
pure Rust versions that will allow us to remove nss as a compile
time option.

Initial tests are good, even with a 10% or so performance
improvement when being called from C.

Also trying a module naming scheme where modules under the ffi
modules are purely for exports to C, as it doesn't make any
sense to use this new hashing module directly from Rust.

doc: fix URL for unix-socket python example

tftp: Add test cases

This commit adds test cases for the TFTP parser.

tftp: Improve parser

This commit improves TFTP parsing by ensuring the mode and opcode are
valid.

github-ci: use python3 in debian builds

github-ci/macos: use brew to install Python 3

The default Python on MacOS is Python 2. Suricata-Verify now
depends on Python 3, so install it with Brew.

github-ci: update min Rust version from 1.34.2 to 1.41.1

rust: include file cleanup

The cbindgen generated header should not include rust.h as
rust.h already includes the generated binding.

Fixup C source code that only pulled the generated include, it
should instead pull in "rust.h" which includes the generated
binding plus other misc. stuff.

signature: Fix leak in urilen parsing

cf #4254

detect/file.data: support ftp and ftp-data

detect/file.name: register inspect engine for ftp-data

decode/tcp: Improved handling of TFO options

This commit improves handling of TCP fast open options
- Option length must be in [6, 18]
- Option length must be an even value

detect: Validate that NOOPT options don't have optvals

Without this, a simple typo between : and ; is able to hide actual bugs
in rules.

I discovered 2 bugs in ET open ruleset this way.

detect-fast-pattern: Mark as OPTIONAL_OPT, instead of NOOPT

Also update the erroneous comment about it.

doc: build all manpages

ebpf: avoid need of 32 bit header

Compilation of xdp_lb.c was failing in some case with the following
error:

/usr/include/x86_64-linux-gnu/gnu/stubs.h:7:11: fatal error: 'gnu/stubs-32.h' file not found

This patch add some define to be able to skip recursive inclusion of
header files leading to the problem.

nbss: add parser tests

Add tests to parse_nbss_record and parse_nbss_record_partial

eve/dhcp: avoid to call common logging twice

threads: More descriptive startup output

lua: Make the rule action available to output scripts

Useful for those that want to do custom logging from lua

eve: Log tenant_id for all eve-json messages

nsh: Parsing of Network Services Header and payload

Support for EtherType 0x894F and basic header

stream/midstream: handle packet loss after SYN/ACK

stream/tcp: fix invalid ack events in timewait state

flow/timeout: fix TCP seq/ack for reversed flows

When a flow is swapped it also swaps the stream trackers, so it does
not make sense to reverse them during pseudo packet creation.

detect/stream: fix async stream inspection

Move raw progress forward only if detect uses stream data, indicated
by the PKT_DETECT_HAS_STREAMDATA flag.

stream/tcp: fix async mode ACK validation

fuzz: improves sigpcap target with PacketPoolInit

ci: buildbot is decommissioned, so remove prscript refs

github-ci: use a unique id for the commit check cargo cache

All builds have been using the same cache id for ~/.cargo which
could lead us to conflict situations which is what I think we are
seeing with the commit-check job.

counters: convert to FAIL/PASS API

confyaml: convert to FAIL/PASS API

applayer: convert to FAIL/PASS API

applayer/htp/xff: convert to FAIL/PASS API

applayer/ftp: convert to FAIL/PASS API

fastlog: convert to FAIL/PASS API

detect/mark: convert unittests to use PASS/FAIL API

detect/msg: convert to FAIL/PASS API

Issue 4053. Adjust code formatting style (wrap long lines).
Replace SigInit with DetectEngineAppendSig.

detect: filesha1: convert unittests to use PASS/FAIL API

Currently, unit tests use integer values 1 and 0 to denote pass
and fail status of tests respectively. Modify the unit test
detect-filesha1 to use the PASS/FAIL API instead.

Rust: generic files definition

Issue: Optimization 3825
- filecontainer: add Files structure, to replace/unify SMBFiles,
NFSFiles and HTTP2Files
- smb/files: delete SMBFiles implementation
- smb/smb: replace SMBFiles with Files
- nfs/nfs: delete NFSFiles implementation, replace its former
 declarations with Files' ones
- http2/http2: replace HTTP2Files with Files
- http2/mod: Delete reference to file files.rs
- http2/files: Delete

detect-sid: fail/pass api

- convert unittests to new FAIL/PASS API.

github-ci: fix centos 8 build

The "PowerTools" repo that we need to enable has been renamed
to "powertools".

dns: initialize log flags as an unsigned long long

On 64 bit all 64 bits were being initialized, but on 32 bit
only 32 bits were as it was being initialized as a long.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4206

dns: use rest() for NULL parsing

dns: add test for SRV

doc: add documentation for SRV DNS JSON structure

dns: parse SRV records

dns: add rdata logging for NS rrtype

dns: log rdata for NULL record type

Logs the rdata for a NULL record type as a printable string.