suricata: improve list keywords

Exit with error if a keyword is not supported or not existing
and display a message.

suricata: return error value of custom run modes

util/running-modes: don't exit in running mode

log/pcap: exit on invalid filename

If the filename has to % sign and if pcap logging is using multi
mode, then the pcap capture will fail. So let's exit if ever this
is the case.

suricata: unix-socket mode and -l are compatible

Commit 93642a0d1dd29c96e98824935ef963f6b1ef40eb did prevent to
specify the logging directory on command line and use the unix
socket.

It looks like the implementation has evolved and the arbitrary
limitation can be removed allowing a user to start unix socket
without editing the configuration file.

eve: only output ja3 and ja3s if present

This will prevent JSON entries like the following that occur
with the dedault configuration (ja3 deactivated and extended
tls ouput activated):

  "tls": {
    "subject": "C=GB, ST=London, L=London, O=Global Security, OU=IT Department, CN=example.com",
    "issuerdn": "C=GB, ST=London, L=London, O=Global Security, OU=IT Department, CN=example.com",
    "serial": "00:9C:FC:DA:1D:A4:70:87:5D",
    "fingerprint": "b8:18:2d:cb:c9:f8:1a:66:75:13:18:31:24:e0:92:35:42:ab:96:89",
    "version": "TLSv1",
    "notbefore": "2020-05-03T11:07:28",
    "notafter": "2021-05-03T11:07:28",
    "ja3": {},
    "ja3s": {}
  }

detect/pcre: Test capture group/var mismatch

detct/pcre: Correct capture group count check

This commit corrects the validation check between the number of
variables used and the number of specified capture groups.

template: use response_gap in rust parser

detect/state: optimize state keeping

detect: fix heap overflow issue with buffer setup

In some cases, the InspectionBufferGet function would be followed by
a failure to set the buffer up, for example due to a HTTP body limit
not yet being reached. Yet each call to InspectionBufferGet would lead
to the matching list_id to be added to the
DetectEngineThreadCtx::inspect.to_clear_queue. This array is sized to
add each list only once, but in this case the same id could be added
multiple times, potentially overflowing the array.

flow/manager: (u)sleep slightly longer

Sleep 250 microseconds instead of 100 as running in KVM cause the
old value to use 100% CPU for these threads.

Perf testing suggests no measurable impact for the non-KVM case.

Ticket: #4096

app-layer: fix transaction cleanup

Fix a 'skipped' transaction early in the list leading to all further
transactions getting skipped, even if they were fully processed and
ready to be cleaned up.

fuzz: rightly uses PacketFreeOrRelease in target

instead of PacketFree because packets
may belong to the pool

fuzz: use some value for max_pending_packets

so as not to timeout waiting forever for the condition
in PacketPoolWait

fuzz: makes target sigpcap more reproducible

By removing the temporary rules file if it existed
before the first run

github: run codecov verify test w/o optimizations

rust: update dependencies

rust: lock all major crate versions

To avoid surprises with dependencies bumping MSRV.

rust: relax nom version to any >=5.1.1

http: enables request decompression

suricata: avoid at exit crash in nfq mode

When Suricata was build with ebpf support and when it was started
in NFQ mode, it was crashing at exit because it was trying to free
the device extension.

This patch fixes the issue by only trigger the eBPF related code
when Suricata is running in AFP_PACKET mode.

storage: fix a variable name

detect: fix link to documentation

ftp: ftp-data recognized by StringToAppProto

http2: decompression for files

gzip and brotli decompression for files

rust: BIT_U16 macro utility

rust: better panic message for missing file config

rust: fix warning about unused values in smb tests

protocol detection: fix failure case

as reached by CIFuzz even if unreachable from Suricata

protodetect: debug validation when multiple patterns match

stream: remove debug assert

In cases of large windows in the past the check would tigger.

detect/http_client_body: minor test cleanups

dataset: fix dataset string lookup

The data was unlocked but the use_cnt was not decreased resulting
in the data entry not being removable.

detect/file_data: cleanup tests

stream/tests: minor cleanups

qa/cocci: support FAIL macros in malloc check

github: codecov fix path handling

stream: move tests into tests/

detect/fast_pattern: redo unittests

detect/fast_pattern: remove dead code

detect/http-ua: cleanup tests

decode/flow/esp: Add ESP decoder & flow

- Adds an ESP (Encapsulating Security Payload) header decoder
- Tracks ESP flows via the SPI field

decode: reformat REINIT macro

decode: minor unittest cleanups

proto/names: add SCTP if not defined in system

If SCTP is missing from /etc/protocols, add it manually.

github: add codecov.yml

Don't report until both cov runs are available to avoid partial
reporting in pull request comments.

json: remove unused jansson wrappers

http: enable and fix content range tests

app-layer/nfs: dead code removal

detect/rpc: clean up unittests

- detect-rpc: convert unit tests to new FAIL/PASS API.
- detect-rpc: replace SigInit with DetectEngineAppendSig for more
  concise code.

github: add codecov badge

ci: initial codecov integration

configure: fix llc detection on recent Debian

Where clang --version was returning:

clang version 9.0.1-15+b1
Target: x86_64-pc-linux-gnu
Thread model: posix
InstalledDir: /usr/bin

Newer version like clang-10 on Debian are returning:

Debian clang version 10.0.1-8+b1
Target: x86_64-pc-linux-gnu
Thread model: posix
InstalledDir: /usr/bin

As a result the parsing was failing to determine which llc was
available on the system.

lua: fix coverity issue with out of scope variable

Fix usage of out-of-scope variables. Introduced with the hashing
and adding the guard of g_disable_hashing.

To fix, just remove the guard so all variables are in scope. Hashes
are not initialized here so there is no need for the guard.

lua/test: Test cases using SC prefix

This commit adds paired test cases to ensure that the SC variant of the
entry points are tested.

doc/lua: Lua API name consistency

This commit updates the documentation of the SCFlow* function names
available to Lua scripts.

Formerly, they used the prefix "Sc"; now they use "SC".

general: Correct typo

lua: Use SC prefix for Lua functions

This commit adds additional Lua API interfaces to bring consistency to
functions such that the `SC` prefix is available consistently across
flow int and flow var functions.

email/md5: optimize md5 handling

doc/userguide/transforms: remove not about libnss being required

doc/userguide/install: remove libnss

travis-ci: don't install libnss

email/eve: use Rust function to hash buffer to hex

Use SCMd5HashBufferToHex to hash the subject to a hex string.
Removes snprintf loop.

rust/hashing: add function to finalize md5 to hex string

New function, SCMd5FinalizeToHex to finalize an md5 hash
to a hex string.

ja3: use SCMd5HashBufferToHex to print hash as hex

Replace snprintf loop with new function that hashes a single
buffer to an MD5 hex string.

rust/hashing: function to md5 hash buffer to hex

Add function SCMd5HashBufferToHex to hash a single buffer to an
md5 hex string.

filestore: respect g_disable_hashing

If g_disable_hashing is set, behave like libnss wasn't compiled
in.

github-ci: don't install libnss/libnspr packages

configure.ac: remove tests for libnspr and libnss

hashing: remove remaining HAVE_NSS guards

For features, we pretend to HAVE_NSS so scripts, external tests
continue to work.

output-json-email: use Rust md5 bindings instead of libnss

util/mime: use Rust md5 bindings instead of libnss

As the new Md5 hashing consumes its context on finalize, an bool
has_md5 flag has been added to let the logger know there is an
md5 hash available.

transform-sha256: use Rust sha256 bindings

Use new Rust sha256 bindings insead of libnss.

rust/hashing: method to SHA256 and finalize in one call

Add SCSha256HashBuffer to hash a single buffer returning the
result.

transform-sha1: use Rust sha1 bindings

Removes dependence on NSS.

util-crypt: remove ComputeSHA1

There is now a Rust replacement for ComputeSHA1 that is exposed
to C as SCSha1HashBuffer.

ssl: replace ComputeSHA1 with Rust SCSha1HashBuffer

Removes the final use of internal ComputeSHA1 function.

transform/md5: use Rust md5 bindings

error: new disabled hashing error code

Add new error code to be used when something fails due to hashing being
disabled.

doc/userguide: document --disable-hashing

suricata: add --disable-hashing option

The idea with a flag to disable hashing is to provide a way to
get the effect of building Suricata without libnss, which is
sometimes done for performance reasons.

suricata.c: clang-format required after new option added

suricata.c: disable clang-format on long_opts init

clang-format will reformat this to have multiple options on a
single line which is hard to read and I don't see a specific
clang-format option to format this better. So for now,
disable clang-format on this section of code.

community-id: use Rust SHA1 to compute hash

Removes use of our internal ComputeSHA1 for calculating the
community ID.

rust/hashing: new function to SHA1 hash a single buffer

SCSha1HashBuffer will has a single buffer and compute the digest
in one call.

rust: remove md5 crate, unalias md-5

Remove the md5 crate as a dependency as it is no longer removed.
We now use md-5 from RustCrypto.

rust/ssh: use md-5 crate instead of md5

The "md-5" crate is part of the RustCrypto project that also
uses the sha1 and sha256 crates we are using. These all implement
the Digest trait for a common API.

doc/ja3: libnss support no longer required

ja3: remove requirement on NSS

rust/hashing: a method to md5 hash a single buffer

Add SCMd5HashBuffer as a replacement for NSS HASH_HashBuf as
used in ja3 to hash a single buffer.

filestore: remove requirement of nss for filestore

Required including NSS header in places that depended on
util-file.h including it.

All filestore suricata-verify tests now pass without libnss.

Also enabled detect-file{md5,sha1,sha256} without NSS support.

filestore: use Rust bindings for sha256/sha1/md5

rust: add ffi module for sha256, sha1 and md5

Add a Rust module that exposes Rust implementations of
sha256, sha1 and md5 from the RustCrypto project.

This is an experiment in replacing the libnss hash functions with
pure Rust versions that will allow us to remove nss as a compile
time option.

Initial tests are good, even with a 10% or so performance
improvement when being called from C.

Also trying a module naming scheme where modules under the ffi
modules are purely for exports to C, as it doesn't make any
sense to use this new hashing module directly from Rust.

doc: fix URL for unix-socket python example

tftp: Add test cases

This commit adds test cases for the TFTP parser.

tftp: Improve parser

This commit improves TFTP parsing by ensuring the mode and opcode are
valid.

github-ci: use python3 in debian builds

github-ci/macos: use brew to install Python 3

The default Python on MacOS is Python 2. Suricata-Verify now
depends on Python 3, so install it with Brew.

github-ci: update min Rust version from 1.34.2 to 1.41.1