util-crypt: remove ComputeSHA1

There is now a Rust replacement for ComputeSHA1 that is exposed
to C as SCSha1HashBuffer.

ssl: replace ComputeSHA1 with Rust SCSha1HashBuffer

Removes the final use of internal ComputeSHA1 function.

transform/md5: use Rust md5 bindings

error: new disabled hashing error code

Add new error code to be used when something fails due to hashing being
disabled.

doc/userguide: document --disable-hashing

suricata: add --disable-hashing option

The idea with a flag to disable hashing is to provide a way to
get the effect of building Suricata without libnss, which is
sometimes done for performance reasons.

suricata.c: clang-format required after new option added

suricata.c: disable clang-format on long_opts init

clang-format will reformat this to have multiple options on a
single line which is hard to read and I don't see a specific
clang-format option to format this better. So for now,
disable clang-format on this section of code.

community-id: use Rust SHA1 to compute hash

Removes use of our internal ComputeSHA1 for calculating the
community ID.

rust/hashing: new function to SHA1 hash a single buffer

SCSha1HashBuffer will has a single buffer and compute the digest
in one call.

rust: remove md5 crate, unalias md-5

Remove the md5 crate as a dependency as it is no longer removed.
We now use md-5 from RustCrypto.

rust/ssh: use md-5 crate instead of md5

The "md-5" crate is part of the RustCrypto project that also
uses the sha1 and sha256 crates we are using. These all implement
the Digest trait for a common API.

doc/ja3: libnss support no longer required

ja3: remove requirement on NSS

rust/hashing: a method to md5 hash a single buffer

Add SCMd5HashBuffer as a replacement for NSS HASH_HashBuf as
used in ja3 to hash a single buffer.

filestore: remove requirement of nss for filestore

Required including NSS header in places that depended on
util-file.h including it.

All filestore suricata-verify tests now pass without libnss.

Also enabled detect-file{md5,sha1,sha256} without NSS support.

filestore: use Rust bindings for sha256/sha1/md5

rust: add ffi module for sha256, sha1 and md5

Add a Rust module that exposes Rust implementations of
sha256, sha1 and md5 from the RustCrypto project.

This is an experiment in replacing the libnss hash functions with
pure Rust versions that will allow us to remove nss as a compile
time option.

Initial tests are good, even with a 10% or so performance
improvement when being called from C.

Also trying a module naming scheme where modules under the ffi
modules are purely for exports to C, as it doesn't make any
sense to use this new hashing module directly from Rust.

doc: fix URL for unix-socket python example

tftp: Add test cases

This commit adds test cases for the TFTP parser.

tftp: Improve parser

This commit improves TFTP parsing by ensuring the mode and opcode are
valid.

github-ci: use python3 in debian builds

github-ci/macos: use brew to install Python 3

The default Python on MacOS is Python 2. Suricata-Verify now
depends on Python 3, so install it with Brew.

github-ci: update min Rust version from 1.34.2 to 1.41.1

rust: include file cleanup

The cbindgen generated header should not include rust.h as
rust.h already includes the generated binding.

Fixup C source code that only pulled the generated include, it
should instead pull in "rust.h" which includes the generated
binding plus other misc. stuff.

signature: Fix leak in urilen parsing

cf #4254

detect/file.data: support ftp and ftp-data

detect/file.name: register inspect engine for ftp-data

decode/tcp: Improved handling of TFO options

This commit improves handling of TCP fast open options
- Option length must be in [6, 18]
- Option length must be an even value

detect: Validate that NOOPT options don't have optvals

Without this, a simple typo between : and ; is able to hide actual bugs
in rules.

I discovered 2 bugs in ET open ruleset this way.

detect-fast-pattern: Mark as OPTIONAL_OPT, instead of NOOPT

Also update the erroneous comment about it.

doc: build all manpages

ebpf: avoid need of 32 bit header

Compilation of xdp_lb.c was failing in some case with the following
error:

/usr/include/x86_64-linux-gnu/gnu/stubs.h:7:11: fatal error: 'gnu/stubs-32.h' file not found

This patch add some define to be able to skip recursive inclusion of
header files leading to the problem.

nbss: add parser tests

Add tests to parse_nbss_record and parse_nbss_record_partial

eve/dhcp: avoid to call common logging twice

threads: More descriptive startup output

lua: Make the rule action available to output scripts

Useful for those that want to do custom logging from lua

eve: Log tenant_id for all eve-json messages

nsh: Parsing of Network Services Header and payload

Support for EtherType 0x894F and basic header

stream/midstream: handle packet loss after SYN/ACK

stream/tcp: fix invalid ack events in timewait state

flow/timeout: fix TCP seq/ack for reversed flows

When a flow is swapped it also swaps the stream trackers, so it does
not make sense to reverse them during pseudo packet creation.

detect/stream: fix async stream inspection

Move raw progress forward only if detect uses stream data, indicated
by the PKT_DETECT_HAS_STREAMDATA flag.

stream/tcp: fix async mode ACK validation

fuzz: improves sigpcap target with PacketPoolInit

ci: buildbot is decommissioned, so remove prscript refs

github-ci: use a unique id for the commit check cargo cache

All builds have been using the same cache id for ~/.cargo which
could lead us to conflict situations which is what I think we are
seeing with the commit-check job.

counters: convert to FAIL/PASS API

confyaml: convert to FAIL/PASS API

applayer: convert to FAIL/PASS API

applayer/htp/xff: convert to FAIL/PASS API

applayer/ftp: convert to FAIL/PASS API

fastlog: convert to FAIL/PASS API

detect/mark: convert unittests to use PASS/FAIL API

detect/msg: convert to FAIL/PASS API

Issue 4053. Adjust code formatting style (wrap long lines).
Replace SigInit with DetectEngineAppendSig.

detect: filesha1: convert unittests to use PASS/FAIL API

Currently, unit tests use integer values 1 and 0 to denote pass
and fail status of tests respectively. Modify the unit test
detect-filesha1 to use the PASS/FAIL API instead.

Rust: generic files definition

Issue: Optimization 3825
- filecontainer: add Files structure, to replace/unify SMBFiles,
NFSFiles and HTTP2Files
- smb/files: delete SMBFiles implementation
- smb/smb: replace SMBFiles with Files
- nfs/nfs: delete NFSFiles implementation, replace its former
 declarations with Files' ones
- http2/http2: replace HTTP2Files with Files
- http2/mod: Delete reference to file files.rs
- http2/files: Delete

detect-sid: fail/pass api

- convert unittests to new FAIL/PASS API.

github-ci: fix centos 8 build

The "PowerTools" repo that we need to enable has been renamed
to "powertools".

dns: initialize log flags as an unsigned long long

On 64 bit all 64 bits were being initialized, but on 32 bit
only 32 bits were as it was being initialized as a long.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4206

dns: use rest() for NULL parsing

dns: add test for SRV

doc: add documentation for SRV DNS JSON structure

dns: parse SRV records

dns: add rdata logging for NS rrtype

dns: log rdata for NULL record type

Logs the rdata for a NULL record type as a printable string.

github-ci: add sccache to per-commit check

Also use the pre-build cbindgen binary.
Hopefully speeds up the build process.

app-layer: remove callback for completion status

Since the completion status was a constant for all parsers, remove the
callback logic and instead register the values themselves. This should
avoid a lot of unnecessary callback calls.

Update all parsers to take advantage of this.

detect: remove unused arg from generic list inspect

detect: remove inspect v1 API

detect/template: convert to v2 inspect API

detect/tls: convert to v2 inspect API

detect/ssh: convert to v2 inspect API

detect/snmp: convert to v2 inspect API

detect/rfb: convert to v2 inspect API

detect/nfs: convert to v2 inspect API

detect/lua: convert to v2 inspect API

detect/ftp: convert to v2 inspect API

detect/mqtt: convert to v2 inspect API

detect/modbus: convert to v2 inspect API

detect/enip/cip: convert to v2 inspect API

detect/http2: inspect API v2

detect/krb5: use inspect api v2

detect/ftpbounce: switch to inspect api v2

detect/files: remove unused prototypes

detect/files: inspect api v2

detect/file: minor cleanup

detect/dnp3: convert to v2 inspect API

detect/dcerpc: convert to v2 inspect API

detect/dns: convert to v2 inspect API

detect/app-layer-event: convert to v2 inspect API

detect/stream: convert to inspect API v2

detect/payload: minor formatting fixup

github-ci: build cbindgen during prep

Instead of building cbindgen in every build, build it once
during prep as a static musl binary to avoid library issues.

github-ci: remove prep directories before upload

Removing the libhtp, suricata-update and suricata-verify directories
before uploading the artifact reduces the upload time from minutes
to seconds.

github-ci: fedora 33 test build (based on fedora 32)

github-ci: remove fedora 31 (eol)

version: start 7.0.0 development

version: set to 6.0.1

changelog: update for 6.0.1