flow/timeout: fix TCP seq/ack for reversed flows

When a flow is swapped it also swaps the stream trackers, so it does
not make sense to reverse them during pseudo packet creation.

detect/stream: fix async stream inspection

Move raw progress forward only if detect uses stream data, indicated
by the PKT_DETECT_HAS_STREAMDATA flag.

stream/tcp: fix async mode ACK validation

fuzz: improves sigpcap target with PacketPoolInit

ci: buildbot is decommissioned, so remove prscript refs

github-ci: use a unique id for the commit check cargo cache

All builds have been using the same cache id for ~/.cargo which
could lead us to conflict situations which is what I think we are
seeing with the commit-check job.

counters: convert to FAIL/PASS API

confyaml: convert to FAIL/PASS API

applayer: convert to FAIL/PASS API

applayer/htp/xff: convert to FAIL/PASS API

applayer/ftp: convert to FAIL/PASS API

fastlog: convert to FAIL/PASS API

detect/mark: convert unittests to use PASS/FAIL API

detect/msg: convert to FAIL/PASS API

Issue 4053. Adjust code formatting style (wrap long lines).
Replace SigInit with DetectEngineAppendSig.

detect: filesha1: convert unittests to use PASS/FAIL API

Currently, unit tests use integer values 1 and 0 to denote pass
and fail status of tests respectively. Modify the unit test
detect-filesha1 to use the PASS/FAIL API instead.

Rust: generic files definition

Issue: Optimization 3825
- filecontainer: add Files structure, to replace/unify SMBFiles,
NFSFiles and HTTP2Files
- smb/files: delete SMBFiles implementation
- smb/smb: replace SMBFiles with Files
- nfs/nfs: delete NFSFiles implementation, replace its former
 declarations with Files' ones
- http2/http2: replace HTTP2Files with Files
- http2/mod: Delete reference to file files.rs
- http2/files: Delete

detect-sid: fail/pass api

- convert unittests to new FAIL/PASS API.

github-ci: fix centos 8 build

The "PowerTools" repo that we need to enable has been renamed
to "powertools".

dns: initialize log flags as an unsigned long long

On 64 bit all 64 bits were being initialized, but on 32 bit
only 32 bits were as it was being initialized as a long.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4206

dns: use rest() for NULL parsing

dns: add test for SRV

doc: add documentation for SRV DNS JSON structure

dns: parse SRV records

dns: add rdata logging for NS rrtype

dns: log rdata for NULL record type

Logs the rdata for a NULL record type as a printable string.

github-ci: add sccache to per-commit check

Also use the pre-build cbindgen binary.
Hopefully speeds up the build process.

app-layer: remove callback for completion status

Since the completion status was a constant for all parsers, remove the
callback logic and instead register the values themselves. This should
avoid a lot of unnecessary callback calls.

Update all parsers to take advantage of this.

detect: remove unused arg from generic list inspect

detect: remove inspect v1 API

detect/template: convert to v2 inspect API

detect/tls: convert to v2 inspect API

detect/ssh: convert to v2 inspect API

detect/snmp: convert to v2 inspect API

detect/rfb: convert to v2 inspect API

detect/nfs: convert to v2 inspect API

detect/lua: convert to v2 inspect API

detect/ftp: convert to v2 inspect API

detect/mqtt: convert to v2 inspect API

detect/modbus: convert to v2 inspect API

detect/enip/cip: convert to v2 inspect API

detect/http2: inspect API v2

detect/krb5: use inspect api v2

detect/ftpbounce: switch to inspect api v2

detect/files: remove unused prototypes

detect/files: inspect api v2

detect/file: minor cleanup

detect/dnp3: convert to v2 inspect API

detect/dcerpc: convert to v2 inspect API

detect/dns: convert to v2 inspect API

detect/app-layer-event: convert to v2 inspect API

detect/stream: convert to inspect API v2

detect/payload: minor formatting fixup

github-ci: build cbindgen during prep

Instead of building cbindgen in every build, build it once
during prep as a static musl binary to avoid library issues.

github-ci: remove prep directories before upload

Removing the libhtp, suricata-update and suricata-verify directories
before uploading the artifact reduces the upload time from minutes
to seconds.

github-ci: fedora 33 test build (based on fedora 32)

github-ci: remove fedora 31 (eol)

version: start 7.0.0 development

version: set to 6.0.1

changelog: update for 6.0.1

dnp3: regenerates C code with script

dnp3: avoids DOS by too long loop over null-sized objects

dnp3: fix memory leak with object containing bytearrays

dnp3: fix signed integer overflow

By using unsigned integers everywhere

output: use BASE64_BUFFER_SIZE macro

Base64Encode function requires the maximum length of the output string
as its last parameter. Use the macro BASE64_BUFFER_SIZE to calculate it
correctly.

datasets/string: fix buffer overflow

The size of encoded_data array and the maximum output length parameter
to Base64Encode function were incorrect leading to buffer overflow for
certain cases. The algorithm requires at least 5 bytes of space to even
convert a string of length 1.

Use BASE64_BUFFER_SIZE macro to correctly calculate this output length.
Set size of encoded_data array to the calculated output length.

util/crypt: Add macro for max base64encode len

Maximum length of a base64 encoded string can be 33% over the actual
length of the input string. The formula to best cover all the edge cases
is mathematically
(4 * (input_length + 2) / 3) + 1

Add a macro to calculate this for a given input length.

ftp: optimize FTPGetOldestTx by starting from last handled tx

Avoids DOS by quadratic complexity algorithm.
Attack is
1 stack many requests/transactions (like cwd commands on a line)
2 get many answers

http2: files inspection API fixes

uses right transaction id for file tracker
uses FILE_USE_DETECT for good matches with keyword startswith

http2: allow multiple size updates in one headers batch

cf RFC 7541 section 4.2

http2: avoid null pointer deref in alert output

Bug #4120.

http2: allow filestore to work with HTTP2

packet: set length of 0 for too big copy

ssl: improves keyword ssl_version parsing

Removes the use of PCRE for performance
Forbids empty negations after a valid pattern
Forbids mixing negative and positive forms as it is irrelevant
Forbids useless repetition of a version

smb: do not rely on one valid NBSS byte for probing

Need to have the SMB header so as to validate

ssl: upgarde to uint32 for bytes_processed

as it can overflow, and is compared with uint32 such as
message_length and message_start and

detect: null sanity checks for pkthdr

Even when the rules are only applied on traffic with the protocol
the structure for the protocol header can be set to NULL if there
was an error parsing the header

configure: require libhtp 0.5.36

doc: explicit header normalization further

And their concatenation as described in RFC 2616

github-ci: CentOS 6 is EOL

doc: http.uri.raw has no spaces

as they are in the protocol

cf bug #2881

rust: handle windows naming change from .lib to .a

Prior to Rust 1.44, Cargo would name static libs with the .lib
extension. 1.44 changes this extension to .a when running under
a GNU environment on Windows like msys to make it more similar
to other unix environments.

Now assume static library name to be the same on Windows and
unix, but rename the .lib if found to still support older
versions of Rust on Windows.

configure/mingw: move libs in LDFLAGS to LDADD

Moving the libs specified in LDFLAGS to LDADD put them into the
correct placement on in the link command.

rust: do not rebuild stdlib when coverage is enabled

Because both seem incompatible for now

fuzz: check PacketCopyData return value before processing packet

fuzz: limit memcap for datasets when fuzzing

dnp3: better limit for tests when fuzzing

fuzz: improves detect proto target

By mimicking assert message so as to clusterfuzz differentiates
between failures

detect: fix inspection order with stateful rules

When stateful detection rules, for which detection has already started
for a previous packet, are added to the candidates array, the array
is sorted to mantain the correct inspection order. However, due to a
trivial error in the sort helper the array was sorted in descending
instead of ascending order.

dcerpc/udp: fix transaction handling and logging

Implement missing transaction handling.

Fix logging wrongly casting 'state' to DCERPCState instead of
DCERPCUDPState leading to crashes and malformed output.

Remove unused fields from DCERPCUDPState.

detect/mpm: remove usused cleanup function

detect: optimize prefilter result handling

detect/prefilter: small cleanup

github-ci: check for duplicate SIDs in rules/

rules/mqtt: renumber mqtt events to avoid conflict with ssh

Both SSH and MQTT events were in the 2228000 range. As SSH was
added first, renumber MQTT events into the 2229000 range which is
free.

rust: fix warnings found by nightly compiler

warning: getting the inner pointer of a temporary `CString`
this `CString` is deallocated at the end of the statement,
bind it to a variable to extend its lifetime

decode/null: fix type parsing

atomics: fix compilation on ppc64

dnp3: set byte order when logging dnp3 src and dst

DNP3 uses little endian on the wire, for the most part this
is handled as the messages are deserialize. However, the link
header is a cast over raw data, so swap these bytes as they
are being logged.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4173

github-ci: windows in builds

doc/userguide: update http keywords