dns: add test for SRV

doc: add documentation for SRV DNS JSON structure

dns: parse SRV records

dns: add rdata logging for NS rrtype

dns: log rdata for NULL record type

Logs the rdata for a NULL record type as a printable string.

github-ci: add sccache to per-commit check

Also use the pre-build cbindgen binary.
Hopefully speeds up the build process.

app-layer: remove callback for completion status

Since the completion status was a constant for all parsers, remove the
callback logic and instead register the values themselves. This should
avoid a lot of unnecessary callback calls.

Update all parsers to take advantage of this.

detect: remove unused arg from generic list inspect

detect: remove inspect v1 API

detect/template: convert to v2 inspect API

detect/tls: convert to v2 inspect API

detect/ssh: convert to v2 inspect API

detect/snmp: convert to v2 inspect API

detect/rfb: convert to v2 inspect API

detect/nfs: convert to v2 inspect API

detect/lua: convert to v2 inspect API

detect/ftp: convert to v2 inspect API

detect/mqtt: convert to v2 inspect API

detect/modbus: convert to v2 inspect API

detect/enip/cip: convert to v2 inspect API

detect/http2: inspect API v2

detect/krb5: use inspect api v2

detect/ftpbounce: switch to inspect api v2

detect/files: remove unused prototypes

detect/files: inspect api v2

detect/file: minor cleanup

detect/dnp3: convert to v2 inspect API

detect/dcerpc: convert to v2 inspect API

detect/dns: convert to v2 inspect API

detect/app-layer-event: convert to v2 inspect API

detect/stream: convert to inspect API v2

detect/payload: minor formatting fixup

github-ci: build cbindgen during prep

Instead of building cbindgen in every build, build it once
during prep as a static musl binary to avoid library issues.

github-ci: remove prep directories before upload

Removing the libhtp, suricata-update and suricata-verify directories
before uploading the artifact reduces the upload time from minutes
to seconds.

github-ci: fedora 33 test build (based on fedora 32)

github-ci: remove fedora 31 (eol)

version: start 7.0.0 development

version: set to 6.0.1

changelog: update for 6.0.1

dnp3: regenerates C code with script

dnp3: avoids DOS by too long loop over null-sized objects

dnp3: fix memory leak with object containing bytearrays

dnp3: fix signed integer overflow

By using unsigned integers everywhere

output: use BASE64_BUFFER_SIZE macro

Base64Encode function requires the maximum length of the output string
as its last parameter. Use the macro BASE64_BUFFER_SIZE to calculate it
correctly.

datasets/string: fix buffer overflow

The size of encoded_data array and the maximum output length parameter
to Base64Encode function were incorrect leading to buffer overflow for
certain cases. The algorithm requires at least 5 bytes of space to even
convert a string of length 1.

Use BASE64_BUFFER_SIZE macro to correctly calculate this output length.
Set size of encoded_data array to the calculated output length.

util/crypt: Add macro for max base64encode len

Maximum length of a base64 encoded string can be 33% over the actual
length of the input string. The formula to best cover all the edge cases
is mathematically
(4 * (input_length + 2) / 3) + 1

Add a macro to calculate this for a given input length.

ftp: optimize FTPGetOldestTx by starting from last handled tx

Avoids DOS by quadratic complexity algorithm.
Attack is
1 stack many requests/transactions (like cwd commands on a line)
2 get many answers

http2: files inspection API fixes

uses right transaction id for file tracker
uses FILE_USE_DETECT for good matches with keyword startswith

http2: allow multiple size updates in one headers batch

cf RFC 7541 section 4.2

http2: avoid null pointer deref in alert output

Bug #4120.

http2: allow filestore to work with HTTP2

packet: set length of 0 for too big copy

ssl: improves keyword ssl_version parsing

Removes the use of PCRE for performance
Forbids empty negations after a valid pattern
Forbids mixing negative and positive forms as it is irrelevant
Forbids useless repetition of a version

smb: do not rely on one valid NBSS byte for probing

Need to have the SMB header so as to validate

ssl: upgarde to uint32 for bytes_processed

as it can overflow, and is compared with uint32 such as
message_length and message_start and

detect: null sanity checks for pkthdr

Even when the rules are only applied on traffic with the protocol
the structure for the protocol header can be set to NULL if there
was an error parsing the header

configure: require libhtp 0.5.36

doc: explicit header normalization further

And their concatenation as described in RFC 2616

github-ci: CentOS 6 is EOL

doc: http.uri.raw has no spaces

as they are in the protocol

cf bug #2881

rust: handle windows naming change from .lib to .a

Prior to Rust 1.44, Cargo would name static libs with the .lib
extension. 1.44 changes this extension to .a when running under
a GNU environment on Windows like msys to make it more similar
to other unix environments.

Now assume static library name to be the same on Windows and
unix, but rename the .lib if found to still support older
versions of Rust on Windows.

configure/mingw: move libs in LDFLAGS to LDADD

Moving the libs specified in LDFLAGS to LDADD put them into the
correct placement on in the link command.

rust: do not rebuild stdlib when coverage is enabled

Because both seem incompatible for now

fuzz: check PacketCopyData return value before processing packet

fuzz: limit memcap for datasets when fuzzing

dnp3: better limit for tests when fuzzing

fuzz: improves detect proto target

By mimicking assert message so as to clusterfuzz differentiates
between failures

detect: fix inspection order with stateful rules

When stateful detection rules, for which detection has already started
for a previous packet, are added to the candidates array, the array
is sorted to mantain the correct inspection order. However, due to a
trivial error in the sort helper the array was sorted in descending
instead of ascending order.

dcerpc/udp: fix transaction handling and logging

Implement missing transaction handling.

Fix logging wrongly casting 'state' to DCERPCState instead of
DCERPCUDPState leading to crashes and malformed output.

Remove unused fields from DCERPCUDPState.

detect/mpm: remove usused cleanup function

detect: optimize prefilter result handling

detect/prefilter: small cleanup

github-ci: check for duplicate SIDs in rules/

rules/mqtt: renumber mqtt events to avoid conflict with ssh

Both SSH and MQTT events were in the 2228000 range. As SSH was
added first, renumber MQTT events into the 2229000 range which is
free.

rust: fix warnings found by nightly compiler

warning: getting the inner pointer of a temporary `CString`
this `CString` is deallocated at the end of the statement,
bind it to a variable to extend its lifetime

decode/null: fix type parsing

atomics: fix compilation on ppc64

dnp3: set byte order when logging dnp3 src and dst

DNP3 uses little endian on the wire, for the most part this
is handled as the messages are deserialize. However, the link
header is a cast over raw data, so swap these bytes as they
are being logged.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4173

github-ci: windows in builds

doc/userguide: update http keywords

doc/userguide: explain --strict-rule-keywords

app-layer: do not try to parse gaps during protocol change

As this will leak the flow alstate because AppLayerParserParse
relies on FlowChangeProto to know if it should allocate a new
alstate

detect: apply transforms to http body

ci: updates github ci add-path mechanism

tools: bash from env

Use of hardcoded bash prevents users from using an upgraded bash which may
live in a different location. This behavior is often seen on OSX systems.

Utilize env to find the preferred bash to call for scripts.

rust/log: clarify comment in non-debug mode SCLogDebug

rust/log: order log macros in descending order

Readability cleanup.
- error, notice, ... debug

rust/log: expand macros after checking log level

Expand macros in the do_log macro after checking the log level
instead of each log macro (ie: SCLogDebug) expanding the macros
then passing off to do_log to have the log level check.

Will eliminate any expense of expanding macros if this log level
does not permit the given message to be logged.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4114

dcerpc/log: Log fields particular to an RPC version

Log fields that only are meant to be in a PDU for a particular RPC
version. Since DCERPC/UDP works on RPC version 4 and DCERPC/TCP works on
RPC version 5, there are certain fields that are particular to each
version.
Remove call_id from the logger for UDP.
Add activityuuid and seqnum fields to the logger for UDP.
call_id and (activityuuid + seqnum) fields are used to uniquely pair a
request with response for RPC versions 5 and 4 respectively.

rust/dcerpc: Remove redundant fields

rust/dcerpc: Make tx_id u64

dcerpc/udp: Fix pairing of request response

So far, request and response were paired with serial number fields in
the header. This is incorrect. According to
https://pubs.opengroup.org/onlinepubs/9629399/chap12.htm,
"Together, the activity UUID and the sequence number uniquely identify
a remote procedure call."

Hence, add activity uuid and sequence number to the transaction and pair
the request accordingly. Remove incorrect handling of this and fix
tests.

rust/dcerpc: Add UDP flag definitions

app-layer: lower limit for protocol detection on protocol change

So that protocol detection does not run for too long because
TCPProtoDetectCheckBailConditions somehow relies on its TCP stream
to start from zero, which is not the case on protocol change

Adds also debug validation checks, such as
both sides are known on protocol change

And only sets once alproto_orig

doc: New sticky buffer icmpv4.hdr

detect: Register icmpv4 header

detect: Add icmpv4.hdr sticky buffer

This commit adds a new sticky buffer to access the ICMPv4 header.

detect: New enum for icmpv4 header keyword

decode: Improved handling of ICMPv4 messages

This commit improves handling of ICMPv4 messages, especially those with
variable sized headers.

This commit also adds a header length variable for use by the new
sticky buffer for the header.

github-ci: fix debian 10 test using rustup