http2: follow range requests

Move the content-range parsing code to rust

range: post process out of order blocks

A block is determined out of order on opening.
But on closing, the gap before it may have been filled.
So, we must post-process it, ie iterate over the red and black
tree so see what blocks we can get.

range: no final zero in key

for future compatibility with rust

http2: better rust lifetimes

so that borrow check gets happy

rust: rename to StreamingBufferConfig as in C

http: more consistent return values for HTPFileOpenWithRange

http: increase tracked files for ranges as well

http: range transfering ownership of file container

To make concurrency reasoning clearer

http: avoid one lock for range append data

Better structure design to ensure that one flow maximum
is owning and appending into the file, adding fileOwning field.

Adds also a gap field in a range buffer, so that we can
feed the gap on closing, when we are protected from concurrency
by a lock, (lock which got removed in the append path)

Fixes memcap when encountering a duplicate while inserting
in red and black tree

Adds many comments

thash: add debug validation check for use_cnt

http/range: cleanup and simplification

Simplify locking by using the THashData lock instead of a separate
range lock.

Avoid size_t in function arguments.

Clean up file handling functions.

Implement handling of alloc errors.

Rename yaml entry to byterange

Unify public api naming

http/range: optimize struct layout

http/range: fix memory leak on out of order ranges

http/range: reassemble files from different flows with range

adds a container, ie a thread safe hash table whose
key is the filename

keep a tree of unordered ranges, up to a memcap limit

adds HTPFileOpenWithRange to handle like HTPFileOpen
if there is a range : open 2 files, one for the whole reassembled,
and one only for the current range

util: export Djb2 hash string function

util: adds util function SCBufferCmp

Compares two buffers with their two sizes

detect: suppress scan-build warning

github-ci: remove fedora 32 builds (eol)

Promote Fedora versions used in builds to 33 or 34.

lua: move lua includes to util-lua.h

Moves Lua includes to util-lua.h instead of suricata-common
so plugins (or library users) don't need to be aware of the
Lua that Suricata was built with. Instead only source files
that need to be Lua aware can include util-lua.h.

smb: fix broken stream depth setting

The stream depth setting was broken since it was moved to Rust because
of a missing parser for memory values in configuration.
Use get_memval fn from conf.rs to calculate and fetch the correct
values.

rust/conf: add getter for memval

Add a parser for memory values like 50kb, 20mb, etc on the Rust side.

transform: use generic Free function

to free subelements in the context structure

fuzz: fixes a leak in applayerparse target

If a protocol change was requested, the target did not handle
it as Suricata, as the target is meant to handle only one
app-layer protocol.

plugins: check if eve file type is registered

Instead of the 2 registration functions, just use one with
a utility method to check for conflicts against built-in
types.

plugins: remove internal fields

The internal flag is not really used. This also reverts the behaviour of
the plugin refactor of passing a ConfNode based on the plugin name
instead of the eve ConfNode.

eve/syslog: remove "plugin" naming

eve: register internal output file types

Register known eve output file types during eve registration. This
removes the function to load internal plugins as they are not really
plugins and moves the registration of them into their respective
subsystem.

plugins: rename SCPLuginFileType to SCEveFileType

With internal code using the plugin API to register an Eve
filetype, the name plugin no longer makes sense. This is
part of my idea that internal plugins aren't plugins at all,
and the plugin interface should be an abstraction over
internal APIs.

Along that idea, this is the start of a refactor of the plugin
file types to be internal, where the plugin API is just an external
interface to that internal API.

output/syslog: Register syslog plugin

This commit completes the syslog conversion to an internal output plugin
with registration to make it available as an output file type.

output/plugin: Refactor eve registration function

output/syslog: Refactor syslog definitions

output/syslog: Convert syslog eve output to plugin

This commit converts the "built-in" syslog eve output handler into an
internal plugin.

output/json: Refactor internal routines

plugin: Refactor and create registration function

This commit refactors the plugin registration code and creates an API
for plugin registration

output/plugin: Load internal plugins

This commit adds an interface for loading plugins that are internal to
Suricata. These are always loaded and are in a modified format from
external pliguns.

plugin: Add "not set" plugin value type

This value is used as a sentinel to determine if the configured
eve.json filetype was located.

First, the built-in and internal output plugins are checked. If the
sentinel value remains set, the external plugins are searched for the
filetype.

util/lua-common: use lua_pushnumber for SCFileInfo

doc/lua-functions: add sha items to SCFileInfo doc

util/lua-common: fix SCFileInfo bug & doc comment

The callback for FileInfo was returning the wrong value, resulting
in loss of some tuple values for one calling SCFileInfo in a script.

The documentation comment wasn't mentioning the sha items that are
pushed.

util/lua-common: use pushinteger w/ byte & pkt cnt

LuaCallbackStatsPushToStackFromFlow tuple is composed of integer values
not all of them had been converted to lua_pushinteger yet.

util/lua-common: update copyright year

util-lua-common: use lua_pushinteger w/ int values

replace lua_pushnumber with lua_pushinteger for SCFlowStats and
SCRuleIds.

lua/output: fix typo

lua: use pushinteger for int in flow/packet tuples

ssh: remove futile default port setting

smb: remove futile default port setting

rfb: remove futile default port setting

nfs: remove futile default port setting

applayer: error if probes are null but port is not

If the default port is set via the Rust registration table but the probe
fns to server and to client are set to None, the port is never used.
Setting port in such a case is useless so error out.

dcerpc: use null for default ports

doc: remove prelude and document as removed

prelude: remove the prelude output

It was broken in 6 and that didn't cause much issue. Just remove
it for 7.

doc/upgrade: move ike logging changes to 7.0 changes

Was mistakenly put in 6.0 changes.

doc/upgrade: mention that nss is no longer required

ci: use quiet option w suricata-verify

detect/prefilter: bail early if possible

detect/prefilter: update tx_min_progress to uint8_t

Now that our make progress value is 47, we don't need an int.

detect: enforce max app-layer progress

Allow progress values in the range 0-47 so we have 48 bits to track
prefilter engines.

Mark bits 48-62 as reserved explicitly.

Add debug validation checks to make sure the reserved space isn't used.

detect: track prefilter by progress, not engine

Fix FNs in case of too many prefilter engines. A transaction was tracking
which engines have run using a u64 bit array. The engines 'local_id' was
used to set and check this bit. However the bit checking code didn't
handle int types correctly, leading to an incorrect left shift result of
a u32 to a u64 bit value.

This commit addresses that by fixing the int handling, but also by
changing how the engines are tracked.

To avoid wasting prefilter engine tracking bit space, track what
ran by the progress they are registered at, instead of the individual
engine id's. While we can have many engines, the protocols use far
fewer unique progress values. So instead of tracking for dozens of
prefilter id's, we track for the handful of progress values.

To allow for this the engine array is sorted by tx_min_progress, then
app_proto and finally local_id. A new field is added to "know" when
the last relevant engine for a progress value is reached, so that we
can set the prefilter bit then.

A consquence is that the progress values have a ceiling now that
needs to fit in a 64 bit bitarray. The values used by parsers currently
does not exceed 5, so that seems to be ok.

Bug: #4685.

flow: log action applied to all packets

Log if action applied to whole flow is drop or pass.

tests: fix drop test; cleanup

SigTestDropFlow04 was incorrectly expecting an alert in the packet
following a "drop" packet. The first drop is applied to the flow, so
it should lead to the 2nd packet being dropped before inspection is
run.

Clean up the test as well.

detect/tests: improve detection entry

Lots of tests still use SigMatchSignatures as their main detection
entry function, which bypassed some logic. Make it match main logic
more closely.

tests: clean up drop test

detect: enforce flow drops earlier

Enforcing flow drops is now done earlier in the detection engine and
moved out of the IP-only engine where it didn't belong.

detect: unify alert handling; fix bugs

Unify handling of signature matches between various rule types and
between noalert and regular rules.

"noalert" sigs are added to the alert queue initially, but removed
from it after handling their actions. This way all actions are applied
from a single place.

Make sure flow drop and pass are mutually exclusive.

The above addresses issue with pass and drops not getting applied
correctly in various cases.

Bug: #4663
Bug: #4670

detect: remove dead code

detect/lua: use BIT_U32 for flags

detect/lua: minor cleanup

output/tx: check flags using BIT_U32

packet: use BIT_U32 for flags

detect/mpm: micro optimization for initialization

Do less expensive check first.

detect: remove ticker

Last consumer of it has been converted.

detect/http: clean up header buffer logic

Simplify and clean up header buffer management. The code was designed
to track buffers for several transactions in parallel, from when the
detection engine wasn't aware of transactions.

For http.start and http.header_names use generic mpm and inspect
functions.

ipv6: decoder event on invalid length

From RFC 2460, section 4.5,
each fragment, except the last one, must have a length
which is a multiple of 8

http2: better rust style

http2: concatenate one headers multiple values

For detection, as is done with HTTP1

http2: generic http2_header_blocks

so as not to forget continuation and push promise
when iterating over headers

http2: http.header keyword now works for HTTP2

As well as http.header.raw

http2: http.header_names keyword now works for HTTP2

http2: http.host normalized keyword now works for HTTP2

http2: turn Host header into authority during upgrade

HTTP1 uses Host, but HTTP2 uses rather :authority cf HPACK

http2: better file tracking

If an HTTP2 file was within only ont DATA frame, the filetracker
would open it and close it in the same call, preventing the
firther call to incr_files_opened

Also includes rustfmt again for all HTTP2 files

http2: support deflate decompression

cf #4556

ftp: support per-tx file accounting

smtp: support per-tx file accounting

smb: add debug validation on file counts

smb: count files in tx

http2: support per-tx file accounting

nfs: add debug validation on file counts

nfs: support per-tx file accounting

nfs: don't reuse file transactions

After a file has been closed (CLOSE, COMMIT command or EOF/SYNC part of
READ/WRITE data block) mark it as such so that new file commands on that
file do not reuse the transaction.

When a file transfer is completed it will be flagged as such and not be
found anymore by the NFSState::get_file_tx_by_handle() method. This forces
a new transaction to be created.

http: support per-tx file accounting

filestore: track files getting stored per tx

Avoid evicting a tx before the filedata logger has decided it is
done.

filestore: store chunks in packet direction

Storing too early can lead to files being considered TRUNCATED if the
TCP state is not yet CLOSED when logging is triggered. This has been
observed with FTP-DATA and might also be an issue with simple HTTP.

app-layer/transactions: track files opens and logs

To make sure a transaction is not evicted before all file logging is complete.

eve/files: log in packet direction only

Bug: #3703.

Don't log files too soon.

GRE: Handling pptp without payload

If one of the ppp peers sends a packet with an acknowledge flag,
the ppp payload will be empty and DecodePPP will return TM_ECODE_FAILED.
To handle this case, the packet_length field in the GRE extended header (https://tools.ietf.org/html/rfc2637#section-4.1) is used.
DecodeGRE no longer tries to parse PPP payload if packet_length is zero.

scripts: bundle script for requirements

Add a bundle.sh script to bundle the requirements of libhtp
and suricata-update. This uses a Python like requirements.txt
file to specify the URL to download for libhtp and suricata-update.

doc: Update public-data-sets.rst

Replace dead link

Dataset on ll.mit.edu returns 404. Link updated with a search result of more datasets.

detect-dsize: Add ! operator for dsize matching