pcrexform: use substring and not whole match

tftp: StringToAppProto case

So, fuzz_applayerparserparse_tftp will fuzz tftp

range: checks that end is after start for HTTP2

As was done only for HTTP1 in previous commit

The verification part stays separated from the parsing part,
as we want to keep on logging invalid ranges values.

queue.h: suppress scan-build warnings

If running under scan-build, use our own implementations of all
the macros which include some code to satisfy scan-build
warnings.

range: move back files ownership in one case

In the case, we receive a range request with expected
overlap then new bytes, but the response does not get to the
new bytes, we are still skipping, but the HttpRangeContainerBlock
had the ownership of the files, and need to give it back

range: checks that end is after start

Otherwise, we end up allocating too much memory

loopback: decodes IPv6 from all OSes

As does wireshark

ike: do not keep server transforms in state

Fixes #4534

Now, only the tx with the transforms will match
with ike.chosen_sa_attribute

modbus: tx iterator

When there are a lot of open transactions, as is possible with
modbus, the default tx_iterator will loop for the whole
transacations vector to find each transaction, that means
quadratic complexity.

Reusing the tx_iterator from the template, and keeping as a state
the last index where to start looking avoids this quadratic
complexity.

util: avoid calling snprintf in PrintStringsToBuffer

As we print only one character

http2: enable by default, even if not in config

http2: enable by default

http2: null check during upgrade

app-layer: disable by default if not in configuration

DNP3, ENIP, HTTP2 and Modbus are supposed to be disabled
by default. That means the default configuration does it,
but that also means that, if they are not in suricata.yaml,
the protocol should stay disabled.

queue.h: wrap the system sys/queue.h

Instead of using local implementations for the queue.h macro,
wrap the system provided queue.h and then adding missing
features as needed.

The idea is that Suricata when integrated with another library
that includes sys/queue.h can look at the same source of truth
for these macros.

But not all operating systems include a queue.h with the same
features, and some don't include it at all, like Windows. So
on Windows this will be a full implementation of all the queue.h
features Suricata needs.

alert: fixes leak in ThresholdHandlePacketRule

ThresholdHandlePacketRule may take ownership of an allocated
DetectThresholdEntry, and places it in a position of the
array th_entry. But it never got released

fuzz: target must use the rules it parsed

DetectEngineReloadThreads does not work for the fuzz targets
as there is no_of_detect_tvs = 0 as we did not register
real threads and slots.

So, we force the flow worker module to use the newly detect engine
conetxt with all it needs

github-ci: pin macos build to 10.15

There is currently a build failure with macos-latest (recently updated)
to 11 in the libhtp test suite code. Not sure if there are other
build issues in libhtp or Suricata at this time.

github-ci: use sccache for gcc in commits workflow

Previously was only used for Rust.

flow: free spare pool more aggressively

The flows exceeding the spare pools config setting would be freed
per at max 100 flows a second. After a high speed test this would
lead to excessive memory use for a long time.

This patch updates the logic to free 10% of the excess flows per
run, freeing multiple blocks of flows as needed.

Bug: #4731.

threading: force break loop on flow inject

Track availability of break loop callback to avoid overhead.

flow: process evicted flows on low/no traffic

In a scenario where there was suddenly no more traffic flowing, flows
in a threads `flow_queue` would not be processed. The easiest way to
see this would be in a traffic replay scenario. After the replay is done
no more packets come in and these evicted flows got stuck.

In workers mode, the capture part handles timeout this was updated to
take the `ThreadVars::flow_queue` into account.

The autofp mode the logic that puts a flow into a threads `flow_queue`
would already wake a thread up, but the `flow_queue` was then ignored.
This has been updated to take the `flow_queue` into account.

In both cases a "capture timeout" packet is pushed through the pipeline
to "flush" the queues.

Bug: #4722.

threading: minor cleanups

unittests/template: Register template unittests

unittests/enip: Register ENIP unittests

pcre: fixes a memory leak on alloc error

http2: do not try to upgrade if http2 is disabled in config

http2: flatten code style

protodetect: handle all gaps, even when depth is reached

readthedocs: add configuration file

pcre: local match data for pcrexform

pcre: use thread-storage for matches

pcre: using de_ctx in unit tests for free function

pcre: creates a match structure per match run

So that DetectPcrePayloadMatch is thread safe
and does not rewrite a shared parse_regex.match structure

http: range: remove assert that can happen

http2: range: check return value when opening

HttpRangeContainerOpenFile can return NULL
so, http2_range_open can set file_range to NULL
And we should check this before calling http2_range_close

http: delete obsolete range log

Commit d776d72711800168cda5d62a7cc4669abda379be
has been transfering ownership of file container

So, we cannot log it

fuzz: adds one target with predefined rules

lgtm: adds build instructions to get lgtm to work

LGTM is a statis analysis tool

af-packet: use configured cluster-id when checking for fanout

When testing for fanout support a cluster-id of 1 was always being
used instead of the configured cluster-id. This limited fanout
support to only one Suricata instance.

Instead of hardcoding an ID of 1, use the configured cluster-id.

Also make cluster_id a uint16_t instead of an int in AFPThreadVars.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3419

ipv6: simpler generic overlap condition

This also changes the behavior, as the condition is checked in
every case cf ipv6-malformed-fragments-8

userguide: update wiresharkwiki in public datasets

doc/devguide: add few more explanations & details

devguide/app-layer: rename /img dir to /diagrams

Semantically speaking it makes more sense, because it stores `msc`
files for dynamic image generation.
Updated files that refered to `img` accordingly, too.

devguide/transactions: add TSL_STATE enum snippet

devguide/transactions: update & refine diagrams

- DNS sequence diagram was incorrect (transactions should be
unidirectional). After changing it, it made sense to rename the file.
Adjusted spacing, too. Updated transactions.rst accordingly.
- TLS sequence diagram was refined to illustrate how Suricata actually
implements the protocol.

devguide/transactions: fix wordings

devguide/code-style: fix typo in banned functions

workflows: add mscgen to Ubuntu 18.04 Cocci builds

doc/devguide: add Transactions documentation page

A guide on what is a transaction for Suricata engine, focusing on
developers.
- What's the purpose of a transaction;
- transaction states and API callbacks;
- Examples and sequence diagrams.
- doc/devguide: add transactions.rst
- doc/devguide/extending/app-layer/index.rst: add transactions.rst

fuzz: updates README

Uses main oss-fuzz repository

More complete flags proposition for direct compilation

style: remove latest warnings

about unused variables

flowint: same analysis warnings as flowbits

pcre2: remove PCRE1 from CI

pcre2: remove PCRE1 as dependency

pcre2: follow code naming style

pcre2: only one DetectParseRegex structure

pcre2: move header include to suricata-common only

pcre2: document the behavioral changes

pcre2: check for PCRE2_ERROR_UNSET

Needs maybe to be generalized

pcre2: migrate keywords parsing

pcre: use pcre2 to parse detect pcre itself

pcre: migrate detect-pcre to pcre2

pcre2 substrings need special free...

pcre2: migrate utility uses of pcre

pcre2: migrate transform pcrexform

pcre2: introduce as a new depdendency

http2: follow range requests

Move the content-range parsing code to rust

range: post process out of order blocks

A block is determined out of order on opening.
But on closing, the gap before it may have been filled.
So, we must post-process it, ie iterate over the red and black
tree so see what blocks we can get.

range: no final zero in key

for future compatibility with rust

http2: better rust lifetimes

so that borrow check gets happy

rust: rename to StreamingBufferConfig as in C

http: more consistent return values for HTPFileOpenWithRange

http: increase tracked files for ranges as well

http: range transfering ownership of file container

To make concurrency reasoning clearer

http: avoid one lock for range append data

Better structure design to ensure that one flow maximum
is owning and appending into the file, adding fileOwning field.

Adds also a gap field in a range buffer, so that we can
feed the gap on closing, when we are protected from concurrency
by a lock, (lock which got removed in the append path)

Fixes memcap when encountering a duplicate while inserting
in red and black tree

Adds many comments

thash: add debug validation check for use_cnt

http/range: cleanup and simplification

Simplify locking by using the THashData lock instead of a separate
range lock.

Avoid size_t in function arguments.

Clean up file handling functions.

Implement handling of alloc errors.

Rename yaml entry to byterange

Unify public api naming

http/range: optimize struct layout

http/range: fix memory leak on out of order ranges

http/range: reassemble files from different flows with range

adds a container, ie a thread safe hash table whose
key is the filename

keep a tree of unordered ranges, up to a memcap limit

adds HTPFileOpenWithRange to handle like HTPFileOpen
if there is a range : open 2 files, one for the whole reassembled,
and one only for the current range

util: export Djb2 hash string function

util: adds util function SCBufferCmp

Compares two buffers with their two sizes

detect: suppress scan-build warning

github-ci: remove fedora 32 builds (eol)

Promote Fedora versions used in builds to 33 or 34.

lua: move lua includes to util-lua.h

Moves Lua includes to util-lua.h instead of suricata-common
so plugins (or library users) don't need to be aware of the
Lua that Suricata was built with. Instead only source files
that need to be Lua aware can include util-lua.h.

smb: fix broken stream depth setting

The stream depth setting was broken since it was moved to Rust because
of a missing parser for memory values in configuration.
Use get_memval fn from conf.rs to calculate and fetch the correct
values.

rust/conf: add getter for memval

Add a parser for memory values like 50kb, 20mb, etc on the Rust side.

transform: use generic Free function

to free subelements in the context structure

fuzz: fixes a leak in applayerparse target

If a protocol change was requested, the target did not handle
it as Suricata, as the target is meant to handle only one
app-layer protocol.

plugins: check if eve file type is registered

Instead of the 2 registration functions, just use one with
a utility method to check for conflicts against built-in
types.

plugins: remove internal fields

The internal flag is not really used. This also reverts the behaviour of
the plugin refactor of passing a ConfNode based on the plugin name
instead of the eve ConfNode.

eve/syslog: remove "plugin" naming

eve: register internal output file types

Register known eve output file types during eve registration. This
removes the function to load internal plugins as they are not really
plugins and moves the registration of them into their respective
subsystem.

plugins: rename SCPLuginFileType to SCEveFileType

With internal code using the plugin API to register an Eve
filetype, the name plugin no longer makes sense. This is
part of my idea that internal plugins aren't plugins at all,
and the plugin interface should be an abstraction over
internal APIs.

Along that idea, this is the start of a refactor of the plugin
file types to be internal, where the plugin API is just an external
interface to that internal API.

output/syslog: Register syslog plugin

This commit completes the syslog conversion to an internal output plugin
with registration to make it available as an output file type.

output/plugin: Refactor eve registration function

output/syslog: Refactor syslog definitions

output/syslog: Convert syslog eve output to plugin

This commit converts the "built-in" syslog eve output handler into an
internal plugin.

output/json: Refactor internal routines

plugin: Refactor and create registration function

This commit refactors the plugin registration code and creates an API
for plugin registration