http2: pass data through when decompression fails

as is done for HTTP1

threshold-config: Improve support for big IP lists

templates: fix typos

- *template*files[ch][rs]: fix typos
- scripts/setup-app-layer: fix typos

scripts/setup-app-layer: fix Makefile.am patch

adjust lines for patching /src/Makefile.am, as current generated
Makefile wasn't building Suricata.
Add suggestion to run "./configure" before running "make".
Add --logger and --parser options to examples.

logging: removed unused logger IDs

- pre-json dns logger
- unified2
- pre-json drop logger

dns: only register a single logger

DNS no longer requires a logger to be registered for to-client and
to-server directions. This has not been required with the stateless
design of the Rust DNS parser.

output/tx: add warning to avoid future bugs

output/tx: move eof checks out of logging loop

app-layer: minor code cleanups

app-layer: remove conditional logic around API calls

Remove logic that suggested some API calls could be conditional,
even though Suricata wouldn't even start up if they weren't
registered.

eve/netflow: use generic json context

eve/flow: use generic json context

eve/ftp: use generic json context

The FTP logger contained no extra data in its context so the
generic json context can be used.

eve: refactor CreateEveHeaderWithTx to include common options

eve cleanup: remove duplicate/redundant code

The first change was to have CreateEveHeader add the common options
as this was left out in a few loggers. While update all the loggers
that use CreateEveHeader, remove redundant code, in particular
from loggers that don't need to use their own context but
can use the generic one.

eve/mqtt: fix mqtt logging with threaded eve

Mqtt was not setting up a per-thread file context for logging
in threaded mode, leading a crash when used in threaded mode.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4404

general: Correct typos

thresholds: Improve validation of threshold.config

This commit improves the handling of threshold.config. When used with
"-T", a non-zero return code occurs when the file cannot be validated.

To maintain legacy behavior, when "-T" is not used and threshold.config
contains one or more invalid lines, Suricata continues execution.

error: Add code for threshold config validation

This commit adds a new warning code for threshold config file validation
failures.

eve/ike: restore common option logging

sslv2: precise detection pattern with probing parser

fuzz: adds structure aware target

so as not to fuzz libpcap
and generate structure aware signatures

rust: bump bitflags dependency version

So that lexical-core, needed by nom, and using bitflags
is used with version 0.7.5 instead of version 0.7.0
which fixed the fact that BITS is now a reserved keyword
in nightly version

kerberos: fix probing parser tag condition

according to the comment

install: better warning on install-full and don't fail

If suricata-update is not available on "make install-full", don't
exit 1, instead give the reason why its not installed, but still
succeed the install.

github-ci: add libnet to ubuntu-20-04-cov-sv builder

eve/drop: use highest priority drop

When adding the alert to a drop record make sure the add the highest
priority.

It would until now add all drops from high to low prio, effectively
overwriting the record each time.

Ticket #4397

detect/alert: apply pd only actions to flow

Ticket #4394

detect/alert: minor code refactor

Use a simpler reject check and move logic into util func.

detect/iponly: don't check & set flow flags twice

Per flow IP-only flags are checked and set by IP-only engine, so
no need to set/check them per alert.

eve/ike: gracefully handle renamed output config

ikev1: add documentation for ikev1

ikev1: add metadata to alerts

ikev1: add ikev1 parser

ikev1: rename ikev2 to common ike

Renaming was done with shell commands, git mv for moving the files and content like
find -iname '*.c' | xargs sed -i 's/ikev1/ike/g' respecting the different mixes of upper/lower case.

detect: added support for protocol-aliases

util: add function converting u8-array into a hex-String

detect: add comparison-mode LTE/GTE for Detect(U32/u8)Data

detect/analyzer: fix mpm display on payload only rules

detect: suppress error message for pcre only rules

detect/analyzer: suggest modern keywords

detect/analyzer: fix json output for warnings/notes

detect/asn1: minor cleanups

detect/http-server-body: clean up test

detect/icmp: reject invalid rules for icode/itype

detect/prefilter: fix null ptr deref on invalid rule

A bad rule 'icode:<0; prefilter;' would trigger a null ptr deref
in ApplyToU8Hash.

Bug #4375.

detect/state: fix reset bug

Fix issue where after a reset the now empty list elements are not
reused and the values may not be valid for the current detect
engine anymore.

Introduce a 'current' (cur) pointer that points to the store element
currently being filled. This way existing stores will be reused.

If 'cur' is NULL and 'head' is not NULL it means we need to use
'tail' to append a new store.

detect/state: test to show reset bug

detect/state: minor code cleanup

filestore: fix global counter init in unix socket mode

Move initialization of filestore global counter to PreRunInit,
so they get registered during program initialization, or as
required in unix-socket mode, initialized for each file run.

Fixes Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4216

smb: relax probing parser to handle first NBSS message

cf dcerpc-udp S-V test :
First message is Message Type: Session request (0x81)
Second message is SMB

protodetect: only run ProbingParserTc if STREAM_TOCLIENT

fuzz: more precise assertion for protocol detection

Only in the cases of stream start is the assertion valable.
Otherwise, it can only be best effort.

smb: probing parser for start and midstream

The probing parser is more strict at the start of the stream

smb: split probing function for code style

Introduces rs_smb_probe_tcp_midstream

detect: fix overflows in SetupU8Hash

For instance ">255" resulted in overflow

ssl: reset state when breaking out of SSLV3_HANDSHAKE_PROTOCOL

So that we cannot resumt it with corrupted values

modbus: stop allocating transactions when flooded

cf #4224

icmpv6: bail out for icmpv6.hdr keyword if not ICMPv6

output/http2: Multi-threaded EVE logging support

This commit adds multi-threaded EVE logging support to the HTTP/2
logging path.

eve: fix memory leak in metadata

Fixes #4205

doc: fix ubuntu pkg name for tcmalloc

decode: limits the number of decoded layers

so as to avoid overrecursion leading to stack exhaustion

detect: set HTTP SWF decompress limits

detect/http.request_body: fix tracking with xforms

Fix handling of file progress tracking for regular http.request_body
along with transform combinations.

This is done by implementing the 'base id' logic.

Related tickets: #4361 #4199 #3616

detect/file.data: fix mixing transforms (http)

Fix handling of file progress tracking for regular file.data along
with transform combinations for the part of the implementation that
uses the HTTP inspection logic.

This is done by implementing the 'base id' logic.

Related tickets: #4361 #4199 #3616

detect/file.data: fix mixing transforms (file api)

Fix handling of file progress tracking for regular file.data along
with transform combinations for the part of the implementation that
uses the File API.

This is done by implementing the 'base id' logic.

Related tickets: #4361 #4199 #3616

detect: track base id for xform buffers

Buffers with transforms are based on the non-transformed "base"
buffer, with a new ID assigned and the transform callbacks added.

This patch stores the id of the original buffer in the new buffer
inspect and prefilter structures. This way the buffers with and
without transforms can share some of the logic are progression
of file and body inspection trackers.

Related tickets: #4361 #4199 #3616

detect/analyzer: fix pkt engine display

classification: sync and update

Sync to latest ET open and introduce inappropriate as a classification
to replace something some find inappropriate.

dcerpc: trigger raw assembly on record completion

rust/context: add AppLayerParserTriggerRawStreamReassembly

smb: andx support

Add AndX support for SMB1. Finishes #3475.

[Updated by Victor Julien to split functions]

stream/tcp: fix stream side after direction change

doc/quickstart: use new test url that works

Replace http://testmyids.org with http://testmynids.org/uid/index.html,
as testmyids.org now always redirects to https.

doc: update installation documentation for CentOS and Fedora

http: makes decompression time limit configurable

util/thash: fix memcap consolidate function

The function THashConsolidateMemcap is used to allow to load a
dataset even when the memcap is not set. But the implementation
was in fact resetting the memcap value to the max of memory
usaga after loading and default memcap. As a result, the
function was resetting memcap to the default memcap even if
a huge memcap was set in the dataset definition. In the case
of dataset where we add to the set it was leading to memcap
limit hitting despite the settings of memcap by the user.

This patch udpates the code to set the final memcap value to
the max of memory usage after loading and set memcap.

stream: TcpStreamCnf.midstream type changed to bool

protodetect: improve midstream handling

Set "done flag" only if parsers for both directions are not found in a
case of midstream parsers from other direction are tried if nothing is found
for the initial one. "done flag" must be set if nothing is found in both
directions. Otherwise processing of incomplete data is terminated at the very
first try.

dcerpc/udp: improve detection

Lately, Wireguard proto starting w pattern |04 00| is misdetected as
DCERPC/UDP which also starts with the same pattern, add more checks
to make sure that it is the best guess for packet to be dcerpc/udp.

dcerpc: add probe function

rust/applayer: split EOF flag per direction

dcerpc/udp: remove transmute

The book defines transmute as "This is really, truly, the most horribly unsafe
thing you can do in Rust. The guardrails here are dental floss."
Transmute can result into mind boggling undefined behaviors. Get rid of
it wherever possible.

protodetect: rename direction to flags

And use whole flags in AppLayerProtoDetectPPGetProto

tcp: remove debug asserts about large windows

Completes 00d7c9034be7470177c01e8805831c258b016d0e

detect/prefilter: fix handling of prefilter as fast_pattern alias

detect: forbids unsupported prefilters

detect/fast_pattern: add prefilter test

fuzz: fix typo in comment

http2: http.stat_msg keyword now works for HTTP2

http2: http.uri.raw keyword now works for HTTP2

http2: http.user_agent keyword now works for HTTP2

http2: http.uri keyword now works for HTTP2

cf #4067

protos: renaming ALPROTO_HTTP* constants

Having now ALPROTO_HTTP1, ALPROTO_HTTP2 and ALPROTO_HTTP

Run with 3 sed commands
git grep ALPROTO_HTTP | cut -d: -f1 | uniq |
 xargs sed -i -e 's/ALPROTO_HTTP/ALPROTO_HTTP1/g'
git grep ALPROTO_HTTP12 | cut -d: -f1 | uniq |
 xargs sed -i -e 's/ALPROTO_HTTP12/ALPROTO_HTTP2/g'
git grep ALPROTO_HTTP1_ANY | cut -d: -f1 | uniq |
 xargs sed -i -e 's/ALPROTO_HTTP1_ANY/ALPROTO_HTTP/g'

and then running clang-format

http: introduces ALPROTO_HTTP_ANY

For any versions of HTTP, both ALPROTO_HTTP and ALPROTO_HTTP2

proto: introduce signature protocol, as extension to flow protocol

AppProtoEquals function allows to check if a flow protocol
matches a signature protocol

github-ci: test install of library

Add library install test to Fedora 33 build. In this case the
shared library is disable so the test makes sure it is not
installed.

Also make sure the library and headers are not installed until
explicitly installed.

Add similar to test to an Ubuntu 24.04 build without disable-shared
and check that the shared library is installed.

Makefile: break headers and source into 2 vars

Split the headers and source into 2 variables. Headers are
marked noinst so they don't get automatically installed on
"make install". Instead they will be installed by a custom
Makefile target, "make install-headers".

libsuricata-config: program to print build flags

Following the pattern of many other libraries, provide a -config
program to output cflags and libs to properly link an application
against the library.

usage: libsuricata-config [--cflags] [--libs] [--static]

--cflags and --libs can be used infividually or together.

--static will link against the static libraries instead of the
shared library. Note that if the shared library is not available,
the static libraries will be provided even without this option.