http2: only mimic http1 request if there is one

That may not be the case in midstream/async configurations

(cherry picked from commit d00b755b647a69eb4d4a10adb57be45fd4d14c7d)

thresholds: Fix buffer overflow in threshold context

th_entry is resized using ThresholdHashRealloc() every time a rule with
a threshold using by_rule tracking is added. The problem is that this is
done before the rules are reordered, so occasionally a rule with by_rule
tracking gets a higher signature number (after reordering) than the
number of th_entries allocated, causing Suricata to crash.

This commit fixes this by allocating th_entries after all the rules are
loaded and reordered.

Backtrace from core dump:

  Program terminated with signal SIGSEGV, Segmentation fault.

  #0  0x000000000051b381 in ThresholdHandlePacket (p=p@entry=0x7fb0080f3960, lookup_tsh=0x51, new_tsh=new_tsh@entry=0x7fb016c316e0, td=td@entry=0x14adedf0, sid=9800979, gid=1, pa=0x7fb0080f3b18)
      at detect-engine-threshold.c:415
  415>----                if (TIMEVAL_DIFF_SEC(p->ts, lookup_tsh->tv1) < td->seconds) {

Bug #4503.

(cherry picked from commit 2a326421aa29154ebfaada3888974a634feb5f56)

thresholds: syntax fixes

Fix syntax of if statement in SigGetThresholdTypeIter()

(cherry picked from commit f47e4375b3310554c13561efb2f382f04bd24340)

thresholds: remove unneeded function argument

Remove packet pointer from SigGetThresholdTypeIter() as it is
unused.

(cherry picked from commit b0b4fab7949dddeaf4c1b844c403dcc2c2470595)

rust: fix app-layer parser flags

This especially allows for SSH bypass to work

(cherry picked from commit fdab22d924702168e3b7d07d061009ebdcfa9aa9)

ftp: completely parses pasv and epsv responses

(cherry picked from commit ca6e434e0b84dc8478763dc0a8716c5e3686a99a)

unix-socket: reset to ready state on startup

As part of commit ea15282f47c6ff781533e3a063f9c903dd6f1afb,
some initialization was moved to happen even in unix socket mode,
however, this initialization does setup some loggers that can only have
one instance enabled (anomaly, drop, file-store).

This will cause these loggers to error out on the first pcap, but work
on subsequent runs of the pcap as some deinitialization is done after
each pcap.

This fix just runs the post pcap-file deinitialization routine to
reset some of the initialization done on startup, like is done after
running each pcap in unix socket mode.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4225

Additionally this prevents alerts from being logged two times
on the first run of a pcap through the unix socket:

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4434

(cherry picked from commit 488d5fb34284f7e5be760edeca7607209cfa4b5e)

http2: make decompression a configure-time option

http2: have filecontainer for both directions

(cherry picked from commit 6fe8bce3b0c653df8e72bdb81bc235672386b8b1)

http2: adds check about dynamic headers table size

(cherry picked from commit 3de0123ffbf355e3d3de318080f18bd639ec9beb)

http2: remove dead code

(cherry picked from commit de280c47d9776c3c16743bb01f8cceb6e97ad94a)

http2: remove assertion which can be wrong

Brotli decoder stops consuming input it it reaches the
end of its input

(cherry picked from commit b3c502d572693368aba277d28aefc9c9cfe685af)

http2: pass data through when decompression fails

as is done for HTTP1

(cherry picked from commit 1ca4f041bb452742f326985479fca9a02473649f)

http2: decompression for files

gzip and brotli decompression for files

(cherry picked from commit d8612282149df27be47f7aaba906ea08dcc3952e)

rust: BIT_U16 macro utility

(cherry picked from commit 2e46b5d1001d61da2131c42554eff10b7400ad81)

rust: better panic message for missing file config

(cherry picked from commit aee8e601491c60aac9ee158918a4110df87bcc1e)

decode/vntag: By default, disable vntag decoding

This commit makes the VNTag decoder off by default.

decode/vntag: Add VNTag decoder logic

(cherry picked from commit 0f0cb5169f378614c753328e2d0396f5b9211a38)

tests/vntag: VNTAG decoder unittests

(cherry picked from commit 596d7608333290d22ea6cee26a79eb4f9ca8605d)

decode/vntag: VNTAG 802.1Qbh decoder

(cherry picked from commit 713bace44f05c4b900c35ad2da537ef5e0ad18ec)

decode/stats: VNTAG stats

(cherry picked from commit b944e636a8dfa34971d0375baa1cb3fa764bb2e0)

decode/events: VNTAG decoder events

(cherry picked from commit 1ddad0a0d610265baea902387eb40d7012c8c841)

decode: Add ethertype for VNTAG

(cherry picked from commit 049afde3a275ab748f4ef1f4777b9cfd5dd400ce)

github: Update codeowner handle

(cherry picked from commit 0c5a8fb35d3f60b3828c5e7b91f4bb9e6c37990c)

rust: pin memchr to ~2.3

2.4+ requires a newer version of Rust.

makefile: don't include the whole test/ directory

Including the whole directory results in .deps files ending up
in the distribution archive which shouldn't be there. Instead
we have to list all the test sources individually.

Backport of 70b21df75633253ac8318f229de2f521c14a6630.

rdp: correctly returns incomplete in parse_tc

Adding the already consumed bytes
In case an incomplete tls handshake is handled with/after
a refular rdp t123_tpkt

(cherry picked from commit 6da9a37285a50b513077e5c88094f8112740ffcb)

ftp: fixes leak with duplicate expectation

(cherry picked from commit 68d6922e3cc47c2608e1ac3614c6bd3a48185a12)

output/log: Ensure files closed in threaded mode

This commit ensures that file objects are closed in threaded mode.

(cherry picked from commit 38ae21a19691466b078a6201494df893bc91308c)

output/log: Removed pcie (Tilera) log vestiges

This commit removes the last remnants of the Tilera log output mechanism
(unsupported since 5.0.x).

(cherry picked from commit aa9ad56a5b0faeb9528558f6197ff967c6714e94)

flow/bypass: Properly set the ICMP emergency-bypassed value

Currently the ICMP emergency-bypassed value defined in suricata.conf is
overwriting the UDP value rather than correctly setting it for ICMP.
This commit corrects this bug so that the ICMP value can be set as
expected.

(cherry picked from commit 7fb56a9075a97cd9781d08efd0f949b0bfca2719)

kerberos: fix probing parser tag condition

according to the comment

(cherry picked from commit cb150e97d09baea09a738388426eafad3cccff2a)

detect/alert: apply pd only actions to flow

Ticket #4394

(cherry picked from commit 6cf44fc839e8f1da820095928b5b25e7fc0a8521)

detect/alert: minor code refactor

Use a simpler reject check and move logic into util func.

(cherry picked from commit 6c594d29db55bb0d6f28f0a5fa758c3e00a86ca1)

detect/iponly: don't check & set flow flags twice

Per flow IP-only flags are checked and set by IP-only engine, so
no need to set/check them per alert.

(cherry picked from commit fbcdd2ec267d49040ca178f8562767d8fb00aa73)

threshold-config: Improve support for big IP lists

(cherry picked from commit ef62761e8c64d1644f2628ca7fc99e815bd96b88)

detect/threshold: Improve threshold.config perf

This commit improves performance when parsing threshold.config by
removing a loop-invariant to create a one-time object with the parsed
address(es).

Then, as needed, copies of this object are made as the suppression
rule(s) are processed.

(cherry picked from commit 02ceac8b8d4473de5f373a4785a1c143778b06e1)

detect/threshold: Function to deep-copy thresh obj

This commit adds a function to make a deep copy of a DetectThresholdData
object.

The function is used when parsing threshold.config items to make a
one-time object and then add copies as needed.

(cherry picked from commit e873632a2811be4cd370336d43fcc5619bcd28e2)

detect/address: Expose DetectAddressCopy function

(cherry picked from commit 11f9cc6524958d11b6d9ab1f0785bfe16237096f)

general: Typo cleanup

(cherry picked from commit 2893b04ab014c4dcc0bfc4c6f9dbf83fd44717a1)

eve/drop: use highest priority drop

When adding the alert to a drop record make sure the add the highest
priority.

It would until now add all drops from high to low prio, effectively
overwriting the record each time.

Ticket #4397

(cherry picked from commit 398ebf934509a8d27a1c8b858eae061b89d5c44a)

misc: include queue.h before other headers

At least on FreeBSD, some other include is including "sys/queue.h"
which results in FreeBSDs /usr/include/sys/queue.h being picked
up and setting __SYS_QUEUE_H__ so our queue.h is not picked up.

But the FreeBSD queue.h does not have the CIRCLEQ definitions. To
fix just include our queue.h first, which also sets __SYS_QUEUE_H__
preventing the system one from being picked up.

(cherry picked from commit d4554ec6bb6e4e52fb2e36cf0412c981a4d1d2e9)

tx: fix unidir tx cleanup

A unidirection protocol parser should only have its transactions
marked as "skipped" if it is skipped in both the TS and TC
directions, otherwise unidir transactions are always considered
skipped and the cleanup will never updates its minimum id.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4437

(cherry picked from commit afaa18c5ad183d068795cf15d21d3642814ceb23)

eve/mqtt: fix mqtt logging with threaded eve

Mqtt was not setting up a per-thread file context for logging
in threaded mode, leading a crash when used in threaded mode.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4404

(cherry picked from commit 64330498f842386cc1f1cdec0409959b5565496f)

ci: make format check use 6.0.x branch

detect/icmp: reject invalid rules for icode/itype

(cherry picked from commit 68f8b2f40f24a8656b09b3a9b1245ab3cf62a11d)

detect/prefilter: fix null ptr deref on invalid rule

A bad rule 'icode:<0; prefilter;' would trigger a null ptr deref
in ApplyToU8Hash.

Bug #4375.

(cherry picked from commit 7d6835958bbb6ddf2931c9e20f409eadfc8ca068)

version: start development towards 6.0.3

release: 6.0.2; update changelog; require htp 0.5.37

detect/prefilter: fix handling of prefilter as fast_pattern alias

(cherry picked from commit 0dd5921bc9791ac733c8d264212d69e661309df1)

detect: forbids unsupported prefilters

(cherry picked from commit b7fd01c86e0d0f3c341031d62ec89e305859aa0b)

detect: set HTTP SWF decompress limits

(cherry picked from commit af13d4de180515f92813befc9bca06b66f7233bb)

Revert "detect/state: optimize state keeping"

This reverts commit 13ce474d5e3947389e781f95fa6337d2eb36e129.

The optimization is incomplete. A more complete fix is merged in
master, but this needs a bit more time before getting backported.

smb: relax probing parser to handle first NBSS message

cf dcerpc-udp S-V test :
First message is Message Type: Session request (0x81)
Second message is SMB

(cherry picked from commit 83070102557d2755b9ffc67bb14b9b4d48b039e9)

smb: probing parser for start and midstream

The probing parser is more strict at the start of the stream

(cherry picked from commit 1b6e81cd7284355cb4315606cac30325e144d25a)

smb: split probing function for code style

Introduces rs_smb_probe_tcp_midstream

(cherry picked from commit 9dc5258a21cecdabca26aaac108e83d85147d30b)

protodetect: only run ProbingParserTc if STREAM_TOCLIENT

(cherry picked from commit 660e9e489b7d898509946d8a66f15c6107fd5a4e)

detect: fix overflows in SetupU8Hash

For instance ">255" resulted in overflow

(cherry picked from commit 2d765d6c686449e78e29759b07c4852ebab3c46e)

ssl: reset state when breaking out of SSLV3_HANDSHAKE_PROTOCOL

So that we cannot resumt it with corrupted values

(cherry picked from commit eb460cf78dadc874633a57571245acf2911a6b6e)

modbus: stop allocating transactions when flooded

cf #4224

(cherry picked from commit 89030d3e59e23d4850ac9a7db5763c3d4d4fd537)

icmpv6: bail out for icmpv6.hdr keyword if not ICMPv6

(cherry picked from commit ddb4d289ae00908d8f25fdd3afbcd5a1da2111a6)

output/http2: Multi-threaded EVE logging support

This commit adds multi-threaded EVE logging support to the HTTP/2
logging path.

(cherry picked from commit 538fc58b37cb6633824fc2e167068b11d09a013a)

eve: fix memory leak in metadata

Fixes #4205

(cherry picked from commit 35f6c80bbf4eef7ec311ed78dd29819cc471905e)

protodetect: rename direction to flags

And use whole flags in AppLayerProtoDetectPPGetProto

(cherry picked from commit c6aadf0dfa0d438e3a4a46db2de893b62e76d7ce)

decode: limits the number of decoded layers

so as to avoid overrecursion leading to stack exhaustion

(cherry picked from commit 7500c29300dcef8716d87461842e7d7c3e5101ac)

detect/http.request_body: fix tracking with xforms

Fix handling of file progress tracking for regular http.request_body
along with transform combinations.

This is done by implementing the 'base id' logic.

Related tickets: #4361 #4199 #3616

(cherry picked from commit 4a1482a1cfab7bbf95be81dff9b9db3708f6626a)

detect/file.data: fix mixing transforms (http)

Fix handling of file progress tracking for regular file.data along
with transform combinations for the part of the implementation that
uses the HTTP inspection logic.

This is done by implementing the 'base id' logic.

Related tickets: #4361 #4199 #3616

(cherry picked from commit ea3fb4a465e0ecd3f08c2828aa08804335c77a46)

detect/file.data: fix mixing transforms (file api)

Fix handling of file progress tracking for regular file.data along
with transform combinations for the part of the implementation that
uses the File API.

This is done by implementing the 'base id' logic.

Related tickets: #4361 #4199 #3616

(cherry picked from commit 54ad7de9cea22b9a3c3e7cc64145155126f4dada)

detect: track base id for xform buffers

Buffers with transforms are based on the non-transformed "base"
buffer, with a new ID assigned and the transform callbacks added.

This patch stores the id of the original buffer in the new buffer
inspect and prefilter structures. This way the buffers with and
without transforms can share some of the logic are progression
of file and body inspection trackers.

Related tickets: #4361 #4199 #3616

(cherry picked from commit 975062cf401f79c00abf728d923c65aabd143af2)

detect/analyzer: fix pkt engine display

(cherry picked from commit 52692da7cf9f66a979bac24f38efd5ce2767d066)

classification: sync and update

Sync to latest ET open and introduce inappropriate as a classification
to replace something some find inappropriate.

(cherry picked from commit f037f6f4ff08ed0442b3bbc1623dfb7ecb23c716)

tcp: remove debug asserts about large windows

Completes 00d7c9034be7470177c01e8805831c258b016d0e

(cherry picked from commit 7264f58f2cbf266ba44efd32c5031b692b57967d)

dcerpc: trigger raw assembly on record completion

(cherry picked from commit 0ac5c5376a2a6e32ac0c12ff8bc483abf04c9cb8)

rust/context: add AppLayerParserTriggerRawStreamReassembly

(cherry picked from commit c77c8e70050b865401b3cfd3d5396bec90ac2498)

dcerpc/udp: improve detection

Lately, Wireguard proto starting w pattern |04 00| is misdetected as
DCERPC/UDP which also starts with the same pattern, add more checks
to make sure that it is the best guess for packet to be dcerpc/udp.

(cherry picked from commit f967a491047a6d8eaa232944c690dadfb0cc3c86)

dcerpc: add probe function

(cherry picked from commit 3641f1b52256b7eb289048d6b83e660fe4907aaf)

rust/applayer: split EOF flag per direction

(cherry picked from commit d7a3523b12d0280f6fd8cdadc14118d1ede31fd5)

dcerpc/udp: remove transmute

The book defines transmute as "This is really, truly, the most horribly unsafe
thing you can do in Rust. The guardrails here are dental floss."
Transmute can result into mind boggling undefined behaviors. Get rid of
it wherever possible.

(cherry picked from commit 0ca8591994abfe92bbef20ea6ab1856b11e3efde)

github-ci: use suricata-update master-1.2.x branch

Suricata 6.0.x tracks the Suricata-Update 1.2.x branch.

stream/tcp: fix stream side after direction change

(cherry picked from commit 1ecea0f44c0050feb57c6b26a5a94c8ad8f1b85d)

doc/quickstart: use new test url that works

Replace http://testmyids.org with http://testmynids.org/uid/index.html,
as testmyids.org now always redirects to https.

(cherry picked from commit 560974b2dbd402928e5fa8004ab810919cd86f04)

doc: update installation documentation for CentOS and Fedora

(cherry picked from commit 7ece0ac31f9a3af13aebf928a1c63c672532dcec)

http: makes decompression time limit configurable

(cherry picked from commit a04b5566a62d9d6967587f83dfaca89b5c33eb66)

fuzz: rightly uses PacketFreeOrRelease in target

instead of PacketFree because packets
may belong to the pool

(cherry picked from commit 62e665c8482c90b30f6edfa7b0f0eabf8a4fcc79)

fuzz: use some value for max_pending_packets

so as not to timeout waiting forever for the condition
in PacketPoolWait

(cherry picked from commit e586d8526b3aea6562f7e04d3cde88bded9bd420)

fuzz: improves sigpcap target with PacketPoolInit

(cherry picked from commit 8d659c6500b79b881e16133cbb5719426ceacec7)

protodetect: improve midstream handling

Set "done flag" only if parsers for both directions are not found in a
case of midstream parsers from other direction are tried if nothing is found
for the initial one. "done flag" must be set if nothing is found in both
directions. Otherwise processing of incomplete data is terminated at the very
first try.

(cherry picked from commit 5285163d8f31dc89a4ab96b0842099f9792e29be)

host: improve compare logic

The old compare macro would compare all bytes of an address, even
when for IPv4 addresses the additional bytes were not in use. This
made the logic vulnerable to mistakes like in issue #4280.

(cherry picked from commit 6bfc5afa2301cc416e2fced23ec1accdfdea0daf)

detect/iprep: fix loading of mixed ipv4/ipv6 lists

Improper reuse of the address data structure between loading
different lines in the iprep file would lead to the host using
a malformed address.

(cherry picked from commit 7b03e6837e5a7366f546e7a2b681d2921ded1ab1)

dataset: fix dataset string lookup

The data was unlocked but the use_cnt was not decreased resulting
in the data entry not being removable.

(cherry picked from commit 64f994f753b9109c8f788e3a6dbe4c72f6e69d94)

stream: remove debug assert

In cases of large windows in the past the check would tigger.

(cherry picked from commit 00d7c9034be7470177c01e8805831c258b016d0e)

detect/pcre: Test capture group/var mismatch

(cherry picked from commit cbb03dbb39d76cf1a2770ef35ba07aac5c3657b5)

detct/pcre: Correct capture group count check

This commit corrects the validation check between the number of
variables used and the number of specified capture groups.

(cherry picked from commit 469d5bb214195d8939be467c66ef1e6d25ad3e1f)

suricata: avoid at exit crash in nfq mode

When Suricata was build with ebpf support and when it was started
in NFQ mode, it was crashing at exit because it was trying to free
the device extension.

This patch fixes the issue by only trigger the eBPF related code
when Suricata is running in AFP_PACKET mode.

(cherry picked from commit 85327890f5bb3b9521a2dfb8268ace6645d02f72)

flow/manager: (u)sleep slightly longer

Sleep 250 microseconds instead of 100 as running in KVM cause the
old value to use 100% CPU for these threads.

Perf testing suggests no measurable impact for the non-KVM case.

Ticket: #4096
(cherry picked from commit 17a38f1823adeb9eb059f666686e35509f3a13d2)

app-layer: fix transaction cleanup

Fix a 'skipped' transaction early in the list leading to all further
transactions getting skipped, even if they were fully processed and
ready to be cleaned up.

(cherry picked from commit 8baef60d600c5254662633d8275f321a6dafb82c)

detect/state: optimize state keeping

(cherry picked from commit ed05c51d9943771b985bc90f2a319f1688de7483)

detect: fix heap overflow issue with buffer setup

In some cases, the InspectionBufferGet function would be followed by
a failure to set the buffer up, for example due to a HTTP body limit
not yet being reached. Yet each call to InspectionBufferGet would lead
to the matching list_id to be added to the
DetectEngineThreadCtx::inspect.to_clear_queue. This array is sized to
add each list only once, but in this case the same id could be added
multiple times, potentially overflowing the array.

(cherry picked from commit 13cebb1857c3637f55a566ed694e7ed7f0ee0d87)

detect: initializes memory in bytemath parsing

(cherry picked from commit 2b043150ed11b7def7047fb4170c27e95b00099f)

filestore: fix global counter init in unix socket mode

Move initialization of filestore global counter to PreRunInit,
so they get registered during program initialization, or as
required in unix-socket mode, initialized for each file run.

Fixes Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4216