mqtt: enable in config and remove misleading comment

stream: update memcaps in code to match config

app-layer/pd: review bailout conditions

To take TCP window into account
And to actually bail out if we received too much data
where the limit is configured by stream.reassembly.depth

app-layer/pd: only consider actual available data

For size limit checks consider only available data at the stream start
and before any GAPS.

The old check would consider too much data if there were temporary gaps,
like when a data packet was in-window but (far) ahead of the expected
segment.

streaming/buffer: account sbb data size

When tracking data track the size of the blocks so that in case
of gaps we can still know how much data we hold.

detect/iprep: convert to FAIL/PASS API

modbus: do not claim to handle gaps

doc: Grammar Correction

counters: only print alerts if stats are enabled

detect: fix typos and update copyright year

detect: fix bug where rule without sid is accepted

Before, if Suricata parsed a rule without a 'sid' option, instead of
failing that rule, the rule was parsed and attributed a sid 0.
Changes to:
detect-parse:
- add logic to filter out rules without sid;
- change unittest which didn't have a sid, but used to pass.
detect-sid: add unittest for rules without sid or with sid: 0

fuzz: only build fuzz_sigpcap_aware if asked

With the other fuzz targets, and do not build it if fuzzpcap
is available but we did not want to build the fuzz targets

rust: fix warnings with nightly

stream/tcp: limit ACK validation

Only limit ACK value validation for packet where the ACK bit is
set.

stream/tcp: don't reject on bad ack

Not using a packet for the streaming analysis when a non zero
ACK value and ACK bit was unset was leading to evasion as it was
possible to start a session with a SYN packet with a non zero ACK
value to see the full TCP stream to escape all stream and application
layer detection.

This addresses CVE-2021-35063.

Fixes: fa692df37 ("stream: reject broken ACK packets")
Ticket: #4504.

stream/tcp: update ack handling logic

Only update the ack value of a session for regular packets when
the ACK bit is set.

dns: improve probing parser

Checks opcode is valid
Checks additional_rr do not exceed message length
Better logic for incomplete cases

detect/files: fix buffer tracking with multiple files

mqtt: move sub/unsub limits into app-layer config

detect/mqtt: add topic inspection limit

We add a new 'mqtt.(un)subscribe-topic-match-limit' option
to allow a user to specify the maximum number of topics in
a MQTT SUBSCRIBE or UNSUBSCRIBE message to be evaluated
in detection.

smtp: null terminate before calling strtoul

by copying in a temporary buffer
as is done in ByteExtractString

swf: right input length for decompression

dcerpc: handles bigger inputs than 2^16

By comparing integers with the largest size

detect: use u32 for InspectionBufferMultipleForList

So that we do not have an endless loop casting index to
u16 and having more than 65536 buffers in one transaction

Changes for all protocols, even ones where it is impossible
to have such a pattern, so as to avoid bad pattern copy/paste
in the future

detect: set event if max inspect buffers exceeded

If a parser exceeds 1024 buffers we stop processing them and
set a detect event instead. This is to avoid parser bugs as well as
crafted bad traffic leading to resources starvation due to excessive
loops.

detect: fix multi inspect buffer issue; clean up

Fix multi inspect buffer API causing cleanup logic in the single
inspect buffer paths. This could lead to a buffer overrun in the
"to clear" logic.

Multi buffers now use InspectionBufferSetupMulti instead of
InspectionBuffer. This is enforced by a check in debug validation.

Simplify the multi inspect buffer setup code and update the callers.

detect: reformat events table

nfs: improve probing parser

Checks credentials flavor is known

enip: improve probing parser

Strict length for register sessions
NOP command must have options=0

config: fix null dereference in MacSetRegisterFlowStorage

Crash happens with
--set outputs.eve-json.types.files.force-magic=yes

modbus: use ascii character classes while parsin rule

As the rust regex crate is unicode aware, which was
not the case of the C version

rust: SCLogDebug is real nop when built as release

Before, even if there were no outputs, all the arguments
were evaluated, which could turn expensive

All variables which are used only in certain build configurations
are now prefixed by underscore to avoid warnings

http2: set Debug on structs

unittests: optimize RunmodeIsUnittests()

stream: packet to stream flags macro

packets: more detailed entry debug for detect/stream

files: construct with default, free on drop

Update protocols.

files: implement default support

rust: fix app-layer parser flags

This especially allows for SSH bypass to work

decode/vxlan: Delay var init until needed

This commit modifies the var initialization slightly until after
integrity checks have been performed.

general/typo: Correct typo

decode: Eliminate NULL pkt checks

This commit removes the NULL pkt check that each decoder performs as
this is a "can't happen" case.

thresholds: Fix buffer overflow in threshold context

th_entry is resized using ThresholdHashRealloc() every time a rule with
a threshold using by_rule tracking is added. The problem is that this is
done before the rules are reordered, so occasionally a rule with by_rule
tracking gets a higher signature number (after reordering) than the
number of th_entries allocated, causing Suricata to crash.

This commit fixes this by allocating th_entries after all the rules are
loaded and reordered.

Backtrace from core dump:

  Program terminated with signal SIGSEGV, Segmentation fault.

  #0  0x000000000051b381 in ThresholdHandlePacket (p=p@entry=0x7fb0080f3960, lookup_tsh=0x51, new_tsh=new_tsh@entry=0x7fb016c316e0, td=td@entry=0x14adedf0, sid=9800979, gid=1, pa=0x7fb0080f3b18)
      at detect-engine-threshold.c:415
  415>----                if (TIMEVAL_DIFF_SEC(p->ts, lookup_tsh->tv1) < td->seconds) {

Bug #4503.

thresholds: syntax fixes

Fix syntax of if statement in SigGetThresholdTypeIter()

thresholds: remove unneeded function argument

Remove packet pointer from SigGetThresholdTypeIter() as it is
unused.

doc/eve: common fields and alert updates

- update examples for both
- change app_proto from alert field to common field, as
  per JsonBuilder's changes.

doc/eve: fix typos

output: Fix possible null deref

This commit corrects an issue uncovered by Coverity. See the redmine
issue for details: https://redmine.openinfosecfoundation.org/issues/4495

http2: only mimic http1 request if there is one

That may not be the case in midstream/async configurations

makefile: don't include the whole test/ directory

Including the whole directory results in .deps files ending up
in the distribution archive which shouldn't be there. Instead
we have to list all the test sources individually.

rust/default: Enable Default usage

nfs: Rework constructs to use Self/Default

dhcp: Rework constructs to use Self/Default

dcerpc: Rework constructs to use Self/Default

dns: Rework constructs to use Self/Default

smb: Rework constructs to use Self/Default

This commit modifies the constructors to use Self and/or
Default::default() when feasible

rust/default: Enable Default usage in SMB

doc: update sphinx api to use add_css_file

instead of deprecated add_stylesheet

dcerpc/udp: Add rust registration function

Get rid of the C glue code and move registration completely to Rust.

dcerpc/udp: Change fn sign as per rust registration requirement

Registering parsers in Rust requires signatures to be a certain way and
compatible with C. Change signatures of all the functions.

dcerpc: Add rust registration function

Get rid of the C glue code and move registration completely to Rust.

dcerpc: Change fn sign as per rust registration requirement

Registering parsers in Rust requires signatures to be a certain way and
compatible with C. Change signatures of all the functions.

rust/core: Make AppProto type u16

applayer/rust: add extern AppLayerProtoDetectPMRegisterPatternCSwPP

github: work around rustc mingw issue

https://github.com/msys2/MINGW-packages/issues/8732#issuecomment-845079799

suricata-plugin.h: don't include autoconf.h

It is not required here and just creates double inclusion in some
scenarios.

http2: remove dead code

http2: remove assertion which can be wrong

Brotli decoder stops consuming input it it reaches the
end of its input

modbus: fix quantity and count calculation

The [Modbus Spec S6.11](https://modbus.org/docs/Modbus_Application_Protocol_V1_1b.pdf)
clearly states that the `count = quantity / 8` and not the other way
around. This is fixed in sawp-0.5.0.

http2: http.cookie keyword now works for HTTP2

http2: http.host.raw keyword now works for HTTP2

http2: http.method keyword now works for HTTP2

http2: makes all HTTP1 header keywords work

http2: there is no status msg in HTTP2

so we revert its detection, mistaken with the status code

http2: http.stat_code keyword now works for HTTP2

doc: Protocol name/case change for upgrade doc

This commit adds a one-liner to the upgrade document for 7.0 stating
that protocol names/values are now builtin to Suricata and that names
and their casing may change.

proto: Remove dependency on /etc/protocols

This commit eliminates the dependency on /etc/protocols and equivalent
on other platforms by using a static table of IANA assigned protocol
values (names, description).

github-ci: enable hiredis on fedora 33 build

yaml: treat some unquoted values as null (per spec)

Per the YAML spec, the following values when present unquoted
should be equivalent to null:
- ~
- NULL
- Null
- null

output/redis: Redis threaded output changes

config/plugin: Add template for plugins

output/plugin: Support threaded output plugins

output/plugin: API changes for threaded support

This commit extends the interface to better support file output plugins.

doc/modbus: add eve logging documentation

modbus: add eve logging

modbus: move tests from c to rust

Move tests in a seperate commit so that we can use the previous one for
regression testing. This also gets rid of the temporary glue that made
the C tests work with the rust implementation.

modbus: move from C to rust

Adds a new rust modbus app layer parser and detection module.

Moves the C module to rust but leaves the test cases in place to
regression test the new rust module.

modbus: fix app-layer test cases

invalidFunctionCode: make protocol id valid since we are only testing
the function code here.

readCoilsErrorRsp: changed to different invalid response code.

ModbusParserTest10: wrong length was passed to AppLayerParserParse.

ModbusParserTest11: allocate the entire buffer.

ci: update known rust version

Update RUST_VERSION_KNOWN to the latest stable known to succeed. Also
updates the documentation to avoid confusion around the use of this
variable.

travis: remove ci file as we switched to github-ci

ike: set event for multiple server proposals

unix-socket: reset to ready state on startup

As part of commit ea15282f47c6ff781533e3a063f9c903dd6f1afb,
some initialization was moved to happen even in unix socket mode,
however, this initialization does setup some loggers that can only have
one instance enabled (anomaly, drop, file-store).

This will cause these loggers to error out on the first pcap, but work
on subsequent runs of the pcap as some deinitialization is done after
each pcap.

This fix just runs the post pcap-file deinitialization routine to
reset some of the initialization done on startup, like is done after
running each pcap in unix socket mode.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4225

Additionally this prevents alerts from being logged two times
on the first run of a pcap through the unix socket:

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/4434

decode/vntag: Add VNTag decoder logic

tests/vntag: VNTAG decoder unittests

decode/vntag: VNTAG 802.1Qbh decoder

decode/stats: VNTAG stats

decode/events: VNTAG decoder events

decode: Add ethertype for VNTAG

github: Update codeowner handle

ftp: completely parses pasv and epsv responses