doc: GitHub PRs workflow

userguide/install: add info on arch-based installs

Add Arch AUR information for installation on Arch-based distros.

doc: upgrade guide for logging http custom headers

Ticket: #5320

doc: add missing rule to engine-analysis section

The first report didn't have an example rule to go with.

source-pcap-file: include unlink error in warning message

output/snmp: log version from tx

and not the one from state

If a SNMP flow starts with a V2 version transaction,
then there is a V3i version transaction,
we will now log V3 for the second transaction

exception: in ids mode, only REJECT the packet

In case of 'EXCEPTION_POLICY_REJECT', we were applying the same behavior
regardless of being in IDS or IPS mode.
This meant that (at least) the 'flow.action' was changed to drop when we
hit an exception policy in IDS mode.

Bug #6109

decode-ipv6: Set IPv6 proto incase of ext header parsing error

Set the IPv6 packet proto before parsing the ext headers, similar to
decode-ipv4, incase of an ext header parsing error. Otherwise
rule decode-events are not triggered for packets encapsulated in IPv6.

Bug: #6086.

ftp: remove unnecessary code

ftp: mark LF found per line

Currently, there is no way to mark if LF was found and then the line was
truncated. It becomes difficult to spot in the callers whether the line
was truncated despite LF being found or not. So, label it clearly with a
variable.

ftp: separate truncated line markers

So far, we store one variable in state to hold whether we want to
discard a long line till LF irrespective of direction. This means that a
long command to the client followed by a regular command w LF can be
considered as one long line which is incorrect.

Bug 6054

windows: add -lntdll to Windows builds

Rust 1.70 has introduced some possible issues between LLVM and gcc
causing link errors that are fixed by explicitly adding -lntdll.

Thanks to https://github.com/extendr/rextendr/pull/285 for the fix.

streaming/buffer: handle and document slide errors

Slide error may happen if the region we're sliding starts to overlap
with the next region. If we can't temporary grow the current region
to merge with the next region, keep the regions separate.

streaming/buffer: minor debug fixup

streaming/buffer: fix buf_offset getting out of sync

During consolidation of regions, buf_offset could get out of sync if
the region was grown on the left side.

To fix, reset it and let "sbb slide" logic correct it.

Bug: #6117.

streaming/buffer: fix sliding region into next

When sliding a region it could start to overlap with the next region.
This case wasn't handled, causing validation checks to trigger.

This patch adds support for this, where largest region will be expanded
to fit both region and both regions will be consolidated into it.

Bug: #6066.

streaming/buffer: move util code for reusability

output/rfb: remove unused function parameters

output/mqtt: remove unused function parameters

output/krb5: remove unused function parameters

output/ftp: remove unused function parameters

output/dns: remove unused function parameters

output/smtp: remove unused function parameters

http: complete multipart data on open

Take as much as we can when opening, by making sure that the
boundary is not present

smb: fix data padding logic in writeAndX parser

Bug: #6008

smb: fix wrong data offset when wct = 12

Bug: #6008

flow: optionally use livedev for hash

So that in a setup with different interfaces capturing different
networks, flows do not get mixed up

Ticket: #5270

flow: make FlowGetExistingFlowFromHash static

For easier reasoning about the code

device: limit device id to uint16_t

Meaning that we support 65535 live devices at the most

general/typo: Correct misc. typos

decode/vlan: Remove unused macros/functions

This commit removes unused functions and macros related to fetching VLAN
values.

decode/vlan: Decode upto 3 layers of VLAN

Issue: 2816

This commit increase the number of VLAN layers supported by Suricata
from 2 to 3. 3-layers are dubbed "Q-in-Q-in-Q".

Note that 3 layers are not compliant with any existing standard but are
often seen in larger deployments.

json/schema: Add additional VLAN layer stat

Issue: 2816

This commit extends the JSON schema with the additional VLAN stat for
tracking VLAN encapsulated packets with 3 levels.

http2: avoid quadratic complexity in headers

When adding an element to the dynamic headers table, the oldest
ones may get evicted. When multiple elements get evicted, they
should get evicted all at once with drain, instead of one by one
as there will be a massive move each time.

Ticket: #6103

debug: fix list-x command line options with debug

Debug validation checks that engine is either IPS or IDS.
But listing keywords does not care.
So, setting ids mode

Ticket: #6089

doc: add DPDK Bond PMD docs

Ticket: #6099

dpdk: add support for DPDK Bond PMD

Ticket: #6099

dpdk: add linker flag for DPDK Bond library

Header checking (AC_CHECK_HEADER) did not work as
DPDK 19.11 included rte_eth_bond.h file even if net/bonding
driver was disabled. However, it was still not available in
ldconfig configuration. For this reason Bond PMD is checked with
ldconfig tool.
However when installing the DPDK library manually, the user needs to
update the entries in ldconfig to be able to find the Bond PMD.

Ticket: #6099

dpdk: add device name querying function

dpdk: add debug dump of RX offload capabilities

dpdk: separate i40e prestop actions from DPKD 19.11

In DPDK 19.11 Suricata does not setup RSS on i40e driver
with rte_flow. As a result, it should not be deinitializing
RSS configuration with rte_flow as well.

dpdk: refactor i40e RSS hash function

Setting rss_conf->rss_key to NULL and rss_key_len
to zero avoids warnings about register changes
when setting up RSS configuration through RTE flows.

dpdk: minor refactoring in error handling and variable declaration

flow/worker: minor refactor for app-layer callsite

detect: remove flow drop unittest

Test broke after recent changes. Functionality is tested in
suricata-verify, so just remove the test.

detect: add check to validate drops

detect: fix stateful drops for rate_filter

flow/timeout: no pseudo packets for dropped flows

When a flow is in the drop flow state, don't use pseudo packets
when it is timing out. There should be no work left to do at this
point.

stream: simplify drop handling

Remove logic to apply flow drop, as this is now handled in the
flow engine.

However, keep the logic that frees/cleans the session state.

app-layer: don't update UDP applayer for dropped packets

detect: update/document drop flow logic

Now that flow drop is applied to packets before other processing,
no drop has to be issued on a packet.

flow: apply flow to packet on flow lookup

Issue drop to packet as early as possible.

http: logs custom headers in a subobject

This subobject is request_headers or response_headers

This especially avoids json keys collisions.

Ticket: #5320

Also fixes typo referrer/referer

github-ci: add workflow_dispatch

A workflow dispatch allows us to manually a trigger a workflow with
arguments. This dispatch allows us to use the "gh" cli command to
trigger a workflow run with our libhtp/su/sv branch and repo variables
set. For example:

  gh run builds.yml -f SV_REPO=jasonish/suricata-verify -f SV_BRANCH=pr/10

flow: spare pool return optimization

In case small blocks of flows are returned, try to merge
them with existing small list head. Add full block as second
in the list as with the rest of the code.

flow/worker: don't double count flow.wrk.flows_evicted

Since the queue isn't fully processed every run, double counting
could happen.

Fix by only counting actually processed flows from the queue.

flow/worker: batch return flows to spare pool

flow/manager: minor code cleanup

flow/recycler: batch returns to spare pool

To reduce locking overhead in the spare pool, batch returns per
100 (spare pool block size).

flow/recycler: stats micro optimization

Don't update stat from loop as it's not read until after the loop.

mqtt: fix quadratic complexity

get_tx_by_pkt_id loops only over the last transactions
in case there is a transaction flood

Ticket: #6100

mqtt: rustfmt mqtt.rs

mqtt: add mqtt frames

Adds PDU, Header and Data frame to the MQTT parser.
Ticket: 5731

windivert: fix compile warnings

doc/userguide: document include files

Document how to use include files, plus add a deprecation notice on
the use of multiple "include" statements.

doc/userguide: merge logging changes in 7.0 upgrade notes

Two "Logging changes" sections existed, merge.

suricata.yaml: use include list for example

For 7.0 multiple includes are allowed, but marked as
deprecated. Update the example to show the new way of pulling in
multiple includes.

docs: update url to docs.suricata.io

jsonbuilder: check buffer growth

Use try_reserve before growing the internal buffer, and the internal
state vector. This allows allocation errors to be caught and an error
returned instead of just aborting the process.

Ticket: #6057

jsonbuilder: rustfmt

Some very minor changes to formatting.

detect/analyzer: add the type

Per rule type record properties of the type.

Example output:

    {
        "raw": "alert udp any any -> any any (msg:\"UDP with flow direction\"; flow:to_server; sid:1001;)",
        "id": 1001,
        "gid": 1,
        "rev": 0,
        "msg": "UDP with flow direction",
        "app_proto": "unknown",
        "requirements": [],
        "type": "pkt",
        "flags": [
            "src_any",
            "dst_any",
            "sp_any",
            "dp_any",
            "toserver"
        ],
        "pkt_engines": [],
        "frame_engines": [],
        "lists": {}
    }

Ticket: #6085.

detect: use explicit rule types

Instead of using flags to indicate a rule type, use an explicit `type`
field.

This will make it more clean in code paths what paths a rule is taking,
and will allow easier debugging as well as analyzer output.

Define the following fields:

- SIG_TYPE_IPONLY: sig meets IP-only criteria and is handled by the IP-only
  engine.
- SIG_TYPE_PDONLY: sig inspects protocol detection results only.
- SIG_TYPE_DEONLY: sig inspects decoder events only.
- SIG_TYPE_PKT:    sig is inspected per packet.
- SIG_TYPE_PKT_STREAM: sig is inspected against either packet payload or
  stream payload.
- SIG_TYPE_STREAM: sig is inspected against the reassembled stream
- SIG_TYPE_APPLAYER: sig is inspected against an app-layer property, but not
  against a tx engine.
- SIG_TYPE_APP_TX: sig is inspected the tx aware inspection engine(s).

Ticket: #6085.

detect/pcre: remove redundant applayer flag set

detect: minor cleanup

http: fix leak of normailzed uri

if tx_ud == NULL, still need to free alloced normailzed uri

rust: use 2021 edition

With the MSRV being bumped to 1.62 for 7.0, we can move the edition up
to 2021.

streaming: minor guards cleanup

streaming: fix region buf_offset update

If region wasn't the first region, the buf_offset could get out of
sync.

Bug: #6041.

streaming: stricter validation check

streaming: fix intersect detection

Update logic to always use data right edge.

Bug: #5834.

github: change codeowners back to team

as in master-6.0.x

fuzz: make targets more resitant to allocation failures

flowworker: simplify pseudo packet use

Pseudo packets originating in the flow worker do not need to leave the
flow worker. Putting those in the ThreadVars::decode_pq will make them
be evaluated by the next steps in the pipeline, but those will all
ignore pseudo packets.

Instead, this patch returns them to the packet pool, while still honoring
the IPS verdict logic.

all: remove unused literals

rust/doc: restore comment with code example, but ignore

Use backticks for proper markdown processing. As Rust code in
backticks is compiled, and this is a non-complete example, tag the
code sample to be ignored.

github-ci: check for new authors in pull-request

On pull request, get a list of commit authors for the pull request and
compare to the list of authors in git master. If any differ, save to
new-authors.txt and upload this as an artifact.

As a workflow-run, download this artifact and if non-empty, add a
comment to the pull-request that new authors may be part of the pull
request.

This 2 step approach is because GitHub actions running in pull-request
context are not allowed to comment on the pull request, instead a
post-workflow workflow has been added that runs in the context of the
repo which can then comment on the pull request.

profiling/rules: minor fatal error cleanup

profiling/rules: add BUG_ON to profile tracking

profiling/rules: simplify return code handling

profiling/rules: minor code cleanup

profiling/rules: use atomics for rule flag

profiling/rules: doc updates

profiling/rules: reduce sync logic scope

Use a simple once a second scheme.

doc: add rule profiling information

profiling: socket command to control rules profiling

This patch adds unix socket command to start and stop the collection
of stats when running in rules profiling mode.

profiling: set sample rate to power of 2

For the rules profiling, we really want to limit the performance
impact to the maximum. So let's use an hash size that is a power
of 2. This will allow to not use the modulo operation that is
costly and simply use a single binary operator.

This code is only active for rules profiling so we are backward
compatible.

profiling: let 'ruleset-profile' send message

Let's send the profile output as an answer on the Unix socket.

profiling: add 'ruleset-profile' unix command

This patch adds a new unix command that allows the user to trigger
a dump of the ruleset profile to the file without having to stop
Suricata.

This will be really useful to debug performance issue related to
signatures in production environment.

profiling: introduce rules profiling

Performance measurement of rules is important on live Suricata
as bad rules can cause severe performance regression. This patch
introduces the --enable-profiling-rules that activate profiling
for the rules. This reduces the performance impact of full
profiling  and provide visiblity on the rules performance at
the same time.

detect: http_client_body for HTTP2

By using the file.data logic

Ticket: #4067