detect/file-data: remove debug abort that wasn't reachable

detect/file-data: fix function doc

files: tracking flag update

Improve flow file flags and file flags updates. Introduce a mask
that is set at start up to avoid lots of runtime checks.

Disable cocci flags check as it doesn't support the more dynamic
nature of the flag updates.

app-layer/files: optimize GetFiles calls

Remove FlowGetProtoMapping calls from the GetFiles wrapper and
get the alstate from the flow directly.

app-layer: all protocols are tx aware now

So remove the runtime check for it.

init: Fix dropping privileges in nflog runmode

Using the run-as configuration option with the nflog capture method
results in the following error during the startup of suricata:
[ERRCODE: SC_ERR_NFLOG_BIND(248)] - nflog_bind_pf() for AF_INET failed

This is because SCDropMainThreadCaps does not have any capabilities
defined for the nflog runmode (unlike other runmodes). Therefore, apply
the same capabilities to the nflog runmode that are already defined for
the nfqueue runmode. This has been confirmed to allow suricata start
and drop its privileges in the nflog runmode.

Fixes redmine issue #3265.

Signed-off-by: Timo Sigurdsson <public_timo.s@silentcreek.de>

decode: remove pseudo packet checks

Bug 1107 checks/hacks should not longer be needed, so remove them.

threading/queues: simplify error handling

threading/queues: remove 256 queue limit

Convert fixed size array to a dynamic TAILQ so we can
grow as needed.

threading: remove 'trans_q' array of packet queues

Let the queues code set up PacketQueues on demand.

packet-queue: create alloc and free functions

threading: hide 'trans_q' from queue handlers

threading/threadvars: optimize layout

Make sure StatsPublicThreadContext is on its own cache line.

flowworker/stream: use no-lock packet queue

Use smaller structure for temporary packet queues.

threading: change local packet queue logic

Previously each 'TmSlot' had it's own packet queue that was passed
to the registered SlotFunc as an argument. This was used mostly for
tunnel packets by the decoders and by defrag.

This patch removes that in favor of a single queue in the ThreadVars:
decode_pq. This is the non-locked version of the queue as this is
only a temporary store for handling packets within a thread.

This patch removes the PacketQueue pointer argument from the API.
The new queue can be accessed directly through the ThreadVars
pointer.

packet-queue: introduce a non-locked version

Works exactly like PacketQueue, just does not contain a mutex
and cond var, leading to much reduced memory size.

threading: more efficient TmSlot layout

threading: remove 'id' field from TmSlot

Field was now unused.

detect: cleanup reload thread handling

threading: simplify flow timeout loop

threading: shrink and reorganize TmSlot

threading/threadvars: rearrange for better cache behavior

threading/threadvars: remove unused 'prev' field

threading: remove unused 'TmThreadRemove' function

threading: remove handler names to shink struct

Shrink ThreadVars by removing the queue handler names that are only
used at shutdown. Since this is not performance critical, we can use
the id's to look up the queue handler.

threading/queues: add way to lookup by ID

In preparation of doing runtime operations by ID instead of by name,
add functions to look up by ID and to convert name to ID.

threading: shrink threadvars struct size

threading: remove unused threadvars field

threading: clarify threadvars fields

threading: cleanup packet thread shutdown loop

source-pcap: remove unused function

threading/modules: declare prototypes static

Declare registered threading API funcs static where appropriate.

sources: fix pipeline failure handling

When TmThreadsSlotProcessPkt fails it will return the packet that was
passed to it to the packetpool.

Some of the packet sources were doing this manually as well. This patch
fixes those sources.

threading: use tm_flowworker for pseudo packets

Pseudo packets don't need to be processed by the decoding layer.

threading: add shortcut to flowworker

threading: remove per slot post_pq

Use a single packet queue per thread for flow timeout packet
injection. The per slot queue was unused except for this use
case. Having a single queue makes the logic and implementation
simpler.

In case of 'autofp', the per thread packet queue will actually
use the threads input queue. For workers/single a dedicated
queue will be set up.

Rename TmThreadsSlotHandlePostPQs to TmThreadsHandleInjectedPackets
to reflect the changed logic.

af-packet: prototypes cleanup

Remove unused prototype.

Declare other prototypes static.

threading: remove post_pq argument from 'SlotFunc'

This was not in use anywhere.

runmodes: code cleanups

detect: clean up threads handling

Clean up reload and break loop thread handling.

detect: inject packet cleanup

flow-manager: code cleanups

flow-manager: avoid doubly signaling threads

Don't try to wake up the threads we just flagged and validated that
they changed their state.

threading: remove commented out function

threading: optimize and unify post_pq checks

TmThreadsSlotProcessPkt did not need to look all 'slots' as only the first
slots post_pq can have been used.

Unify post_pq cleanup handling.

threading: remove wrong unlikely statement; minor cleanups

threading: TmSlot::SlotFunc does not need to be atomic

threading: fix flags handling by using uint32_t everywhere

threading: optimize error handling in main packet loop

threading: minor code style cleanups

threading: simplify packetpool checks

threading/queues: add shortcut for packetpool check

Allows code simplifycation in the threading loops.

threading/queues: minor code cleanups

afl: fix compilation

afl/decoder: make file dumps optional

detect/address: dead code removal and style cleanups

smb: handle file transactions post-GAP

After a GAP all normal transactions are closed. File transactions
are left open as they can handle GAPs in principle. However, the
GAP might have contained the closing of a file and therefore it
may remain active until the end of the flow.

This patch introduces a time based heuristic for these transactions.
After the GAP all file transactions are stamped with the current
timestamp. If 60 seconds later a file has seen no update, its marked
as closed.

This is meant to fix resource starvation issues observed in long
running SMB sessions where packet loss was causing GAPs.

flow: expose last time as a function

This function returns the individual components
of the timeval in output pointers making it suitable
for use over Rust FFI.

defrag: set livedev on the reassembled packet (issue-3380)

Set the livedev on reassembled packets to that of the parent
packet. Fixes issues with multidetect, specifically a segfault
as reported in issue 3380.

Bug #3380.

configure: fix cygpath check

output/tx: split list of loggers per alproto

This patch splits the list of loggers the tx logging walks into lists per
alproto. The list was getting longer with each eve addition. The result
was that for each tx we would have to loop through multiple loggers that
did not apply to this tx as it was for the wrong protocol.

output: micro optimization

LogFunc is always set, so don't check for it at runtime.

output: optimize root logging loop

Instead of unconditionally looping all the 'root' loggers, loop only
those that are in use.

Root loggers are: packet, tx, file, filedata, streaming.

output: clarify registration

output/tx: bail early if no flow

output: fatal error if root logger alloc fails

rust: make clean fixups

For make clean, only remove gen/ if cbindgen is available.
This prevents make clean from remove gen when the headers
were bundled, but cbindgen is not available to remove them.

Unconditionally remove gen and vendor in maintainerclean.

github-ci: test make after make clean

On the CentOS 7 build, test a make after a make clean. Should
catch the case where bundled generated headers files get deleted
when cbindgen is not available to rebuild them.

rust: set edition to 2018

rust: cargo fix for Rust 2018 edition

github-ci: add .cargo/bin to path on cbindgen install

And remove cbindgen from builds that use the distribution
archive.

rust/cbindgen: Revert Makefile to a more pre-cbindgen state

The modifications as part of the cbindgen commit caused issues
with distcheck, revert the Makefile to how it was with the Python
generator, but still using cbindgen.

Also always assume we'll include the generated headers in the
distribution archive to fix make distcheck from distribution
archives with headers included, but no cbindgen.

build: cbindgen

Rust headers are now generated using cbindgen. If cbindgen is present, they can
be generated during dist, otherwise they will be available for builds.

version: starting work on 6.0.0

Bump version to 6.0.0-dev.

streaming/api: fix overlap check

In some cases a SBB could be seen as overlapping with the requested
offset, when it was in fact precisely before it. In some special cases
this could lead to the stream engine not progressing the 'raw' progress.

debug/validation: check tcp/app-layer data lengths

stream: improve app-layer data retrieval with GAPs

Don't assume that the next block after the sbb head is after the
requested offset.

If the next block was before the offset, the returned data_len
would underflow and return a nonsense value to the app-layer.

Bug #2993.

modbus: Correct typo

modbus: Update correct TX flags

analysis: exit if table entries are stale

This commit causes Suricata to exit when a buffer from the analyzer
table is not recognized.

Since the table must match what's registered, exiting will bring noticed
to the condition.

rust: fix vendor use on MinGW

rust: Don't use --frozen during build.

If sources are vendored, we get the same effect of using frozen
with a lock file, and the Cargo.lock is generated based
on the vendored sources.

This also removes the need to ship a Cargo.lock.

Fixed out of source builds with vendored sources.

rust/Makefile: Don't include Cargo.toml

There is no need to include Cargo.toml in the distribution,
it is always generated from Cargo.toml.in during
./configure.

github-ci: do distcheck on fedora 31 build

There were no distchecks being done on builds from git.

github-ci: make distcheck on centos 7 build

Tests distcheck on a build from a distribution archive.

doc/conf: Update copyright and regex for version

Make the new regex in compliance with the modern autoconf syntax.
Closes redmine ticket #3423

doc: minor capitalization fix

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add bsize documentation and rule example

Signed-off-by: jason taylor <jtfas90@gmail.com>

rust: remove unnecessary parentheses (Rust 1.40 fixup)

Rust 1.40 in strict mode will now fail the build on the
presence of unnecessary parentheses.

warning: unnecessary parentheses around type
  --> src/smb/smb2_ioctl.rs:41:12
   |
41 |         -> (&mut SMBTransaction)
   |            ^^^^^^^^^^^^^^^^^^^^^ help: remove these parentheses
   |
   = note: `#[warn(unused_parens)]` on by default

github-ci: use container for 18.04 build

As the action runs natively on 18.04 we were not explicitly
setting a container, but this means we're using what GitHub
provides us as a default state which might be broken. Instead
use the standard Ubuntu 18.04 container.

version: starting work on 5.0.2

version: release 5.0.1

changelog: update for 5.0.1

detect/asn1: fix offset bounds checking

ipv4: continue parsing options after invalid option

As long as an option has a valid length, we can continue
parsing the options after an invalid one.

ipv4: fail packet decoding on bad ipv4 option length

Currently all failures in IPv4 option decode are ignore with
respect to continuing to handle the packet.

Change this to fail, and abort handling the packet if the
option length is invalid.

Ticket 3328:
https://redmine.openinfosecfoundation.org/issues/3328

stream: reject broken ACK packets

Fix evasion posibility by rejecting packets with a broken ACK field.
These packets have a non-0 ACK field, but do not have a ACK flag set.

Bug #3324.

Reported-by: Nicolas Adba

stream: fix SYN_SENT RST/FIN injection

RST injection during the SYN_SENT state could trick Suricata into marking
a session as CLOSED. The way this was done is: using invalid TSECR value
in RST+ACK packet. The ACK was needed to force Linux into considering the
TSECR value and compare it to the TSVAL from the SYN packet.

The second works only against Windows. The client would not use a TSVAL
but the RST packet would. Windows will reject this, but Suricata considered
the RST valid and triggered the CLOSED logic.

This patch addresses both. When the SYN packet used timestamp support
the timestamp of incoming packet is validated. Otherwise, packet responding
should not have a timestamp.

Bug #3286

Reported-by: Nicolas Adba

configure: require libhtp 0.5.32

decode/tcp: accept TCP fast open cookie request