configure: update to match autoscan suggestions

configure: clean up func checks

init: move main to a separate file

so as to reuse code from suricata.c with fuzz targets

fuzz: disable signal handlers while fuzzing

init: make PostConfLoadedSetup global

to be used by fuzz targets

init: fix PostConfLoadedSetup to use local suri ptr

init: InitGlobal function

To be reused by fuzz targets

util: UTHmemsearch to use memmem if defined

check: Using const keyword for some arguments

For ConfigSetLogDirectory and PrintRawLineHexBuf

log: can use a file set from env variable

Enables the redirection of log to a file set by an environment
variable SC_LOG_FILE when SC_LOG_OP_IFACE=file

stream/reassembly: fix data overlap check

Fix function CheckOverlap bug.

tls: fix missing extern logic for cert_id tracking

stats: fix missing extern keyword

defrag: fix use of globals

threading: fix queue handlers globals use

htp: fix globals use for flags

proto: fix globals use

flow: fix global variable use

stream: fix global declaration of the config

threading/modules: fix global declarations

ippair: fix global declarations

host: fix global declarations

mpm: fix global declarations

detect: fix global declaration of sigmatch_table

spm: fix global declaration of spm_table

threading: fix global declaration of threading_set_cpu_affinity

unix-socket: avoid using global variable w/o extern

decode: fix default-packet-size global variable

nfs: implement post-GAP transaction cleanup

Close all prior transactions in the direction of the GAP, except the
file xfers. Those use their own logic described below.

After a GAP all normal transactions are closed. File transactions
are left open as they can handle GAPs in principle. However, the
GAP might have contained the closing of a file and therefore it
may remain active until the end of the flow.

This patch introduces a time based heuristic for these transactions.
After the GAP all file transactions are stamped with the current
timestamp. If 60 seconds later a file has seen no update, its marked
as closed.

This is meant to fix resource starvation issues observed in long
running SMB sessions where packet loss was causing GAPs. Due to the
similarity of the NFS and SMB parsers, this issue is fixed for NFS
as well in this patch.

Bug #3424.
Bug #3425.

detect/file-data: remove debug abort that wasn't reachable

detect/file-data: fix function doc

files: tracking flag update

Improve flow file flags and file flags updates. Introduce a mask
that is set at start up to avoid lots of runtime checks.

Disable cocci flags check as it doesn't support the more dynamic
nature of the flag updates.

app-layer/files: optimize GetFiles calls

Remove FlowGetProtoMapping calls from the GetFiles wrapper and
get the alstate from the flow directly.

app-layer: all protocols are tx aware now

So remove the runtime check for it.

init: Fix dropping privileges in nflog runmode

Using the run-as configuration option with the nflog capture method
results in the following error during the startup of suricata:
[ERRCODE: SC_ERR_NFLOG_BIND(248)] - nflog_bind_pf() for AF_INET failed

This is because SCDropMainThreadCaps does not have any capabilities
defined for the nflog runmode (unlike other runmodes). Therefore, apply
the same capabilities to the nflog runmode that are already defined for
the nfqueue runmode. This has been confirmed to allow suricata start
and drop its privileges in the nflog runmode.

Fixes redmine issue #3265.

Signed-off-by: Timo Sigurdsson <public_timo.s@silentcreek.de>

decode: remove pseudo packet checks

Bug 1107 checks/hacks should not longer be needed, so remove them.

threading/queues: simplify error handling

threading/queues: remove 256 queue limit

Convert fixed size array to a dynamic TAILQ so we can
grow as needed.

threading: remove 'trans_q' array of packet queues

Let the queues code set up PacketQueues on demand.

packet-queue: create alloc and free functions

threading: hide 'trans_q' from queue handlers

threading/threadvars: optimize layout

Make sure StatsPublicThreadContext is on its own cache line.

flowworker/stream: use no-lock packet queue

Use smaller structure for temporary packet queues.

threading: change local packet queue logic

Previously each 'TmSlot' had it's own packet queue that was passed
to the registered SlotFunc as an argument. This was used mostly for
tunnel packets by the decoders and by defrag.

This patch removes that in favor of a single queue in the ThreadVars:
decode_pq. This is the non-locked version of the queue as this is
only a temporary store for handling packets within a thread.

This patch removes the PacketQueue pointer argument from the API.
The new queue can be accessed directly through the ThreadVars
pointer.

packet-queue: introduce a non-locked version

Works exactly like PacketQueue, just does not contain a mutex
and cond var, leading to much reduced memory size.

threading: more efficient TmSlot layout

threading: remove 'id' field from TmSlot

Field was now unused.

detect: cleanup reload thread handling

threading: simplify flow timeout loop

threading: shrink and reorganize TmSlot

threading/threadvars: rearrange for better cache behavior

threading/threadvars: remove unused 'prev' field

threading: remove unused 'TmThreadRemove' function

threading: remove handler names to shink struct

Shrink ThreadVars by removing the queue handler names that are only
used at shutdown. Since this is not performance critical, we can use
the id's to look up the queue handler.

threading/queues: add way to lookup by ID

In preparation of doing runtime operations by ID instead of by name,
add functions to look up by ID and to convert name to ID.

threading: shrink threadvars struct size

threading: remove unused threadvars field

threading: clarify threadvars fields

threading: cleanup packet thread shutdown loop

source-pcap: remove unused function

threading/modules: declare prototypes static

Declare registered threading API funcs static where appropriate.

sources: fix pipeline failure handling

When TmThreadsSlotProcessPkt fails it will return the packet that was
passed to it to the packetpool.

Some of the packet sources were doing this manually as well. This patch
fixes those sources.

threading: use tm_flowworker for pseudo packets

Pseudo packets don't need to be processed by the decoding layer.

threading: add shortcut to flowworker

threading: remove per slot post_pq

Use a single packet queue per thread for flow timeout packet
injection. The per slot queue was unused except for this use
case. Having a single queue makes the logic and implementation
simpler.

In case of 'autofp', the per thread packet queue will actually
use the threads input queue. For workers/single a dedicated
queue will be set up.

Rename TmThreadsSlotHandlePostPQs to TmThreadsHandleInjectedPackets
to reflect the changed logic.

af-packet: prototypes cleanup

Remove unused prototype.

Declare other prototypes static.

threading: remove post_pq argument from 'SlotFunc'

This was not in use anywhere.

runmodes: code cleanups

detect: clean up threads handling

Clean up reload and break loop thread handling.

detect: inject packet cleanup

flow-manager: code cleanups

flow-manager: avoid doubly signaling threads

Don't try to wake up the threads we just flagged and validated that
they changed their state.

threading: remove commented out function

threading: optimize and unify post_pq checks

TmThreadsSlotProcessPkt did not need to look all 'slots' as only the first
slots post_pq can have been used.

Unify post_pq cleanup handling.

threading: remove wrong unlikely statement; minor cleanups

threading: TmSlot::SlotFunc does not need to be atomic

threading: fix flags handling by using uint32_t everywhere

threading: optimize error handling in main packet loop

threading: minor code style cleanups

threading: simplify packetpool checks

threading/queues: add shortcut for packetpool check

Allows code simplifycation in the threading loops.

threading/queues: minor code cleanups

afl: fix compilation

afl/decoder: make file dumps optional

detect/address: dead code removal and style cleanups

smb: handle file transactions post-GAP

After a GAP all normal transactions are closed. File transactions
are left open as they can handle GAPs in principle. However, the
GAP might have contained the closing of a file and therefore it
may remain active until the end of the flow.

This patch introduces a time based heuristic for these transactions.
After the GAP all file transactions are stamped with the current
timestamp. If 60 seconds later a file has seen no update, its marked
as closed.

This is meant to fix resource starvation issues observed in long
running SMB sessions where packet loss was causing GAPs.

flow: expose last time as a function

This function returns the individual components
of the timeval in output pointers making it suitable
for use over Rust FFI.

defrag: set livedev on the reassembled packet (issue-3380)

Set the livedev on reassembled packets to that of the parent
packet. Fixes issues with multidetect, specifically a segfault
as reported in issue 3380.

Bug #3380.

configure: fix cygpath check

output/tx: split list of loggers per alproto

This patch splits the list of loggers the tx logging walks into lists per
alproto. The list was getting longer with each eve addition. The result
was that for each tx we would have to loop through multiple loggers that
did not apply to this tx as it was for the wrong protocol.

output: micro optimization

LogFunc is always set, so don't check for it at runtime.

output: optimize root logging loop

Instead of unconditionally looping all the 'root' loggers, loop only
those that are in use.

Root loggers are: packet, tx, file, filedata, streaming.

output: clarify registration

output/tx: bail early if no flow

output: fatal error if root logger alloc fails

rust: make clean fixups

For make clean, only remove gen/ if cbindgen is available.
This prevents make clean from remove gen when the headers
were bundled, but cbindgen is not available to remove them.

Unconditionally remove gen and vendor in maintainerclean.

github-ci: test make after make clean

On the CentOS 7 build, test a make after a make clean. Should
catch the case where bundled generated headers files get deleted
when cbindgen is not available to rebuild them.

rust: set edition to 2018

rust: cargo fix for Rust 2018 edition

github-ci: add .cargo/bin to path on cbindgen install

And remove cbindgen from builds that use the distribution
archive.