doc: update multi-tentant for device feature

multi-tenant: introduce device selector

Add device to tenant mapping support:

  mappings:
  - device: ens5f0
    tenant-id: 1
  - device: ens5f1
    tenant-id: 23

Implemented by assigning the tenant id to the 'livedev', which means
it's only supported for capture methods that use the livedev API.

It's also currently not supported for IPS. In a case like 'eth0 -> eth1'
it's unclear which tenant should be used for the return traffic in a
flow, where the incoming device is 'eth1'.

rust/dhcp: free events and destate at tx end

decode: set pktlen of decode handler to uint32

Change the decode handler signature to increase the size of its decode
handler, from uint16 to uint32. This is necessary to let suricata use
interfaces with mtu > 65535 (ex: lo interface has default size 65536).

It's necessary to change several primitive for Packet manipulation, to
unify the parameter "packet length" whenever we are before IP decoding.

Add tests before calling DecodeIPVX function to avoid a possible
integer overflow over the len parameter.

detect: free rule group init memory at the end of startup

detect: fix fileext and filename negated match

fix bug in fileext and filename preventing negated match to work
correctly. Previously, negated fileext (such as !"php") would cause a
match anyway on files that have extension php, as the last if would not
be accessed.

Using the same workflow as detect-filemagic we remove the final
isolated if and set it as a branch of the previous if.

eve/smb: use flow direction for tuple

smb1: add SMB1_COMMAND_QUERY_INFO_DISK command mapping

smb: add smb-events.rules to dist

output-json: ensure string is json-encodable

Substitute json_string with SCJsonString custom function.
SCJsonString will ensure string passed is json-encodable (utf-8).
If it's not, the string will be converted in such a way that any
non-printable character will be encoded in its hex form.
The resulting json object will be returned.

rust modification will encode any non-printable character during its
conversion in to_cstring.

devices: clean up device init code

suricata: fix init process for layer 2 IPS

4474889667d664a66c1c123f4f7d2756e8a7fbb9 did break the logic of IPS
mode detection for layer 2 IPS mode like Netmap and AF_PACKET. This
pach fixes the issue by calling the IPS detection mode after
complete registration of the interfaces.

Reported-by: Alexander Gozman <a.gozman@securitycode.ru>

output/tls: don't pass NULL fingerprint to json logging

ssl: fix uninitialized variable warning

detect/analyzer: log mask flags and more engine details

dcerpc: fix dce_iface not matching

detect/dce: fix false positives in detection

If a signature didn't explicitly specified 'dcerpc' or 'smb' as the
app proto, false positives on other traffic could happen. This was
caused by the sig not having a app_proto set. This isn't set as the
rule is supposed to match against either ALPROTO_DCERPC or ALPROTO_SMB.

To avoid adding runtime costs for checking for both protocols, this
patch adds a new flag for DCERPC in the 'mask' logic. The flag is set
on the sig if dce_* keywords are present and set on the packet if the
flow's app proto is either ALPROTO_DCERPC or ALPROTO_SMB.

Bug #2559

Reported-by: Jason Taylor

detect: minor code cleanups

detect/dce: keyword cleanups

smb: probing parser improvement

proto/detect: remove probing parser offset argument

Remove offset argument as it was unused.

detect/flow: minor code cleanups

detect: avoid potential use-after-free in error path

proto/detect: minor cleanup

detect: clean up counter registration

flow: fix comment typos

nfs4: create tx for CREATE procedure

nfs: fix applying nfs3 logging logic to nfs4

nfs4: log remove procedure + add multi-proc support

Add TX creation for NFS4 transactions. Start with the 'REMOVE' procedure.

Start on logging all procs. In NFS4 COMPOUND records there are multiple
procedures. One of them can be considered the 'main' procedure, with others
as supporting utility. This patch adds the first step in supporting to
track those in the TX for logging and inspection.

nfs4: for putrootfh set 'mount root' as name

nfs: rename generic functions from nfs3 to nfs

nfs: move v2 parsing into own file

nfs3: move nfs3 specific handling into own file

nfs: request parser cleanup

changelog: update to 4.1rc1

changelog: add missing 4.1beta1 tickets

nfs: get rid of reachable panic statements

nfs4: remove panic calls, set events instead

nfs4: support 4.1 SEQUENCE procedure

config: better default rule file configuration

Move the rule file configuration down near the bottom of the
configuration file under advanced settings. With the bundling
of Suricata-Update, any rule file configuration within
suricata.yaml could be considered advanced.

Add extra comments to the yaml to make it more clear which was
enabled at installation time.

detect-parse: fix missing space in error message (2541)

Fix missing space in error message.

enip: harden byte parsing code

Make sure we never read more than we have.

Reported-by: Henning Perl

ssh: fix out of bounds read in banner parsing

Reported-by: Henning Perl

stream: support RST getting lost/ignored

In case of a valid RST on a SYN, the state is switched to 'TCP_CLOSED'.
However, the target of the RST may not have received it, or may not
have accepted it. Also, the RST may have been injected, so the supposed
sender may not actually be aware of the RST that was sent in it's name.

In this case the previous behavior was to switch the state to CLOSED and
accept no further TCP updates or stream reassembly.

This patch changes this. It still switches the state to CLOSED, as this
is by far the most likely to be correct. However, it will reconsider
the state if the receiver continues to talk.

To do this on each state change the previous state will be recorded in
TcpSession::pstate. If a non-RST packet is received after a RST, this
TcpSession::pstate is used to try to continue the conversation.

If the (supposed) sender of the RST is also continueing the conversation
as normal, it's highly likely it didn't send the RST. In this case
a stream event is generated.

Ticket: #2501

Reported-By: Kirill Shipulin

stream-events: fix mapping

smb: log trans2 that enable delete on close

smb1: add support for trans2 set_path_info rename

smb: improve dcerpc logic

Detect whether a pipe is a dcerpc channel based on the name of the
pipe.

smb1: improve NT Create response record parsing

http: fix setting event on the last tx

pcap-file: fix segv on bad pcap format

http: set events for too many layers of compression

libhtp would already issue warnings, but these were not mapped
to events yet.

source-pcap-file: delete when done (2417)

https://redmine.openinfosecfoundation.org/issues/2417

Add option to have pcap files deleted after they have been processed.
This option combines well with pcap file continuous and streaming
files to a directory being processed.

detect: fix memory leak in app-layer-event keyword

Bug #2515.

app-layer/tcp: set STREAM_MIDSTREAM flag

rust/smb: search for record on midstream start

Calls with both START and MIDSTREAM mean the record might be cut and the
start of it could be missing. For this case, enable the same logic as is
used when catching up after a GAP. Search for the start of the record
instead of assuming it sits exactly at the start of the input data.

rust: define all STREAM_* types

app-layer: pass STREAM_* flags to parser

Pass the STREAM_* flags to the app-layer parser functions so that
the parser can know more about how it is called.

detect: fix delayed detect

Last multi-detect changes broken delayed-detect by refusing to reload
a 'stub' detect engine. This patch distinguishes between a stub for
multi-tenancy and for delayed detect.

add note about eve-alert metadata

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: alphabetize EXTRA_DIST

doc: add window ips inline doc to extra_dist

doc: make warnings errors when building man page

doc: link in windows ips setup page

detect: reload-rules shouldn't reload a stub

detect/debug: suppress noisy info messages

detect/multi-tenant: fix mix of default detect engine and tenants

detect: make detect engine types explicit

There are 3 types of detect engine objects:
    1. normal
       The normal detection engine if no multi-tenancy is in use

    2. tenant
       A per tenant detection engine

    3. stub
       A stub (or minimal as it was called before) detect engine
       that is needed to have something in place when there are
       only tenants.

       A stub is also used in case of 'delayed detect', where we
       need a minimal detect engine to start up which is replaced
       by a full (normal type) detect engine after startup.

This patch adds a new field 'type' to the DetectEngineCtx object
to distinguish between the types. This replaces the boolean 'minimal'.

dhcp: suppress notice message at startup

rust/dns - remove extra parantheses

Removes rust compiler warning.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2521

yaml-loader: fix memory leak on fail include

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/1929

If an include failed to load, either by the file not existing or
a parse error, the file pointer and yaml parser instance were
leaked.

output-json-alert: log correct dns and dnp3 tx

Using transaction log entry is not correct to log the transaction
that did cause the alert. The tx_id in the PacketAlert is correct
so let's use that.

detect/multi-tenant: fix removing of tenant id 0

unix/multi-tenant: improve (log) messages

detect/tenants: fix crash when adding mapping

When no tenants and mappings are defined in 'live' mode, adding a
mapping resulted in a crash.

detect: remove lock from global keyword logic

The global keyword registration and per thread init handling used
the lock from the DetectEngineMasterCtx. This lead to a dead lock
situation at multi-tenancy tenant reloads.

The lock was unnecessary however, as the only time the registration
list is updated is at engine initialization. At that time Suricata
is still running in a single thread. After this, the data structure
doesn't change anymore.

Bug #2516.

Adds WinDivert support to Windows builds

Enables IPS functionality on Windows using the open-source
(LGPLv3/GPLv2) WinDivert driver and API.

From https://www.reqrypt.org/windivert-doc.html : "WinDivert is a
user-mode capture/sniffing/modification/blocking/re-injection package
for Windows Vista, Windows Server 2008, Windows 7, and Windows 8.
WinDivert can be used to implement user-mode packet filters, packet
sniffers, firewalls, NAT, VPNs, tunneling applications, etc., without
the need to write kernel-mode code."

- adds `--windivert [filter string]` and `--windivert-forward [filter
    string]` command-line options to enable WinDivert IPS mode.
    `--windivert[-forward] true` will open a filter for all traffic. See
    https://www.reqrypt.org/windivert-doc.html#filter_language for more
    information.

Limitation: currently limited to `autofp` runmode.

Additionally:
- `tmm_modules` now zeroed during `RegisterAllModules`
- fixed Windows Vista+ `inet_ntop` call in `PrintInet`
- fixed `GetRandom` bug (nonexistent keys) on fresh Windows installs
- fixed `RandomGetClock` building on Windows builds
- Added WMI queries for MTU

travis: use gcc-7 on cocci build

Catches more errors, like switch statements fall throughs
that are caught in private QA.

doc: fix minor typo

filestore: fix truncation warnings

packet: gre over ip link type

tls: document encrypt-handling option

Document in sample yaml and user guide.

tls: new config for dealing with encrypted traffic

Much of encrypted traffic is uninteresting to Suricata. Once encrypted
communication starts, inspecting the packet payloads is generally
not interesting anymore. The default behavior is to disable the parts
of the detection engine and stream reassembly that relate to raw content
inspection.

The tls app-layer parser also had a crude option to affect this behavior:
set 'no-reassemble' to true went much further than the default behavior.
It disabled the TCP reassembly on the flow completely, disabled all
inspection on the flow and enabled bypass if available.

This patch adds a new option: full inspection. This continues to treat
a TLS session as any other, so without any limits to inspection.

The new option is implemented in a new config option 'encrypt-handling',
that replaces 'no-reassemble'. The new option has 3 values:
'default', 'full' and 'bypass'. Default is the current default behavior,
'bypass' is the current 'no-reassemble = true' behavior and 'full'
is the new full inspection mode.

detect/stream_size: code cleanups

detect/stream_size: apply rule to packets & stream

The use of stream_size in combination with raw content matches is an
indication that the rule needs to be evaluated per packet, not just
per reassembled stream chunk.

kerberos: minor doc updates, add author

dhcp: add author

dhcp: update user guide

dhcp: add dhcp app-layer rules file

rust/dhcp: Rust based DHCP decoder and logger.

This is a DHCP decoder and logger written in Rust. Unlike most
parsers, this one is stateless so responses are not matched
up to requests by Suricata. However, the output does contain
enough fields to match them up in post-processing.

Rules are included to alert of malformed or truncated options.

rust: a Rust ConfNode wrapper.

A Rust wrapper around the C ConfNode object. Currenlty only exposes
ConfGetChildValueBool and ConfGetChildValue.

eve: check if enabled before attempting to setup

Before setting up a sub eve-logger, check that it is enabled. This
allows us to set "enabled: no" for loggers that are not registered
with the system without generating an error. An example of this
is loggers that are only available with Rust.

rust/app-layer: macros to export de_state functions

These macros generate the extern "C" functions for transactions
structs that need provide functions for setting and getting
the de_state. The idea is to provide macros do avoid code
duplication and make it simpler to create an app-layer.

A trait would be the correct solution, but it doesn't look like
you can use traits to export extern "C" functions.

rust: add get_tx_iterator to parser registration

app-layer-register: add GetTxIterator

Add a field to set the GetTxIterator function to the AppLayerParser
registration struct.

app-layer-detect-proto: remove unnecessary gotos

Kerberos 5: properly handle TCP buffering

Document Kerberos 5 parsing events

Add krb5_err_code detection keyword

Add krb5_cname and krb5_sname detection keywords