af-packet: add missing copyright header

And also fixes the copyright date in some files.

util-ebpf: add error handling in hash value fetch

doc: update xdp documentation

Also remove configuration info from yaml as they are now in the
documentation.

doc: add XDP setup documentation

af-packet: improve xdp error handling

Don't try to bypass the flow if the flow table is unknown.

Also continue after error message if ever XDP was not correctly
setup.

af-packet: add support for multi iface bypass

util-device: change logic of registration

Device storage requires the devices to be created after storage
is finalized so we need to first get the list of devices then
create them when the storage is finalized.

This patch introduces the LiveDeviceName structure that is a list
of device name used during registration.

Code uses LiveRegisterDeviceName for pre registration and keep
using the LiveRegisterDevice function for part of the code that
create the interface during the runmode creation.

util-device: add an iteration function

device-storage: introduce feature

The capture method may have to store data depending related to the
offloading so having a per interface storage via LiveDevice seems
interesting.

flow-bypass: fix sleep strategy

tm-threads: fix build warning in afl mode

af-packet: remove done fixme in XDP

af-packet: end of map factoring

af-packet: cache map fd search

af-packet: fix bypassing of IPv6

Also misc fixes.

util-ebpf: fix ipv6 cleaning and add comments

util-ebpf: fix XDP delete key

The key was deleted twice so let's remove the local deletion.

flow-bypass: add abstraction layer

The flow bypass thread can now be used by any capture method that
register it timeout check function.

util-ebpf: add call to remove memlock limit

Without that, user has to use ulimit to be able to load the eBPF
file.

ebpf: implement vlan filter

Basic filter allowing only a list of VLANs.

util-ebpf: suppress call on loop init

af-packet: implementation of XDP bypass

This patch adds support for XDP bypass. It provides an XDP
filter that can be loaded to realize the bypass of flows.

af-packet: use per CPU hash in bypass

eBPF has a data type which is a per CPU array. By adding one element
to the array it is in fact added to all per CPU arrays in the kernel.
This allows to have a lockless structure in the kernel even when doing
counter update.

In userspace, we need to update the flow bypass code to fetch all
elements of the per CPU arrays.

flow-bypass: only start thread on demand

af-packet: kernel bypass implementation

This patch implements bypass capability for af-packet.

The filter only bypass TCP and UDP in IPv4 and IPv6. It don't
don't bypass IPv6 with extended headers.

This patch also introduces a bypassed flow manager that takes
care of timeouting the bypassed flows. It uses a 60 sec
timeout on flow. As they are supposed to be active we can
try that. If they are not active then we don't care to get them
back in Suricata.

af-packet: add support for eBPF cluster and filter

This patch introduces the ebpf cluster mode. This mode is using
an extended BPF function that is loaded into the kernel and
provide the load balancing.

An example of cluster function is provided in the ebpf
subdirectory and provide ippair load balancing function.
This is a function which uses the same method as
the one used in autofp ippair to provide a symetrical
load balancing based on IP addresses.

A simple filter example allowing to drop IPv6 is added to the
source.

This patch also prepares the infrastructure to be able to load
and use map inside eBPF files. This will be used later for flow
bypass.

doc: update file_data description

detect-engine-hsbd: decompress swf files

This checks if a buffer is a swf file and try
to decompress it, if decompression is enabled.

util-file-decompression: add swf decompression API

This adds a new module that permits to decompress
swf file compressed with zlib or lzma algorithms.

The API that performs decompression will take a compressed
buffer and build a new decompressed buffer following the
FWS format which represents an uncompressed file.

The maximum buffer that can be created is up to 50mb.

detect: set events in inspection phase

During the inspection phase actually is not possible to catch
an error if it occurs.
This patch permits to store events in the detection engine
such that we can match on events and catch them.

app-layer-htp: add swf decompression settings

This adds some settings needed to do swf file decompression
under libhtp section in suricata.yaml

configure: check for zlib and liblzma

This checks if zlib and libzma are installed on the system
in order to decompress swf files.

signal: enable SIGUSR2 after Reload when delayed-detect

Enable SIGUSR2 Handler after the first rule reload when delayed-detect
is enabled

suricatasc: implement autoreconnect

Implement a basic autoreconnect support. It tries to reconnect once
when connection has been lost. If it fails, it discards the command
and try again to connect at next command.

unix socket: protocol v0.2

This patch updates the unix socket protocol. Messages send from
the server and the client have now a '\n' at the end. This allows
both sides to detect easily the end of a command.

As a side effect, this fixes the problem of long answer in
suricatasc. There is now a limit at the arbitrary value of 65536.

Backward compatility is preserved as a client with the older
version of the protocol can still connect to a Suricata with
version 2 of the protocol.

setup-app-layer-detect: update for changes in detect

doc: update eve/alert/metadata configuration

eve/alert: new metadata configuration (sane defaults)

Under eve/alert, introduce a new metadata configuration
section. If no provided, or simply yes defaults will be used.
Otherwise this a map with fields that can be toggled on and
off. The defaults are:

outputs:
  - eve-log:
      types:
        - alert:
            metadata:
              app-layer: true
              flow: true
              rule:
                raw: false
                metadata: true

To enable something that is disabled by default, or to disable
something that is enabled by default, only that key need to
be changed, everything else will keep its default value.

conf: new function: ConfNodeHasChildren

Test if a configuration node has any children, indicating
that it is a non-empty map or sequence.

eve/alert: include rule text in alert output

For SIEM analysis it is often useful to refer to the actual rules to
find out why a specific alert has been triggered when the signature
message does not convey enough information.

Turn on the new rule flag to include the rule text in eve alert output.
The feature is turned off by default.

With a rule like this:

    alert dns $HOME_NET any -> 8.8.8.8 any (msg:"Google DNS server contacted"; sid:42;)

The eve alert output might look something like this (pretty-printed for
readability):

    {
      "timestamp": "2017-08-14T12:35:05.830812+0200",
      "flow_id": 1919856770919772,
      "in_iface": "eth0",
      "event_type": "alert",
      "src_ip": "10.20.30.40",
      "src_port": 50968,
      "dest_ip": "8.8.8.8",
      "dest_port": 53,
      "proto": "UDP",
      "alert": {
        "action": "allowed",
        "gid": 1,
        "signature_id": 42,
        "rev": 0,
        "signature": "Google DNS server contacted",
        "category": "",
        "severity": 3,
        "rule": "alert dns $HOME_NET any -> 8.8.8.8 any (msg:\"Google DNS server contacted\"; sid:43;)"
      },
      "app_proto": "dns",
      "flow": {
        "pkts_toserver": 1,
        "pkts_toclient": 0,
        "bytes_toserver": 81,
        "bytes_toclient": 0,
        "start": "2017-08-14T12:35:05.830812+0200"
      }
    }

Feature #2020

doc: documentation update on metadata

detect-metadata: add a string storage to de_ctx

To avoid to have a lot of string allocations, we use a hash table
stored in de_ctx to point to existing string instead of duplicating
them.

suricata: init output before detection

As we need to know if we should parse the signature metadata, we
have to parse the output configuration before initializing the
detection engine.

output-json-alert: conditionaly output metadata

Metadata of the signature can now conditionaly put in the alert
events. This will allow user to get more context about the events
generated by the alert.

detect-metadata: conditional parsing

Only parses metadata if an output module will use the information.
Patch also adds a unittest to check metadata is not parsed if not
asked to.

output-json-alert: optional output keys as array

Update rule metadata configuration to have an option to output
value as array. Also adds an option to log only a series of keys
as array. This is useful in the case of some ruleset where from
instance the `tag` key is used multiple time.

(Jason Ish) rule metadata: always log as lists

After review of rule metadata, we can't make assumptions
on what should be a list or not. So log everything as a list.

detect-metadata: add unit test

detect-metadata: store metadata key value pairs

This patch updates the Signature structure so it contains the
metadata under a key value form.
Later patch will make that dictionary available in the events.

travis/rust: update rust minimum to 1.21

Ubuntu LTS and CentOS7/EPEL has upgraded to 1.21.

Update highest known working version to 1.23.

autogen/rust: remove Cargo.lock

Remove Cargo.lock to avoid issues when updating Cargo.toml

rust: update dependencies

rust: don't gen C headers if Rust isn't enabled

doc: breakout eve-log section to a partial file

Both the suricata.yaml and eve configuration sections
included the eve-log section from suricata.yaml. First,
sync these up with the actual suricata.yaml then break
it out into its own file, so only one file needs to
be kept in sync with the actual configuration file.

eve/alert: log metadata be default

By default log metadata.

Remove toggles for individual protocol types and just use a
single toggle to control including the app-layer with the
alert.

The metadata (currently app-layer and flow) can be disabled
by setting metadata to a falsey value, but its removed
from the default configuration (but wil be in docs)

eve/metadata: log flowvars as a list of k/v pairs

To match the pktvars output.

eve/metadata: special handling for traffic-id labels

Give traffic/id and traffic/label flowbits special handling
in the eve output. Instead of just logging them as flowbits,
give them their own top level object.

{
  "traffic": {
    "id": ["id0", "id1"],
    "label": ["label0", "label1"]
  }
}

doc: update eve-log section for metadata

output-json-vars: rename to metadata

No functional change, just rename of files and functions
to reflect the metadata event type now used.

json-vars: rename to metadata and use new metadata format

eve: netflow: global metadata config

eve: http: global metadata config

eve: flow: global metadata config

eve: dns: global metadata config

eve: alert: global metadata config

Also, remove vars as a subtype. Adding the top level metadata
field is an eve lebel parameter, not alert now.

eve: drop: global metadata config

eve: email: respect global metadata config

eve: nfs: respect global metadata config

eve: smtp: respect global metadata config

eve: dnp3: respect global metadata config

eve: ssh: respect global metadata config

eve: tls: respect global metadata config

eve: metadata setting to enable/disable metadata

This is a top level metadata object containing flowbits,
flowints, pktvars and flowvars.

Enabling it at the top level enables it for all log types.

eve: top level metadata object

Contains:
- flowbits (as array)
- flowints (map)
- flowvars (map)
- pktvars (map)

htp: minor debug addition

htp: remove unused field from tx state

htp: remove used body operation field

htp: code cleanups

htp: remove usused file flags

htp: remove usused flags

stream: improve overlap detection

Improve detection of overlapping different data. Keep some data around
even if it was already ACK'd to check if packets have overlap.

htp: allow HTTP pickup of response data

Now that libhtp can pick up sessions that start with a response
we can enable support for it as well.

http: add tests for malformed response lines

stream: set event for suspected data injection during 3whs

This rule will match on the STREAM_3WHS_ACK_DATA_INJECT, that is
set if we're:
- in IPS mode
- get a data packet from the server
- that matches the exact SEQ/ACK expectations for the 3whs

The action of the rule is set to drop as the stream engine will drop.
So the rule action is actually not needed, but for consistency it
is drop.

stream: handle data on incomplete 3whs

If we have only seen the SYN and SYN/ACK of the 3whs, accept from
server data if it perfectly matches the SEQ/ACK expectations. This
might happen in 2 scenarios:

1. packet loss: if we lost the final ACK, we may get data that fits
   this pattern (e.g. a SMTP EHLO message).

2. MOTS/MITM packet injection: an attacker can send a data packet
   together with its SYN/ACK packet. The client due to timing almost
   certainly gets the SYN/ACK before considering the data packet,
   and will respond with the final ACK before processing the data
   packet.

In IDS mode we will accept the data packet and rely on the reassembly
engine to warn us if the packet was indeed injected.

In IPS mode we will drop the packet. In the packet loss case we will
rely on retransmissions to get the session back up and running. For
the injection case we blocked this injection attempt.

stream: still inspect packets dropped by stream

The detect engine would bypass packets that are set as dropped. This
seems sane, as these packets are going to be dropped anyway.

However, it lead to the following corner case: stream events that
triggered the drop could not be matched on the rules. The packet
with the event wouldn't make it to the detect engine due to the bypass.

This patch changes the logic to not bypass DROP packets anymore.
Packets that are dropped by the stream engine will set the no payload
inspection flag, so avoid needless cost.

enip: support gaps

Due to a bug in the GAP handling the TCP layer the parser would already
get data after GAPs before.

stream/app-layer: fix GAP handling issue

Fix case where data after GAP was processed as in order data by app-layer.
This happened even if protocol parser did not register to accept GAPs.

pcre: don't leak memory in data extraction

rust/tftp: eve logging with rust

rust/tftp: add tftp parsing and logging

TFTP parsing and logging written in Rust.
Log on eve.json the type of request (read or write), the name of the file and
the mode.

Example of output:
    "tftp":{"packet":"read","file":"rfc1350.txt","mode":"octet"}

doc: update filestore for file hash extraction

Update for extraction based on md5, sha1 and sha256

rust/nfs: explicitly handle GAPs from C

It seems that Rust optimizes this code in such a way that it
passes the null ptr along as real data.

    if buf.as_ptr().is_null() && input_len > 0 {

rust/filetracker: if file API return error, trunc file

rust/nfs: fix read reply handling

READ replies with large data chunks are processed partially to avoid
queuing too much data. When the final chunk was received however, the
start of the chunk would already tag the transaction as 'done'. The
more aggressive tx freeing that was recently merged would cause this
tx to be freed before the rest of the in-progress chunk was done.

This patch delays the tagging of the tx until the final data has been
received.

file: minor cleanups

file: use enum for state

Makes debugging easier.

rust/file: handle file open errors

rust/file: change return type for FileOpenFileWithId

Make it int so we can easily check it in Rust. No consumer used the
File pointer that was returned before anyway.

rust/core: comment cleanup

.gitignore: only ignore *.yaml in root directory

af_packet: bug #2422.

This commit fixes a leak of mmap'ed ring buffer that was not
unmaped when a socket was closed. In addition, the leak could
break an inline channel on certain configurations.

Also slightly changed AFPCreateSocket():
1. If an interface is not up, it does not try to apply any
   settings to a socket. This reduces a number of error messages
   while an interface is down.
2. Interface is considered active if both IFF_UP and IFF_RUNNING
   are present.

runmode-unix-socket: interrupt as commanded (2413)

https://redmine.openinfosecfoundation.org/issues/2413

Once interrupt occurs, reset the interrupt flag so that future runs are
not immediately interrupted.