windows: allow multiple pcap devices on commandline

Ticket #2774

ips: set host mode only after engine mode

Make sure it is set after the final engine mode update.

stream: fix 'stream.inline=auto' for L2 IPS

Make sure the livedev setup is finalized before initializing the
stream engine.

Bug #2811

Reported-by: Ad Schellevis

flow: log gap state per direction

stream: no more stream events after known issue

No longer set stream events after a gap or wrong thread. We know
we lost sync and are now in 'lets make the best of it'-mode. No
point in flooding the system with stream events.

Ticket #2484

suricatasc: Fix command failures

This commit addresses the following three cases:

1. Do not use maxsplit keyword arg
maxsplit argument to the split command was not a part of Python 2
and using it with Python 2 causes the following failure:
```
TypeError: split() takes no keyword arguments
```
Avoid this by eliminating all the named arguments from split.

2. Fix failure on extra arguments
Up until now, suricatasc fails if any command which is not supposed to
take args is given args.
Fix this by ignoring any extra params.
Closes redmine ticket #2813

3. Fix failure on different type of args
If a command was given a string argument where it expected an int, it
would fail and the process would exit.
Fix this by handling the exception caused in such cases.
Closes redmine ticket #2812

suricatasc: Use better exception message, sort imports

Up until now, suricatasc gives a message as follows in case a command is
missing arguments:
```
>>> list-hostbit
Arguments to command 'list-hostbit' is missing
```

Fix this up and provide a better message:
```
>>> list-hostbit
Missing arguments: expected 1
>>> pcap-file-continuous
Missing arguments: expected at least 2
```

suricatasc: Snug the processing of different commands

Since all of the commands were following the same procedure, namely,
split the input extract the arguments, throw the error if required
argument is missing else send the command over to suricata, put all of
this in one compact function alongwith a dictionary for specifications
for different commands, the name of the argument, the type and if it is
required or not.
Following fixups come with this commit:
- Code becomes really cozy
- Split errors on a few commands are well handled
- No redundant code
- More readability

References redmine ticket #2793

suricatasc: Get rid of issues detected by Pylint

Pylint is a tool to make sure we do not regress the support for Python
3. The following conventions, warnings, errors, refactors have been
fixed.

C0326: Exactly one space required around assignment
C0326: No space allowed around keyword argument assignment
C0325: Unnecessary parens after 'if' keyword
W0301: Unnecessary semicolon
W0702: No exception type(s) specified
W0231: __init__ method from base class 'Exception' is not called
W0107: Unnecessary pass statement
C0121: Comparison to None should be 'expr is not None'
E0602: Undefined variable 'raw_input'
W0201: Attribute 'socket' defined outside __init__
W0611: Unused import

dcerpc/udp: fix int mishandling in opnum parsing

For Big Endian support in the protocol, the opnum would not be set
correctly.

Found using undefined sanitizer.

file/swf: fix undefined int behaviour

Fix warnings by the undefined sanitizer.

detect/bytetest: don't print errors at runtime

rust/smb: fix and optimize record search

Get rid of struct with just a slice reference as well.

rust: fix cargo tests

rust: nom4 requires to add complete!() when using many! combinators

rust: fix warnings for unused variables (add _)

rust: upgrade all parsers to nom4

rust/nom4: error_code is superseded by error_position

rust: update dependencies for nom4 transition

eve/http: add request/response http headers

Add a keyword configuration dump-all-headers, with allowed values
{both, request, response}, dumping all HTTP headers in the eve-log http
object. Each header is a single object in the list request_headers
(response_headers) with the following notation:

{
    "name": <header name>,
    "value": <header value>
}

To avoid forged malicious headers, the header name size is capped at 256
bytes, the header value size at 2048.

By default, dump-all-headers is disabled.

smtp: create raw-extraction feature

Add a raw-extraction option for smtp. When enabled, this feature will
store the raw e-mail inside a file, including headers, e-mail content,
attachments (base64 encoded). This content is stored in a normal File *,
allowing for normal file detection.
It'd also allow for all-emails extraction if a rule has
detect-filename:"rawmsg" matcher (and filestore).
Note that this feature is in contrast with decode-mime.

This feature is disabled by default, and will be disabled automatically
if decode-mime is enabled.

source-nfq: increase maximum queues number to 65535

Previously this was limited to 16, however Netfilter allows
up to 65535 queues. Suricata now is able to create as many
queues as possible, but at the same time warns user if one
specifies more queues than available CPU cores.

This change involves dynamic (de)allocation of NFQ contexts
instead of on-stack arrays to use less memory.

source-nfq: support queue range

If one needs to use multiple sequential Netfilter queues,
it can be done with a new '-q' option's syntax: "start:end"
(just like it's done with iptables '--queue-balance' option).

issue 2795: python 3 fix in Rust C header gen

The C header generation script was failing with a unicode error
in Python 3 on FreeBSD.  Fix the reading of files to properly
handle unicode in all Python 3 environments.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2794

rust/dns: add dns to dns alerts

configure.ac: fix --{disable,enable}-xxx options

Currently, if the user provides --enable-libmagic or
--disable-libmagic, libmagic will be disabled because $enableval is not
used to know if the user provided --enable or --disable

Most of the options have this issue so fix them all by using $enableval

Fixes:
 - https://redmine.openinfosecfoundation.org/issues/2797

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

detect: add file.name sticky buffer

detect: add http.response_body sticky buffer

As a mirror of the http_server_body content modifier.

detect/tls: consolidate validity code

detect/http-server-body: move tests to tests/

detect: add http.request_body sticky buffer

Sticky buffer version of the http_client_body content modifier.

detect/file-data: move tests into tests/

detect/file-data: consolidate matching code

detect/http-client-body: move tests into tests/

detect/http-client-body: convert to inspect api v2

detect/file-data: minor cleanups

detect/file-data: minor cleanups and clarifications

detect/http-server-body: code cleanup and test cleanups

detect/http-client-body: code cleanups and test cleanups

detect: add http.header.raw sticky buffer keyword

Add parsing tests as well.

detect/http_raw_header: move tests into tests/

detect/http_raw_header: use inspect v2 api

detect/http_raw_header: minor code cleanups

detect: add http.header sticky buffer keyword

detect/http_header: convert parsing tests to use helper

detect/http_header: move tests into tests/

detect/http_header: inspect v2 api

detect/http_header: test cleanups

detect/http_header: remove unused func args

detect: add http.cookie sticky buffer keyword

detect/http_cookie: move tests into tests/

detect/http_cookie: switch to inspect v2 api

detect/http_cookie: minor cleanups

detect/http_user_agent: set alternative and info flags

detect: add http.stat_code sticky buffer keyword

detect/http_stat_code: move tests into tests/

detect/http_stat_code: use inspect v2 api

detect/http_stat_code: minor code cleanups

detect: add http.stat_msg sticky buffer keyword

detect/http_stat_msg: move tests to tests/

detect/http_stat_msg: switch to inspect v2

detect/http_stat_msg: minor code cleanups

detect: add http.host.raw sticky buffer

detect/http_raw_host: move raw into regular host logic

detect/http_host: move tests into tests/

detect/http_raw_host: use inspect v2 api

detect/http_raw_host: minor cleanups

detect/http_method: add http.method sticky buffer

detect/http_method: move all tests into tests/

detect/http_method: use inspect v2 api

detect/http_method: minor cleanups

detect/http: add http.uri.raw sticky buffer keyword

detect/http_raw_uri: code reorganization

Move registration into http_uri logic, move tests into the other uri
tests. Switch to v2 mpm/inspect APIs.

detect/http_raw_uri: small cleanups

detect/http-uri: move tests into tests/

detect: add http.uri sticky buffer keyword

detect: add http.host sticky buffer

detect/http-hh: code cleanups

detect/http_user_agent: move tests into tests/

detect: add http.user_agent sticky buffer

detect/http-ua: remove dead code

detect/http-ua: test cleanups

detect: add verbosity of --list-keywords

Add indicators of content modifier or sticky buffer, and also
allow registering an alternative to a keyword.

detect: switch keyword flags u16

detect/transform: add to_sha1 keyword

detect/transform: add to_md5 keyword

unittests: add signature parse test helper

Open 5.0.0-dev branch

log/stats: fix formatting of long decoder events

userguide: improve stats logging documentation

source-pcap:set PktAcqBreakLoop as pcap_breakloop

stream: fix false negative on bad RST

If a bad RST was received the stream inspection would not happen
for that packet, but it would still move the 'raw progress' tracker
forward. Following good packets would then fail to detect anything
before the 'raw progress' position.

Bug #2770

Reported-by: Alexey Vishnyakov

eve.stats: warn that output might miss decoder-events

eve.stats: make decoder event prefix configurable

eve: fix missing decoder-events in stats

In the eve log the decoder events are added as optional counters. This
behaviour is enabled by default. However, lots of the counters are
missing, as the names colide with other counters.

E.g.

decoder.ipv6 counts ipv6 packets
decoder.ipv6.unknown_next_header counts how often an unknown next
    header is encountered.

In this example 'ipv6' would be both a json integer and a json object.
It appears that jansson favours the first that is generated, so the
event counters are mostly missing.

This patch registers them as 'decoder.events.<event>' instead. As
these names are generated on the fly, a hash table to contain the
allocated strings was added as well.

hash: move string hash funcs into util files

decoder: add gre over ipv6 support

af-packet: minor code cleanups

af-packet: re-enable sync for tpacket v2

Synchronize start was disabled for v2 when v3 was introduced, without
a reason being given.

Re-enable as v2 will otherwise also start reading packets before the
other threads are set up. This will lead to hashing issues.

Part of bug #2788.

af-packet: fix sync start for tpacket v3

The tpacket-v3 implementation of the synchonize start logic would
not correctly consider the timestamp parameter, leading to threads
starting before synchronization between threads was complete.

Bug #2788