detect/pcre: fix false positive

Fix case where a HTTP modifier in PCRE statements would lead to
the rule alerting when it should not.

Bug #2769

decoder: improve stats hash error handling

netmap: switch to nm_* API

Process multiple packets at nm_dispatch. Use zero copy for workers
recv mode.

Add configure check netmap check for API 11+ and find netmap api version.

Add netmap guide to the userguide.

filestore v2: print sid in json output

engine-analysis: add support for http_host buffer

Add support for http_host buffer for more accurate reporting.
Bug: #2798

configure: rust support requires Python

Add error message to warn the user.

nfqueue: more descriptive queue names (e.g. 'NFQ#1' instead of '1')

This will also make 'iface-list' output more informative.

nfqueue: added received packets counter for 'iface-stat' command

Previously nfqueue did not update received packets counter in a
livedev so 'iface-stat' UNIX-socket command always showed zeros.

eve/fileinfo: don't alloc filename during logging

eve/ftp: don't alloc memory to log filename

eve/http: use stack for buffer to string conversions

byte: add bytes to string w/o allocation

app-layer-ssl: check that cipher suites length is divisible by two

Cipher suites length should always be divisible by two. If it is a
odd number, which should not happen with normal traffic, it ends up
reading one byte too much.

util-ja3: fix AddressSanitizer heap-buffer-overflow

No resizing is done in Ja3BufferResizeIfFull() when the buffer is
empty. This leads to a potential overflow when this happens, since
a ',' is appended even when the buffer is empty.

Bug #2762

windows: msys/mingw based appveyor support

Add rust but have it disabled as it is broken.

Add windivert, winpcap and npcap builds.

Run unittests on one of the builds.

Use reasonably strict CFLAGS.

windows/syscall: fix unused function warning

windows/syscall: convert file to use unix newlines

ran: dos2unix src/win32-syscall.[ch]

configure: support msys target

windows: fix sc_log_stream_lock handling

windows: allow multiple pcap devices on commandline

Ticket #2774

ips: set host mode only after engine mode

Make sure it is set after the final engine mode update.

stream: fix 'stream.inline=auto' for L2 IPS

Make sure the livedev setup is finalized before initializing the
stream engine.

Bug #2811

Reported-by: Ad Schellevis

flow: log gap state per direction

stream: no more stream events after known issue

No longer set stream events after a gap or wrong thread. We know
we lost sync and are now in 'lets make the best of it'-mode. No
point in flooding the system with stream events.

Ticket #2484

suricatasc: Fix command failures

This commit addresses the following three cases:

1. Do not use maxsplit keyword arg
maxsplit argument to the split command was not a part of Python 2
and using it with Python 2 causes the following failure:
```
TypeError: split() takes no keyword arguments
```
Avoid this by eliminating all the named arguments from split.

2. Fix failure on extra arguments
Up until now, suricatasc fails if any command which is not supposed to
take args is given args.
Fix this by ignoring any extra params.
Closes redmine ticket #2813

3. Fix failure on different type of args
If a command was given a string argument where it expected an int, it
would fail and the process would exit.
Fix this by handling the exception caused in such cases.
Closes redmine ticket #2812

suricatasc: Use better exception message, sort imports

Up until now, suricatasc gives a message as follows in case a command is
missing arguments:
```
>>> list-hostbit
Arguments to command 'list-hostbit' is missing
```

Fix this up and provide a better message:
```
>>> list-hostbit
Missing arguments: expected 1
>>> pcap-file-continuous
Missing arguments: expected at least 2
```

suricatasc: Snug the processing of different commands

Since all of the commands were following the same procedure, namely,
split the input extract the arguments, throw the error if required
argument is missing else send the command over to suricata, put all of
this in one compact function alongwith a dictionary for specifications
for different commands, the name of the argument, the type and if it is
required or not.
Following fixups come with this commit:
- Code becomes really cozy
- Split errors on a few commands are well handled
- No redundant code
- More readability

References redmine ticket #2793

suricatasc: Get rid of issues detected by Pylint

Pylint is a tool to make sure we do not regress the support for Python
3. The following conventions, warnings, errors, refactors have been
fixed.

C0326: Exactly one space required around assignment
C0326: No space allowed around keyword argument assignment
C0325: Unnecessary parens after 'if' keyword
W0301: Unnecessary semicolon
W0702: No exception type(s) specified
W0231: __init__ method from base class 'Exception' is not called
W0107: Unnecessary pass statement
C0121: Comparison to None should be 'expr is not None'
E0602: Undefined variable 'raw_input'
W0201: Attribute 'socket' defined outside __init__
W0611: Unused import

dcerpc/udp: fix int mishandling in opnum parsing

For Big Endian support in the protocol, the opnum would not be set
correctly.

Found using undefined sanitizer.

file/swf: fix undefined int behaviour

Fix warnings by the undefined sanitizer.

detect/bytetest: don't print errors at runtime

rust/smb: fix and optimize record search

Get rid of struct with just a slice reference as well.

rust: fix cargo tests

rust: nom4 requires to add complete!() when using many! combinators

rust: fix warnings for unused variables (add _)

rust: upgrade all parsers to nom4

rust/nom4: error_code is superseded by error_position

rust: update dependencies for nom4 transition

eve/http: add request/response http headers

Add a keyword configuration dump-all-headers, with allowed values
{both, request, response}, dumping all HTTP headers in the eve-log http
object. Each header is a single object in the list request_headers
(response_headers) with the following notation:

{
    "name": <header name>,
    "value": <header value>
}

To avoid forged malicious headers, the header name size is capped at 256
bytes, the header value size at 2048.

By default, dump-all-headers is disabled.

smtp: create raw-extraction feature

Add a raw-extraction option for smtp. When enabled, this feature will
store the raw e-mail inside a file, including headers, e-mail content,
attachments (base64 encoded). This content is stored in a normal File *,
allowing for normal file detection.
It'd also allow for all-emails extraction if a rule has
detect-filename:"rawmsg" matcher (and filestore).
Note that this feature is in contrast with decode-mime.

This feature is disabled by default, and will be disabled automatically
if decode-mime is enabled.

source-nfq: increase maximum queues number to 65535

Previously this was limited to 16, however Netfilter allows
up to 65535 queues. Suricata now is able to create as many
queues as possible, but at the same time warns user if one
specifies more queues than available CPU cores.

This change involves dynamic (de)allocation of NFQ contexts
instead of on-stack arrays to use less memory.

source-nfq: support queue range

If one needs to use multiple sequential Netfilter queues,
it can be done with a new '-q' option's syntax: "start:end"
(just like it's done with iptables '--queue-balance' option).

issue 2795: python 3 fix in Rust C header gen

The C header generation script was failing with a unicode error
in Python 3 on FreeBSD.  Fix the reading of files to properly
handle unicode in all Python 3 environments.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2794

rust/dns: add dns to dns alerts

configure.ac: fix --{disable,enable}-xxx options

Currently, if the user provides --enable-libmagic or
--disable-libmagic, libmagic will be disabled because $enableval is not
used to know if the user provided --enable or --disable

Most of the options have this issue so fix them all by using $enableval

Fixes:
 - https://redmine.openinfosecfoundation.org/issues/2797

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

detect: add file.name sticky buffer

detect: add http.response_body sticky buffer

As a mirror of the http_server_body content modifier.

detect/tls: consolidate validity code

detect/http-server-body: move tests to tests/

detect: add http.request_body sticky buffer

Sticky buffer version of the http_client_body content modifier.

detect/file-data: move tests into tests/

detect/file-data: consolidate matching code

detect/http-client-body: move tests into tests/

detect/http-client-body: convert to inspect api v2

detect/file-data: minor cleanups

detect/file-data: minor cleanups and clarifications

detect/http-server-body: code cleanup and test cleanups

detect/http-client-body: code cleanups and test cleanups

detect: add http.header.raw sticky buffer keyword

Add parsing tests as well.

detect/http_raw_header: move tests into tests/

detect/http_raw_header: use inspect v2 api

detect/http_raw_header: minor code cleanups

detect: add http.header sticky buffer keyword

detect/http_header: convert parsing tests to use helper

detect/http_header: move tests into tests/

detect/http_header: inspect v2 api

detect/http_header: test cleanups

detect/http_header: remove unused func args

detect: add http.cookie sticky buffer keyword

detect/http_cookie: move tests into tests/

detect/http_cookie: switch to inspect v2 api

detect/http_cookie: minor cleanups

detect/http_user_agent: set alternative and info flags

detect: add http.stat_code sticky buffer keyword

detect/http_stat_code: move tests into tests/

detect/http_stat_code: use inspect v2 api

detect/http_stat_code: minor code cleanups

detect: add http.stat_msg sticky buffer keyword

detect/http_stat_msg: move tests to tests/

detect/http_stat_msg: switch to inspect v2

detect/http_stat_msg: minor code cleanups

detect: add http.host.raw sticky buffer

detect/http_raw_host: move raw into regular host logic

detect/http_host: move tests into tests/

detect/http_raw_host: use inspect v2 api

detect/http_raw_host: minor cleanups

detect/http_method: add http.method sticky buffer

detect/http_method: move all tests into tests/

detect/http_method: use inspect v2 api

detect/http_method: minor cleanups

detect/http: add http.uri.raw sticky buffer keyword

detect/http_raw_uri: code reorganization

Move registration into http_uri logic, move tests into the other uri
tests. Switch to v2 mpm/inspect APIs.

detect/http_raw_uri: small cleanups

detect/http-uri: move tests into tests/

detect: add http.uri sticky buffer keyword

detect: add http.host sticky buffer

detect/http-hh: code cleanups

detect/http_user_agent: move tests into tests/

detect: add http.user_agent sticky buffer

detect/http-ua: remove dead code