stream: minor test cleanups

mpm: track maxdepth

Track max depth setting per MpmCtx.

To make sure the data structure doesn't increase in size change global
bool to use a flags field.

detect/flow: optimize flow check

Flow direction doesn't need explicit checking as the rule groups (sgh)
are already per direction. So if a rule sets only flow:to_server or
flow:to_client, we can avoid adding a sigmatch to the signature.

detect/tag: minor code cleanup

detect/mark: use postmatch instead of tag list

Keep the tag list for just tags. Post match list is better so the
keyword also works with pass and noalert rules.

detect/mark: minor code cleanups

detect: packet match micro optimization

detect/filestore: use postmatch callback

detect/replace: implement post-match

Implement replace executor as a post match callback so that it
is only considered if there actually is a replace keyword in use.

eve/flow/netflow: log correct tulpe on reversed flows

stream: use flow/packet swap logic for SYN/ACK midstream

flow: on timeout, consider reverse flows for pseudo packets

flow: introduce flow swap support

common: introduce flags and var swapping macros

packet: add 'swap' function to reverse direction

detect/flow: don't require flow for direction options

Flow isn't directly used for direction checks, so don't require
a flow to be present.

detect/parse: improve direction setting on sigs

Only set both directions if no direction has been explicitly set before.

detect/bytetest: debug cleanup

app-layer/pd: free memory

detect: remove BUG_ON from packet path

detect: fix match array reset

Fix match array reset depending on prefilter matches for the
current run. If there were none, the match array of the previous
packet was used. This could lead to inspection of rules from the
wrong rule group.

app-layer/profile: fix udp protocol detection profiling

app-layer/udp: micro optimization

Fix memory leak with TOS handling

Use `pcre_copy_substring` to avoid memory allocations when parsing
TOS values.

pfring: update bpf error handling to be consistent

* updated bpf error handling to be consistent with af-packet
* minor internal doc updates

Signed-off-by: jason taylor <jtfas90@gmail.com>

reputation: move unit tests

UTs are moved inside "test/" directory,
and reworked to improve readability and reduce lines of code.

detect-iprep: fix memory leaks

Loading rules with iprep keyword cause
memory leaks due to missing frees.

Direct leak of 8 byte(s) in 4 object(s) allocated from:
    #0 0x7f81c862bd28 in malloc (/usr/lib/x86_64-linux-gnu/libasan.so.3+0xc1d28)
    #1 0x7f81c6afea69 in pcre_get_substring (/lib/x86_64-linux-gnu/libpcre.so.3+0x27a69)
    #2 0x43206f7420676e68  (<unknown module>)

SUMMARY: AddressSanitizer: 8 byte(s) leaked in 4 allocation(s).

flow-bypass: set thread name to FB

suricata.yaml: fix name of encryption-handling var

autoconf/python: check for distutils

Require distutils to install the Python tools. Update the logic
to only install suricatactl (and suricatasc) if Python and
distutils are found. Suricata-Update will only be installed if
bundled, and python-distutils and python-yaml are found.

autoconf: prefer python 3 over python 2

When looking for Python, prefer "python3" over "python2" and
"python".

Also add information about the Python path and version to the
./configure summary.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2808

af-packet: don't use anonymous unions

af-packet: fix v3 code using v2 union member

doc/userguide: add 3rd-party-integration to dist

rust/ikev2: fix events not being raised in first message

The `set_event` function requires that the transaction is already
inserted, or the event set is silently lost.
When parsing first IKEv2 message, first insert transaction, prepare
values, and borrow back inserted transaction to update it.

rules: fix event names for ikev2 (weak authentication and DH parameters)

travis: call make check in qa/coccinelle

Was being skipped due to the way the tests are called on
travis to prevent Travis from failing on too much output.

travis/macos: use xcode 8.3 build image

Travis retired the xcode 8.1 image and has already been
routing this build to the xcode 8.3 image.

travis-ci/macos: install PyYAML and jq for verify

travis: cache rust toolchain

travis-ci: run suricata-verify on each build

doc/userguide: new 3rd party section, add bluecoat

Add Symantec SSLV (bluecoat) doc to new 3rd party section for
documenting integrating Suricata with 3rd party tools.

doc: add byte_* documentation to the userguide

Added byte_test, byte_jump and byte_extract description and example rules

stream/ips: set proper payload len for inspection

On mem(cap) presure we fall back to the packet payload. The previous
patch failed to properly set the payload length.

file-log: remove and add warning

Feature was deprecated and scheduled for removal.

Ticket #2376

doc: improvement of xbits documentation page

doc: xbits:noalert is not a valid syntax

detect-hostbits: error on some invalid config

detect-xbits: error on some invalid config

detect-flowbits: error on some invalid syntax

The regular expression was accepting something like
"flowbits:!isset,isma;" without complaining even if it is not
correct and don't have the expected result.

suricata: fix list keywords URL in release mode

The tags are suricata-X.X.X so we need to update the chain to get
URLs right.

unix-socket: Fix the message for unregister-tenant-handler

doc/unix-socket: Add missing commands and detail

Add missing commands and their corresponding details in unix-socket
userguide.

Closes redmine ticket #2800

suricatactl: Clean up parser, improve help

So far the suricatactl parser was unclear about the options to use and
did not well display the required and optional param difference. Fix
that to make it legible for any user.

Before
```
└─ $ ▶ ./bin/suricatactl filestore -h
usage: suricatactl filestore [-h] {prune} ...

positional arguments:
  {prune}

optional arguments:
  -h, --help  show this help message and exit

└─ $ ▶ ./bin/suricatactl filestore prune -h
usage: suricatactl filestore prune [-h] [-d DIRECTORY] [--age AGE] [-n] [-v]
                                   [-q]

optional arguments:
  -h, --help            show this help message and exit
  -d DIRECTORY, --directory DIRECTORY
                        filestore directory
  --age AGE             prune files older than age
  -n, --dry-run         only print what would happen
  -v, --verbose         increase verbosity
  -q, --quiet           be quiet, log warnings and errors only
```

After
```
└─ $ ▶ ./bin/suricatactl filestore -h
usage: suricatactl filestore [-h] {prune} ...

positional arguments:
  {prune}     sub-command help
    prune     Remove files in specified directory older than specified age

optional arguments:
  -h, --help  show this help message and exit

└─ $ ▶ ./bin/suricatactl filestore prune -h
usage: suricatactl filestore prune [-h] -d DIRECTORY [--age AGE] [-n] [-v]
                                   [-q]

optional arguments:
  -h, --help            show this help message and exit
  -n, --dry-run         only print what would happen
  -v, --verbose         increase verbosity
  -q, --quiet           be quiet, log warnings and errors only

required arguments:
  -d DIRECTORY, --directory DIRECTORY
                        filestore directory
  --age AGE             prune files older than age, units: s, m, h, d
```

suricatactl: Fix PyLint issues

Pylint is a tool to make sure we do not regress the support for Python
3. The following conventions, warnings, errors, refactors have been
fixed.

W0301: Unnecessary semicolon (unnecessary-semicolon)
C0303: Trailing whitespace (trailing-whitespace)
W1401: Anomalous backslash in string
C0103: Variable name doesn't conform to snake_case naming style
R1705: Unnecessary "elif" after "return"
W1201: Specify string format arguments as logging function parameters
W0611: Unused import
R1710: Either all return statements in a function should return an expression, or none of them should
W0612: Unused variable
C0103: Method name doesn't conform to snake_case naming style
R0201: Method could be a function

suricatactl: Make code compatible with Python 3

Call to suricatactl was failing with Python3 with the following error:
```
Traceback (most recent call last):
  File "bin/suricatactl", line 40, in <module>
    sys.exit(main())
  File "./suricata/ctl/main.py", line 50, in main
    args.func(args)
AttributeError: 'Namespace' object has no attribute 'func'
```
Fix this by making it run with Py3 just like it does with Py2.

Closes redmine ticket #2793

doc: add table for custom values of eve/http

eve/http: add proxy related custom headers

eve/http: fix custom header table

smtp: minor code cleanup and debug addition

checksum: use u64 types

ips/stream: handle low mem(cap) crash

In low memory or memcap reached conditions a crash could happen in
inline stream detection.

The crash had the following path:

A packet would come in and it's data was added to the stream. Due
to earlier packet loss, the stream buffer uses a stream buffer block
tree to track the data blocks. When trying to add the current packets
block to the tree, the memory limit was reached and the add fails.

A bit later in the pipeline for the same packet, the inline stream
mpm inspection function gets the data to inspect. For inline mode
this is the current packet + stream data before and after the packet,
if available.

The code looking up the packets data in the stream would not
consider the possibility that the stream block returned wasn't
the right one. The tree search returns either the correct or the
next block. In adjusting the returned block to add the extra stream
data it would miscalculate offsets leading to a corrupt pointer to the
data.

This patch more carefully checks the result of the lookup, and
falls back to simply inspecting the packet payload if the lookup
didn't produce the expected result.

Bug 2842.

Reported-by: Ad Schellevis <ad@opnsense.org>

stream-buffer: fix block search compare func

Sbb search function could return the wrong block due to an off by
one error.

stream-buffer: fix streaming buffer size issue

It was using buffer size instead of the real usage of the buffer.

flow-manager: improve thread shutdown loops

threads: move sleep macros into common header

github: update codeowners

mpm/ac-ks: rename files from -tile to -ks

tile: remove files

mpm: rename internal id for ac-tile to ac-ks

detect/pcre: fix false positive

Fix case where a HTTP modifier in PCRE statements would lead to
the rule alerting when it should not.

Bug #2769

decoder: improve stats hash error handling

netmap: switch to nm_* API

Process multiple packets at nm_dispatch. Use zero copy for workers
recv mode.

Add configure check netmap check for API 11+ and find netmap api version.

Add netmap guide to the userguide.

filestore v2: print sid in json output

engine-analysis: add support for http_host buffer

Add support for http_host buffer for more accurate reporting.
Bug: #2798

configure: rust support requires Python

Add error message to warn the user.

nfqueue: more descriptive queue names (e.g. 'NFQ#1' instead of '1')

This will also make 'iface-list' output more informative.

nfqueue: added received packets counter for 'iface-stat' command

Previously nfqueue did not update received packets counter in a
livedev so 'iface-stat' UNIX-socket command always showed zeros.

eve/fileinfo: don't alloc filename during logging

eve/ftp: don't alloc memory to log filename

eve/http: use stack for buffer to string conversions

byte: add bytes to string w/o allocation

app-layer-ssl: check that cipher suites length is divisible by two

Cipher suites length should always be divisible by two. If it is a
odd number, which should not happen with normal traffic, it ends up
reading one byte too much.

util-ja3: fix AddressSanitizer heap-buffer-overflow

No resizing is done in Ja3BufferResizeIfFull() when the buffer is
empty. This leads to a potential overflow when this happens, since
a ',' is appended even when the buffer is empty.

Bug #2762

windows: msys/mingw based appveyor support

Add rust but have it disabled as it is broken.

Add windivert, winpcap and npcap builds.

Run unittests on one of the builds.

Use reasonably strict CFLAGS.

windows/syscall: fix unused function warning

windows/syscall: convert file to use unix newlines

ran: dos2unix src/win32-syscall.[ch]

configure: support msys target

windows: fix sc_log_stream_lock handling

windows: allow multiple pcap devices on commandline

Ticket #2774

ips: set host mode only after engine mode

Make sure it is set after the final engine mode update.

stream: fix 'stream.inline=auto' for L2 IPS

Make sure the livedev setup is finalized before initializing the
stream engine.

Bug #2811

Reported-by: Ad Schellevis

flow: log gap state per direction

stream: no more stream events after known issue

No longer set stream events after a gap or wrong thread. We know
we lost sync and are now in 'lets make the best of it'-mode. No
point in flooding the system with stream events.

Ticket #2484

suricatasc: Fix command failures

This commit addresses the following three cases:

1. Do not use maxsplit keyword arg
maxsplit argument to the split command was not a part of Python 2
and using it with Python 2 causes the following failure:
```
TypeError: split() takes no keyword arguments
```
Avoid this by eliminating all the named arguments from split.

2. Fix failure on extra arguments
Up until now, suricatasc fails if any command which is not supposed to
take args is given args.
Fix this by ignoring any extra params.
Closes redmine ticket #2813

3. Fix failure on different type of args
If a command was given a string argument where it expected an int, it
would fail and the process would exit.
Fix this by handling the exception caused in such cases.
Closes redmine ticket #2812

suricatasc: Use better exception message, sort imports

Up until now, suricatasc gives a message as follows in case a command is
missing arguments:
```
>>> list-hostbit
Arguments to command 'list-hostbit' is missing
```

Fix this up and provide a better message:
```
>>> list-hostbit
Missing arguments: expected 1
>>> pcap-file-continuous
Missing arguments: expected at least 2
```

suricatasc: Snug the processing of different commands

Since all of the commands were following the same procedure, namely,
split the input extract the arguments, throw the error if required
argument is missing else send the command over to suricata, put all of
this in one compact function alongwith a dictionary for specifications
for different commands, the name of the argument, the type and if it is
required or not.
Following fixups come with this commit:
- Code becomes really cozy
- Split errors on a few commands are well handled
- No redundant code
- More readability

References redmine ticket #2793

suricatasc: Get rid of issues detected by Pylint

Pylint is a tool to make sure we do not regress the support for Python
3. The following conventions, warnings, errors, refactors have been
fixed.

C0326: Exactly one space required around assignment
C0326: No space allowed around keyword argument assignment
C0325: Unnecessary parens after 'if' keyword
W0301: Unnecessary semicolon
W0702: No exception type(s) specified
W0231: __init__ method from base class 'Exception' is not called
W0107: Unnecessary pass statement
C0121: Comparison to None should be 'expr is not None'
E0602: Undefined variable 'raw_input'
W0201: Attribute 'socket' defined outside __init__
W0611: Unused import

dcerpc/udp: fix int mishandling in opnum parsing

For Big Endian support in the protocol, the opnum would not be set
correctly.

Found using undefined sanitizer.

file/swf: fix undefined int behaviour

Fix warnings by the undefined sanitizer.