print: constify input

detect: fix ssl_state test

disable-detect: fix needless file hashing

When detection is running flags are set on flows to indicate if file
hashing is needed. This is based on global output settings and rules.

In the case of --disable-detection this was not happening, so all
files where hashed with all methods. This has a significant
performance impact.

This patch adds logic to set the flow flags in --disable-detect mode.

app-layer: remove version logic

flow: remove unused alversion fields

detect: remove unused alversion logic

detect: simplify state detect code: remove unused params

detect: clean up test

bytejump: don't print errors when matching

When bytejump was told to convert some payload data to int from a
string it would print an error to the screen if the conversion
failed. This is unwanted as the payload is controlled by an attacker
and printing is expensive.

file-store: fix force store

app-layer: fix gap handling in protocol detection

A GAP during protocol detection would lead to all reassembly
getting disabled, so also the raw reassembly. In addition, it
could prevent the opposing side from doing protocol detection.

This patch remove the 'disable reassembly' logic. Stream engine
will take the stream with GAP and app-layer will make the proto
detection as complete.

file store: store multiple files if available

app-layer: fix memleak on bad traffic

If state was alloc'd after protocol detection, but then the direction
turned out to be wrong, the state would not be freed.

ippair: fix xbits unset memleak

ippair: use both addresses in hash

stream: validate SACK right edge to be in window

stream: remove unused stream config member

stream: make data pointer in StreamSegmentCallback const

stream: remove unused variable

app-layer: minor debug improvement

qa/appveyor: install libiconv-devel

travis: fix pkg-config in mac builds

Unlink pkg-config before installing.

travis: fix libpcre in mac builds

It looks like Travis changed their Mac image and pcre is now
installed by default. In case it gets removed again, just unlink
it before re-installing so it doesn't fail on install.

logging: remove unused print stats callbacks

Remove the ThreadExitPrintStats callback from logging modules
that weren't doing anything with it.

logging: move lock into write function

All loggers were wrapping just the write in a lock with some
updating a counter.  This moves the lock into the write function.

The log_ctx alerts counter was also removed as many modules have
stopped using this and the alert count is available elsewhere.

Should satisfy Coverity CID 1400798:

CID 1400798 (#1 of 1): Data race condition (MISSING_LOCK) 2.
missing_lock: Accessing log_ctx->rotation_flag without holding lock
LogFileCtx_.fp_mutex. Elsewhere, "LogFileCtx_.rotation_flag" is accessed
with LogFileCtx_.fp_mutex held 4 out of 5 times.

Which appears to be a false positive as all calls to SCLogFileWrite
were done under lock, but this will make it more explicit.

unified2: unlock using same dereference as lock

Addresses Coverity CIDs:
    1400797
    1400796

Note that the mutex was actually being unlocked, but
from a different variable pointing to the same mutex.

doc: add documentation for TlsGetCertSerial Lua function

doc: add documentation for tls_cert_serial keyword

detect: add (mpm) keyword tls_cert_serial

Match on TLS certificate serial number using tls_cert_serial
keyword, e.g.:

alert tls any any -> any any (msg:"TLS cert serial test";
        tls_cert_serial; content:"5C:19:B7:B1:32:3B:1C:A1";
        sid:12345;)

lua: add function to print certificate serial number

Add function LuaGetCertSerial to print serial number from TLS
certificate.

Example:

function log (args)
    serial = TlsGetCertSerial()

    if serial then
        file:write(serial .. "\n");
        file:flush()
    end
end

tls-log: log certificate serial number

output-json-lua: log certificate serial number

app-layer-tls: decode certificate serial number

af-packet: fix parsing packet in TPACKET_V3 mode

AFPParsePacketV3() saved tpacket_block_desc structure
instead of tpacket3_hdr. As a result, reconstructed
packets were wrong.

Bug #2044.

af-packet: get VLAN info for packets in TPACKET_V3 mode

af-packet: write VLAN info for both TPACKET_V2 and V3

pidfile: fail if the pid file exists

Changes the pidfile check function to fail just on the
existence of the file to address issue
https://redmine.openinfosecfoundation.org/issues/1335
but log a message if the pid file appears to be stale.

doc: specify buffers that can be used for fast_pattern

Updated notes on the following buffers indicating that they can
be used for fast_pattern:
tls_cert_subject
tls_cert_issuer
tls_sni

doc: removed references to older Suricata versions

docs are versioned; references to older Suricata versions undesired.

doc: add documentation for TLS eve-log

output-json-tls: code cleanup

output-json-tls: log certificate and chain

Log entire certificate and certificate chain Base64 encoded.

output-json-tls: custom tls logging

doc: update unified2 section

Remove documentation on older unified formats that have
been removed.

unified2: nostamp and file rotation

Give unified2 a nostamp option which will create the file
without the timestamp suffix (like Snort's nostamp option).

Also register for rotation notification on SIGHUP so the file
will be recreated if it is removed by an external rotation
program (only when nostamp is used).

autoconf - look for stdbool.h

unified2: minor cleanups

- remove unused arguments and make static

Makefile: fix race condition in make install-full

Use recursive make for the install process so it
is executed in a predictable order.

Addresses issue:
https://redmine.openinfosecfoundation.org/issues/1470
which triggered on OSX/macOS.

output-json-alert: print 'tunnel' JSON object if tunnel

Log src_ip, dst_ip and proto for root packet (p->root) if the
packet that triggered is inside a tunnel, as JSON object
'tunnel'. Also log recursion depth to indicate the depth of
the tunnel.

output-json: move code to get 5-tuple to own function

Move code to get 5-tuple in JSON object to own function 'JsonFiveTuple'.
This enables this code to be reused when printing 'parent' JSON object in
output-json-alert.

output-json-alert: fix wrongful comments

doc: documentation for custom JSON flags in eve-log

output-json: make JSON flags in eve-log user configurable

dce: remove commented out code

flow-worker: clean up thread init

coverity: suppress CID 1400648

detect-ssh: cleanup duplicate code

detect-lua: setup cleanup, fixing a potential int issue

detect: fix missing unlock in error path

threads: address sleep under lock issue

threads: don't sleep under lock

detect: add and use util func for alproto sets

doc: update for unix socket hostbits

flowvar: shrink flowvar type by using padded space

lua: support key/value flowvars in lua

flowvar: remove unused DETECT_VAR_TYPE_ALWAYS

doc: update unix socket

suricatasc: add/list/remove hostbit commands

Syntax:
    add-hostbit <ip> <bit name> <expire>
Example:
    add-hostbit 1.2.3.4 blacklist 3600

Syntax:
    remove-hostbit <ip> <bit name>
Example:
    remove-hostbit 1.2.3.4 blacklist

Syntax:
    list-hostbit <ip>
Example:
    list-hostbit 1.2.3.4

unix-socket: add/list/remove hostbit commands

add-hostbit adds a named hostbit with an expire time in seconds.
remove-hostbit removes hostbit by name.

add-hostbit, remove-hostbit return success or failure.

list-hostbit returns a json array of hostbits with their name and
expire time:

    {
        "message": {
            "count": 1,
            "hostbits":
                [{
                    "expire": 3222,
                    "name": "firefox-users"
                }]
        },
        "return": "OK"
    }

hostbits: add list API

pktvars: same name pktvars, key-value vars

outputs: vars log

EVE addition called 'vars' that logs pkt/flow vars for each packet/flow.

eve: log pktvars/flowvars/bits/ints

Optionally logs 'vars' into alerts

pcre: new way of specifying var names

Until now the way to specify a var name in pcre substring capture
into pkt and flow vars was to use the pcre named substring support:
e.g. /(?P<pkt_somename>.*)/

This had 2 drawbacks:

1. limitations of the name. The name could be max 32 chars, only have
   alphanumeric and the underscore characters. This imposed limitations
   that are not present in flowbits/ints.

2. we didn't actually use the named substrings in pcre through the
   API. We parsed the names separately. So putting the names in pcre
   would actually be wasteful.

This patch introduces a new way of mapping captures with names:

  pcre:"/(.*)/, pkt:somename";
  pcre:"/([A-z]+) ([0-9]+)/, pkt:somename,flow:anothername";

The order of the captures and the order of the names are mapped 1 on 1.
This method is no longer limited by the pcre API's naming limits. The
'flow:' and 'pkt:' prefixes indicate what the type of variable is. It's
mandatory to specify one.

The old method is still supported as well.

pkt-var: abuse flowvar postmatch logic for pktvars

Flowvars were already using a temporary store in the detect thread
ctx.

Use the same facility for pktvars. The reasons are:

1. packet is not always available, e.g. when running pcre on http
   buffers.

2. setting of vars should be done post match. Until now it was also
   possible that it is done on a partial match.

pkt-var: use id instead of name pointer

pcre: support multiple captures

Support up to 8 substring captures into pkt or flow vars.

detect-pcre: small cleanups

alert-debug: print flowvar/int names

alert-debug: print flowbit names from VarNameStore

var-names: expose outside of detect engine

Until now variable names, such as flowbit names, were local to a detect
engine. This made sense as they were only ever used in that context.

For the purpose of logging these names, this needs a different approach.
The loggers live outside of the detect engine. Also, in the case of
reloads and multi-tenancy, there are even multiple detect engines, so
it would be even more tricky to access them from the outside.

This patch brings a new approach. A any time, there is a single active
hash table mapping the variable names and their id's. For multiple
tenants the table is shared between tenants.

The table is set up in a 'staging' area, where locking makes sure that
multiple loading threads don't mess things up. Then when the preparing
of a detection engine is ready, but before the detect threads are made
aware of the new detect engine, the active varname hash is swapped with
the staging instance.

For this to work, all the mappings from the 'current' or active mapping
are added to the staging table.

After the threads have reloaded and the new detection engine is active,
the old table can be freed.

For multi tenancy things are similar. The staging area is used for
setting up until the new detection engines / tenants are applied to
the system.

This patch also changes the variable 'id'/'idx' field to uint32_t. Due
to data structure padding and alignment, this should have no practical
drawback while allowing for a lot more vars.

detect: use engine version instead of id

Use engine version based on global detect engine master. This is
incremented between reloads.

detect: ssh_software sticky buffer

detect: ssh_proto stickybuffer

detect: remove unused SIGMATCH_PAYLOAD flag

detect: remove unused state file flag

detect: small API cleanup

detect: move file hash common code

detect: unify FileMatch API with other calls

detect: remove DMATCH list

flow: remove unused Flow::de_state

detect: remove the AMATCH list

detect: remove AppLayerMatch API call

dce: dynamic lists

smb/dcerpc: use tx api

dcerpc: simplify common detect code

ftp: parser and ftpbounce update

Convert parser to TX API.

Convert ftpbounce keyword to use that.

detect: move lua smtp support to dynamic list

lua: convert lua output to be tx aware

detect: make ssh detection use dynamic list