tx logging: only update logged tx id if all loggers logged

Prevents the case where the logged id is incremented if a newer
transaction is complete and an older one is still outstanding.

For example, dns request0, unsolicited dns response, dns response0

would result in the valid response0 never being logged.

Similarily this could happen for:
  request0, request1, response1, response0

which would end up having request0, request1 and response1 logged,
but response0 would not be logged.

util-file: fix error logic in hash computation

This patch fixes an issue with hash computation resulting in the
invalidity of at least one hash when at least two different hashes
functions were used.

Impact was setting as `force-hash: [md5, sha256]` not to be valid.
Also it could lead to false negative if too different hash functions
had to be used on a single file due to signatures.

unix-socket: fix shadowed variable

ret does not need to be redefined here, the existing
declaration of ret can be used.

travis: export CFLAGS on linux

travis: add a build with -DNDEBUG

address parsing: fix memory leak in error path

ssl: suppress scan-build warnings

output: clean up output function

Don't allocate memory per call.

smb/dcerpc: suppress scan-build warnings

ac-bs: fix scan-build warnings

queue: add debug assertions to TAILQ

To avoid scan-build fp's add assertions that are only active if
built with scan-build.

yaml: update commented rule files

Disabled scada.rules, added commented rule file names to help
administrators find informational rule files.

tls-store: fix bug that causes Suricata to crash

Fix bug that causes Suricata to crash when the tls.store keyword is used.

*** Error in `/usr/bin/suricata': free(): invalid next size (fast):
0x00007fd4b4373180 ***

proto detect - fix coverity CID 1204325

CID 1204325 (#1 of 1): Logically dead code (DEADCODE)
dead_error_line: Execution cannot reach this statement: mask = 0U;.
433        mask = 0;

additionally, mask is initialized to 0

template logger - fix coverity CID 1324964

null: At condition templatejs != NULL, the value of templatejs must be
NULL.
dead_error_condition: The condition templatejs != NULL cannot be true.
113    if (templatejs != NULL) {
CID 1324964 (#1 of 1): Logically dead code (DEADCODE)
dead_error_line: Execution cannot reach this statement:
json_decref(templatejs);.
114        json_decref(templatejs);
115    }

dns (tcp) - fix coverity CIDs 1374306, 1374305

CID 1374306 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking dns_state suggests that it may be null,
but it has already been dereferenced on all paths leading to the check.
585    if (dns_state != NULL && f != NULL) {
586        dns_state->last_req = f->lastts;
587    }

CID 1374305 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking dns_state suggests that it may be null,
but it has already been dereferenced on all paths leading to the check.
366    if (dns_state != NULL && f != NULL) {
367        dns_state->last_req = f->lastts;
368    }

dns (tcp) - fix coverity cid 1374307

CID 1374307 (#1 of 1): Dereference before null check (REVERSE_INULL)
check_after_deref: Null-checking dns_state suggests that it may be null,
but it has already been dereferenced on all paths leading to the check.
317    if (dns_state != NULL && f != NULL) {
318        dns_state->last_resp = f->lastts;
319    }

detect-parse: simplify port prefiltering

Regular expression was not matching some authorized setting like
"![1234, 1235]". This patch simplify the regexp to match on
possible character and let the port parsing code handle the
complete verification.

dns: increment tx id when allocated during response

common: improve BUG_ON

When BUG_ON is a wrapper for assert(), we risk getting rid of certain
code lines. Assert is a no-op when NDEBUG is defined.

This patch defines an alternate path for BUG_ON that exits after
printing an error.

Bug #2003.

decode-icmpv6: add missing types

There have been some ICMPv6 types missing within the DecodeICMPV6 that
are added by this commit and the code check is adjusted to always use
the DEFINE.

dns (tcp): register a to_client (response) probing parser

Just a minimal parser to make sure the data contains at
least a header.

app-layer: support to server and to client probing parsers

When registering a probing parser allow to_server and
to_client parsers to be registered. Previously the
probing parser may be called for both directions which
in some cases works OK, but in others can cause
the to_client side to be detected as failed.

redis: support for all output types

redis: use 'binary' notation for output

common: add WARN_UNUSED macro

detect: remove dead code

util-magic: fix build when magic is not available

If HAVE_MAGIC is not defined then we don't have the test functions
so we can't register them.

doc: initial xbits documentation

xbits: clean up parsing and tests

pcap-log: fix memory leak during initialization of ring buffer

A free was missing when files are removed during initialization
of the ring buffer.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/1985

smtp: commands and replies are not case sensitive

RFC states that "Commands and replies are not case sensitive" and
patterns were registered to be case sensitive. So this patch fixes
a trivial evasion of SMTP signatures.

tls: fix tls_cert_subject prefilter bug

If check in prefilter was checking that issuer was non-NULL, when
it in fact should be checking subject.

tls: increase max number of tls records per packet

Tls packets may contain several records. This increase the number
of allowed records per packet from 30 to 255, and adds a new and
more informative decoder event when this limit is reached.

tls: don't trigger decoder event on no extensions in CLIENT_HELLO

No extensions are allowed in <TLSv.1.2, so don't trigger SURICATA
TLS handshake invalid length decoder event when no extensions are
specified in CLIENT HELLO.

magic: make optional

Make libmagic optional. If installed it will be enabled by default in
configure. Use --disable-libmagic to disable.

log-pcap: use a snaplen of 262144 instead of -1.

Newer versions of libpcap will not open pcap files with a
snaplen of -1, instead use the current maximum value of
262144.

Issue:
https://redmine.openinfosecfoundation.org/issues/1987

doc: DNP3 support is now available

hostbits/xbits: free hostbit

Fix memory leak. Hostbits were not actually freed.

Bug #1975.

http: allow lower/mixed case in proto detect

In HTTP detection registered patterns were upper case only. Since the
detection is based on both sides this would still work for sessions
where one of the talkers misbehaved. If both sides misbehave this
would fail however, so this patch introduces case insensive matching.

travis: use a build matrix and add additional builds

The following builds were added:
- linux, clang with -Wshadow
- linux w/ profiling
- linux w/ debug
- linux w/ no-json support

Removes the extra OS X build.

Travis file was reworked signficantly for readabilty.

profiling: fix shadow error

Local variable store was shadowing variable in function
definition.

unix-socket: clean up path handling

Create/check socket path in a single place. Don't use dynamic
memory allocation.

unix-socket: create socket directory if possible

Create the socket directory in the default case.

Since we're doing stat+mkdir indicate to Coverity not to worry about
the toctou case.

unix-socket: be more specific about problems

unix-socket: don't error out on unix socket failure

If --init-errors-fatal is specified do error out.

Bug https://redmine.openinfosecfoundation.org/issues/1973

Update Changelog for 3.2 release

dnp3: use _ in keyword names instead of "."

dnp3.ind -> dnp3_ind
dnp3.func -> dnp3_func
dnp3.obj -> dnp3_obj

The variations with a "." are now aliases.

af-packet: fix fanout support on Debian Jessie

Debian Jessie with kernel 3.16 would not accept the 'id' of 99 used
in the test. Id 1 does work.

Fix port parsing in config file, added one more corresponding test.

Some examples from wiki caused parsing errors.
For example, "[1:80,![2,4]]" was treated as a mistake.

Also fixed loop detection in variables declaration. For example,
'A: "HOME_NET, !$HOME_NET"' resulted in parsing error.

qa: only run cocci tests on one linux builder

travis: macos support

unittest-helper: fix format string compiler warnings

detect-stream_size: fix format string compiler warnings

stream-tcp: fix format string compiler warnings

modbus: fix format string compiler warnings

dnp3: rename "index" variables to "point_index"

Gcc 4.6 will warning with -Wshadow for a local variable
named "index" as <strings.h> has a function named "index".

Newer versions of gcc handle this case.

dnp3-gen: rename index variable to point_index

Gcc 4.6 will warning with -Wshadow for a local variable
named "index" as <strings.h> has a function named "index".

Newer versions of gcc handle this case.

qa: add -Wshadow to appveyor builds

proto detect: fix -Wshadow warning

dcerpc: fix -Wshadow warnings

commandline: fix -Wshadow warnings

detect-address: fix -Wshadow warnings

asn1: fix -Wshadow warnings

asn1: modernize test

yaml: fix tests for -Wshadow

dnp3: fix test for -Wshadow

runmodes: fix -Wshadow warnings

mpm ac-bs: fix -Wshadow warnings

threads: fix -Wshadow warnings

commandline: fix -Wshadow warnings

nfq: fix -Wshadow warnings

Rename globals to make sure it's clear they are globals.

reputation: fix -Wshadow warnings

eve-flow: fix -Wshadow warning

eve-file: fix -Wshadow warnings

ippair: fix -Wshadow warning

host: fix -Wshadow warning

flow: fix -Wshadow warning

within: fix -Wshadow warning

prefilter: fix -Wshadow warnings

detect: fix -Wshadow warning

app engines: fix -Wshadow warning

address: fix -Wshadow warning

distance: fix -Wshadow warning

content: fix -Wshadow warning

mem: fix SCStrdup -Wshadow warning

dns: fix -Wshadow warnings

app-layer-proto-detect: fix -Wshadow warning

dnp3: fix coverity CID 1374300

flow: suppress coverity CID 400600

stat: suppress CID 1293508 and 1312013

nfq: suppress CID 1374302 and 1374303

host-info: coverity 1298890

ttl: coverity 400560 + minor cleanups

tos: coverity 400559

ssl-state: coverity 400558

issue 1961: depth: fail if numeric value has trailing text

Catches the case where the depth is not terminated with a
semicolon (eg: "depth:17 classtype:trojan-activity") which
is usually a sign the rule has a missing semi-colon.

log-pcap.c: cleanup scan-build warning

Don't initialize value to a value that is never used.

log-pcap.c: fix resource leak found by coverity

Goto the failure label instead of returning which will allow the open
directory to get cleaned up.

Fixes:

*** CID 1394675:  Resource leaks  (RESOURCE_LEAK)
/src/log-pcap.c: 615 in PcapLogInitRingBuffer()
609                  * failure as the file might just not be a pcap log file. */
610                 continue;
611             }
612
613             PcapFileName *pf = SCCalloc(sizeof(*pf), 1);
614             if (unlikely(pf == NULL)) {
>>>     CID 1394675:  Resource leaks  (RESOURCE_LEAK)
>>>     Variable "dir" going out of scope leaks the storage it points to.
615                 return TM_ECODE_FAILED;
616             }
617             char path[PATH_MAX];
618             snprintf(path, PATH_MAX - 1, "%s/%s", pattern, entry->d_name);
619             if ((pf->filename = SCStrdup(path)) == NULL) {
620                 goto fail;

This also means that pf can be NULL which should clear up CID
1394676 (REVERSE_INULL).

doc: document that that ;, \, " need to be escaped in rules