travis: use a build matrix and add additional builds

The following builds were added:
- linux, clang with -Wshadow
- linux w/ profiling
- linux w/ debug
- linux w/ no-json support

Removes the extra OS X build.

Travis file was reworked signficantly for readabilty.

profiling: fix shadow error

Local variable store was shadowing variable in function
definition.

unix-socket: clean up path handling

Create/check socket path in a single place. Don't use dynamic
memory allocation.

unix-socket: create socket directory if possible

Create the socket directory in the default case.

Since we're doing stat+mkdir indicate to Coverity not to worry about
the toctou case.

unix-socket: be more specific about problems

unix-socket: don't error out on unix socket failure

If --init-errors-fatal is specified do error out.

Bug https://redmine.openinfosecfoundation.org/issues/1973

Update Changelog for 3.2 release

dnp3: use _ in keyword names instead of "."

dnp3.ind -> dnp3_ind
dnp3.func -> dnp3_func
dnp3.obj -> dnp3_obj

The variations with a "." are now aliases.

af-packet: fix fanout support on Debian Jessie

Debian Jessie with kernel 3.16 would not accept the 'id' of 99 used
in the test. Id 1 does work.

Fix port parsing in config file, added one more corresponding test.

Some examples from wiki caused parsing errors.
For example, "[1:80,![2,4]]" was treated as a mistake.

Also fixed loop detection in variables declaration. For example,
'A: "HOME_NET, !$HOME_NET"' resulted in parsing error.

qa: only run cocci tests on one linux builder

travis: macos support

unittest-helper: fix format string compiler warnings

detect-stream_size: fix format string compiler warnings

stream-tcp: fix format string compiler warnings

modbus: fix format string compiler warnings

dnp3: rename "index" variables to "point_index"

Gcc 4.6 will warning with -Wshadow for a local variable
named "index" as <strings.h> has a function named "index".

Newer versions of gcc handle this case.

dnp3-gen: rename index variable to point_index

Gcc 4.6 will warning with -Wshadow for a local variable
named "index" as <strings.h> has a function named "index".

Newer versions of gcc handle this case.

qa: add -Wshadow to appveyor builds

proto detect: fix -Wshadow warning

dcerpc: fix -Wshadow warnings

commandline: fix -Wshadow warnings

detect-address: fix -Wshadow warnings

asn1: fix -Wshadow warnings

asn1: modernize test

yaml: fix tests for -Wshadow

dnp3: fix test for -Wshadow

runmodes: fix -Wshadow warnings

mpm ac-bs: fix -Wshadow warnings

threads: fix -Wshadow warnings

commandline: fix -Wshadow warnings

nfq: fix -Wshadow warnings

Rename globals to make sure it's clear they are globals.

reputation: fix -Wshadow warnings

eve-flow: fix -Wshadow warning

eve-file: fix -Wshadow warnings

ippair: fix -Wshadow warning

host: fix -Wshadow warning

flow: fix -Wshadow warning

within: fix -Wshadow warning

prefilter: fix -Wshadow warnings

detect: fix -Wshadow warning

app engines: fix -Wshadow warning

address: fix -Wshadow warning

distance: fix -Wshadow warning

content: fix -Wshadow warning

mem: fix SCStrdup -Wshadow warning

dns: fix -Wshadow warnings

app-layer-proto-detect: fix -Wshadow warning

dnp3: fix coverity CID 1374300

flow: suppress coverity CID 400600

stat: suppress CID 1293508 and 1312013

nfq: suppress CID 1374302 and 1374303

host-info: coverity 1298890

ttl: coverity 400560 + minor cleanups

tos: coverity 400559

ssl-state: coverity 400558

issue 1961: depth: fail if numeric value has trailing text

Catches the case where the depth is not terminated with a
semicolon (eg: "depth:17 classtype:trojan-activity") which
is usually a sign the rule has a missing semi-colon.

log-pcap.c: cleanup scan-build warning

Don't initialize value to a value that is never used.

log-pcap.c: fix resource leak found by coverity

Goto the failure label instead of returning which will allow the open
directory to get cleaned up.

Fixes:

*** CID 1394675:  Resource leaks  (RESOURCE_LEAK)
/src/log-pcap.c: 615 in PcapLogInitRingBuffer()
609                  * failure as the file might just not be a pcap log file. */
610                 continue;
611             }
612
613             PcapFileName *pf = SCCalloc(sizeof(*pf), 1);
614             if (unlikely(pf == NULL)) {
>>>     CID 1394675:  Resource leaks  (RESOURCE_LEAK)
>>>     Variable "dir" going out of scope leaks the storage it points to.
615                 return TM_ECODE_FAILED;
616             }
617             char path[PATH_MAX];
618             snprintf(path, PATH_MAX - 1, "%s/%s", pattern, entry->d_name);
619             if ((pf->filename = SCStrdup(path)) == NULL) {
620                 goto fail;

This also means that pf can be NULL which should clear up CID
1394676 (REVERSE_INULL).

doc: document that that ;, \, " need to be escaped in rules

qa: appveyor support

qa: update url in libhtp script

pcap-log: seed ring buffer on start up

On start, look for existing pcap log files and add them to
the ring buffer. This makes pcap-log self maintaining over
restarts removing the need for external tools to clear
orphaned files.

documentation: fix list keywords URLs

Update URLs in keyword definition to point to sphinx documentation.

logging: hook the application log file into rotation

logging: open application log file in append mode

It was being open in read/write mode, which was likely
a mistake with append mode being the intention.

dns: accept a data length of 0 without marking as malformed

Addresses issue:
https://redmine.openinfosecfoundation.org/issues/1924

dns-events: fix direction of malformed events + typo

ipfw: disable more code to suppress compiler warnings

Disabled code lead to unused variable warnings, so disable the
variable code as well.

compiler warnings: fix compiler warnings in format strings

detect-lua: unify on using 'lua' name vs 'luajit'

luajit: remove unused instance counter

luajit: update default yaml and doc for 'states'

lua: luajit improvements

Luajit has a strange memory requirement, it's 'states' need to be in the
first 2G of the process' memory.

This patch improves the pool approach by moving it to the front of the
start up.

A new config option 'luajit.states' is added to control how many states
are preallocated. It defaults to 128.

Add a warning when more states are used then preallocated. This may fail
if flow/stream/detect engines use a lot of memory. Add hint at exit that
gives the max states in use if it's higher than the default.

doc: only build pdf on dist if pdflatex is installed

doc: fix build pdf on non gnu make platforms

The Makefile generated by sphinx-build is GNU Make specific
causing the PDF phase to fail. Instead call pdflatex directly
based on how the generated Makefile was doing it.

pcap-file: minor cleanup

changelog: update for 3.2RC1 release

yaml: group ICS protocols together

ENIP: add default ports to yaml

ENIP: disable parser if no config found

DNP3: disable in case of no dnp3 config

readme: Fix markdown header levels

readme: reformat some key points about possible security issues

readme: Add link to up-to-date user guide and mark wiki as deprecated.

dnp3: fix coverity checks; return value not checked

detect: add missing break (CID 1374301)

eve: make payload printing in alerts more robust

flowint: allow / in name

hostbits: test fixes

pkt-var: const name

DNP3: minor cleanup

DNP3: don't leak memory on dnp3_obj parsing

DNP3: Use directional logging.

Instead of waiting for a transaction complete, log the
request as soon as it is completes which will give it a
more accurate timestamp.

DNP3: --afl-dnp3 entry point

DNP3: Lua detect support.

Adds support for access the DNP3 transaction in Lua rules.

DNP3: Log DNP3 info with DNP3 alert.

DNP3: Log DNP3 transactions.

DNP3: dnp3_data, dnp3_func, dnp3_ind, dnp3_obj rule keywords

DNP3: Application layer decoder.

Decodes TCP DNP3 and raises some DNP3 decoder alerts.