qa: add -Wshadow to appveyor builds

proto detect: fix -Wshadow warning

dcerpc: fix -Wshadow warnings

commandline: fix -Wshadow warnings

detect-address: fix -Wshadow warnings

asn1: fix -Wshadow warnings

asn1: modernize test

yaml: fix tests for -Wshadow

dnp3: fix test for -Wshadow

runmodes: fix -Wshadow warnings

mpm ac-bs: fix -Wshadow warnings

threads: fix -Wshadow warnings

commandline: fix -Wshadow warnings

nfq: fix -Wshadow warnings

Rename globals to make sure it's clear they are globals.

reputation: fix -Wshadow warnings

eve-flow: fix -Wshadow warning

eve-file: fix -Wshadow warnings

ippair: fix -Wshadow warning

host: fix -Wshadow warning

flow: fix -Wshadow warning

within: fix -Wshadow warning

prefilter: fix -Wshadow warnings

detect: fix -Wshadow warning

app engines: fix -Wshadow warning

address: fix -Wshadow warning

distance: fix -Wshadow warning

content: fix -Wshadow warning

mem: fix SCStrdup -Wshadow warning

dns: fix -Wshadow warnings

app-layer-proto-detect: fix -Wshadow warning

dnp3: fix coverity CID 1374300

flow: suppress coverity CID 400600

stat: suppress CID 1293508 and 1312013

nfq: suppress CID 1374302 and 1374303

host-info: coverity 1298890

ttl: coverity 400560 + minor cleanups

tos: coverity 400559

ssl-state: coverity 400558

issue 1961: depth: fail if numeric value has trailing text

Catches the case where the depth is not terminated with a
semicolon (eg: "depth:17 classtype:trojan-activity") which
is usually a sign the rule has a missing semi-colon.

log-pcap.c: cleanup scan-build warning

Don't initialize value to a value that is never used.

log-pcap.c: fix resource leak found by coverity

Goto the failure label instead of returning which will allow the open
directory to get cleaned up.

Fixes:

*** CID 1394675:  Resource leaks  (RESOURCE_LEAK)
/src/log-pcap.c: 615 in PcapLogInitRingBuffer()
609                  * failure as the file might just not be a pcap log file. */
610                 continue;
611             }
612
613             PcapFileName *pf = SCCalloc(sizeof(*pf), 1);
614             if (unlikely(pf == NULL)) {
>>>     CID 1394675:  Resource leaks  (RESOURCE_LEAK)
>>>     Variable "dir" going out of scope leaks the storage it points to.
615                 return TM_ECODE_FAILED;
616             }
617             char path[PATH_MAX];
618             snprintf(path, PATH_MAX - 1, "%s/%s", pattern, entry->d_name);
619             if ((pf->filename = SCStrdup(path)) == NULL) {
620                 goto fail;

This also means that pf can be NULL which should clear up CID
1394676 (REVERSE_INULL).

doc: document that that ;, \, " need to be escaped in rules

qa: appveyor support

qa: update url in libhtp script

pcap-log: seed ring buffer on start up

On start, look for existing pcap log files and add them to
the ring buffer. This makes pcap-log self maintaining over
restarts removing the need for external tools to clear
orphaned files.

documentation: fix list keywords URLs

Update URLs in keyword definition to point to sphinx documentation.

logging: hook the application log file into rotation

logging: open application log file in append mode

It was being open in read/write mode, which was likely
a mistake with append mode being the intention.

dns: accept a data length of 0 without marking as malformed

Addresses issue:
https://redmine.openinfosecfoundation.org/issues/1924

dns-events: fix direction of malformed events + typo

ipfw: disable more code to suppress compiler warnings

Disabled code lead to unused variable warnings, so disable the
variable code as well.

compiler warnings: fix compiler warnings in format strings

detect-lua: unify on using 'lua' name vs 'luajit'

luajit: remove unused instance counter

luajit: update default yaml and doc for 'states'

lua: luajit improvements

Luajit has a strange memory requirement, it's 'states' need to be in the
first 2G of the process' memory.

This patch improves the pool approach by moving it to the front of the
start up.

A new config option 'luajit.states' is added to control how many states
are preallocated. It defaults to 128.

Add a warning when more states are used then preallocated. This may fail
if flow/stream/detect engines use a lot of memory. Add hint at exit that
gives the max states in use if it's higher than the default.

doc: only build pdf on dist if pdflatex is installed

doc: fix build pdf on non gnu make platforms

The Makefile generated by sphinx-build is GNU Make specific
causing the PDF phase to fail. Instead call pdflatex directly
based on how the generated Makefile was doing it.

pcap-file: minor cleanup

changelog: update for 3.2RC1 release

yaml: group ICS protocols together

ENIP: add default ports to yaml

ENIP: disable parser if no config found

DNP3: disable in case of no dnp3 config

readme: Fix markdown header levels

readme: reformat some key points about possible security issues

readme: Add link to up-to-date user guide and mark wiki as deprecated.

dnp3: fix coverity checks; return value not checked

detect: add missing break (CID 1374301)

eve: make payload printing in alerts more robust

flowint: allow / in name

hostbits: test fixes

pkt-var: const name

DNP3: minor cleanup

DNP3: don't leak memory on dnp3_obj parsing

DNP3: Use directional logging.

Instead of waiting for a transaction complete, log the
request as soon as it is completes which will give it a
more accurate timestamp.

DNP3: --afl-dnp3 entry point

DNP3: Lua detect support.

Adds support for access the DNP3 transaction in Lua rules.

DNP3: Log DNP3 info with DNP3 alert.

DNP3: Log DNP3 transactions.

DNP3: dnp3_data, dnp3_func, dnp3_ind, dnp3_obj rule keywords

DNP3: Application layer decoder.

Decodes TCP DNP3 and raises some DNP3 decoder alerts.

DNP3: dnp3-gen: code generator for repetitive DNP3 code

common: define json_boolean when not defined

Older versions of jansson in current use don't have this
macro defined.

eve: check redis reply in non pipeline mode

We may lose the reply if disconnection happens.
Reconnection is needed.

flowvar: cleanups

fast-pattern: fix tls_sni

Use all 38 arguments in call to SigMatchGetLastSMFromLists

Was preventing fast_pattern from being applied to tls_sni:
https://redmine.openinfosecfoundation.org/issues/1936

dns: use new unittest macros

dns: support back to back requests without a response

Address the issue where a DNS response would not be logged when
the traffic is like:
- Request 1
- Request 2
- Response 1
- Response 2
which can happen on dual stack machines where the request for A
and AAAA are sent out at the same time on the same UDP "session".

A "window" is used to set the maximum number of outstanding
responses before considering the olders lost.

tcp dns: unit test for multi-request buffer

tcp dns: fix advancement to next request in buffer

The advancement through the buffer was not taking into account
the size of the length field resulting in the second request
being detected as bad data.

multi-tenant: make less verbose

multi-tenants: fix minor memleak

detect: suppress debug message for reloads

vars: small cleanups

nfq: support bypass for rebuilt fragment packets

nfq_set_mask: set mark on root pkt for tunnels

source-nfq: document bypass function

source-nfq: fix tunnel mark callback algorithm

In case of a tunnel packet, adding a mark to the root packet will have
for consequence to bypass all the flows that are hosted in this tunnel.
This is not the attended behavior and as initial fix let's simply warn
suricata that bypass for NFQ is not possible for this kind of packets.

This patch also fixes a segfault. The root packet was accessed even if it is
NULL causing a NULL dereference:

ASAN:SIGSEGV
=================================================================
==24408==ERROR: AddressSanitizer: SEGV on unknown address 0x000000000060 (pc 0x00000076f948 bp 0x7f435c000240 sp 0x7f435c000220 T5)
ASAN:SIGSEGV
==24408==AddressSanitizer: while reporting a bug found another one. Ignoring.
    #0 0x76f947 in NFQBypassCallback /home/victor/dev/suricata/src/source-nfq.c:510
    #1 0x4d0f02 in PacketBypassCallback /home/victor/dev/suricata/src/decode.c:395
    #2 0x7b8a95 in StreamTcpPacket /home/victor/dev/suricata/src/stream-tcp.c:4661
    #3 0x7b9ddd in StreamTcp /home/victor/dev/suricata/src/stream-tcp.c:4913
    #4 0x68fa50 in FlowWorker /home/victor/dev/suricata/src/flow-worker.c:194
    #5 0x7f0abd in TmThreadsSlotVarRun /home/victor/dev/suricata/src/tm-threads.c:128
    #6 0x7f2958 in TmThreadsSlotVar /home/victor/dev/suricata/src/tm-threads.c:585
    #7 0x7f436368e6f9 in start_thread (/lib/x86_64-linux-gnu/libpthread.so.0+0x76f9)
    #8 0x7f4362802b5c in clone (/lib/x86_64-linux-gnu/libc.so.6+0x106b5c)

AddressSanitizer can not provide additional info.
SUMMARY: AddressSanitizer: SEGV /home/victor/dev/suricata/src/source-nfq.c:510 NFQBypassCallback
Thread T5 (W#04) created by T0 (Suricata-Main) here:
    #0 0x7f4364ff2253 in pthread_create (/usr/lib/x86_64-linux-gnu/libasan.so.2+0x36253)
    #1 0x7f9c48 in TmThreadSpawn /home/victor/dev/suricata/src/tm-threads.c:1843
    #2 0x8da7c0 in RunModeSetIPSAutoFp /home/victor/dev/suricata/src/util-runmodes.c:519
    #3 0x73e3ff in RunModeIpsNFQAutoFp /home/victor/dev/suricata/src/runmode-nfq.c:74
    #4 0x7503fa in RunModeDispatch /home/victor/dev/suricata/src/runmodes.c:382
    #5 0x7e5cb3 in main /home/victor/dev/suricata/src/suricata.c:2547
    #6 0x7f436271c82f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)

tls-rules: install on 'make install-full'