sources: fix netmap compilation and pcap setup

flow queue handler: use int16_t

Use int16_t instead of int to store the autofp queue id. We should
not easily get to 32k threads so 2 bytes per flow is sufficient.

flow: remove unused debug code

flowint: redo tests

detect: add missing sigorder case

modbus: fix AddressSanitizer error (segmentation fault)

In case of Mask Write register or Write single register request with
no data (malformed packet), app-layer-modbus checks response content
(data) with the none stored request content. That causes the segmentation
fault.

Before accessing to request content, app-layer-modbus checks now if
content has been previously stored. 4 unitests have been adding, 2 of them
to test the management of Mask Write register and Write single register requests,
and the 2 others to check invalid Mask Write register and Write single register
requests.

ipv6: fix alignment issue in address to string code

ac-ks: fix integer handling issue

unittests: don't call memcpy on NULL-ptr

pcre: initialize var before use

yaml: minor cleanup

yaml: initialize var to prevent uninitialized read

tcp sack: fix alignment issues

smb: improve integer handling

dcerpc: improve integer handling

detect port: fix integer handling in hashing

decode: don't call memcpy on NULL-ptr on pseudo packets

ippair: fix alignment issues

host: fix alignment issues

flow: fix alignment issues

tcp: fix alignment issues with tcp timestamps

decode-mime: don't call memcpy on NULL pointer

sources: allow interface definitions to be reordered

For af-packet, pf-ring, netmap, and pcap use a generic
lookup function to find the configuration node for an
interface.

The new lookup function does not depend on the ordering
of the items inside the device configuration.

config-test: fix memory leak detect by ASAN

NSS library was not deinit at exit resulting in memory leak. As
it is useless for a config test, the patch updates the code so it
is not initialized.

Patch also calls MagicDeinit to free memory used by libmagic.

Use ConfValIsTrue for parseing util-logfile append value.

Use ConfValIsTrue for parsing TILE PCIE logging append value.

Use ConfValIs* for parsing pf-ring.checksum-checks.

Use ConfValIs* for parsing pcap.checksum-checks.

Use ConfValIs* for parsing netmap.checksum-checks.

Use ConfValIs* for parsing af-packet.checksum-checks.

Use ConfValIs* for parseing mpipe.checksum-checks.

Use ConfValIs* for parsing pcap-file.checksum-checks.

profiling: suppress inferior version of UtilCpuGetTicks warning

coverty: fix dead code warning

smb: check that there is enough input data

Conditional was checking the word count, but indexing
much further into the input data.

Reordering of RRTYPE switch case for performance.

Added more DNS Resource Record Types.

Changed "enabled" parsing to use ConfValIs(true|false)

Update ASN1_MAX_FRAMES to reflect default in suricata.yaml.in

stats: fix stats.log ignoring null-values for threads

cppcheck: fix harmless warnings

[src/detect-engine-loader.c:272]: (error) Buffer is accessed out of bounds.
[src/flow-manager.c:742]: (error) Buffer is accessed out of bounds.
[src/flow-manager.c:906]: (error) Buffer is accessed out of bounds.

Remove free operation on thread name field.

Name field is now  a pre-allocated array - free is no longer necessary.
Fix issue leading to segfault during interface shortening in Single runmode.

runmodes: constify names

Update unit test to account for 'name' type change.

Update thread creation and threads to use global thread names.

Thread name is now stored as a static string buffer,
string duplication and alloc/de-alloc is no longer required.

Change thread name from pointer to buffer. Remove pointer free.

Update shortening algorithm to account for addition of #.

Add global threadnames.

Update thread naming convention to follow: W#01-eth0.
Add interface name where applicable, add #.

Update pcap-file runmode to adhere to new thread standard.

Update threads to use global thread names.

Update FlowManager/Recycler to use global name.
Also add # into thread number.
Update af-packet to use global threadnames.
Update pcap to use global threadnames.
Update pfring to use global threadnames.
Update erf-dag to use global threadnames.
Update nflog to use global threadnames.
Update netmap to use global threadnames.
Update napatech to use global threadnames.

Update IPS thread names to new name standard.

Update thread naming convention for all IDS modes.

- Change 'Detect' to 'W'
- Enforce 2 digit numbering in thread names with leading zero
- Add 01 after W for single mode: W01

Changed naming of flowmanager/recycler.

- Changed FlowManagerThread to FM-
- Changed FlowRecyclerThread to FR-
- Changed use of strcasecmp to strncasecmp. This was used in the
  killing and disabling of FM/FR Threads.

Reworked how shortening should be performed.

The shortening of the interfacenames is now dependent on the
size of the destination buffer, so that this can be easily
changed in the future. The process uses snprintf and strlcat.

Also changed the buffer sizes in the util-runmodes to 12
so that they can hold 11 chars + null terminator.

Fixed string copy and cat functions and made shortening safer.

Changed out strcpy, strncpy to strlcat and strlcpy. Also added
checks to see if the shortening did work or if it would fail in
advance. Fixed code in util-device and util-runmodes.

Added shortening of listening interface in util-runmodes

Added function LiveSafeDeviceName in util-device that shortens an
NIC device name if the name is over a given length and turns
it in to Ex: longi...eeth1

detect-msg: fix option parsing

Code removing the space before the double quote at msg option start
was not working correctly for option starting with a space.

smtp: fix test

detect file: improve multi file handling

When multiple files were in a tx, the first one(s) closed/complete
and a new open one as well, a match in the former could lead to not
inspecting the latter.

This patch adds a workaround for this case, by allowing the file
inspection code to return a special code for 'match, but more files
available in tx'.

The stateful detection engine will then not make this match final for
the tx. It relies on the file pruning to kick in to make sure the
already complete files are removed from the tx before the next time
the detection engine is called on the tx.

detect file: cleanups

debug: add various detect engine debug statements

http: flag destate about new files

The stateful detection engine needs some assistance when inspecting
transactions with multiple files. This patch flags the detect state
(if any) about the availability of new files in http. For http it
should only apply to multipart bodies although the flag is set for
all files.

smtp: flag detect state that new files are available

The stateful detection engine needs some assistance when inspecting
transactions with multiple files. This patch flags the detect state
(if any) about the availability of new files in smtp.

detect state: fix issues with multiple files per tx

Make sure multiple files in a single tx are inspected correctly. This
requires resetting part of the stored state on new files.

smtp/mime: allow unquoted name/filename fields

Don't enforce that name/filename fields are quoted.

Reported-By: Blair Steven

smtp: fix file logging and matching

When no rules with 'file content' keywords like filemd5 or filestore
were used, and non of the file outputs would force 'output' like
'force-md5' and 'force-magic', the file would not be tracked at all.

This meant that logging wouldn't work and neither would filename and
fileext inspection.

This patch removes the tracking bypass from the SMTP code and leaves
decisions to the file API.

Removed duplicate include statements.

Module specific error code for init ctx error.

Corrected and unified debugmessages for init data errors in *ThreadInit.

Added parsing and utilization of yaml defined payload buffer value.

Added payload-buffer-size option to yaml configuration

lua: print lua script func/line/file in SCLog* funcs

Instead of printing the func/line/file of the C code SCLog* wrappers,
print them from inside the lua script. They are not always available.

QA: --afl-rules for faster rule fuzzing

pcap: small cleanups

dns: don't read uninitialized memory in name parsing

AFL+ASAN found that with certain input we used an uninitialized byte
in the length calculation. Probably harmless as the length was still
validated afterwards.

stream-tcp: improve test function cleanup

stream-tcp: introduce stream cleanup function

stream-tcp: unify ssn clean up functions

There were 2 separate function doing ssn cleanup. To prevent issues
common with code duplication, unify them.

capture: only check for faster methods on -i

Also, since we now default to AF_PACKET for -i if available, only check
for PF_RING and NETMAP.

commandline: add -i arg check

commandline: use afpacket for -i if available

pcap: unify -i and --pcap parsing

commandline: move afpacket parsing into util func

commandline: move pcap parsing into util func

instance: add progname as ptr to argv[0]

readme: initial readme for github

configure: don't use AC_DISABLE_SHARED as it breaks OSX

afl: add support for AFL PERSISTANT_MODE

Add support for AFL PERSISTANT_MODE when Suricata is compiled with
a supported compiler (only afl-clang-fast for now).

This gives a ~10x performance boost when fuzzing.

QA: add --afl-der=<file>

Expose SSL/TLS certificate decoding (DER) to commandline
using --afl-der=<file>.

QA: add --afl-decoder-ppp=<file>

QA: expose Mime decoding API to commandline using --afl-mime=<file>

QA: direct access from commandline to AppLayer API

This patch introduces a new set of commandline options meant for
assisting in fuzz testing the app layer implementations.

Per protocol, 2 commandline options are added:

--afl-http-request=<filename>
--afl-http=<filename>

In the former case, the contents of the file are passed directly to
the HTTP parser as request data.

In the latter case, the data is devided between request and responses.
First 64 bytes are request, then next 64 are response, next 64 are
request, etc, etc.

afl: add --enable-afl configure option

afl: optionally exit right after afl single runmode

Exit right away if afl.exit_after_pcap is set to true. Safes time
as fuzzing the shutdown code may not be as interesting.

afl: add --afl-parse-rules to return 0 on any rule

When fuzzing, AFL will create lots of malformed rules. We don't want
to error out on those. As we're fuzzing the parser any non-crash
should return 0. Crashes (ASAN or not) will return a non-0 code.

afl: special 'single' runmode

To avoid threading, this 'single' mode doesn't run in it's own thread
but instead runs in the main thread.

afl: add define to disable mgt threads

The inherent non-deterministic nature of the management threads
creates variable test cases.

afl: add define to disable rand_r use

The randomness affects AFL. It creates variable test cases, which
we need to avoid.

detect reload: improve signal logic

startup: move more into PostConfLoadedSetup