detect: log earlier that rule reload is happening

dns: fix OOB read on malformed TXT record

unified2: fix logging of tagged packets

The structure for create the alert preceding each tagged packet
was not being initialized, preventing tagged packets from being
logged.

Note: Snort unified2 does not precede tagged packets with an
alert like is done here, so this just fixes what the code
intended to do, it does not make it Snort unified2
compatible.

Address issue:
https://redmine.openinfosecfoundation.org/issues/1854

dns: fix name parsing issue leading to events

packet: remove empty and unused UDPVars struct

packet: make tcp/udp/icmp vars union non-anonymous

Clean the whole thing after use.

commandline: fix strlcpy usage

pcap: don't fail with --pcap with no device present

Issue: 1856.

A device with the name of "" (empty string) was being added
with LiveRegisterDevice which failed to initialize causing
Suricata to fail.

Update Changelog for 3.1.1

output lua: improve debugging output

output lua: set proper logging progress values

outputs: small code cleanup

dns: directional logging

Register loggers for to server and to client so requests
and responses can be logged independently of each other.

This results in the request log having the actual timestamp of
the request instead of the reply.

logging: setup all registered loggers for a name

When setting up a configured logger, do so for all registered
loggers of that name instead of just the first registered one.

This allows a logger to register itself more than once, which
can allow for independent logging of requests and replies without
touching the core transaction handling logic.

We do this so just having "dns" in the eve-log can configured
multiple "dns" loggers instead of having something like "dns-tc"
and "dns-ts" in the configuration file.

lua smtp: fix SMTPGetMimeField arg checking

Properly check argument before passing it on: CID 1363385: (NULL_RETURNS)

configure: require libhtp 0.5.20

Ticket #1839

cmdline: fix --list-keywords and --list-app-layer-protos

Ticket #1840

output: don't register loggers for disabled protocols

app-layer: add AppLayerParserIsTxAware

This function globally checks if the protocol is registered and
enabled by testing for the per alproto callback:
StateGetProgressCompletionStatus

This check is to be used before enabling Tx-aware code, like loggers.

output: fix debug messages

smb: style fix in log message

af-packet: improve threads selection logic

Only use RSS queue count when cluster_qm is used. Only use core count
when cluster_flow is used.

Use a local variable to simplify the check so that we don't have to deal
with the extra flags.

lua: add smtp for detection

lua output: expose smtp functions to output scripts

lua: SMTPGetRcptList use position as key, not value

Lua: SMTP support; Addresses feature ticket #1775; v5

lua: support smtp tx logging

lua-output: don't crash on script setup error

cuda: make sure we don't use cuda in proto detect

af-packet: minor cleanups

af-packet: test if fanout is supported before use

Older system may pretend they can support FANOUT but then fail to
work at runtime. CentOS6 is an example of this. It would fail to
start up with the default configuration with errors like:

[15770] 21/6/2016 -- 16:00:13 - (tm-threads.c:2168) <Notice> (TmThreadWaitOnThreadInit) -- all 4 packet processing threads, 4 management threads initialized, engine started.
[15785] 21/6/2016 -- 16:00:13 - (source-af-packet.c:1907) <Error> (AFPCreateSocket) -- [ERRCODE: SC_ERR_AFP_CREATE(190)] - Coudn't set fanout mode, error Protocol not available
[15785] 21/6/2016 -- 16:00:13 - (source-af-packet.c:1337) <Error> (ReceiveAFPLoop) -- [ERRCODE: SC_ERR_AFP_CREATE(190)] - Couldn't init AF_PACKET socket, fatal error
[15770] 21/6/2016 -- 16:00:13 - (suricata.c:2664) <Notice> (main) -- Signal Received.  Stopping engine.
[15787] 21/6/2016 -- 16:00:13 - (source-af-packet.c:1907) <Error> (AFPCreateSocket) -- [ERRCODE: SC_ERR_AFP_CREATE(190)] - Coudn't set fanout mode, error Protocol not available
[15788] 21/6/2016 -- 16:00:13 - (source-af-packet.c:1907) <Error> (AFPCreateSocket) -- [ERRCODE: SC_ERR_AFP_CREATE(190)] - Coudn't set fanout mode, error Protocol not available
[15786] 21/6/2016 -- 16:00:13 - (source-af-packet.c:1907) <Error> (AFPCreateSocket) -- [ERRCODE: SC_ERR_AFP_CREATE(190)] - Coudn't set fanout mode, error Protocol not available
[15789] 21/6/2016 -- 16:00:13 - (flow-manager.c:693) <Perf> (FlowManager) -- 0 new flows, 0 established flows were timed out, 0 flows in closed state
[15787] 21/6/2016 -- 16:00:13 - (source-af-packet.c:1337) <Error> (ReceiveAFPLoop) -- [ERRCODE: SC_ERR_AFP_CREATE(190)] - Couldn't init AF_PACKET socket, fatal error
[15788] 21/6/2016 -- 16:00:13 - (source-af-packet.c:1337) <Error> (ReceiveAFPLoop) -- [ERRCODE: SC_ERR_AFP_CREATE(190)] - Couldn't init AF_PACKET socket, fatal error
[15786] 21/6/2016 -- 16:00:13 - (source-af-packet.c:1337) <Error> (ReceiveAFPLoop) -- [ERRCODE: SC_ERR_AFP_CREATE(190)] - Couldn't init AF_PACKET socket, fatal error

This patch adds a test that if run before the number of threads
is determined. If the test fails, only 1 thread is created.

netmap: fix coverity warning 1362789

** CID 1362789:  Null pointer dereferences  (FORWARD_NULL)
/src/runmode-netmap.c: 247 in ParseNetmapConfig()

________________________________________________________________________________________________________
*** CID 1362789:  Null pointer dereferences  (FORWARD_NULL)
/src/runmode-netmap.c: 247 in ParseNetmapConfig()
241         strlcpy(aconf->iface_name, iface_name, sizeof(aconf->iface_name));
242         SC_ATOMIC_INIT(aconf->ref);
243         (void) SC_ATOMIC_ADD(aconf->ref, 1);
244
245         /* Find initial node */
246         netmap_node = ConfGetNode("netmap");
>>>     CID 1362789:  Null pointer dereferences  (FORWARD_NULL)
>>>     Comparing "netmap_node" to null implies that "netmap_node" might be null.
247         if (netmap_node == NULL) {
248             SCLogInfo("Unable to find netmap config using default value");
249         } else {
250             if_root = ConfFindDeviceConfig(netmap_node, aconf->iface_name);
251             if_default = ConfFindDeviceConfig(netmap_node, "default");
252         }

util-threshold-config: parse suppress rules with spaces in ip list

This modified regex allows spaces witihn the ip list for supress rules
like [10.0.0.1, 10.0.0.2]

privs: add capability CAP_SYS_NICE.

Allows the setting of thread priorities after dropping privileges.

detect: reduce verbosity, don't warn on empty files

pfring: move output to 'Perf' level

offloading: work around missing TOE support

offloading: distinguish between csum and the rest

As AF_PACKET handles csum offloading don't check for this type of
offloading. Other methods like pcap and netmap do require it to be
turned off.

Improve disable command suggestion wording.

offloading: reduce verbosity

afpacket: update offloading warning

offloading: improve checks on FreeBSD

Move FreeBSD specific (but not netmap specific) checks from the netmap
code to the general ioctl wrapper code.

Warn from the check functions now, so callers no longer need to.

offloading: move linux specific into their own func

offloading: check for more offloading on Linux

netmap: fix enabling promisc mode on FreeBSD

In FreeBSD setting the IFF_PROMISC flag has no effect. Instead we
need to set the IFF_PPROMISC flag.

netmap: redo config parsing

Normally we parse the config per interface only. But to properly
setup the bridge, netmap also needs the config of it's peering
interface. Instead of using a complicated peering scheme like in
afpacket, simply parse the peers config too.

changelog: update for 3.1 and add missing 3.1rc1 tickets

util-runmode: pass initdata to runmode workers for nfqueue

The VerdictNFQ was missing the initdata which results in a segfault
within CaptureStatsSetup. This commit adds the passing of the initdata.

afpacket: disable tpacket-v3 by default

It's still considered experimental at this point.

libnet: work around older libnet type difference

Older libnet 1.1.x have a non-const type for libnet_init's dev
argument.

pfring: no longer link against rt and numa libs

detect: get proper legacy custom values. Issue #1804

livedev: shorten devname at registration

afl: fix various --afl-* options

Update Changelog for 3.1RC1

http body: fix compression tests

http: set of response body decompress limit

This is a per personality setting.

unittest: minor cleanup

http: update compression mismatch test

configure: cleanup configure output

Don't present missing spatch as a warning. Remove verbose libnet
warnings as well.

detect-filemagic: fix heap-use-after-free

This fixes the heap-use-after-free issue with sm being freed without
being removed from the signature (s) list. Move the protocol check for
rules with filemagic before the alloc and make the error log more
precise.

netmap: work around mtu error on iface+ settings

netmap: don't set more than 1 thread on sw ring

netmap: code cleanup

configure: don't set -march=native for powerpc

yaml: improve affinity defaults

affinity: small cleanups to output & code

affinity: rename detect -> worker set internall

affinity: rename detect-cpu-set to worker-cpu-set

Add fallback for existing configs.

affinity: improve suricata.yaml doc

affinity: remove unused settings

These were never referenced to in the code so they can be removed.

Add bypass to config parser in case the settings are still in old
yamls.

affinity: type cleanup

output: reduce verbosity on info level

netmap: don't check for offloading twice

netmap: output cleanup

output: introduce config and perf output levels

Goal is to reduce info output

output: improve notice and warning/error color handling

yaml: profiling 'json' depend on jansson availability

profiling: fix minor compiler warning

netmap: get offloading settings and warn if needed

Add FreeBSD lookup function and use the existing code on Linux.

netmap: get correct RSS queues on Linux as well

netmap: reduce verbosity at startup

netmap: handle missing config with better defaults

Default to 'threads: auto' which uses RSS RX count when no config
has been created for a interface.

netmap: implement 'threads: auto'

Add until function for retrieving RSS RX count from netmap. Use the
RSS count to create the threads.

instance: use enum for runmode

instance: memset to 0 before use

util-ioctcl: increase header size

Headers can contain VLAN or Qing so we need to increase the value
returned by GetIfaceMaxHWHeaderLength.

suricata: fix double packet processing threads

With the additional ParseInterfacesList the packet processing threads
were doubled since the Interface was included twice unless the device
was passed via the commandline with af-packet=IF.
The additonal ParseInterfacesList isn't necessary so remove it again

ac-ks: don't allow use on big-endian

flow-worker: small cleanups

detect: make pattern matcher messages less verbose

yaml: replace ac-tile by ac-ks

yaml: remove conf_filename global

conf_filename was a global pointer to the filename of the yaml.

Move into SCInstance. This reduces it's scope and cleans up the code.

profiling: fix compilation if libjansson is missing

pfring: cleanup

pfring: improve profiling

Reset packet profiling after pfring_recv. The packet was taken from
the packet pool before this call. The packet will already have it's
start ticks initialized. To avoid including ticks while pfring_recv
waits for traffic, reset the ticks right after it.

profiling: allow packet profiling to be reset

coverity: fix CID 1362014

Error handling was not correct regarding ring buffer memory
handling.

af-packet: use better defaults if config is missing

yaml: make eve log in yaml depend on libjansson

yaml: improve capture comments