setup-app-layer-logger.sh: update for logging changes

logging: proper failure on memory allocation error

unwinds all previous logger allocations

flow-vars: remove flow locks

Code is now entered under flow lock.

flow-bits: remove flow locks

Code is now entered under flow lock.

lua: remove flow locking from the lua layer

stream: remove lock from StreamTcpSegmentForEach

This is only entered from logging functions which are already
called with a locked flow.

logging: remove the packetqueue's from the logging path

They are not referenced by any loggers, and they probably
shouldn't be either.

logging: hook into flow worker thread

output-streaming: free thread store on deinit

logging: rename registration functions to not have tmm

As the logging modules are no longer threading modules, rename
them so they don't look like they are being registered as
threading modules.

Also, move the registration to the output.c which will handle
registration of the loggers.

logging: convert pcap log to non-thread module

logging: just return if no tx loggers

logging: use a single entry point for all loggers

Introduces a new thread module, TMM_LOGGER, which is the
root most logger.

Only handles loggers in the packet path, stats and flow
logging are not included.

The loggers are made up of a hierarchy of loggers. At the top we
have the root logger which is the main entry point to
logging. Under the root there exists parent loggers that are the
entry point for specific types of loggers such as packet logger,
transaction loggers, etc. Each parent logger may have 0 or more
loggers that actual handle the job of producing output to something
like a file.

logging: remove output priorities: not used

logging: remove dead code from output-json

The "parent" json logger was setup like a real logger, but
some of that code was never being called.

output.[ch]: consistent style

- Clean up function declaration.
- Consistenly use typedefs for function points.

No functional changes.

logging: add profiling back for non-tmm loggers

The loggers moved away from a TMM required a new
profiling support.

logging: convert lua output to non-thread module

logging: convert tls log to non-thread module

logging: convert alert debug log to non-thread module

logging: convert tcp data logging to non-thread module

logging: convert tls store logging to non-thread module

logging: convert file data logging to non-thread module

logging: convert file logging to non-thread module

logging: convert unified2 to non-thread module

logging: convert stats loggers to non-thread module

logging: convert http log to non-thread module

logging: convert alert syslog to non-thread module

logging: convert drop output to non-thread module

logging: convert json template output to non-thread module

tests: setup unit test framework earlier

Allows tests to be registered early, in support of moving
outputs away from thread modules.

logging: convert json drop output to non-thread module

logging: convert json smtp output to non-thread module

logging: convert json ssh output to non-thread module

logging: convert json netflow output to non-thread module

logging: convert json flow output to non-thread module

logging: convert json alert output to non-thread module

logging: convert json tls output to non-thread module

logging: convert prelude output to non-thread module

logging: convert eve http to non-thread module

logging: convert eve dns logging to non-thread module

logging: convert fast log to a non-thread module

logging: convert dns log to a non-thread module

detect: mark alproto in keyword reg deprecated

No existing code uses it, and it had been useless for some time.

gitignore: update to hide more local files

detect: don't set alproto while registering keyword

The field is not used except for some printing, and is wrong for
many keywords.

detect file: enable HTTP inspection from validate func

detect file: enforce protocol in single place

Instead of trying to enforce the app layer protocol in each file
function, enforce it in the generic validation function.

app-layer: add function to check if app-layer supports files

threads: remove EngineKill & SURICATA_KILL

EngineStop and EngineKill were effectively doing the same, so
removed the kill variant.

threads: failed thread is a fatal error now

threading: remove thread restart logic

Thread restarts never worked well and the rest of the engine was
never really expecting errors to lead to thread restarts. Either
and error is recoverable in the thread, or not at all.

So this patch removes the functionality completely.

Open Suricata 3.2 development branch

magic: fix broken tests after CentOS6 update

mpls: add missing event type + rule

bpf: fix file parsing memory handling

Fix improper fread string handling. Improve error handling.

Skip trailing spaces for slightly more pretty printing.

Coverity CID 400763.

Thanks to Steve Grubb for helping address this issue.

detect: don't print (null) in --list-keywords=all

detect: fix setup for some keywords

Fix problems found by siginit.cocci.

coccinelle: add siginit test

Add a test that check an inversion during keyword setup where
we add a sigmatch to a signature and then do error handling on it.
This was causing a double free of some elements and ultimately a
segfault.

Proposed-by: Victor Julien <victor@inliniac.net>

detect-flowbits: more unittest macro usage

Also cleanup some tests by removing extra code after a test was
determined to fail.

hostbits: use new unittest macros

hostbits: fail parse on unexpected trailing data

Address issue https://redmine.openinfosecfoundation.org/issues/1889
for hostbits. This involves updating the regular expresssion
to capture any trailing data as the regex already keeps
spaces out of the name.

A unit test was converted to new macros to find out which
line it was failing at after updating regex.

flowbits: validate that there are no spaces in the name

Fixes issue: https://redmine.openinfosecfoundation.org/issues/1889

To catch the issue where the ';' is missing we have to expand the
regex to capture the whole name string, not just the leading
valid stuff. Then verify that there are no spaces in the name
(Snort has the same restriction) and fail if there is.

unix-manager: fix output of version command

Make it consistent with the output of version command line flag.

rule-parsing: reject unescaped double quote within content section

Update Changelog for 3.1.2

eve-drop: allow logging all drops

- drop:
    alerts: yes      # log alerts that caused drops
    flows: all       # start or all: 'start' logs only a single drop
                     # per flow direction. All logs each dropped pkt.

dns: use nonnull attr for log functions

dns: fix coverity warning

** CID 1372324:  Null pointer dereferences  (FORWARD_NULL)
/src/output-json-dns.c: 532 in OutputAnswer()

________________________________________________________________________________________________________
*** CID 1372324:  Null pointer dereferences  (FORWARD_NULL)
/src/output-json-dns.c: 532 in OutputAnswer()
526             }
527         }
528
529         /* reset */
530         MemBufferReset(aft->buffer);
531         json_object_set_new(djs, "dns", js);
>>>     CID 1372324:  Null pointer dereferences  (FORWARD_NULL)
>>>     Dereferencing null pointer "entry".
532         if (likely(DNSRRTypeEnabled(entry->type, aft->dnslog_ctx->flags))) {
533             OutputJSONBuffer(djs, aft->dnslog_ctx->file_ctx, &aft->buffer);
534         }
535         json_object_del(djs, "dns");
536
537         return;

Move checks to the top of the functions. Should be more efficient too.

detect-template: modernize

app-layer templates: cleanups

- cleanup file headers
- add todo section
- convert unit tests to new macros
- add markers to remove disabled by default behaviour

decode-icmpv6: use FAIL macros in tests

unittest: FAIL macro to unconditionally fail a test

icmpv6: fix checksum verification if fcs present

Calculate the length of the ICMPv6 packet from decoded information
instead of off the wire length. This will provide the correct
length if trailing data like an FCS is present.

Fixes issue:
https://redmine.openinfosecfoundation.org/issues/1849

affinity: fix compilation on SunOS

byteswap: fix compilation on SunOS

configure: detect SunOS and link against required libs

threads: provide SCGetThreadIdLong for SunOS

decode: declare IPPROTO_IPIP if OS doesn't have it

decode: fix int types

configure: check for strings.h: used by SunOS

logfile: resolve name clash on SunOS

eve: reduce flow_id to 51 bits

Evebox & ELK couldn't handle the large integers. It looks like (partly)
a javascript limitation that doesn't treat 64bit ints as real ints.

configure: fix Ubuntu lua pkg suggestion

eve: output more unique flow_id

flow: introduce function to generate flow id

The flow id itself is not stored in the flow, but generated based on
properties that do not change during the lifetime of the flow.

As it's meant for use with the json output, it is limited to a signed
64 bit integer (int64_t) because that is the time json_integer_t uses.

detect: implement continue detect for dcepayload

Also fix a corner case in start detection.

Bug 1853.

detect: cleanup

detect: fix ICMP error handling issue

The first packet in both directions of a flow looks up the rule group
(sgh) and stores it in the flow. This makes sure the lookup doesn't
have to be performed for each packet.

ICMPv4 error messages are connected to the TCP or UDP flow they apply
to. In the case of such an ICMP error being the first packet in a
flow's direction, this would lead to an issue.

The packet would look up the rule group based on the ICMP protocol,
not based on the embedded TCP/UDP. This makes sense, as the ICMP
packet is inspected as ICMP packet. The consequence however, was that
this rule group pointer (sgh) would be stored in the flow. This is
wrong, as TCP/UDP packets that follow the ICMP packet would have no sgh
or the wrong sgh.

In normal traffic this shouldn't normally happen, but it could be
used to evade Suricata's inspection.

output dns: fix bit declarations

common: introduce macro for bit declarations

output-json-dns: dns output filtering.

eve: make logging of tagged packets optional

But it is enabled in the default configuration.

eve: log tag packets as packet events

Create a new eve event type, "packet" for logging packets that
are tagged as part of an event. The packet is still at the top
level to keep it consistent with alert event types.

In addition to the packet being logged, a packet_info object
is created to hold the linktype and any future meta data
we may want to add about the packet.

detect: minor cleanup

detect: minor style fixes

detect: minor debug output cleanup

detect: remove unused debug code

detect: minor cleanups

stream-tcp: fix ssn returning to wrong thread pool