app-layer setup scripts: enable new modules on copy

The templates are disabled by default, enable the copy
of the template so the new app-layer modules are enabled by
by default.

template app-layer: disable if not in config file (default)

Unlike other app-layer protocols which are enabled by default,
disable this one by default as it likely shouldn't be enabled
in production use of Suricata.

json-email-common: fix email extended logging

Two structure fields were uninitialized and used has a bit field.
Weird behavior were seen in list of logged fields due to that with
some build options.

json-email-common: suppress commented code

json-email-common: can now log same header twice

Multiple events can be applied on a transaction so we may need to
log the same header twice.

The HDR_IS_LOGGED flag was making it impossible. And this system
is usless as email application layer is transaction based.

Bugfix for detect-engine.luajit-states

detect-engine is a list, and luajit-states was looked up as a map.

lua: SSH output support

Support SSH in lua output scripts (Feature #1569).

lua: SSH support

Support SSH in lua detection scripts (Feature #1569).

Describe new unified2-alert "payload" option

Add option to omit payload in unified2 output

Add a boolean option named "payload" to the unified2-alert output type.
Such options makes suricata omit the payload in the resulting unified2
file. The default value is true in order to preserve the current behaviour.

GPL license sync with official gpl-2.0.txt

Synced up with:
http://www.gnu.org/licenses/old-licenses/gpl-2.0.txt

fix util-host-os-info unit tests.

- Some tests always passed due to the result value being
  initialized to 1.

- Fix tests that now fail.  Looks like just the test were wrong
  and that the code does the right thing.

detect-pcre: allow upper cases metachars for host (/W).

Redmine issue 1490.

util-debug: don't colorize if a redirect is used

It is better to disable the color mode when a redirect of stderr
is done to avoid getting colorized output in the generated file.

defrag tests: fix compiler warnings

defrag.c:2423:9: error: variable 'p' is used uninitialized whenever 'if' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2460:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2423:5: note: remove the 'if' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
    ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2423:9: error: variable 'p' is used uninitialized whenever '||' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2460:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2423:9: note: remove the '||' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2423:9: error: variable 'p' is used uninitialized whenever '||' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~
defrag.c:2460:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2423:9: note: remove the '||' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~
defrag.c:2427:5: note: variable 'p' is declared here
    Packet *p = Defrag(NULL, NULL, p1, NULL);
    ^
defrag.c:2486:9: error: variable 'p' is used uninitialized whenever 'if' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2523:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2486:5: note: remove the 'if' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
    ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2486:9: error: variable 'p' is used uninitialized whenever '||' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2523:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2486:9: note: remove the '||' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2486:9: error: variable 'p' is used uninitialized whenever '||' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~
defrag.c:2523:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2486:9: note: remove the '||' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~
defrag.c:2490:5: note: variable 'p' is declared here
    Packet *p = Defrag(NULL, NULL, p1, NULL);
    ^
6 errors generated.
make[3]: *** [defrag.o] Error 1

defrag: stop reassembly at the first packet with more flags not set

defrag: tracker initialization cleanup

Remove the old tracker reset macro which is no longer being used.
Clear last_seen and remove flags on initialization.
Remove extra call to DefragTrackerInit as it was being called 2x
for each new tracker.

Now that DefragTrackerNew is just a wrapper for DefragTrackerAlloc,
remove it and just call DefragTrackerAlloc directly.

defrag: don't use trackers marked for removal

These trackers are likely for completed fragments, but have
not been cleaned up. If a packet on the same flow with an
already seen IP ID is seen, it could be reused prior to
being properly reinitialized.

defrag: unit test for tracker reuse (current fails)

Will be fixed in subsequent commits as tracker reuse is fixed.

unix-manager: log client (dis)connection with DEBUG level.

Also select/receive errors are logged as ERROR.

Feature 1527: ability to compile as a position independent executable

Adds corresponding configure option which enables proper CPPFLAGS
and LDFLAGS.

lua: TLS lua output support

Support TLS in lua output scripts (Feature #1568).

function init (args)
    local needs = {}
    needs["protocol"] = "tls"
    return needs
end

function setup (args)
    filename = SCLogPath() .. "/" .. "lua_tls.log"
    file = assert(io.open(filename, "a"))
end

function log (args)
    ts = SCPacketTimeString()
    ipver, srcip, dstip, proto, sp, dp = SCFlowTuple()

    version, subject, issuer, fingerprint = TlsGetCertInfo();
    if version == nil then
        return 0
    end

    file:write(ts .. " " .. srcip .. ":" .. sp .. " -> " .. dstip  ..
               ":" .. dp .. "  TLS: " .. "Subject='" .. subject ..
               "' " .. "Issuerdn='" .. issuer .. "\n")
    file:flush()
end

function deinit (args)
    file:close(file)
end

decode-mime: fix body md5 computation

Previous code was wrongly supposing the lines are ending with CRLF.
But this is not the case so we must propagate the length of end of
line delimiter to be able to compute the md5 of the mail body.

util-decode-mime: fix some unittests

Unittests were failling when ASAN is activated because it was
finding some read outside of bounds. This patch fixes the different
reported issues.

util-decode-mime: fix IsIpv6Host function

Using in6_addr is better when calling inet_pton. This fixes an
issue reported by ASAN.

smtp-layer: remove FIXME and del excessive newline

output-json: add tx_id to events

This patch updates alert, stmp and http JSON logging to have a
tx_id in the root of the JSON log message.

output-json: add create header with tx function

To be able to correlate between events, it is better to have the
tx_id information in the root object. This function adds a new
function to automate the addition of the field.

json-email: JsonEmailAddMetadata update

Add tx_id to the list of params to be in sync with recent changes.

json-http: gen metadata function with tx_id param

json-smtp: add tx_id param to metadata generation

In all metadata generation contexts we know the tx_id so we better
used it to log the correct transaction and not an other one.

json-smtp: change copyright date

json-alert: add smtp elements in alert

json-smtp: fix a debug message

email-json: add bcc to extended fields

smtp-layer: add MAIL FROM parsing test in unittest

smtp-layer: add HELO parsing test in unittest

yaml: add comment describing smtp extended

email-json: add 'date' field extraction

util-decode-mime: add unittests for field fetching

unittests: finally register MIME tests

email-json: improve log message

email-json: add author

Add myself as author and change the copyright date.

yaml: document new MIME features

email-json: add some fields

This patch adds some fields to the list of extracted fields.

email-json: body md5 logging is optional

email-json: add capa to display subject md5

To be able to identify mails with identical subjects without
using the subject itself as a key, it is possible to use the md5
hash of the subjet string. This allows to limit the privacy impact.

email-json: don't log subject by default

It seems to be a bit too intrusive for the privacy so this patch
adds this field to the extended logging only.

decode-mime: fix typo in comment

email-json: delete white space from "from"

The From field is handled separatly and it could also starts by
white spaces.

email-json: delete leading white spaces

Some mail clients are using tabulation and/or space for comma
separated list. This patch removes them so the event will contain
only significative characters.

email-json: factorize the code

email-json: add LOG_EMAIL_COMMA type

extract these data types by treating them as a comma separated list.

email-json: add custom fields support

This patch adds a way to specify which MIME fields to log via
the custom keyword in the EVE configuration. it also adds an
extended logging where some fields are added. The logging support
mono value fields as well as multivalue fields via the use of
JSON array.

decode-mime: introduce MimeDecFindFieldsForEach

This patch introduces a new function that can be used to handle
multivalued MIME fields. A callback function can be called for
each corresponding field value.

file-json: log 'email' information

Log information coming from email/MIME decoding in the message.

email-json: add function to export data

file-json: output smtp proto info

smtp-json: introduce function to output smtp data

file-json: log http data using common function

alert-json: use new JsonHttpAddMetadata function

This patch uses the newly introduced function to handle the logging
of HTTP data.

http-json: introduce JsonHttpAddMetadata function

This function will be usable in other logging components to add
the http data to their messages.

email-json: output MIME parsing status

If the status is not PARSE_DONE then in that case we may have
imcomplete information. Increasing the stream reassemly depth
in that case would be a good idea.

decode-mime: add function to get status

This new function return the textual status of MIME parsing.

smtp: add 'body-md5' mime option

This option will allow the user to select weither or not he wants
to journalize the md5 of the mail body.

email-json: export md5sum of body

The body_md5 has been added and contain the value of the md5sum
of the body.

This patch is using the state PARSE_DONE on the MIME state to
detect when a message has been completely parsed.

decode-mime: compute body md5

This patch is computing the md5 sum of the body of the MIME message.
This will allow to detect messages with same content and sent to
different people.

app-layer-stmp: simplify code

Delete a only used once goto to a point where we only do a return.

output-json-smtp: output RCPT TO fields

This patch uses an array to output the RCPT TO fields to the
JSON message.

app-layer-smtp: parse and extract RCPT TO fields

Add the RCPT TO fields to a linked list stored in the transaction.

smtp-json: update SMTP EVE messages

This patch updates SMTP message to have them feature a 'smtp'
section which will contain all fields coming from the smtp
protocol.

app-layer-smtp: extract and store HELO and MAIL FROM

This patch updates the SMTP transaction and SMTP state to be able
to contain the HELO and MAIL FROM fields.

email-json: move email fields to email section

This patch changes the way smtp message are written. It is using
the "email" key to store the email related fields. This will
allow to do the same search through SMTP and IMAP if we implement
this last one.

threshold: remove debug message from info loglevel

flow: add missing storage size to checks, output

host: update host size logic

Instead of using (sizeof(Host)+HostStorageSize()) in many places,
create a simple size variable that is set during setup.

ippair: update ippair size logic

Instead of using (sizeof(IPPair)+IPPairStorageSize()) in many places,
create a simple size variable that is set during setup.

stream: improve retransmission detection

Consider packets starting before last_ack and ending after it also
to be retransmissions. This way we can see if they are having
different data.

mpm: SGH maxlen was actually minlen, so rename

mpm: improve SGH content len tracking

SGH's track content length for rule grouping.

This patch changes the logic to only consider the pattern that is
used in the mpm for a sig.

mpm: redo uri maxlen logic

The mpm_uricontent_maxlen logic was meant to track the shortest
possible pattern in the MPM of a SGH. So a minlen more than a maxlen.

This patch replaces the complicated tracking logic by a simpler
scheme. When the SGH's are finalize, the minlen is calculated.

It also fixes a small corner case where the calculated "maxlen" could
be wrong. This would require a smaller pattern in a rule to be forced
as fast pattern.

detect: improve comments on mpm

mpm: remove used counter

mpm: remove bloated counting logic

Counters were only used to print debug info.

mpm: improve debug output

mpm: use IPPROTO_TCP for readability

mpm: optimize & debug validate

Wrappers are called only if a mpm_ctx is available. So remove the test
for a null ctx and replace it by a debug validation BUG_ON.

mpm: assume we'll likely have a mpm_ctx

mpm: indent fix, no functional change

mpm: change direction checking in mpm wrappers

Instead of having reachable assertions, use DEBUG_VALIDATE_BUG_ON

debug validation: introduce DEBUG_VALIDATE_BUG_ON

DEBUG_VALIDATE_BUG_ON(exp) will call BUG_ON(exp) if debug validation
is compiled in. Otherwise it's a no-op.

mpm: minor fixes and cleanups

stream: improve handling of GAPs at stream start

Detect and handle gaps at the start of the stream, when there may
be no segments in the list (yet).

stream: RST last_ack update fix

Only use ACK if ACK flag was set and ACK value is valid.

proto detect: more bypass conditions

More exceptional cases for protocol detection. In very unbalanced flows,
where just a few bytes are sent toserver and many toclient, proto detect
might not complete in time on the toserver direction. This can lead to
queuing up many segments in the toclient direction.

Another case is that in come cases the stream is flagged as proto detect
done, but the flows proto detect flags are not set. This is now handled
by the ProtoDetectDone() check.

debug validation: add segment list sanity check

detect: fix issue with smsg and seq wraps

Due to a broken sequence number check, detect could fail to process
smsgs in case of a sequence wrap. This could lead to excessive use
of smsg's but also of segments, since these aren't cleared until the
smsg containing them is.

stream: allow next_seq catch up after pkt loss

If next_seq falls behind last_ack, force update it.

stream: use reassembly fast path after proto detect

Use the reassembly fast paths only after protocol detection has completed.
In some corner cases the sending of smaller segments lead to protocol
detection failing.

stream: fix protocol detection issue for GAPs

If the protocol required TOSERVER data first, but the SSN started with
a GAP, then the TOCLIENT side would get stuck in an expensive path:

1. it would run detection on TOCLIENT
2. it would try to force reassembly for TOSERVER
3. it would reset the detected protocol as TOSERVER failed
4. it would not evict any segment

This had 2 consequences:
1. on long running sessions this could lead to using lots of memory
   on segments, denying other sessions resources
2. wasted cycles on protocol detection and segment list management

This patch introduces a fix. It checks in the (2) stage above, whether
the opposing stream (that we depend on) it is a NOREASSEMBLY state. If
so, it gives up on this side of the session as well.