Fix Coverity issue in SMTP output

** CID 1250327:  Uninitialized pointer read  (UNINIT)
/src/output-json-email-common.c: 117 in JsonEmailLogJson()
/src/output-json-email-common.c: 139 in JsonEmailLogJson()

smtp: don't create a new tx for rset/quit

A tx is considered complete after the data command completed. However,
this would lead to RSET and QUIT commands setting up a new tx.

This patch simply adds a check that refuses to setup a new tx when these
commands are encountered after the data portion is complete.

filestore: fix crash if keyword setup fails

SigMatch would be added to list, then the alproto check failed, leading
to freeing of sm. But as it was still in the list, the list now contained
a dangling pointer.

mime: fix output issues

When multiple email addresses were in the 'to' field, sometimes
they would be logged as "\r\n \"Name\" <email>".

The \r\n was added by GetFullValue in the mime decoder, for unknown
reasons. Disabling this seems to have no drawbacks.

mime: fix compiler warning

mime: improve error checking

smtp: fix SMTPParserTest14 on 32bit

smtp: improve ProcessDataChunk error checking

smtp: expand tx use

Instead of just using TX for mime decoding, it is now also used for
tracking decoder events.

output-filedata: close files even w/o data

If there is no data chunk but the file is closed/truncated anyway,
logging is still required.

smtp: register file truncate callback

Tag files as truncated from this callback so storing/logging displays
the correct info.

smtp: convert logger to tx logger

Move from packet logger to tx logger.

smtp: add file inspection engine

Fix file inspection engine.

TODO: test

smtp: make TX aware

Store mime decoding context per transaction. For this the parser
creates a TX when the mime body decoding starts.

mime: redo PrintChars using PrintRawDataFp

decode mime: refactor & cleanup

Partly to work around cppchecks:
[src/util-decode-mime.c:1085]: (error) Memory leak: url

mime: rename mime-decode.[ch] to util-decode-mime.[ch]

mime: style updates

mime decode: reshuffle data structures to reduce structure sizes

output smtp: fix call

decode mime: clean up includes

mime decode: improve MimeDecParseLineTest01 and MimeDecParseLineTest02 tests

decode mime: fix scan-build issues

mime decode: fix memory leak

mime decode: remove unused url counter

output smtp: clean up memory at shutdown

Fix compiler warning

mime: refactor buffer use

Turn all buffers into uint8_t (from char) and no longer use the
string functions like strncpy/strncasecmp on them.

Store url and field names as lowercase, and also search/compare
them as lowercase. This allows us to use SCMemcmp.

smtp-mime: preinitialize base64 decoder space

Preinit with zeros.

mime-decode: clean up after MimeDecParseFullMsgTest01.

mime-decode: fix minor memory leak if Mime parser initialization were to fail.

mime-decode: remove "comparison between signed and unsigned integer expressions"
warnings

app-layer-smtp: move old smtp-mime section in suricata.yaml into
app-layer-protocols.smtp.mine section and update code to accomodate.

PR review comment.  Use protocol to discern log type.

smtp: turn on smtp mime decoding and enable smtp eve logging.

eve-log: catch and log URLs in basic text emails without mime encapsulation.
         expand pointer walk protection.

mime-decode: don't scan attachment's data for URLs.
move event pointer lookup inside extract_urls and protect pointer walk.

app-layer-smtp: fix Test14.

Was running one byte past end of buffer.
Declare Unit Test 14's data as static.

smtp layer: fix unittests

Synchronize test 14 with the new application layer API and improve
debug messages.

eve-log: SMTP JSON logger

smtp-mime: add server reply codes returned from outlook server

SMTP MIME Email Message decoder

Make suricata_ctl_flags be volatile

The global variable suricata_ctl_flags needs to volatile, otherwise the
compiler might not cause the variable to be read every time because it
doesn't know other threads might write the variable.

This was causing Suricata to not exit under some conditions.

stream/async: improve handling of syn/ack pickup

If we picked up the ssn with a syn/ack, we don't need to make more
assumptions about sack and wscale after that.

stream/async: fix session setup issues

For these 2 cases:

1. Missing SYN:
-> syn <= missing
<- syn/ack
-> ack
-> data

2. Missing SYN and 3whs ACK:
-> syn <= missing
<- syn/ack
-> ack <= missing
-> data

Fix session pickup. The next_win settings weren't correctly set, so that
packets were rejected.

Bug 1190.

stream: improve tracking with pkt loss in async

If 3whs SYN/ACK and ACK are missing we can still pick up the session if
in async-oneside mode.

-> syn
<- syn/ack <= missing
-> ack     <= missing
-> data

Bug 1190.

iprep: cleanup ctx on shutdown

~~Dr.M~~ Error #1: LEAK 480 direct bytes 0x0aae7fc0-0x0aae81a0 + 0 indirect bytes
~~Dr.M~~ # 0 replace_malloc                    [/work/drmemory_package/common/alloc_replace.c:2373]
~~Dr.M~~ # 1 SRepInit                          [.../Suricata/src/reputation.c:594]
~~Dr.M~~ # 2 DetectEngineCtxInit               [.../src/detect-engine.c:844]
~~Dr.M~~ # 3 main                              [.../Suricata/src/suricata.c:2230]

Make AppLayerProfiling functions inline

The entire body of these functions are protected by ifdef PROFILING.
If the functions are inlined, then this check removes the need for the
function entirely.

Previously, the empty function was still called, even when not built
for profiling. The functions showed as being 0.25% of total CPU time
without being built for profiling.

Fixes comments for pfring section in suricata.yaml

Bug #1301

PF_RING: force cluster type if vlan is disabled

If vlan is disabled the cluster_flow mode will still take VLAN tags
into account due to using pf_ring's 6-tuple mode.
So this forces to use pf_ring's 5-tuple mode.

Bug #1292

iprep: add unit tests for cidr

Implements unit tests to test the new API

detect-iprep: extends cidr

Adds new API to check if an IP address is belong
to a netblock and gets the value.

iprep: extends cidr support

Implements new API to expand the IP reputation
to netblocks with CIDR notation

A new object 'srepCIDRTree' is kept in the DetectionEngineCtx,
which contains two tree (one for ipv4 and one for ipv6)
where the reputation values are stored.

lua: add export of dns.rrname

Add the capability for a lua script to ask for rrname in DNS query.

lua: move function to common utils

LuaStateNeedProto function can be used for any protocol so let's
move it out of the http file.

stream: improve bad window update detection

Ignore more valid ACKs in FIN shutdown phase.

Improve heuristic for window shrinking in case of packet loss.

stream: fix 'bad window update' false positive

ACK packets completing a valid FIN shutdown could be flagged as
'bad window update' if they would shrink the window.

This patch detects this case before doing the bad window update
check.

sanity check tcp SACK edges prior to recording. Attempt to avoid Cisco ASA
tcp randomization issue with it not properly writing sequence numbers in SACK.

stream: improve handling of 3whs packet loss

If the 3whs ACK and some data after this is lost, we would get stuck
in the 'SYN_RECV' state, where from there each packet might be
considered invalid.

This patch improves the handling of this case.

stream: fix ssh/ssl logging on tcp session reuse

TCP session reuse wouldn't unset FLOW_NO_APPLAYER_INSPECTION.

ssh.softwareversion: allow more characters

The keyword would not allow matching on "OpenSSH_5.5p1 Debian-6+squeeze5"
as the + and space characters were not allowed.

This patch adds support for them.

stream: add counter for failed pseudo setups

Stream pseudo packets are taken from the packet pool, which can be empty.
In this case a pseudo packet will not be created and processed.

This patch adds a counter "tcp.pseudo_failed" to track this.

stream: clean up pseudo packet counting

Increment the counter from StreamTcpPseudoPacketCreateStreamEndPacket.

pfring: removes old API and #ifdef chunks

pfring: checks if the lib version is >= 6

Checks if the PF_RING version installed on the system is 6,
so old version won't be supported.

Fix MPLS decoder rules.

Use ENGINE_SET_INVALID_EVENT when the packet is too small for an
MPLS header, and when the payload type can not be determined.

Don't default to ethernet, ethernet should be preceded by a pseudowire.

If the payload type can't be determined, raise an alert.

Set decoder events for labels that shouldn't be seen on the wire.
Add unit tests to test for mpls decoder events.

Handle encapsulated ethernet without a PW by defaulting to ethernet
if a fall back.

Handle explicitly IPv6 and IPv6 labels as well as encapsulated ethernet.

Add MPLS counter.
Check length before decoding each label.

Basic MPLS decoder.

CUDA: Update the inspection engine to inform the cuda module that it
doesn't need the gpu results and to release the packet for the next run.

Previously the inspection engine wouldn't inform the cuda module, if it
didn't need the results.  As a consequence, when the packet is next taken
for re-use, and if the packet is still being processed by the cuda module,
the engine would wait till the cuda module frees the packet.

This commits updates this functionality to inform the cuda module to
release the packet for the afore-mentioned case.

Check replist is not NULL inline before doing any processing.

The replist is often NULL, so it is worth checking that case before making
the function call do perform work on the list.

detect-dce-opnum: add sanity check

Specifying the option dce_opnum without value was triggering a
segfault.

Fix typo in configure message about nfnetlink

pcap-log: add option to honor pass rules

Add option (disabled by default) to honor pass rules. This means that
when a pass rule matches in a flow, it's packets are no longer stored
by the pcap-log module.

Bug 1230: Check all SigMatch lists for a named byte_extract variable.

Bug 1230: Simple test case demonstrating failure.

Suppress ARM valgrind warning

Not Suricata related, so suppress.

Speed up SigMatchGetLastSMFromLists()

SigMatchGetLastSMFromLists() is finding the sm with the largest
index among all of the values returned from SigMatchGetLastSM() on
the set of (list and type) tuples passed as arguments.

The function was creating an array of the types, then creating an array
of the results of SigMatchGetLastSM(), sorting that list completely, then
only returning the first values from the list.

The new code, gets one set of arguments from the variable arguments, calls
SigMatchGetLastSM() and if the returned sm has a larger index, keeps that
as the last sm.

tcp session reuse: reset detect state

Reset the detect state on TCP session reuse. We reset the app layer,
so we need to reset the stateful detection as well.

detect state: always lock de_state_m

Always lock the de_state_m on access, also at flow recycle or
cleanup.

configure.ac: Moved libpcap before libpfring

Moved the libpcap section in configure.ac before libpfring to
enable libpfring to use the specified libpcap includes and
libraries when testing for libpfring support.

Bug #1294

runmode-pfring: Fixed typo s/fron/from/

runmode-pfring: Suppress errors when using DNA/ZC

PF_RING DNA/ZC don't use cluster-id and cluster-type. Therefore,
skip setting these values if DNA/ZC is being used.

Bug #1048

lua detect: expose stream payload

Allow a script to set the 'stream' buffer type. This will add the
script to the PMATCH list.

Example script:
alert tcp any any -> any any (content:"html"; lua:stream.lua; sid:1;)

    function init (args)
        local needs = {}
        needs["stream"] = tostring(true)
        return needs
    end

    -- return match via table
    function match(args)
        local result = {}

        b = tostring(args["stream"])
        o = tostring(args["offset"])

        bo = string.sub(b, o);
        print (bo)

        return result
    end

    return 0

Comment out in the action-order section, as its not needed if
the default configuration is used.

Don't require an action-order configuration section. If not present,
use the defaults.

filestore: fix parsing bug

Filestore keyword can have options or no options, and the parser
was enforcing the NOOPT flag too strictly.

Bug #1288

flow json log: add 'shutdown' as flow end reason

When engine shuts down all flows in the hash are logged out. They
may not have timed out yet. So they are forced. Log the reason to
be 'shutdown'.

flow: fix flow logging at shutdown

Move all flows from the hash to the recycler at shutdown.

Bug #1260

output-lua: set proper callbacks for HTTP

Enable the relevant HTTP callbacks.

Bug #1287

output-lua: add config to yaml

Disabled by default.

output-lua: add script-dir config param

Add 'scripts-dir' config directive that is prepended to the script
names to form a path. If ommited or empty, script are opened from
the CWD.

yaml: add eve flow and netflow entries

Added, commented out by default.

Bug #1257.

ssh: convert error message to debug statement

Don't print errors based on traffic issues.

app-layer-ssh: fix banner parser

Carefully crafted SSH banner could result in parser error.

Signed-off-by: Eric Leblond <eric@regit.org>

ipv6: convert ext header pointers to const

To prevent accidental writes into the orignal packet buffer, use
const pointers for the extension header pointers used by IPv6. This
will cause compiler warnings in case of writes.