tls: fix compiler warnings

http: add test for plain http over connect

http: don't run unittests twice

http: test cleanups

Fix out-of-bounds memory access in DNS TXT record parser.

The datalen variable is declared unsigned.  If txtlen and datalen are equal,
datalen will first be reduced to 0, and then the datalen-- line will cause its
value to wrap to 65535.  This will cause the loop to continue much longer than
intended, and eventually may crash on an out-of-bounds *tdata dereference.

Signed-off-by: Aaron Campbell <aaron@monkey.org>

multi-detect: fix and simplify config

instead

mappings:
  - vlan:
    vlan-id: 1
    tenant-id: 2

we'll now use:

mappings:
  - vlan-id: 1
    tenant-id: 2

For YAML it pretty much means the same thing.

Ticket: 1517

multi-detect: improve error handling

multi-detect: handle missing mappings

Notify/warn user about missing mappings depending on other settings
like unix socket and init errors fatal.

multi-detect: consider vlan tracking

Refuse to use vlan selector if vlan tracking is disabled.

multi-detect: validate vlan_id

multi-detect: use default tenant

The default detect engine can be used as 'default tenant'.

multi-detect: clean up output

base64: code style fixups

base64_decode, base64_data: decode and match base64

util-base64: strict mode - all characters must be valid

Introduce a strict mode to base64 decode. If strict,
the function will fail when invalid input data is seen.
If not strict, what has been decoded will be returned.

This is in support of adding a Snort compatible base64_decode
rule option that uses whatever data can be decoded as a length
of data to decode is optional.

lua: added function TlsGetSNI()

Added function to get server name from TLS SNI extension.

log-tls: added SNI field to extended output

Added SNI field to extended tls log output.

output-json-tls: added SNI field to extended output

Added SNI field to extended JSON output.

app-layer-ssl: get server name from SNI extension

Decode client hello handshake to get server name from SNI extension.

json: fix malformed output

Even though the json output callback is called with a null terminated
string, it's not useable directly. The size parameter to the callback
might be a lot smaller than the string size. Libjansson gives the size
up to the first point that needs escaping.

output: cleanup JSON logging

output-json: don't alloc for JSON to string

rule profiling: json output

profiling: cleanup, remove MIN declaration

rules-reload: fix reload with -s or -S

When using the -S or -s option, the reload was causing the specified
rules file to be forgotten and the default rules to be loaded at
reload time.

prscript: add rm command

This command removes the container and the image allowing to
free the disk space allocated during the creation.

prscript: docker do not need sudo

Usage is not to run docker command as root but to have the user
in the docker group to be able to run docker commands.

handle MTU discovery in multi iface case

This patch adds handling of multiple interface by using as
default-packet-size the maximum MTU + header length among the
live iface.

config: don't use hardcoded path

It is better to use a transformation to define the default
directory of output message instead of using an hardcoded value.
Same apply to the directory for the pid file.

suricata: clean dump-config output

When user asks for a configuration dump, it is useless to display
the version and CPU info. Also initializing the log system conduct
to overwrite the some log files and in particular suricata.log and
this is annoying as a command should not interfere with a running
daemon.

pfring pkt acq: keep running on 'pfring_set_cluster' failure when cluster is not required

Suricata creates a pfring cluster with a default ID = 1 when not explicitly configured,
unless the device has prefix 'dna' or 'zc'. Since pf_ring also supports other cards
implementing kernel-bypass (cluster not supported), this is preventing those cards from
running on top of this module. This patch stops suricata on 'pfring_set_cluster' failure
only when error code != PF_RING_ERROR_NOT_SUPPORTED or cluster ID has not been explicitly
configured.

threading: avoid autofp deadlock

When there are many threads and/or the packet pool (max-pending-packets) is
small, a potential dead lock exists between the packet pool return pool
logic and the capture threads. The autofp workers together can have all the
packets in their return pools, while the capture thread(s) are waiting at an
empty pool. A race between the worker threads and the capture thread, where
the latter signals the former, is lost by the capture thread. Now everyone
is waiting.

To avoid this scenario, this patch makes the previously hardcoded 'return
pool' threshold dynamic based on the number of threads and the packet pool
size.

It sets the threshold to the max pending packets value, divided by the number
of lister threads. The max value hasn't changed. Normally, in the autofp
runmode these are the stream/detect/log worker threads.

The max_pending_return_packets value needs to stay below the packet pool size
of the 'producers' (normally pkt capture threads but also flow timeout
injection) to avoid the deadlock.

As it's quite impossible at this time to learn how many threads will be
created before starting the runmodes, and thus spawning the threads and
already initializing the packet pools, this code sets a global variable
after runmode setup, but before the threads are 'unpaused'.

threads: add func to count running threads of types

threading: store thread module flags in threadvars

htp: cleanup, remove unused declaration

pfring pkt acq: capture loop optimisation

For each packet the capture module checks whether it is time to dump stats calling
TimeGet(). TimeGet() is an expensive function using gettimeofday() or SCSpinLock()
which affect performance. Since gettimeofday() is already called for setting packet
timestamp, it is more efficient to use the packet timestamp directly.

pfring pkt acq: removed reentrant flag

PF_RING_REENTRANT is not needed as each pfring socket is used by a single thread.

pfring pkt acq: use zero-copy recv in workers runmode

This patch removes packet copy when suricata is running in workers runmode,
packet copy is not needed in this case since packets are processed in sequence.

util-logopenfile: don't allocate redis command

As we only have two different commands we don't need to allocate
it and can use pointer to global variables.

util-logopenfile: move sensor_name to filectx

We will now output the sensor name independantly of the output
method if it is set in the YAML file. In the case of redis we are
using the hostname value if unset.

util-logopenfile: log queued events at exit

Do a redis query at exit to log possibly existing events.

util-logopenfile: don't lock syslog write

util-logopenfile: cleaner free function

util-logopenfile: don't use atomic for batch_count

util-logopenfile: use a function for redis write

redis-output: fix sensor-name code

The sensor-name was not freed at exist and the result of SCStrdup
was not checked.

util-logopenfile: reconnect handling

This patch implements reconnection handling for the redis output.
A reconnect limitation has been implemented with a limitation of
one connection per second.

util-logopenfile: implement redis pipelining

This patch implements redis pipelining. This consist in contacting
the redis server every N events to minimize the number of TCP
exchange. This is optional and setup via the configuration file.

util-logopenfile: introduce SCConfLogOpenRedis

Introduce a function to realize the parsing and config file and
opening of connection to the database. Only used by output-json
for now it will be usable by other logging modules.

util-logopenfile: add write function

Introduce a function LogFileWrite that will handle the writing with
respect of the type defined in the configuration. This is used in
this patch to remove the write complexity from output-json.

output-json: add sensor-name config variable

When using redis output, we are loosing the host key (added by
logstash or logstash-forwarder) and we can't find anymore what
Suricata did cause the alert.

This patch is adding this key during message generation using the
'sensor-name' variable or the hostname is 'sensor-name' is not
defined.

travis: add libjansson and hiredis

Install the libs and force usage of hiredis. We will have a more
complete build with this two libs.

output-json: improve hiredis define

Use #ifdef instead of #if and don't include the header which is
not needed anymore.

output-json: add redis support

This patch adds redis support to JSON output.

decode: add flow memcap counter

This adds a counter indicating how many times
the flow max memcap has been reached

Since there is no always a reference to FlowManagerThreadData,
the counter is put in DecodeThreadVars.

Currently when there is no counter increase in one call of FlowGetNew
because we don't have tv or dtv at the time of the call.

The following is a snippet of the generated EVE entry:
"flow":{"memcap":0,"spare":10000,"emerg_mode_entered":0,"emerg_mode_over":0,"tcp_reuse":0,"memuse":7085248}

workers runmode: allow multiple input devices

This fix allows multiple input devices when running in 'workers' mode.

json-file: avoid allocation

json-email: fix coverity alert

The code was not correct and coverity did detect a potential
overflow problem that should not happen because of the structure
of md5 string and of format.

app-layer setup scripts: enable new modules on copy

The templates are disabled by default, enable the copy
of the template so the new app-layer modules are enabled by
by default.

template app-layer: disable if not in config file (default)

Unlike other app-layer protocols which are enabled by default,
disable this one by default as it likely shouldn't be enabled
in production use of Suricata.

json-email-common: fix email extended logging

Two structure fields were uninitialized and used has a bit field.
Weird behavior were seen in list of logged fields due to that with
some build options.

json-email-common: suppress commented code

json-email-common: can now log same header twice

Multiple events can be applied on a transaction so we may need to
log the same header twice.

The HDR_IS_LOGGED flag was making it impossible. And this system
is usless as email application layer is transaction based.

Bugfix for detect-engine.luajit-states

detect-engine is a list, and luajit-states was looked up as a map.

lua: SSH output support

Support SSH in lua output scripts (Feature #1569).

lua: SSH support

Support SSH in lua detection scripts (Feature #1569).

Describe new unified2-alert "payload" option

Add option to omit payload in unified2 output

Add a boolean option named "payload" to the unified2-alert output type.
Such options makes suricata omit the payload in the resulting unified2
file. The default value is true in order to preserve the current behaviour.

GPL license sync with official gpl-2.0.txt

Synced up with:
http://www.gnu.org/licenses/old-licenses/gpl-2.0.txt

fix util-host-os-info unit tests.

- Some tests always passed due to the result value being
  initialized to 1.

- Fix tests that now fail.  Looks like just the test were wrong
  and that the code does the right thing.

detect-pcre: allow upper cases metachars for host (/W).

Redmine issue 1490.

util-debug: don't colorize if a redirect is used

It is better to disable the color mode when a redirect of stderr
is done to avoid getting colorized output in the generated file.

defrag tests: fix compiler warnings

defrag.c:2423:9: error: variable 'p' is used uninitialized whenever 'if' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2460:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2423:5: note: remove the 'if' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
    ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2423:9: error: variable 'p' is used uninitialized whenever '||' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2460:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2423:9: note: remove the '||' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2423:9: error: variable 'p' is used uninitialized whenever '||' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~
defrag.c:2460:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2423:9: note: remove the '||' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~
defrag.c:2427:5: note: variable 'p' is declared here
    Packet *p = Defrag(NULL, NULL, p1, NULL);
    ^
defrag.c:2486:9: error: variable 'p' is used uninitialized whenever 'if' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2523:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2486:5: note: remove the 'if' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
    ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2486:9: error: variable 'p' is used uninitialized whenever '||' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2523:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2486:9: note: remove the '||' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~~~~~~~~~~~~~~~
defrag.c:2486:9: error: variable 'p' is used uninitialized whenever '||' condition is true [-Werror,-Wsometimes-uninitialized]
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~
defrag.c:2523:9: note: uninitialized use occurs here
    if (p != NULL) {
        ^
defrag.c:2486:9: note: remove the '||' if its condition is always false
    if (p1 == NULL || p2 == NULL || p3 == NULL) {
        ^~~~~~~~~~~~~
defrag.c:2490:5: note: variable 'p' is declared here
    Packet *p = Defrag(NULL, NULL, p1, NULL);
    ^
6 errors generated.
make[3]: *** [defrag.o] Error 1

defrag: stop reassembly at the first packet with more flags not set

defrag: tracker initialization cleanup

Remove the old tracker reset macro which is no longer being used.
Clear last_seen and remove flags on initialization.
Remove extra call to DefragTrackerInit as it was being called 2x
for each new tracker.

Now that DefragTrackerNew is just a wrapper for DefragTrackerAlloc,
remove it and just call DefragTrackerAlloc directly.

defrag: don't use trackers marked for removal

These trackers are likely for completed fragments, but have
not been cleaned up. If a packet on the same flow with an
already seen IP ID is seen, it could be reused prior to
being properly reinitialized.

defrag: unit test for tracker reuse (current fails)

Will be fixed in subsequent commits as tracker reuse is fixed.

unix-manager: log client (dis)connection with DEBUG level.

Also select/receive errors are logged as ERROR.

Feature 1527: ability to compile as a position independent executable

Adds corresponding configure option which enables proper CPPFLAGS
and LDFLAGS.

lua: TLS lua output support

Support TLS in lua output scripts (Feature #1568).

function init (args)
    local needs = {}
    needs["protocol"] = "tls"
    return needs
end

function setup (args)
    filename = SCLogPath() .. "/" .. "lua_tls.log"
    file = assert(io.open(filename, "a"))
end

function log (args)
    ts = SCPacketTimeString()
    ipver, srcip, dstip, proto, sp, dp = SCFlowTuple()

    version, subject, issuer, fingerprint = TlsGetCertInfo();
    if version == nil then
        return 0
    end

    file:write(ts .. " " .. srcip .. ":" .. sp .. " -> " .. dstip  ..
               ":" .. dp .. "  TLS: " .. "Subject='" .. subject ..
               "' " .. "Issuerdn='" .. issuer .. "\n")
    file:flush()
end

function deinit (args)
    file:close(file)
end

decode-mime: fix body md5 computation

Previous code was wrongly supposing the lines are ending with CRLF.
But this is not the case so we must propagate the length of end of
line delimiter to be able to compute the md5 of the mail body.

util-decode-mime: fix some unittests

Unittests were failling when ASAN is activated because it was
finding some read outside of bounds. This patch fixes the different
reported issues.

util-decode-mime: fix IsIpv6Host function

Using in6_addr is better when calling inet_pton. This fixes an
issue reported by ASAN.

smtp-layer: remove FIXME and del excessive newline

output-json: add tx_id to events

This patch updates alert, stmp and http JSON logging to have a
tx_id in the root of the JSON log message.

output-json: add create header with tx function

To be able to correlate between events, it is better to have the
tx_id information in the root object. This function adds a new
function to automate the addition of the field.

json-email: JsonEmailAddMetadata update

Add tx_id to the list of params to be in sync with recent changes.

json-http: gen metadata function with tx_id param

json-smtp: add tx_id param to metadata generation

In all metadata generation contexts we know the tx_id so we better
used it to log the correct transaction and not an other one.

json-smtp: change copyright date

json-alert: add smtp elements in alert

json-smtp: fix a debug message

email-json: add bcc to extended fields

smtp-layer: add MAIL FROM parsing test in unittest

smtp-layer: add HELO parsing test in unittest

yaml: add comment describing smtp extended

email-json: add 'date' field extraction

util-decode-mime: add unittests for field fetching

unittests: finally register MIME tests

email-json: improve log message