Update changelog for 3.0RC3

redis: fix compiler warning

prelude: clean up memory on setup failure

pcap: fix setup failure memleak on libpcap < 1.0

prelude: style fixup

prelude: fix thread safeness

Prelude analyzer is not thread safe so we need to have one
analyzer per thread.

suricata: can't use -l and unix socket runmode

It is not possible to use simultaneously -l and unix socket
runmode because setting the log directory make it final so
not modifable by other call.

It is a implementation limitation but it does not make sense
to set logging directory to have it overwritten by the first
directory specified 'by pcap-file'. So it seems correct to
only trigger an error if this both options are used at the same
time.

unix-manager: display errors like errors

Not being able to setup the output directory or file is an error so
it should be printed as such.

unix-manager: fix race condition

Under high load it is possible that the thread is not yet started
and that we register a command at the same time. As a consequence,
the commands list is not yet initialized and we have a segfault.

This patch moves the initialization in the ThreadInit function to
be sure the commands list is available when needed.

icmpv4: remove unused header fields

icmpv4: remove unused declarations

icmpv4: harden embedded packet handling

icmpv4: improve dest unreachable logic

When a ICMPv4 destination unreachable packet contains an embedded packet
this packet is parsed. When it's found to be invalid, the whole ICMP
packet is tagged as invalid.

In some cases the unreachable packet would still be used.

This patch fixes this by checking the packet is invalid flag as well
in the ICMPV4_DEST_UNREACH_IS_VALID macro.

DER decoder: don't use strlcpy on non-strings

http: more sane body inspection/tracking defaults

http: improve body pruning

In case the body wasn't inspected the body_inspected variable wouldn't
get updated leading to the body not getting pruned at all.

This patch adds support for this case.

ips/drop-log: fix crash on logging drops

When logging drops for fragmented UDP packets, triggered by detection
in the reassembled packet, a missing check could lead to access of the
packets UDP header pointer when it was NULL.

http file: fix txid type

file: sync file and tx id types

smtp: reset inspection buffers

http: fix body prune check

Update Changelog for 3.0RC2

dns: reject bad response data

smtp: improve handling of bad traffic

No longer fail tracking the SMTP stream when a unexpected reply is
encountered.

Do not store the unexpected reply.

stream-tcp: bail early on segments before base_seq

In cases where base_seq has moved beyond last_ack, bail early.

tls: suppress warnings on alloc failure

unified2: disable by default

stats log: suppress 0 counters by default

afpacket: suppress output

afpacket: move zero copy setup to config parsing

This way it's run and logged per device, instead of per thread.

afpacket: indent fixup

offloading: compress printing of iface offloading

afpacket: on missing cluster settings, set defaults

afpacket: add null decoder, put ethernet first

device: constify string args

modbus: disable by default

output-json: add app_proto key in root

By adding the key in the root of *flow and fileinfo  events it
will be possible to get all events for one application layer by
using a 'event_type:proto OR app_proto:proto' filter. This will
permit to the analyst to get a good view of events related to
one protocol.

This patch also fixes a regression in file logging where app_proto
was available before 94dbd303e4744a40f3761265be7c73a7a4754764 create
the regression.

Feature 1605: more descriptive error messages when checking MTU, etc

profiling: fix lock profile compilation

json: small improvement to log message wording

output-json: fix regression on log prefix handling

The log prefix option was not anymore honored due to a regression
caused by some recent code.

app-layer-smtp: support for multiline response
Multiline response support is provided but not enforced. This patch
allow parsing multiline response when a reply is processed

Update changelog for 3.0RC1

Update dev version to reflect we're doing 3.0 now

rule vars: fix compiler warning

tls: fix compiler warnings

http: add test for plain http over connect

http: don't run unittests twice

http: test cleanups

Fix out-of-bounds memory access in DNS TXT record parser.

The datalen variable is declared unsigned.  If txtlen and datalen are equal,
datalen will first be reduced to 0, and then the datalen-- line will cause its
value to wrap to 65535.  This will cause the loop to continue much longer than
intended, and eventually may crash on an out-of-bounds *tdata dereference.

Signed-off-by: Aaron Campbell <aaron@monkey.org>

multi-detect: fix and simplify config

instead

mappings:
  - vlan:
    vlan-id: 1
    tenant-id: 2

we'll now use:

mappings:
  - vlan-id: 1
    tenant-id: 2

For YAML it pretty much means the same thing.

Ticket: 1517

multi-detect: improve error handling

multi-detect: handle missing mappings

Notify/warn user about missing mappings depending on other settings
like unix socket and init errors fatal.

multi-detect: consider vlan tracking

Refuse to use vlan selector if vlan tracking is disabled.

multi-detect: validate vlan_id

multi-detect: use default tenant

The default detect engine can be used as 'default tenant'.

multi-detect: clean up output

base64: code style fixups

base64_decode, base64_data: decode and match base64

util-base64: strict mode - all characters must be valid

Introduce a strict mode to base64 decode. If strict,
the function will fail when invalid input data is seen.
If not strict, what has been decoded will be returned.

This is in support of adding a Snort compatible base64_decode
rule option that uses whatever data can be decoded as a length
of data to decode is optional.

lua: added function TlsGetSNI()

Added function to get server name from TLS SNI extension.

log-tls: added SNI field to extended output

Added SNI field to extended tls log output.

output-json-tls: added SNI field to extended output

Added SNI field to extended JSON output.

app-layer-ssl: get server name from SNI extension

Decode client hello handshake to get server name from SNI extension.

json: fix malformed output

Even though the json output callback is called with a null terminated
string, it's not useable directly. The size parameter to the callback
might be a lot smaller than the string size. Libjansson gives the size
up to the first point that needs escaping.

output: cleanup JSON logging

output-json: don't alloc for JSON to string

rule profiling: json output

profiling: cleanup, remove MIN declaration

rules-reload: fix reload with -s or -S

When using the -S or -s option, the reload was causing the specified
rules file to be forgotten and the default rules to be loaded at
reload time.

prscript: add rm command

This command removes the container and the image allowing to
free the disk space allocated during the creation.

prscript: docker do not need sudo

Usage is not to run docker command as root but to have the user
in the docker group to be able to run docker commands.

handle MTU discovery in multi iface case

This patch adds handling of multiple interface by using as
default-packet-size the maximum MTU + header length among the
live iface.

config: don't use hardcoded path

It is better to use a transformation to define the default
directory of output message instead of using an hardcoded value.
Same apply to the directory for the pid file.

suricata: clean dump-config output

When user asks for a configuration dump, it is useless to display
the version and CPU info. Also initializing the log system conduct
to overwrite the some log files and in particular suricata.log and
this is annoying as a command should not interfere with a running
daemon.

pfring pkt acq: keep running on 'pfring_set_cluster' failure when cluster is not required

Suricata creates a pfring cluster with a default ID = 1 when not explicitly configured,
unless the device has prefix 'dna' or 'zc'. Since pf_ring also supports other cards
implementing kernel-bypass (cluster not supported), this is preventing those cards from
running on top of this module. This patch stops suricata on 'pfring_set_cluster' failure
only when error code != PF_RING_ERROR_NOT_SUPPORTED or cluster ID has not been explicitly
configured.

threading: avoid autofp deadlock

When there are many threads and/or the packet pool (max-pending-packets) is
small, a potential dead lock exists between the packet pool return pool
logic and the capture threads. The autofp workers together can have all the
packets in their return pools, while the capture thread(s) are waiting at an
empty pool. A race between the worker threads and the capture thread, where
the latter signals the former, is lost by the capture thread. Now everyone
is waiting.

To avoid this scenario, this patch makes the previously hardcoded 'return
pool' threshold dynamic based on the number of threads and the packet pool
size.

It sets the threshold to the max pending packets value, divided by the number
of lister threads. The max value hasn't changed. Normally, in the autofp
runmode these are the stream/detect/log worker threads.

The max_pending_return_packets value needs to stay below the packet pool size
of the 'producers' (normally pkt capture threads but also flow timeout
injection) to avoid the deadlock.

As it's quite impossible at this time to learn how many threads will be
created before starting the runmodes, and thus spawning the threads and
already initializing the packet pools, this code sets a global variable
after runmode setup, but before the threads are 'unpaused'.

threads: add func to count running threads of types

threading: store thread module flags in threadvars

htp: cleanup, remove unused declaration

pfring pkt acq: capture loop optimisation

For each packet the capture module checks whether it is time to dump stats calling
TimeGet(). TimeGet() is an expensive function using gettimeofday() or SCSpinLock()
which affect performance. Since gettimeofday() is already called for setting packet
timestamp, it is more efficient to use the packet timestamp directly.

pfring pkt acq: removed reentrant flag

PF_RING_REENTRANT is not needed as each pfring socket is used by a single thread.

pfring pkt acq: use zero-copy recv in workers runmode

This patch removes packet copy when suricata is running in workers runmode,
packet copy is not needed in this case since packets are processed in sequence.

util-logopenfile: don't allocate redis command

As we only have two different commands we don't need to allocate
it and can use pointer to global variables.

util-logopenfile: move sensor_name to filectx

We will now output the sensor name independantly of the output
method if it is set in the YAML file. In the case of redis we are
using the hostname value if unset.

util-logopenfile: log queued events at exit

Do a redis query at exit to log possibly existing events.

util-logopenfile: don't lock syslog write

util-logopenfile: cleaner free function

util-logopenfile: don't use atomic for batch_count

util-logopenfile: use a function for redis write

redis-output: fix sensor-name code

The sensor-name was not freed at exist and the result of SCStrdup
was not checked.

util-logopenfile: reconnect handling

This patch implements reconnection handling for the redis output.
A reconnect limitation has been implemented with a limitation of
one connection per second.

util-logopenfile: implement redis pipelining

This patch implements redis pipelining. This consist in contacting
the redis server every N events to minimize the number of TCP
exchange. This is optional and setup via the configuration file.

util-logopenfile: introduce SCConfLogOpenRedis

Introduce a function to realize the parsing and config file and
opening of connection to the database. Only used by output-json
for now it will be usable by other logging modules.

util-logopenfile: add write function

Introduce a function LogFileWrite that will handle the writing with
respect of the type defined in the configuration. This is used in
this patch to remove the write complexity from output-json.

output-json: add sensor-name config variable

When using redis output, we are loosing the host key (added by
logstash or logstash-forwarder) and we can't find anymore what
Suricata did cause the alert.

This patch is adding this key during message generation using the
'sensor-name' variable or the hostname is 'sensor-name' is not
defined.

travis: add libjansson and hiredis

Install the libs and force usage of hiredis. We will have a more
complete build with this two libs.

output-json: improve hiredis define

Use #ifdef instead of #if and don't include the header which is
not needed anymore.

output-json: add redis support

This patch adds redis support to JSON output.

decode: add flow memcap counter

This adds a counter indicating how many times
the flow max memcap has been reached

Since there is no always a reference to FlowManagerThreadData,
the counter is put in DecodeThreadVars.

Currently when there is no counter increase in one call of FlowGetNew
because we don't have tv or dtv at the time of the call.

The following is a snippet of the generated EVE entry:
"flow":{"memcap":0,"spare":10000,"emerg_mode_entered":0,"emerg_mode_over":0,"tcp_reuse":0,"memuse":7085248}