ssh: fix string handling in unittest

travis: set CFLAGS to error on cc warnings

eve: fix mishandling of big messages

When the string representation of a JSON message grew bigger than
64k, the JSON record would just be truncated. This lead to errors
in the parser(s) of the JSON stream.

This patch changes the buffer logic to grow the buffer on demand.

counters: fix thread stats delta logging

Just like with the global stats, store prev values. Fixes delta logging.

qa: add leak sanitzer suppression

wirefuzz: exit with error code on more issues

wirefuzz: logdir handling improvement

wirefuzz: remove obsolete stream mem check

wirefuzz: add -N option to count complete passes

wirefuzz: improve logfile cleanup

wirefuzz: enforce -n option per run

wirefuzz: add -S option for exclusive rule load

http: fix multipart body tracking slowdown

Optimize HTTP multipart body parsing. Big records that were not files
could slow down Suricata. The reason was that the body tracker was not
moved forward. This lead to growing body buffers, which were expensive
wrt memory and inspection.

This patch add logic to move the tracker forward in this case.

asan: fix reputation code include

tls-sni: fix uninitialized memory use

On bad traffic the parser could allocated memory that was not
intialized. This was later used in the JSON output logging as
a valid null terminated string.

pool: fix memory leak

Due to pointer size mishandling, the pool code could consider a
block of memory inside the 'preallocated' block. It would then not
free the block.

stream: improve StreamTcpSegmentForEach for IPS

StreamTcpSegmentForEach would only return ACK'd segments. This lead
to missing stream data in alerts when running in IPS mode.

This patch changes the behavior for IPS. All segments are iterated
now, also the non-ACK'd ones. For IDS mode the behavior is unchanged.

qa: add --simulate-ips option

This option forces the engine in 'IPS' mode. This is useful for testing
some IPS code paths based on pcaps.

eve: fix stream payload logging wrong direction

In the EVE stream payload logging the IPS path logged the wrong dir.
Both IDS and IPS can take the same path as the detection engine
inspects in the same direction in both cases, so the alert is also
generated in the same direction.

Bug #1684

Added checking of negated "totals" and "threads" config values for stats.

lua: expose TLS certificate chain to lua

Expose TLS certificate chain to lua through TlsGetCertChain().

file-store: add force-filestore configuration option to enable writing all
            extracted files to filesystem.

lua: set thread vars in DetectLuaMatch

Fix internal error when calling SCThreadInfo from Lua detection modules.

Signed-off-by: Nicolas Thill <ntl@p1sec.com>

filestore-call: forcing a call to FileStore instead of manually updating
the relative flag in order to have a single point where we actually
touch the File structure

fix nfq_get_timestamp

Handle case when nfq_get_timestamp returns 0 for success, but timestamp is empty.

Fix typo of trailing ] in configure --help

It is the small things that count.  This is an example of the fix

Before
--disable-threading-tls Disable TLS (thread local storage)]

After
--disable-threading-tls Disable TLS (thread local storage)

Fix the comment and explanation for random-chunk-size

json: fix missing includes in disable unix socket case

drmemory: suppress magic leak

file-magic: improve libmagic handling on *nix systems

In configuration test mode, check signatures if 'delayed-detect' is enabled

When 'detection-engine.delayed-detect' option was set to 'yes',
suricata didn't check signatures validity in configuration test mode.

remove unnecessary braces

configure: add --disable-python option

asn1: fix memory leak

As reported in issue #1395, fix 2 memory leaks when destroying
asn.1 decode contexts.

Fix two more potential issues like bug 1550

Segfault fix

coccinelle: fix typo for strchrnul

conf: null guard in ConfNodeLookupChild

Add NULL guarding to the lookup so callers can process nodes
in a loop with less error checking.

Addresses issue #1660.

unix manager: log client's version with debug level

As (dis)connects are already logged as a debug events, this one
should do the same.

unix-manager: fix ressource leak when init fail

Update Changelog for 3.0

smtp: harden mime parsing

Update changelog for 3.0RC3

redis: fix compiler warning

prelude: clean up memory on setup failure

pcap: fix setup failure memleak on libpcap < 1.0

prelude: style fixup

prelude: fix thread safeness

Prelude analyzer is not thread safe so we need to have one
analyzer per thread.

suricata: can't use -l and unix socket runmode

It is not possible to use simultaneously -l and unix socket
runmode because setting the log directory make it final so
not modifable by other call.

It is a implementation limitation but it does not make sense
to set logging directory to have it overwritten by the first
directory specified 'by pcap-file'. So it seems correct to
only trigger an error if this both options are used at the same
time.

unix-manager: display errors like errors

Not being able to setup the output directory or file is an error so
it should be printed as such.

unix-manager: fix race condition

Under high load it is possible that the thread is not yet started
and that we register a command at the same time. As a consequence,
the commands list is not yet initialized and we have a segfault.

This patch moves the initialization in the ThreadInit function to
be sure the commands list is available when needed.

icmpv4: remove unused header fields

icmpv4: remove unused declarations

icmpv4: harden embedded packet handling

icmpv4: improve dest unreachable logic

When a ICMPv4 destination unreachable packet contains an embedded packet
this packet is parsed. When it's found to be invalid, the whole ICMP
packet is tagged as invalid.

In some cases the unreachable packet would still be used.

This patch fixes this by checking the packet is invalid flag as well
in the ICMPV4_DEST_UNREACH_IS_VALID macro.

DER decoder: don't use strlcpy on non-strings

http: more sane body inspection/tracking defaults

http: improve body pruning

In case the body wasn't inspected the body_inspected variable wouldn't
get updated leading to the body not getting pruned at all.

This patch adds support for this case.

ips/drop-log: fix crash on logging drops

When logging drops for fragmented UDP packets, triggered by detection
in the reassembled packet, a missing check could lead to access of the
packets UDP header pointer when it was NULL.

http file: fix txid type

file: sync file and tx id types

smtp: reset inspection buffers

http: fix body prune check

Update Changelog for 3.0RC2

dns: reject bad response data

smtp: improve handling of bad traffic

No longer fail tracking the SMTP stream when a unexpected reply is
encountered.

Do not store the unexpected reply.

stream-tcp: bail early on segments before base_seq

In cases where base_seq has moved beyond last_ack, bail early.

tls: suppress warnings on alloc failure

unified2: disable by default

stats log: suppress 0 counters by default

afpacket: suppress output

afpacket: move zero copy setup to config parsing

This way it's run and logged per device, instead of per thread.

afpacket: indent fixup

offloading: compress printing of iface offloading

afpacket: on missing cluster settings, set defaults

afpacket: add null decoder, put ethernet first

device: constify string args

modbus: disable by default

output-json: add app_proto key in root

By adding the key in the root of *flow and fileinfo  events it
will be possible to get all events for one application layer by
using a 'event_type:proto OR app_proto:proto' filter. This will
permit to the analyst to get a good view of events related to
one protocol.

This patch also fixes a regression in file logging where app_proto
was available before 94dbd303e4744a40f3761265be7c73a7a4754764 create
the regression.

Feature 1605: more descriptive error messages when checking MTU, etc

profiling: fix lock profile compilation

json: small improvement to log message wording

output-json: fix regression on log prefix handling

The log prefix option was not anymore honored due to a regression
caused by some recent code.

app-layer-smtp: support for multiline response
Multiline response support is provided but not enforced. This patch
allow parsing multiline response when a reply is processed

Update changelog for 3.0RC1

Update dev version to reflect we're doing 3.0 now

rule vars: fix compiler warning

tls: fix compiler warnings

http: add test for plain http over connect

http: don't run unittests twice

http: test cleanups

Fix out-of-bounds memory access in DNS TXT record parser.

The datalen variable is declared unsigned.  If txtlen and datalen are equal,
datalen will first be reduced to 0, and then the datalen-- line will cause its
value to wrap to 65535.  This will cause the loop to continue much longer than
intended, and eventually may crash on an out-of-bounds *tdata dereference.

Signed-off-by: Aaron Campbell <aaron@monkey.org>

multi-detect: fix and simplify config

instead

mappings:
  - vlan:
    vlan-id: 1
    tenant-id: 2

we'll now use:

mappings:
  - vlan-id: 1
    tenant-id: 2

For YAML it pretty much means the same thing.

Ticket: 1517

multi-detect: improve error handling

multi-detect: handle missing mappings

Notify/warn user about missing mappings depending on other settings
like unix socket and init errors fatal.

multi-detect: consider vlan tracking

Refuse to use vlan selector if vlan tracking is disabled.

multi-detect: validate vlan_id

multi-detect: use default tenant

The default detect engine can be used as 'default tenant'.

multi-detect: clean up output

base64: code style fixups