output-json: constify API

alert-debuglog: trigger rotation on non-decoder events as well

The write handling was missed for non-decoder events that
would trigger rotation after a HUP.

gccprotect: fix SECLDFLAGS not getting used

app-layer-smtp: fix memory leak

This patch fixes the following leak:

Direct leak of 9982880 byte(s) in 2902 object(s) allocated from:
    #0 0x4c253b in malloc ??:?
    #1 0x10c39ac in MimeDecInitParser /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/util-decode-mime.c:2379
    #2 0x6a0f91 in SMTPProcessRequest /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/app-layer-smtp.c:1085
    #3 0x697658 in SMTPParse /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/app-layer-smtp.c:1185
    #4 0x68fa7a in SMTPParseClientRecord /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/app-layer-smtp.c:1208
    #5 0x6561c5 in AppLayerParserParse /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/app-layer-parser.c:908
    #6 0x53dc2e in AppLayerHandleTCPData /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/app-layer.c:444
    #7 0xf8e0af in DoReassemble /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/stream-tcp-reassemble.c:2635
    #8 0xf8c3f8 in StreamTcpReassembleAppLayer /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/stream-tcp-reassemble.c:3028
    #9 0xf94267 in StreamTcpReassembleHandleSegmentUpdateACK /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/stream-tcp-reassemble.c:3404
    #10 0xf9643d in StreamTcpReassembleHandleSegment /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/stream-tcp-reassemble.c:3432
    #11 0xf578b4 in HandleEstablishedPacketToClient /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/stream-tcp.c:2245
    #12 0xeea3c7 in StreamTcpPacketStateEstablished /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/stream-tcp.c:2489
    #13 0xec1d38 in StreamTcpPacket /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/stream-tcp.c:4568
    #14 0xeb0e16 in StreamTcp /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/stream-tcp.c:5064
    #15 0xff52a4 in TmThreadsSlotVarRun /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/tm-threads.c:130
    #16 0xffdad1 in TmThreadsSlotVar /home/victor/qa/buildbot/donkey/z600fuzz/Private/src/tm-threads.c:474
    #17 0x7f7cd678d181 in start_thread /build/buildd/eglibc-2.19/nptl/pthread_create.c:312 (discriminator 2)

We come to this case when a SMTP session contains at least 2 mails
and then the ending of the first is not correctly detected. In that
case, switching to a new tx seems a good solution. This way we still
have partial logging.

app-layer-smtp: fix mem leak and add new alert

If SMTP session is weird then we may reach a state where a field
like MAIL FROM is seen as duplicated.

Valgrind output is:

30 bytes in 1 blocks are definitely lost in loss record 96 of 399
   at 0x4C29C0F: malloc (in /usr/lib/valgrind/vgpreload_memcheck-amd64-linux.so)
   by 0x4A5803: SMTPParseCommandWithParam (app-layer-smtp.c:996)
   by 0x4A4DCE: SMTPParseCommandMAILFROM (app-layer-smtp.c:1016)
   by 0x4A3F55: SMTPProcessRequest (app-layer-smtp.c:1127)
   by 0x4A1F8C: SMTPParse (app-layer-smtp.c:1191)
   by 0x493AD7: SMTPParseClientRecord (app-layer-smtp.c:1214)
   by 0x4878A6: AppLayerParserParse (app-layer-parser.c:908)
   by 0x42384E: AppLayerHandleTCPData (app-layer.c:444)
   by 0x8D7EAD: DoReassemble (stream-tcp-reassemble.c:2635)
   by 0x8D795F: StreamTcpReassembleAppLayer (stream-tcp-reassemble.c:3028)
   by 0x8D8BE0: StreamTcpReassembleHandleSegmentUpdateACK (stream-tcp-reassemble.c:3404)
   by 0x8D8F6E: StreamTcpReassembleHandleSegment (stream-tcp-reassemble.c:3432)

build: install app-layer-events.rules

file: fix flags type in API

http: remove unused param from HtpBodyAppendChunk

spm: constify search args

file: shrink data structure

htp file: constify name/data args

file: constify data/name args

http body: use HTPCalloc

htp: add HTPCalloc wrapper

magic: make data arg const

dcerpc: cleanup list handling

dcerpc: fix memory leak when called from smb

When DCERPC was wrapped in SMB it wasn't being initialized or
cleaned up properly. To fix, expose DCERPC initialization and
cleanup functions for use by the SMB application layer.

Redmine ticket:
https://redmine.openinfosecfoundation.org/issues/1708

rule-parsing: quick fix for rules with wrong double quotes

The stripping of leading and trailing "s has issues with rules like the
ones described in issue 1638 thus resulted in crashing the rule parser.
So for now this is a quick fix which approaches this issue directly by
stripping those "s correctly and handling error cases. It also adds the
skip for leading spaces at the msg keyword and worksaround a possible
null pointer dereference (that should never occur though).
A more general approach should be done in the future.

lua output: clean up memory at shutdown

Lua module and submodules we're completely freed at exit, and nor
was the lua_State.

This patch does all the cleanup.

pcre: use pcre_free_study to free the study data

detect ports: fix memory leak

Fix mem leak on rules that contained ports like "![21,25,119]".

vlan: fix bad checks in unittests

nfqueue: fix wrong return value check in error cases

The check for the return value was wrong, we have 0 for success and 1
(and 2) for the error cases like TM_ECODE_FAILED, so we should quit
unless TM_ECODE_OK (0) is returned for NFQInitThread. This fixes #1870

modbus: fix compiler uninitialized warnings with -Wmaybe-uninitialized

All variables are initialized thanks to ModbusExtractUint8 or ModbusExtractUint16
function that extracts 8bits or 16bits data from pointer the received input data.
In case of extracting error (because of length), ModbusExtractUint8 or
ModbusExtractUint16 returns an error that is managed by the caller function.

All variables are now initialized to zero when they are declared. It does not
change anything functionnally but it removes Modbus warnings.

make install-rules: update URL to https and 3.0

cuda: fix compilation

cuda: update build system for modern versions

Remove support for compute capabilities below 2.0.

Add capabilities until 5.3.

xff: fix address overwrite in forward case

output-json-alert: fix segfault when alerts separated out from eve-log.

output-json-http: Add JSON support for X-Flash-Version.
Supported as a custom field.

Add JSON support for X-Authenticated-User.  Supported as a custom field.

http: close file when http body limit is reached

In some conditions, if stream.reassembly.depth is greater than
request/response-body-limit size, the logging output is wrong
if filestore keyword is used with http.

For example, we get:
{... "app_proto":"http","fileinfo":{"filename":"\/file.pdf","state":"CLOSED","stored":false,"size":1049292,"tx_id":0}}

"state":"CLOSED","stored":false should be "state":"TRUNCATED","stored":true.

This happens because the file state and file flags,
which is the information that determine a correct output,
are not set properly since a file is logged before and then closed (HTPFileClose).

The logic of this patch is to close a file when we are above
the limits, such that the proper state and flags can be set
and the file will be logged correctly.

json-drop-log: clean up memory at shutdown

flowbits: remove unused debugging code

flowbits: fix memory leak

Flowbits removed from a flow by 'toggle' or 'unset' were not actually
freed, leading a small memory leak.

flowbits: optimize set and remove

build-info: workaround special _FORTIFY_SOURCE defines

On systems like Gentoo where _FORTIFY_SOURCE is already defined like
FORTIFY_SOURCE=((defined __OPTIMIZE && OPTIMIZE > 0) ? 2 : 0) the use
within the printf function (%d) won't result in the correct value and
we end up with 'defined' undeclared compile error. This workaround makes
sure that just the resolved value is checked and then printed.

pcre: work around harmless coverity warnings

bpf: fix memleak on unusual error (CID 1197757)

lua: if pkg-config fails, try -llua

configure: OS X fixes

Remove unnecessary -lpthread from tests.

Make linker warnings non-fatal with -Werror.

http: fix NULL deref on certain out of memory conditions

runmode: fix memleak on live modes setup (CID 1197760)

detect-engine: free memory in error conditions (CID 1351210)

multi-tenants: improve error handling (CID 1312702)

conf: explicitly ignore retval (CID 1353490)

unix-manager: fix memleak in error case (CID 1353491)

pcre: blacklist 8.35 for JIT use (issue #1693)

jansson: cleanup JSON_ESCAPE_SLASH use

unix-socket: optimize response sends

Instead of sending responses to clients in small chunks, send it in
one big chunk. For this the JSON message is first serialized into
a MemBuffer before sending.

json: make membuffer helper public

Make json_t to MemBuffer helper public so it can reused.

stats: fix dump-counters when no loggers are active

unix-socket: restore dump-counters functionality

Create a eve.stats like output for dump-counters.

stats: export StatsToJSON

json-stats: split out json generation

Split out JSON generation logic so the code becomes reusable.

jansson: include in suricata-common.h

configure: warn if libpcre 8.35 is used

yaml: disable rules by default

Change to "disable by default" rulefiles

output-json-dns: add logging of NS answer record content.

detect-tls-version: fix small resource leak

json: use top-level sensor-name if provided.

Currently the default configuration file contains a "sensor-name"
at the root of the configuration file, however, eve-log will only
use it if its specified under eve-log.

Now we will look for it at the eve-log, if present we'll use it
but log a deprecation warning, if its not present we'll look
for sensor-name at the root of the configuration.

ssh: fix string handling in unittest

travis: set CFLAGS to error on cc warnings

eve: fix mishandling of big messages

When the string representation of a JSON message grew bigger than
64k, the JSON record would just be truncated. This lead to errors
in the parser(s) of the JSON stream.

This patch changes the buffer logic to grow the buffer on demand.

counters: fix thread stats delta logging

Just like with the global stats, store prev values. Fixes delta logging.

qa: add leak sanitzer suppression

wirefuzz: exit with error code on more issues

wirefuzz: logdir handling improvement

wirefuzz: remove obsolete stream mem check

wirefuzz: add -N option to count complete passes

wirefuzz: improve logfile cleanup

wirefuzz: enforce -n option per run

wirefuzz: add -S option for exclusive rule load

http: fix multipart body tracking slowdown

Optimize HTTP multipart body parsing. Big records that were not files
could slow down Suricata. The reason was that the body tracker was not
moved forward. This lead to growing body buffers, which were expensive
wrt memory and inspection.

This patch add logic to move the tracker forward in this case.

asan: fix reputation code include

tls-sni: fix uninitialized memory use

On bad traffic the parser could allocated memory that was not
intialized. This was later used in the JSON output logging as
a valid null terminated string.

pool: fix memory leak

Due to pointer size mishandling, the pool code could consider a
block of memory inside the 'preallocated' block. It would then not
free the block.

stream: improve StreamTcpSegmentForEach for IPS

StreamTcpSegmentForEach would only return ACK'd segments. This lead
to missing stream data in alerts when running in IPS mode.

This patch changes the behavior for IPS. All segments are iterated
now, also the non-ACK'd ones. For IDS mode the behavior is unchanged.

qa: add --simulate-ips option

This option forces the engine in 'IPS' mode. This is useful for testing
some IPS code paths based on pcaps.

eve: fix stream payload logging wrong direction

In the EVE stream payload logging the IPS path logged the wrong dir.
Both IDS and IPS can take the same path as the detection engine
inspects in the same direction in both cases, so the alert is also
generated in the same direction.

Bug #1684

Added checking of negated "totals" and "threads" config values for stats.

lua: expose TLS certificate chain to lua

Expose TLS certificate chain to lua through TlsGetCertChain().

file-store: add force-filestore configuration option to enable writing all
            extracted files to filesystem.

lua: set thread vars in DetectLuaMatch

Fix internal error when calling SCThreadInfo from Lua detection modules.

Signed-off-by: Nicolas Thill <ntl@p1sec.com>

filestore-call: forcing a call to FileStore instead of manually updating
the relative flag in order to have a single point where we actually
touch the File structure

fix nfq_get_timestamp

Handle case when nfq_get_timestamp returns 0 for success, but timestamp is empty.

Fix typo of trailing ] in configure --help

It is the small things that count.  This is an example of the fix

Before
--disable-threading-tls Disable TLS (thread local storage)]

After
--disable-threading-tls Disable TLS (thread local storage)

Fix the comment and explanation for random-chunk-size

json: fix missing includes in disable unix socket case

drmemory: suppress magic leak

file-magic: improve libmagic handling on *nix systems

In configuration test mode, check signatures if 'delayed-detect' is enabled

When 'detection-engine.delayed-detect' option was set to 'yes',
suricata didn't check signatures validity in configuration test mode.

remove unnecessary braces

configure: add --disable-python option

asn1: fix memory leak

As reported in issue #1395, fix 2 memory leaks when destroying
asn.1 decode contexts.

Fix two more potential issues like bug 1550

Segfault fix

coccinelle: fix typo for strchrnul

conf: null guard in ConfNodeLookupChild

Add NULL guarding to the lookup so callers can process nodes
in a loop with less error checking.

Addresses issue #1660.

unix manager: log client's version with debug level

As (dis)connects are already logged as a debug events, this one
should do the same.