flowbits: remove unused debugging code

flowbits: fix memory leak

Flowbits removed from a flow by 'toggle' or 'unset' were not actually
freed, leading a small memory leak.

flowbits: optimize set and remove

build-info: workaround special _FORTIFY_SOURCE defines

On systems like Gentoo where _FORTIFY_SOURCE is already defined like
FORTIFY_SOURCE=((defined __OPTIMIZE && OPTIMIZE > 0) ? 2 : 0) the use
within the printf function (%d) won't result in the correct value and
we end up with 'defined' undeclared compile error. This workaround makes
sure that just the resolved value is checked and then printed.

pcre: work around harmless coverity warnings

bpf: fix memleak on unusual error (CID 1197757)

lua: if pkg-config fails, try -llua

configure: OS X fixes

Remove unnecessary -lpthread from tests.

Make linker warnings non-fatal with -Werror.

http: fix NULL deref on certain out of memory conditions

runmode: fix memleak on live modes setup (CID 1197760)

detect-engine: free memory in error conditions (CID 1351210)

multi-tenants: improve error handling (CID 1312702)

conf: explicitly ignore retval (CID 1353490)

unix-manager: fix memleak in error case (CID 1353491)

pcre: blacklist 8.35 for JIT use (issue #1693)

jansson: cleanup JSON_ESCAPE_SLASH use

unix-socket: optimize response sends

Instead of sending responses to clients in small chunks, send it in
one big chunk. For this the JSON message is first serialized into
a MemBuffer before sending.

json: make membuffer helper public

Make json_t to MemBuffer helper public so it can reused.

stats: fix dump-counters when no loggers are active

unix-socket: restore dump-counters functionality

Create a eve.stats like output for dump-counters.

stats: export StatsToJSON

json-stats: split out json generation

Split out JSON generation logic so the code becomes reusable.

jansson: include in suricata-common.h

configure: warn if libpcre 8.35 is used

yaml: disable rules by default

Change to "disable by default" rulefiles

output-json-dns: add logging of NS answer record content.

detect-tls-version: fix small resource leak

json: use top-level sensor-name if provided.

Currently the default configuration file contains a "sensor-name"
at the root of the configuration file, however, eve-log will only
use it if its specified under eve-log.

Now we will look for it at the eve-log, if present we'll use it
but log a deprecation warning, if its not present we'll look
for sensor-name at the root of the configuration.

ssh: fix string handling in unittest

travis: set CFLAGS to error on cc warnings

eve: fix mishandling of big messages

When the string representation of a JSON message grew bigger than
64k, the JSON record would just be truncated. This lead to errors
in the parser(s) of the JSON stream.

This patch changes the buffer logic to grow the buffer on demand.

counters: fix thread stats delta logging

Just like with the global stats, store prev values. Fixes delta logging.

qa: add leak sanitzer suppression

wirefuzz: exit with error code on more issues

wirefuzz: logdir handling improvement

wirefuzz: remove obsolete stream mem check

wirefuzz: add -N option to count complete passes

wirefuzz: improve logfile cleanup

wirefuzz: enforce -n option per run

wirefuzz: add -S option for exclusive rule load

http: fix multipart body tracking slowdown

Optimize HTTP multipart body parsing. Big records that were not files
could slow down Suricata. The reason was that the body tracker was not
moved forward. This lead to growing body buffers, which were expensive
wrt memory and inspection.

This patch add logic to move the tracker forward in this case.

asan: fix reputation code include

tls-sni: fix uninitialized memory use

On bad traffic the parser could allocated memory that was not
intialized. This was later used in the JSON output logging as
a valid null terminated string.

pool: fix memory leak

Due to pointer size mishandling, the pool code could consider a
block of memory inside the 'preallocated' block. It would then not
free the block.

stream: improve StreamTcpSegmentForEach for IPS

StreamTcpSegmentForEach would only return ACK'd segments. This lead
to missing stream data in alerts when running in IPS mode.

This patch changes the behavior for IPS. All segments are iterated
now, also the non-ACK'd ones. For IDS mode the behavior is unchanged.

qa: add --simulate-ips option

This option forces the engine in 'IPS' mode. This is useful for testing
some IPS code paths based on pcaps.

eve: fix stream payload logging wrong direction

In the EVE stream payload logging the IPS path logged the wrong dir.
Both IDS and IPS can take the same path as the detection engine
inspects in the same direction in both cases, so the alert is also
generated in the same direction.

Bug #1684

Added checking of negated "totals" and "threads" config values for stats.

lua: expose TLS certificate chain to lua

Expose TLS certificate chain to lua through TlsGetCertChain().

file-store: add force-filestore configuration option to enable writing all
            extracted files to filesystem.

lua: set thread vars in DetectLuaMatch

Fix internal error when calling SCThreadInfo from Lua detection modules.

Signed-off-by: Nicolas Thill <ntl@p1sec.com>

filestore-call: forcing a call to FileStore instead of manually updating
the relative flag in order to have a single point where we actually
touch the File structure

fix nfq_get_timestamp

Handle case when nfq_get_timestamp returns 0 for success, but timestamp is empty.

Fix typo of trailing ] in configure --help

It is the small things that count.  This is an example of the fix

Before
--disable-threading-tls Disable TLS (thread local storage)]

After
--disable-threading-tls Disable TLS (thread local storage)

Fix the comment and explanation for random-chunk-size

json: fix missing includes in disable unix socket case

drmemory: suppress magic leak

file-magic: improve libmagic handling on *nix systems

In configuration test mode, check signatures if 'delayed-detect' is enabled

When 'detection-engine.delayed-detect' option was set to 'yes',
suricata didn't check signatures validity in configuration test mode.

remove unnecessary braces

configure: add --disable-python option

asn1: fix memory leak

As reported in issue #1395, fix 2 memory leaks when destroying
asn.1 decode contexts.

Fix two more potential issues like bug 1550

Segfault fix

coccinelle: fix typo for strchrnul

conf: null guard in ConfNodeLookupChild

Add NULL guarding to the lookup so callers can process nodes
in a loop with less error checking.

Addresses issue #1660.

unix manager: log client's version with debug level

As (dis)connects are already logged as a debug events, this one
should do the same.

unix-manager: fix ressource leak when init fail

Update Changelog for 3.0

smtp: harden mime parsing

Update changelog for 3.0RC3

redis: fix compiler warning

prelude: clean up memory on setup failure

pcap: fix setup failure memleak on libpcap < 1.0

prelude: style fixup

prelude: fix thread safeness

Prelude analyzer is not thread safe so we need to have one
analyzer per thread.

suricata: can't use -l and unix socket runmode

It is not possible to use simultaneously -l and unix socket
runmode because setting the log directory make it final so
not modifable by other call.

It is a implementation limitation but it does not make sense
to set logging directory to have it overwritten by the first
directory specified 'by pcap-file'. So it seems correct to
only trigger an error if this both options are used at the same
time.

unix-manager: display errors like errors

Not being able to setup the output directory or file is an error so
it should be printed as such.

unix-manager: fix race condition

Under high load it is possible that the thread is not yet started
and that we register a command at the same time. As a consequence,
the commands list is not yet initialized and we have a segfault.

This patch moves the initialization in the ThreadInit function to
be sure the commands list is available when needed.

icmpv4: remove unused header fields

icmpv4: remove unused declarations

icmpv4: harden embedded packet handling

icmpv4: improve dest unreachable logic

When a ICMPv4 destination unreachable packet contains an embedded packet
this packet is parsed. When it's found to be invalid, the whole ICMP
packet is tagged as invalid.

In some cases the unreachable packet would still be used.

This patch fixes this by checking the packet is invalid flag as well
in the ICMPV4_DEST_UNREACH_IS_VALID macro.

DER decoder: don't use strlcpy on non-strings

http: more sane body inspection/tracking defaults

http: improve body pruning

In case the body wasn't inspected the body_inspected variable wouldn't
get updated leading to the body not getting pruned at all.

This patch adds support for this case.

ips/drop-log: fix crash on logging drops

When logging drops for fragmented UDP packets, triggered by detection
in the reassembled packet, a missing check could lead to access of the
packets UDP header pointer when it was NULL.

http file: fix txid type

file: sync file and tx id types

smtp: reset inspection buffers

http: fix body prune check

Update Changelog for 3.0RC2

dns: reject bad response data

smtp: improve handling of bad traffic

No longer fail tracking the SMTP stream when a unexpected reply is
encountered.

Do not store the unexpected reply.

stream-tcp: bail early on segments before base_seq

In cases where base_seq has moved beyond last_ack, bail early.

tls: suppress warnings on alloc failure

unified2: disable by default

stats log: suppress 0 counters by default

afpacket: suppress output

afpacket: move zero copy setup to config parsing

This way it's run and logged per device, instead of per thread.