Update changelog for 1.4.6

Add decoder event rule for tls event "invalid_ssl_record", which will now be available "app-layer-event:tls.invalid_ssl_record".

bug #955 - Fix SSL parsing issue.

The parser wasn't carrying out a bounds check on record length while
in the middle of parsing a handshake.  As a result we would step onto the
next record header and consider it a part of the current handshake.

- Contains an unittest to test the issue.
- Disable the duplicate parser unittest registration.

The issue came to light through an irregular ssl record, which was
reported by Sebastian Roschke, via CVE-2013-5919.

Thanks to Sebastian Roschke for reporting this issue.

fix for bug #970(ac-gfbs).

Content strings that are a duplicate of a pattern from another sig, but
have a fast_pattern chop being applied, would end up being assigned the
same pattern id as the duplicate string.  But the string supplied to the
mpm would be the chopped string, which might result in the state_table
output_state content entry being over-riden by the the fuller string at
the final state of the smaller content length, because of which during a
match we might end up inspecting the search buffer against the fuller
content pattern, instead of the chopped pattern, which would end up being
an inspection beyond the buffer bounds.

Unittest to display bug #970(ac-gfbs).

fix for bug #970(ac-bs).

Content strings that are a duplicate of a pattern from another sig, but
have a fast_pattern chop being applied, would end up being assigned the
same pattern id as the duplicate string.  But the string supplied to the
mpm would be the chopped string, which might result in the state_table
output_state content entry being over-riden by the the fuller string at
the final state of the smaller content length, because of which during a
match we might end up inspecting the search buffer against the fuller
content pattern, instead of the chopped pattern, which would end up being
an inspection beyond the buffer bounds.

Unittest to display bug #970(ac-bs).

fix for bug #971.

Content strings that are a duplicate of a pattern from another sig, but
have a fast_pattern chop being applied, would end up being assigned the
same pattern id as the duplicate string.  But the string supplied to the
mpm would be the chopped string, which might result in the state_table
output_state content entry being over-riden by the the fuller string at
the final state of the smaller content length, because of which during a
match we might end up inspecting the search buffer against the fuller
content pattern, instead of the chopped pattern, which would end up being
an inspection beyond the buffer bounds.

Unittest to display bug #971.

Fix several compile and runtime warnings found by clang 3.2 with the -fsanitize=address option.

Don't set tag on pseudo packets

unified2: fix tags not being logged. Bug #969

Modify handling of negated content.

The old behaviour of returning a failure if we found a pattern while
matching on negated content is now changed to continuing searching
for other combinations where we don't find the pattern for the
negated content.

Thanks to Will Metcalf for reporting this.

Coverity 1038102: remove dead code from host hash

Coverity 1038101: remove dead code from host hash timeout code

Coverity 1038100: remove dead code from flow hash timeout code(2)

Coverity 1038099: remove dead code from flow hash timeout code

Coverity 1038098: remove dead code from flow hash

Coverity 1038095: remove dead code from defrag hash timeout code

Coverity 1038094: remove dead code from defrag hash

Coverity 1038089: error check fseek call

Coverity 400477: pcre_get_substring retval

Add missing return code check to pcre_get_substring call.

Coverity 1038129 fix

Don't leak memory on malloc error in b2gm mpm implementation.

Fix memory leak on invalid luajit signature. Coverity 1038520.

geoip: never try to store more locations than possible (Coverity 1038517)

Coverity 1038138 fix

Clean up parsing code to suppress Coverity:
Dereference before null check (REVERSE_INULL)

Proper checking was already done.

Coverity 1038134 fix

Cleaned up error check. "ipdup" can only be non-NULL there, so remove check
that confused coverity.

Coverity 1038135 fix

Small cleanup in the error handling. The extra null check confused
Coverity.

Coverity 1038133 fix

Clean up parsing code to suppress Coverity:
Dereference before null check (REVERSE_INULL)

Proper checking was already done.

Coverity 1038111: fix local overrun of a string in app layer proto detect setup code.

Coverity 1038518: fix wrong error check

Coverity 1038113: possibly out of bounds read

solaris: fix compilation failure

This patch fixes a compilation failure on Solaris. Compiler does
not support when a function returning void is used in return of
an other function returning void.

Patch obtained thanks to coccinelle and the following semantic
patch:

 @@
 identifier f;
 expression E;
 @@

 void f(...)
 {
  <...
  - return E;
  + E;
  + return;
  ...>
 }

fix for #932.

ipv6 tunnel decoder wrongly treats the tunneled ipv6 packets as an ipv4
packet.

fix for #920.

Cull the space before the address specified in address var variables.

update changelog for 1.4.5

ipv6: fix parsing of malformed ext hdr. Bug #908.

icmpv6: fix icmp_id and icmp_seq keywords

Bug #906

Bump bundled libhtp version to 0.2.14

Update changelog to 1.4.4

Stream: don't inject stream end pseudo pkt on FinWait2 state. Bug #877.

Tunnel status flag not set for request state in libhtp.

More of a temporary fix for bundled htp in master to stop the crashes
resulting from this. libhtp 0.5.x should clean things up nice.

add  --enable-unix-socket flag to configure.

In case of fragments, don't consider ports. Bug #846.

use Packet test macro

This patch updates the code to use Packet test macro instead of
direct test on action flag instead Packet structure. This fixes
the issues related to p->root->action being set and not detected
in tests.

Update changelog for 1.4.3

unix-socket: fix OSX build

MSG_NOSIGNAL is not defined on macOSX and SO_NOSIGPIPE is used
instead.

Fix for #819

This patch is fixing #819. This includes the impossibility to drop
fragmented and tunnelled packets.

Fix the bug specified in the previous commit.

Bug emanates from byte_test, byte_jump and byte_extract keyword being
unable to handle negative offsets when the inspection pointer is at the
end of the buffer.

Unit-tests exposing a bug in byte_test, byte_jump and byte_extract.

Bug emanates from all the keywords being unable to handle negative offsets
when the inspection pointer is at the end of the buffer.

bytetest: fix debug messages not printing negative offset correctly

Bump bundled htp version to 0.2.13

Update Changelog for 1.4.2

fix for #788.

Now depth is kept in mind when we inspect chunks in client/server body.
This takes care of FPs originating from inspecting subsequent chunks that
match with depth, but shouldn't.

Removed Signature->order_id and replaced it with Signature->num.

1. Fix assignment of signums, which affected how we used read sigs(priority wise) inside staging.

   Previously we would assign signums before sig ordering, and hence the
   order didn't actually reflect the order of the sig in the
   sig_list(assuming sig reordering changed the sig_list).  Staging would
   use the old sig_nums to decide the priority of sigs.
2. Fix sig ordering for flowvar, flowbits, flowint, pktvar sigs.   We have
   introduced a new priority to treat sigs with set + read as lower
   priority compared to set only sigs.
3. Previously we treated sigs with a "priority(keyword)" > another sig's
   priority, as a sig with greater priority than the later.  We have
   reversed it.  Now the sig priority ordering is 1,2,.etc.  Updated
   sigordering unittests to reflect the same.

flowvar: clean up properly on signature clean up.

flowvar: add unittests for #801.

flowvar: fix deadlock with http buffers

Bug #801

Flowvars are set from pcre, and lock the flow when being set. However
when HTTP buffers were inspected, flow was already locked: deadlock.

This patch introduces a post-match list in the detection engine thread
ctx, where store candidates are kept. Then a post-match function is used
to finalize the storing if the rule matches.

Solves the deadlock and brings the handling of flowvars more in line
with flowbits and flowints.

flowvars: update funcs to accept u16 id

All id's are u16, but flowvar functions would only accept u8.

Minor cleanups.

Minor SigValidate cleanup

Update the way we handle http_host keywords.

Previously we would have forced all users to use nocase with http_host
keywords(since the hostname buffer is lowercase).

We now error out on sigs that has nocase set with http_host set.  Also if
the http_host pattern or http_host pcre has an uppercase character set, we
invalidate such sigs.  Unittests also updated to reflect the above change.

Don't try to sniff 'default' interface

Whan running suricata via 'suricata --af-packet', the list of interfaces
was containing the 'default' interface and sniffing it was attempted.
This was not wanted.

bpf filter: use SCLogError instead of fprintf

af-packet: warn about BPF filter consequence in IPS mode

This patch add a message to warn user about the impact of using a
BPF filter in IPS mode.

Exit if bpf is used in IPS mode

Handle the case of pcre combined with a relative content, where pcre has the set to match from start of line and we discontinue matching on not finding match.

unittest to display #784.

jansson: change function test to be sure of version

fix for #571.

Backport 8bbcdb61cf8e014294be0caf6d6e614ef778c7b4 changes from libhtp 0.5.x
to Suricata's bundled libhtp.

We now handle ipv6 addresses in uri and host header.

unittests to display #761 issue.

libhtp doesn't parse host correctly if uri/host_header contains ipv6 address.

tcp stream: don't move to LAST_ACK on toserver resent of FIN

Coverity 989710 and 989711: small recourse leaks in filemd5 parsing code.

fix for #770.

Invalidate sigs with negative depth.

fix for #771.

Fix /etc/protocols parsing.  Remove trailing newspace stored under some cases.

Bump bundled htp to 0.2.12

Update changelog for 1.4.1

fix for #769.

Packet inserted by live swap flagged as pseudo packet.

Fix valgrind error/warning in ip reputation parsing code

fix for #758.  Add redmine wiki link and desc for icmp-id keyword.

nfq: add missing error string

Fix potential Null deref.

Fix potential iprep file parsing issue (2).

Fix potential iprep file parsing issue.

Fix test AddressTestParse36 on Big Endian systems

fix for #760.

If udpv4 csum isn't calculated, udpv4-csum detection shouldn't run on the
csum.

fix for #725.

Update trec_len, trec_pos to 32 bits from 16 bits.
Handle handshakes that are fragmented across records.

temporarily patched smb + dcerpc parsers for direction demaraction.

pcap-file: treat the case of unsupported pcap link

In unix socket mode, Suricata was stopping processing pcap files
when a pcap file with an unsupported datalink was treated. This
patch updates error handling to allow Suricata to treat other
pcap files.

af-packet: leave reading loop at each turn

The idea of this patch is to be sure to leave the ring reading loop
enough to be able to sync counters. This should fix #706.

Replace the deprecated AM_CONFIG_HEADER with AC_CONFIG_HEADERS.

Addresses bug #704 for building on a Mac.  More generically
it addresses the issue building using newers versions of automake.

suricatasc: fix make distcheck.

unix-manager: fix thread killing function

The name of the thread was not searched in the correct family.

Reported-by: iswalker <mail2cissp@gmail.com>

suricatasc: update python packaging

'make install' install now suricatasc script and Python module to
the system. The suricatasc client module can now be used in other
Python projects by using 'import suricatasc'.

A transformation was needed for distribution of a module and a script.
Module in src directory is now containing most of the code and the
script only handle argument parsing and the creation of a unix socket
client through 'suricatasc' module.

suricatasc: refactor as a class

The goal of this commit is to be able to use suricatasc has a library
and and program. This is done by putting all active code in class and
adding a Python magic to detect when file is used as a program.

unix socket: add 'dump-counters' command

This patch adds a 'dump-counters' command which answer an output of
all performance counter.

suricatasc: improve output of command result

suricatasc: treat old server case

If the server don't have the 'command-list' function, suricatasc
was failling. This patch fixes this issue by adding a static list
instead.

unix socket: add 'help' as alias to 'command-list'

suricatasc: real cmd line parsing and verbose mode

This patch adds commandline parsing and help to suricatasc. It also
adds a verbose mode (-v) where the send and received JSON object are
shown. This should ease development of unix socket client.