engine-analysis: print fast_pattern summary

When using engine analysis for print fast_pattern stats, print a
short summary at the end containing per buffer:
- smallest fp
- biggest fp
- number of patterns
- avg fp len

lua: fix error handling

http: add event for leading spaces on request line

Libhtp will issue a warning in this case, so we can match on this.
This patch adds event, rule and unittest.

threads: fix missing unlock in error handling

If TmThreadsUnregisterThread was called with out of range 'id', a lock
would not be cleared after returning from the function.

** CID 1264421:  Missing unlock  (LOCK)
/src/tm-threads.c: 2186 in TmThreadsUnregisterThread()

Update changelog for 2.1beta4 release

af-packet: use max packet size as snaplen

If default_packet_size is set to 0, then we use the maximum packet
size as snaplen.

util-device: fix LiveBuildDeviceListCustom

The code was assuming that the dictionnary containing the parameter
of a interface was ordered. But for YAML, the order is not assumed
so in case the configuration is generated we may not be able to
parse correctly the configuration file.

By iterating on child on main node and then iterating on subchild
and doing a match on the name, we are able to find the interface
list. In term of code, this algorithm was obtained by simply
removing the test on the name of the first child.

output-json-http: output status as an integer

HTTP status is an integer and it should be written as such in the
JSON events. This will allow to have improved matching in log
analysis tools.

coccinelle: update struct flags test

decode-der: decode DC keyword

'DC' is used by some certificates and it was not currently translated
to a string.

filedata: read inspected tracker settings from suricata.yaml

filedata: implement inspected tracker

UT: implement tests for inspection code

app-layer-smtp: make functions as public

mpm: implement prefiltering for smtp

Detect engine for smtp file_data file_data: inspecting smtp attachments

Create a buffer to store reassembled file chunks,
and inspect the content.

FileData: add stream_offset field

This is required to store the offset for reassembling chunks.

file_data: register keyword for smtp and tcp protocol

Permits to use file_data keyword with smtp or tcp proto.
Also adds some unit tests

signature: set flags and test the protocol

This checks if the signature's protocol is http
when setup the content keyword.

Also sets the proper flags based by protocol
since the flag SIG_FLAG_TOSERVER has to be set
if the proto is smtp, otherwise SIG_FLAG_TOCLIENT
is it's http.

find and replace HSBDMATCH by FILEDATA

This commit do a find and replace of the following:

- DETECT_SM_LIST_HSBDMATCH by DETECT_SM_LIST_FILEDATA
  sed -i 's/DETECT_SM_LIST_HSBDMATCH/DETECT_SM_LIST_FILEDATA/g' src/*

- HSBD by FILEDATA:
  sed -i 's/HSBDMATCH/FILEDATA/g' src/*

Formatting cleanup in detect-replace.c

Wrap lines longer than 80 characters
Add "static" for unit tests.
Use (void) for () for function arguments.
Add space after "while(" -> "while ("
Remove space after function names.
Put open bracket of function on a new line.

Add a comment for DetectReplaceList

Reworded a quote in PR 742 by Regit from Inliniac to explain why adding
the head of the list (really a FIFO) is the correct behavior.

Fix DetectReplaceAddToList

I see two problems:
1) If allocating a newlist fails, the function returns NULL, which then
   leaks any existing list elements.
2) The code to add the new value to the list works for the first two, but
   for not the third. For example, replist=A, A->next=B, B->next=NULL, then
   adding C results in replist=A, A->next=C, C->next=NULL, B is lost.

The fix pushes new values onto the head of the list, which might not be
what is needed, but there are no comments on what the function does, so I
made an assumption.

Fix bug #1435 (data loss when dumping payloads to JSON)

Fix Bug #1204

Fix typo that causes eve syslog settings code to be unreachable.

stream: next_seq handling improvements

Allow next_seq updating to recover from cases where last_ack has been
moved beyond it. This can happen if ACK's have been accepted for missing
data that is later retransmitted.

This undoes some of the previous last_ack update changes

Add timezone to timestamp in JSON logs

Added support for full parsing of the rcode header in DNS answer
packets. Where rcode isn't "no error" this is displayed in both DNS and
JSON logs.

Note that this changes the current "No such domain" to "NXDOMAIN" in DNS
logs. This could be fixed if desired to maintain compatibility with
anybody crazy enough to parse the DNS log.

When the rcode is not "no error" (for example NXDOMAIN or SERVFAIL) it
is unlikely that there will be answer RRs. Therefore the rname from the
query is used.

Because the rcode applies to a whole answer packet (not individual
queries) it is impossible to determine which query RR caused the error.
Because of this most DNS servers currently reject multiple queries per
packet. Therefore each query RR is output instead with the relevant
error code, likely to be FORMERR if queries > 1.

tls: force 'raw' reassembly after each record

Trigger raw reassembly after each record and after the handshake.

app-layer-modbus: fix deadlock in parsers

smtp: fix mime boundary parsing issue

If a boundary was longer than 254 bytes a stack overflow would result
in mime decoding.

Ticket #1449

Reported-by: Kostya Kortchinsky of the Google Security Team

pcap-file: fix malformed timestamp crash

A bad timestamp would lead to SCLocalTime returning NULL. This case
wasn't checked, leading to a NULL deref.

Reported-by: Kostya Kortchinsky of the Google Security Team

Fix possible wrap in uint32_t addition in DER parser

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

Bug 1340: fix missing flow cleanup

Fix missing flow output cleanup function leading to a crash in the
unix socket mode.

pcap: implement LINKTYPE_NULL

Implement LINKTYPE_NULL for pcap live and pcap file.

From: http://www.tcpdump.org/linktypes.html

"BSD loopback encapsulation; the link layer header is a 4-byte field,
 in host byte order, containing a PF_ value from socket.h for the
 network-layer protocol of the packet.

 Note that ``host byte order'' is the byte order of the machine on
 which the packets are captured, and the PF_ values are for the OS
 of the machine on which the packets are captured; if a live capture
 is being done, ``host byte order'' is the byte order of the machine
 capturing the packets, and the PF_ values are those of the OS of
 the machine capturing the packets, but if a ``savefile'' is being
 read, the byte order and PF_ values are not necessarily those of
 the machine reading the capture file."

Feature ticket #1445

fix reputation parser so that it accepts ipv6 addresses in configuration file.

afl - SCHINfoLoadFromConfig - check for NULL before parsing.

Found by AFL on suricata.yaml.

afl - Don't fail if app-layer proto enabled value is NULL.

Found by using AFL on suricata.yaml.

email-json: free temporary 'cc' string

email-json: free temporary 'to' string

app-layer-smtp: fix SMTPTransactionFree function

A typo was causing some freeing tasks not to be executed.

profiling: fix sorting on very long runs

Fix poor int handling breaking sorts of profiling on long runs
where the numbers could get really big.

xbits: fix coverity warnings

Switch statement would contain NOALERT even though this was
unreachable.

coverity fix: don't do pointer check on static array

Fix potential deadlock in output

Coverity:
** CID 1296115:  Program hangs  (ORDER_REVERSAL)
/src/tm-threads.c: 1670 in TmThreadClearThreadsFamily()

The problem is with the by default unused '%m' output parameter.
To get the thread vars it takes the tv_root_lock. This may already
be locked by the calling thread. Also, it could lead to a case of
wrong lock order between the tv_root_lock and the thread_store_lock.

Very unlikely to happen though.

As the %m param isn't really used (by default) this patch just
disables it.

packet pool: fix memleaks

Don't kill flow manager and recyclers before the rest of the threads. The
packet threads may still have packets from their pools. As the flow threads
would destroy their pools the packets would be lost.

This patch doesn't kill the threads, it just pulls them out of their run
loop and into a wait loop. The packet pools won't be cleared until all
threads are killed.

Wait for flow management threads to close before moving on to the
next steps in the shutdown process.

Don't destroy flow force reassembly packet pool too early. Worker
threads may still want to return packets to it.

threshold: cleanups

Use pcre_copy_substring in the most common part of threshold rule
parsing. Minor other cleanups.

reference: use pcre_copy_substring

classification: cleanups

Reduce hash table size as regular classification files are usually
below 100 in size. It's not performance critical anyway.

Convert pcre_get_substring calls to pcre_copy_substring.

suricatasc: allow for longer response times after connect

packet pool: init pool for autofp workers as well

Introduce a new 'PacketPoolInitEmpty' as these pools will not often
need packets.

Also, don't double 'destroy' in the main thread.

autofp: reduce flow storage space requirement

Use int16_t instead of a regular int to safe 2 bytes per flow.

threading: add missing locks to threading storage

Lock threading root lock when walking or updating the threading
storage for 'ThreadVars' objects.

Added new WebDAV http methods.

Added more WebDAV functions. A complete list of what http
methods libhtp can handle can be found at:
https://github.com/OISF/libhtp/blob/0.5.x/htp/htp_core.h#L260.
So now the methods array reflects these available functions.

The comments have also been changed to reflect the desired style.

Reworked pattern registration structure and feedback issues.

1) Reworked pattern registration for http methods and versions.

Instead of being a manual and verbose action of adding one
and one http method with N-amount if prefix spacings and
the same for HTTP versions (eg. HTTP/1.1) i moved it all
to be loop based actions reading values from char arrays.

In the future all that is needed is to add new methods
to the arrays and they will be added as a pattern.

2) Modified pattern registration after feedback.

Changed variable used in snprintf for http method registration
Should have been size of dest buffer at not another var (catsize)
that i had created. Also removed this variable.

Fixed a typo in the comment for registering http versions.
TO_CIENT -> TO_CLIENT.

Added http methods for webdav (rfc4918).

Included the following methods to app-layer-htp.c:
- PROPFIND
- PROPPATCH
- MKCOL
- COPY
- MOVE
- LOCK
- UNLOCK

Added DELETE and PATCH http methods to app-layer-htp.c

Added two new http methods to the http decoding done in
app-layer-htp.c so that these messages will be decoded as well.

app-layer: update protocol detection tests

AppLayerTest09, AppLayerTest10 and AppLayerTest11 depended on a max
protocol detection pattern size of < 17. Update the tests to pass one
extra byte to the app layer. This makes the protocol detection code
flag the session as 'proto detection completed' again.

Fix Unit ID check

util-running-mode: setup config file

Without that we get warning message.

list keywords: fix regression on app layer name

It was not anymore displayed.

list keywords: restore 2.0 similar output

Unset was previously displayed if the application layer was not
set. Code before this patch was displaying '(null)' which is not
user friendly.

Reject ICMP traffic, not only TCP/UDP

spelling - dubbed -> duped (for duplicate)

DetectGidSet - safer stripping of quotes.

Discovered by AFL when using a rule like:
    alert tcp any any -> any any (content:"ABC"; gid:";)
resulting a negative array index.

DetectSidSetup - safer stripping of quotes.

Discovered by AFL when using a rule like:
    alert tcp any any -> any any (content:"ABC"; sid:";)
would result in a negative array index.

ParseSizeString - don't abort on unknown unit type.

host: handle timeout

Set expiration for regular hostbits keyword.

ippair: handle timeouts in the flow manager

Like host and defrag, handle timeouts of ippair in the first flow
manager thread.

ippair: implement basic timeout check

The only user is the xbits subsys, so it's timeout controls all.

hosts: consider hostbits/xbits status in timeout

Consider the host's xbits expiry status when checking the host for
timeout. If a single active non-expired bit is found, the host won't
be timeout just yet.

host: implement hostbits/xbits expire

ippair: implement xbits expiration

xbits: expire (first steps)

xbits: implement ip_src/ip_dst support

Just a wrapper for regular 'hostbits'.

hostbits: prepare for xbits integration

xbits: prepare for non-ippair support

vars: redo var name <-> idx handling

Can't use sm type anymore as multiple var carriers (host/flow/etc) will
all have xbits.

xbits: hostbits use xbits type

Make hostbits use xbits type.

xbit: move to util-var

We can reuse the type for hostbits and flowbits as well.

ippair: xbit implementation

detect xbits for ippair: initial implementation

hostbits: unittest cleanups

hostbits: allow for src/dst parameter

By default, the hostbit checks the 'src' host. By adding the dst option
the dst host is used instead.

hostbits: add more tests, include sigorder

hostbits: implement sigorder

Like with flowbits, make sure that 'set's are evaluated before
'isset's, etc.

detect: hostbits keyword

Per host bit similar to 'flowbits'.

Initial code that uses just the 'src' ip for the operations.

ippair: track ippairs, enable tests

prscript: rework option logic

Handle cleanly the case where user start docker handling command
without having the dependency installed. The help message does
now say:

```
  -d, --docker          use docker based testing
  -C, --create          create docker container (disabled)
  -s, --start           start docker container (disabled)
  -S, --stop            stop docker container (disabled)

You need to install Python docker module to enable docker container handling
options.
```

And running a disabled options says:

```
$ qa/prscript.py -s
You need to install python docker to use docker handling features.
```

prscript: fix error message in non local test

Indicate to user that non local test needs a github user.

prscript: improve command line

You can now directly access to docker related command:

 qa/prscript.py -C # create container
 qa/prscript.py -s # start container
 qa/prscript.py -S # stop container

The build option does not change:

 qa/prscript.pu -l -d MY_BRANCH # build test of branch MY_BRANCH

prscript: add notification system

If Python pynotify is installed, prscript can now send notification
via the -n flag.

prscript: improve wordings

prscript: suppress useless message

No build run faster than 2 seconds.

prscript: iterate on builds when checking status

This patch is changing the logic when using docker mode. We are
iterating over each builds so we know when one build is over in
the 5 seconds following the event instead of getting the result
when the builds that are checked before are others.

On OISF's build system, the two builds comes out in order so there
is no problem.

prscript: read buildbot config from source

This patch change the logic of the Docker buildbot system. The
buildbot configuration is now the one available in qa/docker
directory.

This way, developers can test features in docker buildbot that
could require some specific flags to be set. They just need to
edit the buildbot.cfg for instance to enable a new feature.

In the same way, the tested pcap files are the one which are in
the qa/docker/pcaps/ directory. So to test some private ones it is
enough to put them in that directory.

To take into consideration a buildbot.cfg modification or a new
pcap, it is enough to stop and restart the container:

 sudo qa/prscript.py -l -d -S master
 sudo qa/prscript.py -l -d -s master

This patch also fixes the container update issue. A local modification
to the buildbot will be kept. It is also fixing the issue when working
on old code that could possibly not support the same build flag as
the one of buildbot. Here the configuration will remains in sync.

prscript: add a comment on the SELinux issue

prscript: add docker handling support

You can now create the docker image necessary to run a
suricata builbot in docker. To do that you need to have
docker and python-docker installed on the system.

Then you can go to the qa directory.

You need to run once the creattion procedure:
 sudo ./prscript.py  -C -d master  -l
This will create a container named 'suri-buildbot'.

You can start it with:
 sudo ./prscript.py  -s -d master  -l

And stop it with:
 sudo ./prscript.py  -S -d master  -l

To start a test, you can do:
 ./prscript.py -d my_branch -l

prscript: refactor for docker

With the current work in progress on docker we need to update the
script to handle this case.

This patch adds two options:
 - -d to run in docker mode. In that case the build is started in
 the local dockerized buildbot instance
 - -l to not test the tested branch synchronization with github.

The -l option allows user to run a complete test without publishing
the code on github and without Internet access.

Duplicate rule ID.

DetectAddressParseString(): fix IPv6 address handling