suricata: add -v[v] option to increase verbosity

This patch adds a -v option to suricata. It increases the log level
defined in the YAML.

suricata: info message after log init

This patch moves version display after log init so we can have an
homogeneous display.

suricata: reorder start

Initalizing output just after configuration file parsing allow to
log almost all messages accordingly to configuration.

log: change default log level to notice

This patch updates the log level of meaningful start messages to
notice. It also sets the default log level to notice.

Revert change in queue handler wait logic. Bug #988.

Improve 'host-mode' info message

Coverity 1100842: add missing return statement

Coverity 1100843: remove unnecessary check

http: add new events for invalid host header and host part of uri

http: fix some decoder events

Some events we retrieved from error messages are flag now, so check
those. Not all can be converted though. These are no longer set:

HTTP_DECODER_EVENT_INVALID_TRANSFER_ENCODING_VALUE_IN_RESPONSE
HTTP_DECODER_EVENT_INVALID_AUTHORITY_PORT

Part of Bug #982.

http: update http rules

http: fix field too long events

http: don't call HTPHandleWarning before HTPHandleError as the latter handles warnings and errors.

http: add test for HTTP_DECODER_EVENT_UNKNOWN_ERROR event as a result of a too long request

reject: try to fail more gracefully

In the case of reject both, a failure in sending one way do not lead to
abort the reset procedure.

reject: clean respond-reject code.

reject: delete debug line

Add reject for IPv6

With this patch reject is now available in IPv6.

configure: accept libnet 1.1 and 1.2.

reject: update computation of seq and ack

We have follow TCP RFC (http://tools.ietf.org/html/rfc793#section-3.4).
There is two cases depending on wether the original packet contains a
ACK.
If packet has no ACK, the RST seq number is 0 and the ACK is built the
standard way.
If packet has a ACK, the seq of the RST packet is equal to the ACK of
incoming packet and the ACK is build using packet sequence number and
size of the data.

Regarding standard Ack number, it is computed using seq number of captured
packet added to packet length. Finally 1 is added so we respect the
RFC:
    If the ACK control bit is set this field contains the value of the
    next sequence number the sender of the segment is expecting to
    receive.  Once a connection is established this is always sent.

With this patch we have some correct results. With the following rule:
    reject ssh any any -> 192.168.56.3 any (msg:"no SSH  way"; sid:3; rev:1;)
ssh connection to 192.168.56.3 is correctly resetted on client side.

But this is not perfect. If we have the following rule:
    reject tcp any any -> 192.168.56.3 22 (msg:"no way"; sid:2; rev:1;)
then the connection is not resetted on a standard ethernet network. But
if we introduce 20ms delay on packets, then it is correctly resetted.
This is explained when looking at the network trace. The reset is sent
as answer to the SYN packet and it is emitted after the SYN ACK from
server because the exchange is really fast. So this is discarded by the
client OS which has already seen a ACK for the same sequence number.

This should fix #895.

reject: fix typo

reject: use host-mode to set interface

This patch update reject code to send the packet on the interface
it comes from when 'host-mode' is set to 'sniffer-only'. When
'host-mode' is set to 'router', the reject packet is sent via
the routing interface.

This should fix #957.

reject: reindent and code cleaning

Reindent file and use some switch instead of if else if.

Introduce host-mode.

This variable can be used to indicate to suricata that the host
running is running as a router or is in sniffing only mode.
This will used at least to determine which interfaces are used to
send reject message.

locks: clean up locks declarations

Split threads.h into several files, where each of these files defines
all lock types and macro's.

threads.h defines the normal case
threads-debug.h defines the debug variants
threads-profile.h defines the lock profiling variants

Finally, threads-arch-tile.h moves the Tilera specifics out

coccinelle: implement parallel check

This patch is an implementation of parallel check of files. It uses
GNU parallel to run multiple spatch at once.
The concurrency level is set via the CONCURRENCY_LEVEL environment
variable.

Stateful detection inspection continuation API call should update per
signature's Sigmatch entry as well.

Thresholding: move parsing code into separate func

Split Thresholds and Suppression

Thresholds and suppression can be handled independently. Suppression
only suppresses output, and is not related to Threshold state tracking.

This simplifies mixing suppression and thresholding rules.

Part of the Bug #425 effort.

Use Spin locks on Tile

On Tile, replace pthread_mutex_locks with queued spin locks (ticket
locks) for dataplane processing code. This is safe when running on
dataplane cores with one thread per core. The condition variables are
no-ops when the thread is spinning anyway.

For control plane threads, unix-manager, stats-logs, thread startup,
use pthread_mutex_locks. For these locks replaced SCMutex with SCCtrlMutex
and SCCond with SCCtrlCond.

Fix compiler warning

app-layer-parser.c: In function ‘AppLayerPPTestData’:
app-layer-parser.c:2525:9: error: variable ‘dir’ set but not used [-Werror=unused-but-set-variable]
     int dir = 0;
         ^

Improve Signature sorting speed

Changed the signature sorting code to use a a single merge sort instead
of the multiple pass sorting that was being used. This reduces startup
time on Tile by a factor of 3.

Also replace the user array of pointers to ints with a simpler array of
ints.

DNS: copy only the length of the hardcoded string, not the length of the destination buffer.

Fix return value from DetectProtoParse() which is used by probing
parser.

Fix coverity scan defect #1099714.

Sending back uninitialized variable in DetectParseProto().

Fix a leak in probing parsers.  We were freeing just the head of the list,
instead of all the members.

Fix a leak in app layer parser proto code.  Free the proto signatures
allocated internally for PM parser.

Fix mem leak in b2g.

Remove unused vars alp_content_module_handle and proto_map from
struct AlpProtoDetectCtx.

Remove the unused flow flags - FLOW_TS_PM_PP_ALPROTO_DETECT_DONE and
FLOW_TC_PM_PP_ALPROTO_DETECT_DONE.

Reset some flow flags when port numbers are re-used and we re-use the
flow as a part of a new session.

Remove the smtp parser restriction that it accepts data only in to client
direction first.

Fix compilation failure when we don't enable unittests.  Got to #ifdef
ALPROTO_TEST.

Update stream inline to use the improved app proto detection.

Cosmetic changes to app parser struct.

Removed a flag parameter introuced earlier to indicate the data
that is first acceptable by the parser.  We now use a differently
named parameter to carry out the same activity.

Cosmetic changes to code. Introduce human readabel flag values for some constants. Here the parameter in question is "data_first_seen_dir" for session context.

indentation fix.

If we have proto mismatch from 2 directions, use one of the protos, instead of erroring out and not sending the data further to the parser.

The logic we use currently is if we have already sent some data to
a parser before we figure out we have a proto mismatch, we use the
proto from the first direction from which we have already sent the
data to the parser, else we stick to the the to client direction.

Introduce convenience macro to set Stream app proto completion flag.

Rename function pointer var to use the FuncPtr typing convention. Resupply "dns" as the alproto name for ALPROTO_DNS.

Add unittest to test for http ambiguous host header.

Previously we would not check the port part of the host from the uri
hostname, while we did use the port part from the host header, leading
to FPs.

Update rule engine relationship with regard to setting ip protocol between specifying protocol after action, ip_proto and app-layer-protocol.

Now we can specify alproto, ip_proto combinations this way

alert dns (ip_proto:[tcp/udp];)
alert ip (app-layer-protocol:dns;)
alert ip (app-layer-protocol:dns; ip_proto:tcp;)
alert tcp (app-layer-protocol:dns:)

so on.  Neater than using dnstcp/dnsudp.

This is related to feature #424.

alert ipv4 and alert ipv6 specified proto rules should be treated and PROTO_ANY just like how we treat alert ip rules.

Introduce a separate inspection engine for app events.

Update htp event handler to both warning and error events regardless of any conditions.

Add app layer protocol packet event detection support.

Add and use EventGetInfo for getting info on an event.

Also update existing parsers and app-layer-event Setup to use this.

Fix duplicate packet decoder events. Add event entries that were missing as well.

validate dns sigs that are reported as plain dns and not dnsudp or dnstcp.

Move app event module registration as a part of app layer proto table.

code cleanup.

App layer protocol detection updated and improved.  We now use
confirmation from both directions and set events if there's a mismatch
between the 2 directions.

FPs from corrupt flows have disappeared with this.

Replace ssn appproto_detection_completed flag with individual stream ones.

Provide convenience macros for setting flow flags on protocol matching by
PM and PP phase.

Replace the areas of the code that would otherwise rely on setting/reading
these flags with these macros.

Other minor tweaks to some api calls.

update pmp to return whole set of matches, rather than a single match.

code cleanup.

Introduce detection parser function pointer.

feature #727 - Add support for app-layer-protocol:<protocol> keyword

Allow detection ports for alproto to be specified via the conf file.

To understand the option have a look at the option

app-layer.protocols.tls.detection-ports

Introduce new options into the conf file to enable/disable -

1. Proto detection
2. Parsers

For app layer protocols.

libhtp has now been moved to the section under app-layer.protocols.http,
but we still provide backward compatibility with older conf files.

Now supports accepting port addresses as strings, like the ones accepted in our rules. As a consequence we now accept port range, and other such combination. Support PP for ports based on ipproto as well.

Properly clean up decoder event rules

Addresses:
~~Dr.M~~ Error #3: LEAK 120 direct bytes 0x08a26ac8-0x08a26b40 + 1871 indirect bytes
~~Dr.M~~ # 0 replace_malloc                               [/work/drmemory_package/common/alloc_replace.c:2292]
~~Dr.M~~ # 1 SigGroupHeadAlloc                            [/home/victor/dev/oisf/src/detect-engine-siggroup.c:144]
~~Dr.M~~ # 2 SigGroupHeadAppendSig                        [/home/victor/dev/oisf/src/detect-engine-siggroup.c:1014]
~~Dr.M~~ # 3 DetectEngineAddDecoderEventSig               [/home/victor/dev/oisf/src/detect.c:3026]
~~Dr.M~~ # 4 SigAddressPrepareStage2                      [/home/victor/dev/oisf/src/detect.c:3075]
~~Dr.M~~ # 5 SigGroupBuild                                [/home/victor/dev/oisf/src/detect.c:4311]
~~Dr.M~~ # 6 SigLoadSignatures                            [/home/victor/dev/oisf/src/detect.c:464]
~~Dr.M~~ # 7 LoadSignatures                               [/home/victor/dev/oisf/src/suricata.c:1706]
~~Dr.M~~ # 8 main                                         [/home/victor/dev/oisf/src/suricata.c:1994]

ipproto: improve cleanup

To address:
~~Dr.M~~ Error #2: LEAK 16 direct bytes 0x08399688-0x08399698 + 2 indirect bytes
~~Dr.M~~ # 0 replace_malloc                      [/work/drmemory_package/common/alloc_replace.c:2292]
~~Dr.M~~ # 1 SigMatchAlloc                       [/home/victor/dev/oisf/src/detect-parse.c:201]
~~Dr.M~~ # 2 DetectIPProtoSetup                  [/home/victor/dev/oisf/src/detect-ipproto.c:523]
~~Dr.M~~ # 3 SigParseOptions                     [/home/victor/dev/oisf/src/detect-parse.c:510]
~~Dr.M~~ # 4 SigParseOptions                     [/home/victor/dev/oisf/src/detect-parse.c:523]
~~Dr.M~~ # 5 SigParse                            [/home/victor/dev/oisf/src/detect-parse.c:881]
~~Dr.M~~ # 6 SigInitHelper                       [/home/victor/dev/oisf/src/detect-parse.c:1309]
~~Dr.M~~ # 7 SigInit                             [/home/victor/dev/oisf/src/detect-parse.c:1456]
~~Dr.M~~ # 8 DetectEngineAppendSig               [/home/victor/dev/oisf/src/detect-parse.c:1728]
~~Dr.M~~ # 9 DetectLoadSigFile                   [/home/victor/dev/oisf/src/detect.c:334]
~~Dr.M~~ #10 SigLoadSignatures                   [/home/victor/dev/oisf/src/detect.c:422]
~~Dr.M~~ #11 LoadSignatures                      [/home/victor/dev/oisf/src/suricata.c:1706]

Improve memory cleanup for decoder-events

To address:

~~Dr.M~~ Error #1: LEAK 1 direct bytes 0x0892c108-0x0892c109 + 0 indirect bytes
~~Dr.M~~ # 0 replace_malloc                        [/work/drmemory_package/common/alloc_replace.c:2292]
~~Dr.M~~ # 1 DetectEngineEventParse                [/home/victor/dev/oisf/src/detect-engine-event.c:173]
~~Dr.M~~ # 2 _DetectEngineEventSetup               [/home/victor/dev/oisf/src/detect-engine-event.c:204]
~~Dr.M~~ # 3 DetectDecodeEventSetup                [/home/victor/dev/oisf/src/detect-engine-event.c:248]
~~Dr.M~~ # 4 SigParseOptions                       [/home/victor/dev/oisf/src/detect-parse.c:510]
~~Dr.M~~ # 5 SigParseOptions                       [/home/victor/dev/oisf/src/detect-parse.c:523]
~~Dr.M~~ # 6 SigParse                              [/home/victor/dev/oisf/src/detect-parse.c:881]
~~Dr.M~~ # 7 SigInitHelper                         [/home/victor/dev/oisf/src/detect-parse.c:1309]
~~Dr.M~~ # 8 SigInit                               [/home/victor/dev/oisf/src/detect-parse.c:1456]
~~Dr.M~~ # 9 DetectEngineAppendSig                 [/home/victor/dev/oisf/src/detect-parse.c:1728]
~~Dr.M~~ #10 DetectLoadSigFile                     [/home/victor/dev/oisf/src/detect.c:334]
~~Dr.M~~ #11 SigLoadSignatures                     [/home/victor/dev/oisf/src/detect.c:422]

Add DrMemory suppress file

The suppress file currently suppresses:
- bug #978
- bug #979

Plus a seemingly harmeless warning that happens during libmagic init.

DrMemory is a valgrind like memory checker: http://www.drmemory.org/

Fix small leak in ports validation at startup

flowint: further setup fixes and cleanups

counters: consolidate counters after all ThreadInit functions of a thread have run. This prevents duplicate and overwriting memory allocations.

Fix tests that didn't expect radix to be freed

radix: actually free a tree in SCRadixReleaseRadixTree

flowint: fix compile warning

flowint: fix setup memory leaks

ssh: fix memleaks during ssh.softwareversion init and cleanup

urilen: fix memory leak when freeing the rule

fix for bug #973.

An alternative solution for bug #970.

For chopped patterns, which in it's whole is a duplicate of another
pattern we assign an unique content id.

Unittest for bug #973.

prscript: update code following buildbot upgrade

The authentication scheme did change on the buildbot due to a
software upgrade. This patch update prscript.py to fix the build
submission.

prscript: support bigger PR

The script now looks for originan HEAD in 100 commits instead of 30.
It should be enough becasue a sane PR should not have 100 commits.

prscript: display url where user can watch build

pcre: check for pcre_free_study, fall back to pcre_free if it unavailable

mpm: clean up stream thread ctx

profiling: properly clean up thread local memory.

profiling: don't alloc 0 bytes block if no rules are used

Properly cleanup NSS ctx

Change ParseSize api to not leak memory and only setup pcre once.

DNS: free TX events using proper function

Http: improve tx data cleanup

stream: clean up queue list in all cases

Http: fix memory leaks when cleaning up our per-tx storage

Dns: fix memory leak when events are set