Update stream inline to use the improved app proto detection.

Cosmetic changes to app parser struct.

Removed a flag parameter introuced earlier to indicate the data
that is first acceptable by the parser.  We now use a differently
named parameter to carry out the same activity.

Cosmetic changes to code. Introduce human readabel flag values for some constants. Here the parameter in question is "data_first_seen_dir" for session context.

indentation fix.

If we have proto mismatch from 2 directions, use one of the protos, instead of erroring out and not sending the data further to the parser.

The logic we use currently is if we have already sent some data to
a parser before we figure out we have a proto mismatch, we use the
proto from the first direction from which we have already sent the
data to the parser, else we stick to the the to client direction.

Introduce convenience macro to set Stream app proto completion flag.

Rename function pointer var to use the FuncPtr typing convention. Resupply "dns" as the alproto name for ALPROTO_DNS.

Add unittest to test for http ambiguous host header.

Previously we would not check the port part of the host from the uri
hostname, while we did use the port part from the host header, leading
to FPs.

Update rule engine relationship with regard to setting ip protocol between specifying protocol after action, ip_proto and app-layer-protocol.

Now we can specify alproto, ip_proto combinations this way

alert dns (ip_proto:[tcp/udp];)
alert ip (app-layer-protocol:dns;)
alert ip (app-layer-protocol:dns; ip_proto:tcp;)
alert tcp (app-layer-protocol:dns:)

so on.  Neater than using dnstcp/dnsudp.

This is related to feature #424.

alert ipv4 and alert ipv6 specified proto rules should be treated and PROTO_ANY just like how we treat alert ip rules.

Introduce a separate inspection engine for app events.

Update htp event handler to both warning and error events regardless of any conditions.

Add app layer protocol packet event detection support.

Add and use EventGetInfo for getting info on an event.

Also update existing parsers and app-layer-event Setup to use this.

Fix duplicate packet decoder events. Add event entries that were missing as well.

validate dns sigs that are reported as plain dns and not dnsudp or dnstcp.

Move app event module registration as a part of app layer proto table.

code cleanup.

App layer protocol detection updated and improved.  We now use
confirmation from both directions and set events if there's a mismatch
between the 2 directions.

FPs from corrupt flows have disappeared with this.

Replace ssn appproto_detection_completed flag with individual stream ones.

Provide convenience macros for setting flow flags on protocol matching by
PM and PP phase.

Replace the areas of the code that would otherwise rely on setting/reading
these flags with these macros.

Other minor tweaks to some api calls.

update pmp to return whole set of matches, rather than a single match.

code cleanup.

Introduce detection parser function pointer.

feature #727 - Add support for app-layer-protocol:<protocol> keyword

Allow detection ports for alproto to be specified via the conf file.

To understand the option have a look at the option

app-layer.protocols.tls.detection-ports

Introduce new options into the conf file to enable/disable -

1. Proto detection
2. Parsers

For app layer protocols.

libhtp has now been moved to the section under app-layer.protocols.http,
but we still provide backward compatibility with older conf files.

Now supports accepting port addresses as strings, like the ones accepted in our rules. As a consequence we now accept port range, and other such combination. Support PP for ports based on ipproto as well.

Properly clean up decoder event rules

Addresses:
~~Dr.M~~ Error #3: LEAK 120 direct bytes 0x08a26ac8-0x08a26b40 + 1871 indirect bytes
~~Dr.M~~ # 0 replace_malloc                               [/work/drmemory_package/common/alloc_replace.c:2292]
~~Dr.M~~ # 1 SigGroupHeadAlloc                            [/home/victor/dev/oisf/src/detect-engine-siggroup.c:144]
~~Dr.M~~ # 2 SigGroupHeadAppendSig                        [/home/victor/dev/oisf/src/detect-engine-siggroup.c:1014]
~~Dr.M~~ # 3 DetectEngineAddDecoderEventSig               [/home/victor/dev/oisf/src/detect.c:3026]
~~Dr.M~~ # 4 SigAddressPrepareStage2                      [/home/victor/dev/oisf/src/detect.c:3075]
~~Dr.M~~ # 5 SigGroupBuild                                [/home/victor/dev/oisf/src/detect.c:4311]
~~Dr.M~~ # 6 SigLoadSignatures                            [/home/victor/dev/oisf/src/detect.c:464]
~~Dr.M~~ # 7 LoadSignatures                               [/home/victor/dev/oisf/src/suricata.c:1706]
~~Dr.M~~ # 8 main                                         [/home/victor/dev/oisf/src/suricata.c:1994]

ipproto: improve cleanup

To address:
~~Dr.M~~ Error #2: LEAK 16 direct bytes 0x08399688-0x08399698 + 2 indirect bytes
~~Dr.M~~ # 0 replace_malloc                      [/work/drmemory_package/common/alloc_replace.c:2292]
~~Dr.M~~ # 1 SigMatchAlloc                       [/home/victor/dev/oisf/src/detect-parse.c:201]
~~Dr.M~~ # 2 DetectIPProtoSetup                  [/home/victor/dev/oisf/src/detect-ipproto.c:523]
~~Dr.M~~ # 3 SigParseOptions                     [/home/victor/dev/oisf/src/detect-parse.c:510]
~~Dr.M~~ # 4 SigParseOptions                     [/home/victor/dev/oisf/src/detect-parse.c:523]
~~Dr.M~~ # 5 SigParse                            [/home/victor/dev/oisf/src/detect-parse.c:881]
~~Dr.M~~ # 6 SigInitHelper                       [/home/victor/dev/oisf/src/detect-parse.c:1309]
~~Dr.M~~ # 7 SigInit                             [/home/victor/dev/oisf/src/detect-parse.c:1456]
~~Dr.M~~ # 8 DetectEngineAppendSig               [/home/victor/dev/oisf/src/detect-parse.c:1728]
~~Dr.M~~ # 9 DetectLoadSigFile                   [/home/victor/dev/oisf/src/detect.c:334]
~~Dr.M~~ #10 SigLoadSignatures                   [/home/victor/dev/oisf/src/detect.c:422]
~~Dr.M~~ #11 LoadSignatures                      [/home/victor/dev/oisf/src/suricata.c:1706]

Improve memory cleanup for decoder-events

To address:

~~Dr.M~~ Error #1: LEAK 1 direct bytes 0x0892c108-0x0892c109 + 0 indirect bytes
~~Dr.M~~ # 0 replace_malloc                        [/work/drmemory_package/common/alloc_replace.c:2292]
~~Dr.M~~ # 1 DetectEngineEventParse                [/home/victor/dev/oisf/src/detect-engine-event.c:173]
~~Dr.M~~ # 2 _DetectEngineEventSetup               [/home/victor/dev/oisf/src/detect-engine-event.c:204]
~~Dr.M~~ # 3 DetectDecodeEventSetup                [/home/victor/dev/oisf/src/detect-engine-event.c:248]
~~Dr.M~~ # 4 SigParseOptions                       [/home/victor/dev/oisf/src/detect-parse.c:510]
~~Dr.M~~ # 5 SigParseOptions                       [/home/victor/dev/oisf/src/detect-parse.c:523]
~~Dr.M~~ # 6 SigParse                              [/home/victor/dev/oisf/src/detect-parse.c:881]
~~Dr.M~~ # 7 SigInitHelper                         [/home/victor/dev/oisf/src/detect-parse.c:1309]
~~Dr.M~~ # 8 SigInit                               [/home/victor/dev/oisf/src/detect-parse.c:1456]
~~Dr.M~~ # 9 DetectEngineAppendSig                 [/home/victor/dev/oisf/src/detect-parse.c:1728]
~~Dr.M~~ #10 DetectLoadSigFile                     [/home/victor/dev/oisf/src/detect.c:334]
~~Dr.M~~ #11 SigLoadSignatures                     [/home/victor/dev/oisf/src/detect.c:422]

Add DrMemory suppress file

The suppress file currently suppresses:
- bug #978
- bug #979

Plus a seemingly harmeless warning that happens during libmagic init.

DrMemory is a valgrind like memory checker: http://www.drmemory.org/

Fix small leak in ports validation at startup

flowint: further setup fixes and cleanups

counters: consolidate counters after all ThreadInit functions of a thread have run. This prevents duplicate and overwriting memory allocations.

Fix tests that didn't expect radix to be freed

radix: actually free a tree in SCRadixReleaseRadixTree

flowint: fix compile warning

flowint: fix setup memory leaks

ssh: fix memleaks during ssh.softwareversion init and cleanup

urilen: fix memory leak when freeing the rule

fix for bug #973.

An alternative solution for bug #970.

For chopped patterns, which in it's whole is a duplicate of another
pattern we assign an unique content id.

Unittest for bug #973.

prscript: update code following buildbot upgrade

The authentication scheme did change on the buildbot due to a
software upgrade. This patch update prscript.py to fix the build
submission.

prscript: support bigger PR

The script now looks for originan HEAD in 100 commits instead of 30.
It should be enough becasue a sane PR should not have 100 commits.

prscript: display url where user can watch build

pcre: check for pcre_free_study, fall back to pcre_free if it unavailable

mpm: clean up stream thread ctx

profiling: properly clean up thread local memory.

profiling: don't alloc 0 bytes block if no rules are used

Properly cleanup NSS ctx

Change ParseSize api to not leak memory and only setup pcre once.

DNS: free TX events using proper function

Http: improve tx data cleanup

stream: clean up queue list in all cases

Http: fix memory leaks when cleaning up our per-tx storage

Dns: fix memory leak when events are set

Add decoder event rule for tls event "invalid_ssl_record", which will now be available "app-layer-event:tls.invalid_ssl_record".

bug #955 - Fix SSL parsing issue.

The parser wasn't carrying out a bounds check on record length while
in the middle of parsing a handshake.  As a result we would step onto the
next record header and consider it a part of the current handshake.

- Contains an unittest to test the issue.
- Disable the duplicate parser unittest registration.

The issue came to light through an irregular ssl record, which was
reported by Sebastian Roschke, via CVE-2013-5919.

Thanks to Sebastian Roschke for reporting this issue.

fix for bug #970(ac-gfbs).

Content strings that are a duplicate of a pattern from another sig, but
have a fast_pattern chop being applied, would end up being assigned the
same pattern id as the duplicate string.  But the string supplied to the
mpm would be the chopped string, which might result in the state_table
output_state content entry being over-riden by the the fuller string at
the final state of the smaller content length, because of which during a
match we might end up inspecting the search buffer against the fuller
content pattern, instead of the chopped pattern, which would end up being
an inspection beyond the buffer bounds.

Unittest to display bug #970(ac-gfbs).

fix for bug #970(ac-bs).

Content strings that are a duplicate of a pattern from another sig, but
have a fast_pattern chop being applied, would end up being assigned the
same pattern id as the duplicate string.  But the string supplied to the
mpm would be the chopped string, which might result in the state_table
output_state content entry being over-riden by the the fuller string at
the final state of the smaller content length, because of which during a
match we might end up inspecting the search buffer against the fuller
content pattern, instead of the chopped pattern, which would end up being
an inspection beyond the buffer bounds.

Unittest to display bug #970(ac-bs).

Fix valgrind warning on memrchr unittest.

fix for bug #970.

Content strings that are a duplicate of a pattern from another sig, but
have a fast_pattern chop being applied, would end up being assigned the
same pattern id as the duplicate string.  But the string supplied to the
mpm would be the chopped string, which might result in the state_table
output_state content entry being over-riden by the the fuller string at
the final state of the smaller content length, because of which during a
match we might end up inspecting the search buffer against the fuller
content pattern, instead of the chopped pattern, which would end up being
an inspection beyond the buffer bounds.

Unittest to display bug #970.

Add sanity checks for command line argument handling

Coverity 1075221.

Normally getopt_long should cover this case, but can't hurt to
add in some extra checks.

Add a fallback memrchr implementation for those platforms that dont support it. Bug #963.

Suppress compiler warning about comparing signed and unsigned vars

Move header thread_affinity declaration to extern to avoid duplicate declarations.

Fix several compile and runtime warnings found by clang 3.2 with the -fsanitize=address option.

Tag: document in the code that 'tag' is compatible with ip only

Don't set tag on pseudo packets

unified2: fix tags not being logged. Bug #968

Modify handling of negated content.

The old behaviour of returning a failure if we found a pattern while
matching on negated content is now changed to continuing searching
for other combinations where we don't find the pattern for the
negated content.

Thanks to Will Metcalf for reporting this.

Coverity 1038102: remove dead code from host hash

Coverity 1038101: remove dead code from host hash timeout code

Coverity 1038100: remove dead code from flow hash timeout code(2)

Coverity 1038099: remove dead code from flow hash timeout code

Coverity 1038098: remove dead code from flow hash

Coverity 1038095: remove dead code from defrag hash timeout code

Coverity 1038094: remove dead code from defrag hash

Coverity 1038089: error check fseek call

Coverity 400477: pcre_get_substring retval

Add missing return code check to pcre_get_substring call.

Coverity 1038129 fix

Don't leak memory on malloc error in b2gm mpm implementation.

Fix memory leak on invalid luajit signature. Coverity 1038520.

geoip: never try to store more locations than possible (Coverity 1038517)

Coverity 1038138 fix

Clean up parsing code to suppress Coverity:
Dereference before null check (REVERSE_INULL)

Proper checking was already done.

Coverity 1038134 fix

Cleaned up error check. "ipdup" can only be non-NULL there, so remove check
that confused coverity.

Coverity 1038135 fix

Small cleanup in the error handling. The extra null check confused
Coverity.

Coverity 1038133 fix

Clean up parsing code to suppress Coverity:
Dereference before null check (REVERSE_INULL)

Proper checking was already done.

Move SIMD implementations out of detect.c

Move SIMD the implementations of SigMatchSignaturesBuildMatchArray()
for SSE3 and Tile out of detect.c to reduce the size of the file.

Also moved SIMD unit tests to detect-simd.c

Coverity 1038111: fix local overrun of a string in app layer proto detect setup code.

Change one more atomic size in detect.h

Change uint16_t to int for better tile atomic performance. Checked with
pahole that it doesn't increase the size of the structure.

Support for Tile Gx atomic instructions

Tilera's GCC supports the GCC __sync_ intrinsics.

Increase the size of some atomic variables for better performance on
Tile.  The Tile-Gx architecture has native support for 32-bit and
64-bit atomic operations, but not 8-bit and 16-bit, which are emulated
using 32-bit atomics, so changing some 16-bit and 8-bit atomic into
ints improves performance.

Increasing the size of the atomic variables modified in this change
does not increase the total size of the structures in which they
reside because of existing padding requirements. The one case that
would increase the size of the structure (Flow_) was confitionalized
to only change the size on Tile.

unittests for gzip, deflate http compression, multiple stacked
compressions, cunning compression that's not what it says it is, etc.

These unittests are tweaked to pass.  When libhtp fixes these issues
we will have to reenable them.

Introduce a saner way to validate the completion of request and
response bodies.

Also don't change app state for http from inside inspection.

Fix creating a backup of htp config.  This is used by unittests that
changed htp config.

Align some structures to cacheline

Align strucutres with pthread mutex locks to start on cachelines to keep
the lock within one cacheline.

Move FlowIncrUsecnt to header file to allow for inlining.

Move FlowIncrUsecnt() and FlowDecrUsecnt() from flow.c to flow.h to
allow for inlining.