Update ftp parser protocol detection to use lowercase patterns.

Introduce new API to allow case insensitive protocol detection patterns.

Remove the obsolete DetectFtpBounceMatch() function.

Spell fixes in threads-arch-tile.h

Support for feature #983.

Provide support for icmvp4 and icmpv6 as well.  You can now use

alert icmpv4 and
alert icmpv6 as well, apart from the existing

alert icmp, which created a rule that applied to both icmpv4 and icmpv6.

Build cuda kernel for capability 3.5 devices.

Dead code removal

storage: fix and small optimization

flow: set correct family in FLOW_COPY_IPV6_ADDR_TO_PACKET

Fix 2 unittests

Minor code cleanup/fixes to fast pattern unittests

cppcheck:
[detect-fast-pattern.c:1183] -> [detect-fast-pattern.c:1183]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1217] -> [detect-fast-pattern.c:1217]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1449] -> [detect-fast-pattern.c:1449]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1479] -> [detect-fast-pattern.c:1479]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1509] -> [detect-fast-pattern.c:1509]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1539] -> [detect-fast-pattern.c:1539]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1570] -> [detect-fast-pattern.c:1570]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1686] -> [detect-fast-pattern.c:1686]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1716] -> [detect-fast-pattern.c:1716]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1746] -> [detect-fast-pattern.c:1746]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1776] -> [detect-fast-pattern.c:1776]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1806] -> [detect-fast-pattern.c:1806]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1836] -> [detect-fast-pattern.c:1836]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1866] -> [detect-fast-pattern.c:1866]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1896] -> [detect-fast-pattern.c:1896]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:1926] -> [detect-fast-pattern.c:1926]: (style) Same expression on both sides of '&'.
[detect-fast-pattern.c:2022] -> [detect-fast-pattern.c:2022]: (style) Same expression on both sides of '&'.

Minor fix for detection engine setup error check

cppcheck said:
[detect-engine-mpm.c:2075] -> [detect-engine-mpm.c:2075]: (style) Same expression on both sides of '||'.

Minor pppoe cleanup

cppcheck said:
[decode-pppoe.c:58] -> [decode-pppoe.c:60]: (performance, inconclusive) Variable 'pppoedh' is reassigned a value before the old one has been used if variable is no semaphore variable.

Fix broken check in stream.max-synack-queued parsing (coverity 1038103)

Fix sanity check in AppInspectionEngine registration code

Feature #901 - VLAN defrag support.

Take VLAN IDs into account when re-assembling fragments.

Prevents fragments that would otherwise match, but on different
VLANs from being reassembled with each other.

Correct indentation and wording of comments.

Clean up function syntax

Remove space before ( in function names. Put { on new line.
Make tests static.

Add a /* fall through */ comment for all switch case fall throughs.

This should server as a message to coverity that the fall through is
intentional.

storage: fix freeing storage

Fix freeing storage. Also add workaround for unittests that don't
(fully) setup storage.

Bug #991.

threshold: register threshold host storage. Related to bug #991

Reset both sides of the de_state on rule reload. Bug #998.

Don't initialize threshold before rules on delayed detect. Bug #999.

iprep: fix reputation loading and reloading

When an IP is listed in multiple categories, each new "load" would clear the
previous loads for that IP.

Bug #976

tag: fix session seconds tracking

Fix bug #995. Tag time setting was initialized using "usec" field
instead of "sec" field. This led to immediate timing out of tag.

Added proper matching unittests for all tagging types.

Bug #995.

tag: add some debug statements

Clean up rule reload logging

fix for bug #987.

We don't support jabber protocol detection atm.  Disable the code check
inside suricata to check if jabber protocol detection is enabled in the
yaml file.

Also updated an error log message for app layer.

API renaming/beautification.

Fix for bug #989.

In case of recursive call to protocol detection from within protocol
detection, and the recursively invoked stream still hasn't been ack'ed
yet, protocol detection doesn't take place.  In such cases we will end up
still calling the app layer with the wrong direction data.  Introduce a
check to not call app layer with wrong direction data.

When sockets are re-used reset all relevant vars correctly.

This commit fixes a bug where we were not reseting app proto detection
vars.

While fixing #989, we discovered some other bugs which have also been
fixed, or rather some features which are now updated.  One of the feature
update being if we recieve wrong direction data first, we don't reset the
protocol values for the flow.  We let the flow retain the detected
values.

Unittests have been modified to accomodate the above change.

Reset app layer processed flag for segments that have been sent for proto
detection, but we failed to figure out the proto.

Updated a unittest to reflect the above change.

Inside PP parser, we were using the return value from DetectPortParse as
the ip_proto value,  which is wrong.  We have fixed this now.

Update ssl parser protocol detection pattern strings.

XFF: use per alert tx id

Use the tx id stored for each alert to find the correct XFF address
to add to the extra-data field.

In overwrite mode we still only grab the first available XFF addr,
as this address is set in the header preceeding the individual alerts.

Issue #904.

Display TX id in alert debuglog.

Store TX id with alerts

When generating an alert and storing it in the packet, store the tx_id
as well. This way the output modules can log the tx_id and access the
proper tx for logging.

Issue #904.

htp: for apache and apache_2_2 personalities, that are no longer supported by libhtp, fall back to apache_2 with a warning.

Bug 640: add more tests to validate that issue is fixed

suricata: add -v[v] option to increase verbosity

This patch adds a -v option to suricata. It increases the log level
defined in the YAML.

suricata: info message after log init

This patch moves version display after log init so we can have an
homogeneous display.

suricata: reorder start

Initalizing output just after configuration file parsing allow to
log almost all messages accordingly to configuration.

log: change default log level to notice

This patch updates the log level of meaningful start messages to
notice. It also sets the default log level to notice.

Revert change in queue handler wait logic. Bug #988.

Improve 'host-mode' info message

Coverity 1100842: add missing return statement

Coverity 1100843: remove unnecessary check

http: add new events for invalid host header and host part of uri

http: fix some decoder events

Some events we retrieved from error messages are flag now, so check
those. Not all can be converted though. These are no longer set:

HTTP_DECODER_EVENT_INVALID_TRANSFER_ENCODING_VALUE_IN_RESPONSE
HTTP_DECODER_EVENT_INVALID_AUTHORITY_PORT

Part of Bug #982.

http: update http rules

http: fix field too long events

http: don't call HTPHandleWarning before HTPHandleError as the latter handles warnings and errors.

http: add test for HTTP_DECODER_EVENT_UNKNOWN_ERROR event as a result of a too long request

reject: try to fail more gracefully

In the case of reject both, a failure in sending one way do not lead to
abort the reset procedure.

reject: clean respond-reject code.

reject: delete debug line

Add reject for IPv6

With this patch reject is now available in IPv6.

configure: accept libnet 1.1 and 1.2.

reject: update computation of seq and ack

We have follow TCP RFC (http://tools.ietf.org/html/rfc793#section-3.4).
There is two cases depending on wether the original packet contains a
ACK.
If packet has no ACK, the RST seq number is 0 and the ACK is built the
standard way.
If packet has a ACK, the seq of the RST packet is equal to the ACK of
incoming packet and the ACK is build using packet sequence number and
size of the data.

Regarding standard Ack number, it is computed using seq number of captured
packet added to packet length. Finally 1 is added so we respect the
RFC:
    If the ACK control bit is set this field contains the value of the
    next sequence number the sender of the segment is expecting to
    receive.  Once a connection is established this is always sent.

With this patch we have some correct results. With the following rule:
    reject ssh any any -> 192.168.56.3 any (msg:"no SSH  way"; sid:3; rev:1;)
ssh connection to 192.168.56.3 is correctly resetted on client side.

But this is not perfect. If we have the following rule:
    reject tcp any any -> 192.168.56.3 22 (msg:"no way"; sid:2; rev:1;)
then the connection is not resetted on a standard ethernet network. But
if we introduce 20ms delay on packets, then it is correctly resetted.
This is explained when looking at the network trace. The reset is sent
as answer to the SYN packet and it is emitted after the SYN ACK from
server because the exchange is really fast. So this is discarded by the
client OS which has already seen a ACK for the same sequence number.

This should fix #895.

reject: fix typo

reject: use host-mode to set interface

This patch update reject code to send the packet on the interface
it comes from when 'host-mode' is set to 'sniffer-only'. When
'host-mode' is set to 'router', the reject packet is sent via
the routing interface.

This should fix #957.

reject: reindent and code cleaning

Reindent file and use some switch instead of if else if.

Introduce host-mode.

This variable can be used to indicate to suricata that the host
running is running as a router or is in sniffing only mode.
This will used at least to determine which interfaces are used to
send reject message.

locks: clean up locks declarations

Split threads.h into several files, where each of these files defines
all lock types and macro's.

threads.h defines the normal case
threads-debug.h defines the debug variants
threads-profile.h defines the lock profiling variants

Finally, threads-arch-tile.h moves the Tilera specifics out

coccinelle: implement parallel check

This patch is an implementation of parallel check of files. It uses
GNU parallel to run multiple spatch at once.
The concurrency level is set via the CONCURRENCY_LEVEL environment
variable.

Stateful detection inspection continuation API call should update per
signature's Sigmatch entry as well.

Thresholding: move parsing code into separate func

Split Thresholds and Suppression

Thresholds and suppression can be handled independently. Suppression
only suppresses output, and is not related to Threshold state tracking.

This simplifies mixing suppression and thresholding rules.

Part of the Bug #425 effort.

Use Spin locks on Tile

On Tile, replace pthread_mutex_locks with queued spin locks (ticket
locks) for dataplane processing code. This is safe when running on
dataplane cores with one thread per core. The condition variables are
no-ops when the thread is spinning anyway.

For control plane threads, unix-manager, stats-logs, thread startup,
use pthread_mutex_locks. For these locks replaced SCMutex with SCCtrlMutex
and SCCond with SCCtrlCond.

Fix compiler warning

app-layer-parser.c: In function ‘AppLayerPPTestData’:
app-layer-parser.c:2525:9: error: variable ‘dir’ set but not used [-Werror=unused-but-set-variable]
     int dir = 0;
         ^

Improve Signature sorting speed

Changed the signature sorting code to use a a single merge sort instead
of the multiple pass sorting that was being used. This reduces startup
time on Tile by a factor of 3.

Also replace the user array of pointers to ints with a simpler array of
ints.

DNS: copy only the length of the hardcoded string, not the length of the destination buffer.

Fix return value from DetectProtoParse() which is used by probing
parser.

Fix coverity scan defect #1099714.

Sending back uninitialized variable in DetectParseProto().

Fix a leak in probing parsers.  We were freeing just the head of the list,
instead of all the members.

Fix a leak in app layer parser proto code.  Free the proto signatures
allocated internally for PM parser.

Fix mem leak in b2g.

Remove unused vars alp_content_module_handle and proto_map from
struct AlpProtoDetectCtx.

Remove the unused flow flags - FLOW_TS_PM_PP_ALPROTO_DETECT_DONE and
FLOW_TC_PM_PP_ALPROTO_DETECT_DONE.

Reset some flow flags when port numbers are re-used and we re-use the
flow as a part of a new session.

Remove the smtp parser restriction that it accepts data only in to client
direction first.

Fix compilation failure when we don't enable unittests.  Got to #ifdef
ALPROTO_TEST.

Update stream inline to use the improved app proto detection.

Cosmetic changes to app parser struct.

Removed a flag parameter introuced earlier to indicate the data
that is first acceptable by the parser.  We now use a differently
named parameter to carry out the same activity.

Cosmetic changes to code. Introduce human readabel flag values for some constants. Here the parameter in question is "data_first_seen_dir" for session context.

indentation fix.

If we have proto mismatch from 2 directions, use one of the protos, instead of erroring out and not sending the data further to the parser.

The logic we use currently is if we have already sent some data to
a parser before we figure out we have a proto mismatch, we use the
proto from the first direction from which we have already sent the
data to the parser, else we stick to the the to client direction.

Introduce convenience macro to set Stream app proto completion flag.

Rename function pointer var to use the FuncPtr typing convention. Resupply "dns" as the alproto name for ALPROTO_DNS.

Add unittest to test for http ambiguous host header.

Previously we would not check the port part of the host from the uri
hostname, while we did use the port part from the host header, leading
to FPs.

Update rule engine relationship with regard to setting ip protocol between specifying protocol after action, ip_proto and app-layer-protocol.

Now we can specify alproto, ip_proto combinations this way

alert dns (ip_proto:[tcp/udp];)
alert ip (app-layer-protocol:dns;)
alert ip (app-layer-protocol:dns; ip_proto:tcp;)
alert tcp (app-layer-protocol:dns:)

so on.  Neater than using dnstcp/dnsudp.

This is related to feature #424.

alert ipv4 and alert ipv6 specified proto rules should be treated and PROTO_ANY just like how we treat alert ip rules.

Introduce a separate inspection engine for app events.

Update htp event handler to both warning and error events regardless of any conditions.

Add app layer protocol packet event detection support.

Add and use EventGetInfo for getting info on an event.

Also update existing parsers and app-layer-event Setup to use this.

Fix duplicate packet decoder events. Add event entries that were missing as well.

validate dns sigs that are reported as plain dns and not dnsudp or dnstcp.

Move app event module registration as a part of app layer proto table.

code cleanup.

App layer protocol detection updated and improved.  We now use
confirmation from both directions and set events if there's a mismatch
between the 2 directions.

FPs from corrupt flows have disappeared with this.