Remove obsolete DetectParseContentString function, it has been replaced by DetectContentDataParse

file: make fileext, filename and filemagic use the same rule parsing function as others. This has as a side effect that we enforce doubly qouted values now.

flowvar: cleanup keyword argument parsing. Should also address Coverity 400655.

Coverity 1005134: fix minor memory leak on flowvar rule setup errors.

Coverity 1005133: fix unlikely case where malformed pcre statement in rule would lead to null-deref.

stream: handle extra different SYN/ACK

Until now, when processing the TCP 3 way handshake (3whs), retransmissions
of SYN/ACKs are silently accepted, unless they are different somehow. If
the SEQ or ACK values are different they are considered wrong and events
are set. The stream events rules will match on this.

In some cases, this is wrong. If the client missed the SYN/ACK, the server
may send a different one with a different SEQ. This commit deals with this.

As it is impossible to predict which one the client will accept, each is
added to a list. Then on receiving the final ACK from the 3whs, the list
is checked and the state is updated according to the queued SYN/ACK.

flowvar: clean up properly on signature clean up.

flowvar: add unittests for #802.

flowvar: fix deadlock with http buffers

Bug #802

Flowvars are set from pcre, and lock the flow when being set. However
when HTTP buffers were inspected, flow was already locked: deadlock.

This patch introduces a post-match list in the detection engine thread
ctx, where store candidates are kept. Then a post-match function is used
to finalize the storing if the rule matches.

Solves the deadlock and brings the handling of flowvars more in line
with flowbits and flowints.

flowvars: update funcs to accept u16 id

All id's are u16, but flowvar functions would only accept u8.

Minor cleanups.

profiling: add formatted totals, percents to packet stats

Minor SigValidate cleanup

Update the way we handle http_host keywords.

Previously we would have forced all users to use nocase with http_host
keywords(since the hostname buffer is lowercase).

We now error out on sigs that has nocase set with http_host set.  Also if
the http_host pattern or http_host pcre has an uppercase character set, we
invalidate such sigs.  Unittests also updated to reflect the above change.

Minor reshuffling of Signature struct.

Use define instead of magic number for pmq's per detect thread

detection engine: consolidate thread setup

DetectEngineThreadCtxInit and DetectEngineThreadCtxInitForLiveRuleSwap did
pretty much the same thing, except for a counters registration. As can be
predicted with code duplication like this, things got out of sync. To make
sure this doesn't happen again, I created a helper function that does the
heavy lifting in this function.

Fix PmqSetup calls in Liveswap thread init. Func was out of sync with normal thread init.

Update comment in yaml to indicate size limit for the following vars -
stream.reassembly.toserver-chunk-size and stream.reassembly.toclient-chunk-size

coccinelle: add tcp flag check

The different TCP related structures have all a flags field and its
value must match the type of structure. This patch adds a check
alerting on invalid value usage.

stream: intro function for SYN/ACK state update

As the TCP SSN state can be updated from several points in the state
machine on accepting a SYN/ACK, move the update logic into a separate
function.

stream: remove unused 'pause' feature

stream: zero ts is a per stream flag

Ssn flag STREAMTCP_FLAG_ZERO_TIMESTAMP was used in stream only. Due to
it's value it did not conflict with a real stream flag. Renamed it to
STREAMTCP_STREAM_FLAG_ZERO_TIMESTAMP.

stream: don't use ssn timestamp flag in stream

The STREAMTCP_FLAG_TIMESTAMP flag is a ssn flag, however it was used in
the stream flag field. As it has the same value as
STREAMTCP_STREAM_FLAG_DEPTH_REACHED it's possible that stream reassembly
got confused by the timestamp.

Change logic of SCErrorToString causing any missing entries to result in a compiler warning.

Handle the case of pcre combined with a relative content, where pcre has the
set to match from start of line and we discontinue matching on not finding
match.

unittest to display #784.

Don't try to sniff 'default' interface

Whan running suricata via 'suricata --af-packet', the list of interfaces
was containing the 'default' interface and sniffing it was attempted.
This was not wanted.

bpf filter: use SCLogError instead of fprintf

af-packet: warn about BPF filter consequence in IPS mode

This patch add a message to warn user about the impact of using a
BPF filter in IPS mode.

Exit if bpf is used in IPS mode

configure: use correct syntax for help string

configure: add --enable-unix-socket flag

This new flag allows the user to force unix socket build or to
disallow it completely. Default which is test is maintained.

jansson: change function test to be sure of version

Update version number of bundled htp to 0.2.12, so it matches the non-bundled version.

After some discussion we decided that var declarations inside a for statement are not in line with our coding style. So removing a bunch. Decision was not unanimous ^^.

Live rule swap logs added to report SigLoadSignatures() failure. Also set
thread_closed flag on exit for live swap thread.

Minor fixes against the last set of patches for #564, 565, 581 + fp automation.

Rename struct DetectFigureFPAndId_t_ to DetectFPAndItsId_ and move it's
definition from inside the function where it's used to the global namespace,
as requested on #suricata.

Rename DetectEngineContentModifiedBufferSetup to DetectEngineContentModifierBufferSetup.

Also rename DetectFigureFPAndId() to DetectSetFastPatternAndItsId().

Updated DetectSetFastPatternAndItsId() to not exit on failure and return error.

fix for #564.

Get rid of the hash table, and use a single-one_time_alloc'ed array for
pattern id assignment.

We now print content flags in engine fp analyzer.

We now assign ids to fp patterns only.  Rest of them don't need one.

Update content id assignment.

All fp id assignment now happens in one go.
Also noticing a slight perf increase, probably emanating from improved cache
perf.
Removed irrelevant unittests as well.

Figure out sig fp during validation stage, instead of staging stage.

Enable a conf option to enable/disable legacy keywords.

Currently, uricontent is declared a legacy keyword, and is enabled by default.

Fast pattern setup now configurable in our code.

You can either enable/disable fp for a particular type + set priority.

Detect sm_list rearranged for performance reasons.

Further customize content modifier buffer registration.

Allow modifier setups functions to have CustomCallbacks to enable their
internal conditions.

http_* setup unified.

uricontent simplified to use the existing content + http_uri infrastructure.

code cleanup for all content based keywords.

turn dce_stub_data into a sticky buffer.

Allow the use of relative without the presence of a related previous keyword.

tcp stream: don't move to LAST_ACK on toserver resent of FIN

Coverity 989710 and 989711: small recourse leaks in filemd5 parsing code.

fix for #770.

Invalidate sigs with negative depth.

fix for #771.

Fix /etc/protocols parsing.  Remove trailing newspace stored under some cases.

If an IP-only pass rule matches, set the no inspect flag for that flow. Bug #718.

fix for #769.

Packet inserted by live swap flagged as pseudo packet.

Fix valgrind error/warning in ip reputation parsing code

fix for #758.  Add redmine wiki link and desc for icmp-id keyword.

Try to use pkg-config to resolve libnspr and related dependencies.

Try to use pkg-config to resolve libnss and related dependencies.

Open 2.0 dev branch

nfq: add missing error string

Fix potential Null deref.

Fix potential iprep file parsing issue (2).

Fix potential iprep file parsing issue.

Fix test AddressTestParse36 on Big Endian systems

fix for #760.

If udpv4 csum isn't calculated, udpv4-csum detection shouldn't run on the
csum.

fix for #725.

Update trec_len, trec_pos to 32 bits from 16 bits.
Handle handshakes that are fragmented across records.

temporarily patched smb + dcerpc parsers for direction demaraction.

pcap-file: treat the case of unsupported pcap link

In unix socket mode, Suricata was stopping processing pcap files
when a pcap file with an unsupported datalink was treated. This
patch updates error handling to allow Suricata to treat other
pcap files.

af-packet: leave reading loop at each turn

The idea of this patch is to be sure to leave the ring reading loop
enough to be able to sync counters. This should fix #706.

Replace the deprecated AM_CONFIG_HEADER with AC_CONFIG_HEADERS.

Addresses bug #704 for building on a Mac.  More generically
it addresses the issue building using newers versions of automake.

suricatasc: fix make distcheck.

unix-manager: fix thread killing function

The name of the thread was not searched in the correct family.

Reported-by: iswalker <mail2cissp@gmail.com>

suricatasc: update python packaging

'make install' install now suricatasc script and Python module to
the system. The suricatasc client module can now be used in other
Python projects by using 'import suricatasc'.

A transformation was needed for distribution of a module and a script.
Module in src directory is now containing most of the code and the
script only handle argument parsing and the creation of a unix socket
client through 'suricatasc' module.

suricatasc: refactor as a class

The goal of this commit is to be able to use suricatasc has a library
and and program. This is done by putting all active code in class and
adding a Python magic to detect when file is used as a program.

unix socket: add 'dump-counters' command

This patch adds a 'dump-counters' command which answer an output of
all performance counter.

suricatasc: improve output of command result

suricatasc: treat old server case

If the server don't have the 'command-list' function, suricatasc
was failling. This patch fixes this issue by adding a static list
instead.

unix socket: add 'help' as alias to 'command-list'

suricatasc: real cmd line parsing and verbose mode

This patch adds commandline parsing and help to suricatasc. It also
adds a verbose mode (-v) where the send and received JSON object are
shown. This should ease development of unix socket client.

unix socket: add 'conf-get' command

This patch adds a 'conf-get' command which get the configuration
value from suricata. Argument of the command is the name of the
variable to fetch.
The command syntax is the following:
{
 "command": "conf-get",
 "arguments": { "variable":value}
}

unix socket: add 'capture-mode' command

This patch displays what capture mode is used.

Add function to display current capture mode

This patch adds a function to display the capture mode.

unix socket: add 'runnning-mode' command

This command displays the active running mode ('autofp' for
example).

unix socket: add 'uptime' command

This command displays the nuber of second since the start of
Suricata.

unix socket: add 'version' command

suricatasc: display command list

suricatasc: add readline completion

suricatasc: factorize code and use dynamic commands

This patch factorize the recv code and uses the new 'command-list'
to get the list of existing commands from suricata. This allows
suricatasc to be able to call any new command if this command does
not require an argument.

unix runmode: add 'pcap-current' command

This command outputs the currently processed file name or 'None'
if no file is currently processed.

unix socket: implement command-list command

cuda: fix invalid use of sizeof

cocci test: add sizeof test

This patch adds a new semantic patch taken from
http://coccinellery.org/. This patch tests if a sizeof take size
of pointer and not of pointed value.

sigorder cleaned up.

Fix build with old pcap library.

Pcap snaplen related modification broke compilation of Suricata for
system having old pcap library. This patch fixes the issue and allow
old pcap library to honour the snaplen value.

Workaround function missing in libhtp include

As reported in bug #688, htp_config_set_path_decode_u_encoding
function is not included in libhtp header before 0.3.0. Result
is that suricata compilation fail with an external htp library.
The following patch detect the issue and adds the missing
declaration.

configure: update htp version dependancy

code cleanup + unittests added against http_host and http_raw_host keywords,
against various combinations of hostname in uri and host header.