Removed Signature->order_id and replaced it with Signature->num.

1. Fix assignment of signums, which affected how we used read sigs(priority wise) inside staging.

   Previously we would assign signums before sig ordering, and hence the
   order didn't actually reflect the order of the sig in the
   sig_list(assuming sig reordering changed the sig_list).  Staging would
   use the old sig_nums to decide the priority of sigs.
2. Fix sig ordering for flowvar, flowbits, flowint, pktvar sigs.   We have
   introduced a new priority to treat sigs with set + read as lower
   priority compared to set only sigs.
3. Previously we treated sigs with a "priority(keyword)" > another sig's
   priority, as a sig with greater priority than the later.  We have
   reversed it.  Now the sig priority ordering is 1,2,.etc.  Updated
   sigordering unittests to reflect the same.

flowvar: clean up properly on signature clean up.

flowvar: add unittests for #801.

flowvar: fix deadlock with http buffers

Bug #801

Flowvars are set from pcre, and lock the flow when being set. However
when HTTP buffers were inspected, flow was already locked: deadlock.

This patch introduces a post-match list in the detection engine thread
ctx, where store candidates are kept. Then a post-match function is used
to finalize the storing if the rule matches.

Solves the deadlock and brings the handling of flowvars more in line
with flowbits and flowints.

flowvars: update funcs to accept u16 id

All id's are u16, but flowvar functions would only accept u8.

Minor cleanups.

Minor SigValidate cleanup

Update the way we handle http_host keywords.

Previously we would have forced all users to use nocase with http_host
keywords(since the hostname buffer is lowercase).

We now error out on sigs that has nocase set with http_host set.  Also if
the http_host pattern or http_host pcre has an uppercase character set, we
invalidate such sigs.  Unittests also updated to reflect the above change.

Don't try to sniff 'default' interface

Whan running suricata via 'suricata --af-packet', the list of interfaces
was containing the 'default' interface and sniffing it was attempted.
This was not wanted.

bpf filter: use SCLogError instead of fprintf

af-packet: warn about BPF filter consequence in IPS mode

This patch add a message to warn user about the impact of using a
BPF filter in IPS mode.

Exit if bpf is used in IPS mode

Handle the case of pcre combined with a relative content, where pcre has the set to match from start of line and we discontinue matching on not finding match.

unittest to display #784.

jansson: change function test to be sure of version

fix for #571.

Backport 8bbcdb61cf8e014294be0caf6d6e614ef778c7b4 changes from libhtp 0.5.x
to Suricata's bundled libhtp.

We now handle ipv6 addresses in uri and host header.

unittests to display #761 issue.

libhtp doesn't parse host correctly if uri/host_header contains ipv6 address.

tcp stream: don't move to LAST_ACK on toserver resent of FIN

Coverity 989710 and 989711: small recourse leaks in filemd5 parsing code.

fix for #770.

Invalidate sigs with negative depth.

fix for #771.

Fix /etc/protocols parsing.  Remove trailing newspace stored under some cases.

Bump bundled htp to 0.2.12

Update changelog for 1.4.1

fix for #769.

Packet inserted by live swap flagged as pseudo packet.

Fix valgrind error/warning in ip reputation parsing code

fix for #758.  Add redmine wiki link and desc for icmp-id keyword.

nfq: add missing error string

Fix potential Null deref.

Fix potential iprep file parsing issue (2).

Fix potential iprep file parsing issue.

Fix test AddressTestParse36 on Big Endian systems

fix for #760.

If udpv4 csum isn't calculated, udpv4-csum detection shouldn't run on the
csum.

fix for #725.

Update trec_len, trec_pos to 32 bits from 16 bits.
Handle handshakes that are fragmented across records.

temporarily patched smb + dcerpc parsers for direction demaraction.

pcap-file: treat the case of unsupported pcap link

In unix socket mode, Suricata was stopping processing pcap files
when a pcap file with an unsupported datalink was treated. This
patch updates error handling to allow Suricata to treat other
pcap files.

af-packet: leave reading loop at each turn

The idea of this patch is to be sure to leave the ring reading loop
enough to be able to sync counters. This should fix #706.

Replace the deprecated AM_CONFIG_HEADER with AC_CONFIG_HEADERS.

Addresses bug #704 for building on a Mac.  More generically
it addresses the issue building using newers versions of automake.

suricatasc: fix make distcheck.

unix-manager: fix thread killing function

The name of the thread was not searched in the correct family.

Reported-by: iswalker <mail2cissp@gmail.com>

suricatasc: update python packaging

'make install' install now suricatasc script and Python module to
the system. The suricatasc client module can now be used in other
Python projects by using 'import suricatasc'.

A transformation was needed for distribution of a module and a script.
Module in src directory is now containing most of the code and the
script only handle argument parsing and the creation of a unix socket
client through 'suricatasc' module.

suricatasc: refactor as a class

The goal of this commit is to be able to use suricatasc has a library
and and program. This is done by putting all active code in class and
adding a Python magic to detect when file is used as a program.

unix socket: add 'dump-counters' command

This patch adds a 'dump-counters' command which answer an output of
all performance counter.

suricatasc: improve output of command result

suricatasc: treat old server case

If the server don't have the 'command-list' function, suricatasc
was failling. This patch fixes this issue by adding a static list
instead.

unix socket: add 'help' as alias to 'command-list'

suricatasc: real cmd line parsing and verbose mode

This patch adds commandline parsing and help to suricatasc. It also
adds a verbose mode (-v) where the send and received JSON object are
shown. This should ease development of unix socket client.

unix socket: add 'conf-get' command

This patch adds a 'conf-get' command which get the configuration
value from suricata. Argument of the command is the name of the
variable to fetch.
The command syntax is the following:
{
 "command": "conf-get",
 "arguments": { "variable":value}
}

unix socket: add 'capture-mode' command

This patch displays what capture mode is used.

Add function to display current capture mode

This patch adds a function to display the capture mode.

unix socket: add 'runnning-mode' command

This command displays the active running mode ('autofp' for
example).

unix socket: add 'uptime' command

This command displays the nuber of second since the start of
Suricata.

unix socket: add 'version' command

suricatasc: display command list

suricatasc: add readline completion

suricatasc: factorize code and use dynamic commands

This patch factorize the recv code and uses the new 'command-list'
to get the list of existing commands from suricata. This allows
suricatasc to be able to call any new command if this command does
not require an argument.

unix runmode: add 'pcap-current' command

This command outputs the currently processed file name or 'None'
if no file is currently processed.

unix socket: implement command-list command

cuda: fix invalid use of sizeof

cocci test: add sizeof test

This patch adds a new semantic patch taken from
http://coccinellery.org/. This patch tests if a sizeof take size
of pointer and not of pointed value.

sigorder cleaned up.

Fix build with old pcap library.

Pcap snaplen related modification broke compilation of Suricata for
system having old pcap library. This patch fixes the issue and allow
old pcap library to honour the snaplen value.

Workaround function missing in libhtp include

As reported in bug #688, htp_config_set_path_decode_u_encoding
function is not included in libhtp header before 0.3.0. Result
is that suricata compilation fail with an external htp library.
The following patch detect the issue and adds the missing
declaration.

configure: update htp version dependancy

code cleanup + unittests added against http_host and http_raw_host keywords,
against various combinations of hostname in uri and host header.

Add support for the new keyword - http_raw_host header.

The corresponding pcre modifier would be 'Z'.

Add support for a new keyword to inspect http_host header.

The corresponding content keyword would now be - http_host.
The corresponding pcre modifier would be W.

Added host buffer allowance and stream configuration for Napatech 3GD

Added a napatech section in the yaml configuration.
hba - host buffer allowance
use-all-streams - whether all streams should be used
streams - list of stream numbers to use when use-all-streams is no

The source-napatech.* files were modified to support the host buffer allowance configuration.
The runmode-napatech.c file was modified to support both the host buffer allowance configuration and stream configuration

Signed-off-by: Matt Keeler <mk@npulsetech.com>

fix(more like a feature update) for bug #708.

Add support for flowint based sig ordering.

pcap: add snaplen YAML variable

This patch introduces 'snaplen' a new YAML variable in the pcap section.
It can be set per-interface to force pcap capture snaplen. If not set
it defaults to interface MTU if MTU can be known via a ioctl call and to
full capture if not.

pfring: delete unused define.

log-pcap: don't limit snaplen.

pcap: add 'promisc' YAML configuration variable

This patch adds a promisc variable to pcap configuration. It is
used to decided if interface is switched to promiscuous mode.

pcap: set snaplen to MTU if available.

Main objective of this patch is to use a dynamic snaplen to avoid
to truncate packet at the currently fixed snaplen.

It set snaplen to MTU length if the MTU can be retrieved. If not, it
does not set the snaplen which results in using a 65535 snaplen.

libpcap is trying to use mmaped capture and setup the ring by using buffer_size
as the total memory. It also use "rounded" snaplen as frame size. So if we set
snaplen to MTU when available we are optimal regarding the building of the ring.

Use new libhtp query string normalization. Bug #739.

Add separate libhtp query string normalization function and configuration toggles for it.

teredo: update protocol decoding.

This patch fixes an error in pointer arythmetic and add some
comments to increase maintanability of the code. It also
simplify the decoding code as a careful RFC reading indicate
that if we discard packet containing an authentication field,
it is only possible to have a single origin indication field.

Fix latest build-info modification

The creation of build-info.h should have been made in build
directory and not in source directory. This should fix changes
introduced in #738.

build-info: use printf instead of SCLogInfo

This change results in a more readable and reusable output.

add configure summary to build-info output

suricata: add information to build-info

This patch adds information about luajit and jansson to the
output of --build-info command. This should fix #696.

bug #737.  Display a more apt error message when wrong argument's supplied to
reference keyword.

Adding comment in suricata.yaml.in to indicate sensor-id option.

Adding support for Feature #667

Fix sig grouping bug when certain sigs are mixed. Add tests.

Fix stateful inspection not always inspecting at stream end.

fix for #694.

Invalidate any address/port vars in the conf that uses a sequence
without quotes.

unittest to show the seg fault from bug_694

geoip: add Fedora pkg hint to configure check

updated to fix unix shutdown sequence

Should fix crashes occuring from unix mode shutdown/cleanup phase.

Adds support for the geoip keyword

Adds support for match-on conditions (src, dst, any, both)
Uses GEOIP_MEMORY_CACHE for performance reasons
Adds support for negation and multiple countries in the same rule

Bug fixes

Changed to take flow direction from rule, if present

Comments addressed. Unit tests added.

conf: add unittest for WithDefault functions.

pcap: add support for 'default' interface

pfring: add support for 'default' interface

af-packet: add support for 'default' interface

This patch adds support for 'default' interface which is used to get
parameter values when per-interface is not defined.

conf: introduce WithDefault function

This patch introduces a new set of functions to the ConfGetChildValue
family. They permit to look under a default node if looking under
base node as failed. This will be used to access to default parameters
for a data type (for instance, first usage will be interface).

pcap-file: don't kill engine in unix socket mode

This patch updates the cleaning code to avoid to exit from suricata
in unix socket mode when a invalid pcap is given.

suppress: DETECT_SUPPRESS_REGEX should support IPv6 addresses too. Bug #697.

file md5: print filename and line number on md5 parse errors. Bug #693.

preserve the existing error code order

restore SC_WARN_IPFW_SETSOCKOPT
move SC_ERR_IPFW_SETSOCKOPT at the end of the enum

setsockopt() failures are already fatal,
so treat them as such and print error instead of warning.