Workaround function missing in libhtp include

As reported in bug #688, htp_config_set_path_decode_u_encoding
function is not included in libhtp header before 0.3.0. Result
is that suricata compilation fail with an external htp library.
The following patch detect the issue and adds the missing
declaration.

configure: update htp version dependancy

code cleanup + unittests added against http_host and http_raw_host keywords,
against various combinations of hostname in uri and host header.

Add support for the new keyword - http_raw_host header.

The corresponding pcre modifier would be 'Z'.

Add support for a new keyword to inspect http_host header.

The corresponding content keyword would now be - http_host.
The corresponding pcre modifier would be W.

Added host buffer allowance and stream configuration for Napatech 3GD

Added a napatech section in the yaml configuration.
hba - host buffer allowance
use-all-streams - whether all streams should be used
streams - list of stream numbers to use when use-all-streams is no

The source-napatech.* files were modified to support the host buffer allowance configuration.
The runmode-napatech.c file was modified to support both the host buffer allowance configuration and stream configuration

Signed-off-by: Matt Keeler <mk@npulsetech.com>

fix(more like a feature update) for bug #708.

Add support for flowint based sig ordering.

pcap: add snaplen YAML variable

This patch introduces 'snaplen' a new YAML variable in the pcap section.
It can be set per-interface to force pcap capture snaplen. If not set
it defaults to interface MTU if MTU can be known via a ioctl call and to
full capture if not.

pfring: delete unused define.

log-pcap: don't limit snaplen.

pcap: add 'promisc' YAML configuration variable

This patch adds a promisc variable to pcap configuration. It is
used to decided if interface is switched to promiscuous mode.

pcap: set snaplen to MTU if available.

Main objective of this patch is to use a dynamic snaplen to avoid
to truncate packet at the currently fixed snaplen.

It set snaplen to MTU length if the MTU can be retrieved. If not, it
does not set the snaplen which results in using a 65535 snaplen.

libpcap is trying to use mmaped capture and setup the ring by using buffer_size
as the total memory. It also use "rounded" snaplen as frame size. So if we set
snaplen to MTU when available we are optimal regarding the building of the ring.

Use new libhtp query string normalization. Bug #739.

Add separate libhtp query string normalization function and configuration toggles for it.

teredo: update protocol decoding.

This patch fixes an error in pointer arythmetic and add some
comments to increase maintanability of the code. It also
simplify the decoding code as a careful RFC reading indicate
that if we discard packet containing an authentication field,
it is only possible to have a single origin indication field.

Fix latest build-info modification

The creation of build-info.h should have been made in build
directory and not in source directory. This should fix changes
introduced in #738.

build-info: use printf instead of SCLogInfo

This change results in a more readable and reusable output.

add configure summary to build-info output

suricata: add information to build-info

This patch adds information about luajit and jansson to the
output of --build-info command. This should fix #696.

bug #737.  Display a more apt error message when wrong argument's supplied to
reference keyword.

Adding comment in suricata.yaml.in to indicate sensor-id option.

Adding support for Feature #667

Fix sig grouping bug when certain sigs are mixed. Add tests.

Fix stateful inspection not always inspecting at stream end.

fix for #694.

Invalidate any address/port vars in the conf that uses a sequence
without quotes.

unittest to show the seg fault from bug_694

geoip: add Fedora pkg hint to configure check

updated to fix unix shutdown sequence

Should fix crashes occuring from unix mode shutdown/cleanup phase.

Adds support for the geoip keyword

Adds support for match-on conditions (src, dst, any, both)
Uses GEOIP_MEMORY_CACHE for performance reasons
Adds support for negation and multiple countries in the same rule

Bug fixes

Changed to take flow direction from rule, if present

Comments addressed. Unit tests added.

conf: add unittest for WithDefault functions.

pcap: add support for 'default' interface

pfring: add support for 'default' interface

af-packet: add support for 'default' interface

This patch adds support for 'default' interface which is used to get
parameter values when per-interface is not defined.

conf: introduce WithDefault function

This patch introduces a new set of functions to the ConfGetChildValue
family. They permit to look under a default node if looking under
base node as failed. This will be used to access to default parameters
for a data type (for instance, first usage will be interface).

pcap-file: don't kill engine in unix socket mode

This patch updates the cleaning code to avoid to exit from suricata
in unix socket mode when a invalid pcap is given.

suppress: DETECT_SUPPRESS_REGEX should support IPv6 addresses too. Bug #697.

file md5: print filename and line number on md5 parse errors. Bug #693.

preserve the existing error code order

restore SC_WARN_IPFW_SETSOCKOPT
move SC_ERR_IPFW_SETSOCKOPT at the end of the enum

setsockopt() failures are already fatal,
so treat them as such and print error instead of warning.

set SO_BROADCAST on the divert socket so that broadcast
 packets can be reinjected.

Fix ftpbounce address calc failing on PPC64

Use _mm_free for memory allocated by _mm_alloc. Bug 703. Minor compiler warning fixes.

Fix double definition of CPU_* macro's for Darwin/OSX. Bug 701.

Fix byte order detection on Mac OS X/Darwin. Bug 700.

Fix protocol check for IP-only (#689).

Update changelog for 1.4

ipv6: add event for ipv6 packet with icmpv4 header

fix for 653.

break out of afp readring loop if shutdown is initiated.

Use GET_PKT_LEN and GET_PKT_DATA macro's

magic: freebsd magic return differently

FreeBSD don't return "Microsoft Office Document" but
"OLE 2 Compound Document". This patch takes this into account.

fix for bug 675.

Fix icmpv6-csum to send the right length to calculate the csum.

Unittest to show the issue we have with 674 - csum-icmpv6 sends
wrong length for csum calculation)

ipv6: add option to detect HOP/DST headers with only padding. Detect unknown DST/HOP opts.

icmpv6: fix payload handling

decoder events: fix bug causing some rules not to be inspected if the decoder completed with warnings

decode events: add debug statement

profiling: fix missing profile names

unified2: append open instead of trucate open so that in case we rotate within a second we don't overwrite files. Instead we violate the limit.

flow: only BUG_ON use_cnt in flows when compiled with debug-validation

cleanup flowtimeout threadvars retrieval +
throw back pseudo pkt back to packetpool inside flow timeout.

stream: send eof to app layer from stream end pkt if necessary

Wait until both sides close the TCP connection before initiating cleanup

Update docs from wiki

Update changelog for 1.4rc1

unix runmode: fix error handling.

If 'output-dir' argument was not given it was possible to reach a
possibly problematic condition.

Remove useless code.

fix logic error in sanity check

Add removal safe TAILQ iterator.

TAILQ_FOREACH macro was not safe for element removal as it was
accessing the next element in case of a free. This patch is inspired
by Linux list handling and provide a new macro TAILQ_FOREACH_SAFE.
This macro is removal safe and only differs by a last argument being
a temporaty pointer to an element.

prelude: don't build string objet for NULL string

prelude_string_set_ref don't like when it is called with a NULL
parameter. This patch adds check for NULL value. This is formally
good as there is no use of a NULL description.

Feature 638: Display DAG drop counts on exit; add DAG packet and drop stats to live stats.

Fix length check on user-agent header

Add User-Agent header content to file metadata

warn users that we don't support content strings whose length's > 255.

Initialize flow_manager_mutex

fix for bug #526.

Insert pseudo packet under low load conditions to complete rule swap.
This is necessary when we use autofp active packets where most packets
would be sent to the first queue under low load conditions.

clang: make atomics work

Fix detection of spin locks supported. Clean up how we handle falling back to mutex if spinlocks aren't supported.

host: suppress double memory clear

HostFree() is calling HostClearMemory() so calling HostClearMemory()
before HostFree() is useless.

unix-socket: cleanup host table instead of destroying it

This patch should fix the bug #637. Between pcap files, it uses a
new function HostCleanup() to clear tag and threshold on host with
an IP regputation. An other consequence of this modification is
that Host init and shutdown are now init and shutdown unconditionaly.

host: don't destroy reference counter

The reference counter should not be destroyed in HostClearMemory()
as the host can be reused directly (without going through Init
function).

pfring: fix build failure

configure: improve message about pkg-config usage

This patch improve the error message when luajit libraries are not
found. It displays information about the possibility to use
PKG_CONFIG_PATH or the dedicated configure options.

Temporary fix for bug #599.

Treat sigs with negated addresses as non ip-only.

This fix exposes bug #608, which results in 2 failed unittest which
have now been disabled by this commit.  Would be reenabled when we
have #608 fix in.

unittest to show failure for bug #599.

http: add event for libhtp detection of request port not matching tcp port.

pcap: fix windows commandline mangling win device string

clang: fix warnings when debug is enabled

reputation: don't give error if config is missing/commented out

Minor fixes

unix runmode: improve JSON handling

The jansson function with new in their name take care of ref
counting. The this patch fixes a memory leak.

unix-manager: fix error and JSON handling

unix-manager: memory handling fixes.

This patch adds unlikey() for memory error handling and fixes a few
error cases.

unix runmode: use unlikely for memory error

unix runmode: fix FIXME

unix runmode: fix JSON mem handling

json_decref was not correctly used through the code. This patch
fixes it.

unix manager: add static

configure: fix indent

Disable 'reload-rules' command.

unix-manager: doc and whitespace fixes

unix-socket: fix build when jansson not present