af-packet: Add option to disable promiscuous mode

This patch adds an option to suricata.yaml to be able to disable
the switch of the interface into promiscuous mode.

af-packet: multi interface support

This patch adds multi interface support to AF_PACKET. A structure
is used at thread creation to give all needed information to the
input module. Parsing of the options is done in runmode preparation
through a dedicated function which return the configuration in a
structure usable by thread creation.

af-packet: change configuration format for multi interface

conf: Introduce new function to input configuration.

The input modules are needing a per interface configuration. This
implies some new operations to be able to parse easily te configuration.

The syntax of the configuration file is for example:
af-packet:
  - interface: eth0
    threads: 2
  - interface: eth1
    threads: 3
We need a way to express get a configuration variable for interface[eth0].
This is by using ConfNodeLookupKeyValue() to get the matching node. And
after that value can be fetch by using ConfGetChildValue*() functions.

af-packet: finalize code

This patch handles the end of AF_PACKET socket support work. It
provides conditional compilation, autofp and single runmode.

It also adds a 'defrag' option which is used to activate defrag
support in kernel to avoid rx_hash computation in flow mode to fail
due to fragmentation.

This patch contains some fixes by Anoop Saldanha, and incorporate
change following review by Anoop Saldanha and Victor Julien.

AF_PACKET support is only build if the --enable-af-packet flag is
given to the configure command line. Detection of code availability
is also done: a check of the existence of AF_PACKET in standard
header is done. It seems this variable is Linux specific and it
should be enough to avoid compilation of AF_PACKET support on other
OSes.
Compilation does not depend on up-to-date headers on the system. If
none are present, wemake our own declaration of FANOUT variables. This
will permit compilation of the feature for system where only the kernel
has been updated to a version superior to 3.1.

factorize pcap live device function

They are not specific to pcap and could thus be used in other module.

af-packet: basic support for AF_PACKET socket

This patch provides basic support for AF_PACKET socket. It is
completed by a subsequent patches prodiding extended features
and bugfixes.

profiling / qa: make plot-csv-large-all.sh much more flexible.

Remove vim .swp file from repo.

fastlog print updates for ipv6. combine the io write

fastlog print updates. combine the io write

Add a few more example gnuplot scripts.

Add per app layer parser profiling

Per packet per app layer parser profiling. Example summary output:

Per App layer parser stats:

App Layer              IP ver   Proto   cnt        min      max          avg
--------------------   ------   -----   ------     ------   ----------   -------
ALPROTO_HTTP            IPv4       6    163394        126     38560320     42814
ALPROTO_FTP             IPv4       6       644        117        26100      2566
ALPROTO_TLS             IPv4       6       670        117         7137       799
ALPROTO_SMB             IPv4       6    114794        126       225270       957
ALPROTO_DCERPC          IPv4       6      5207        126        25596      1266

Also added to the csv out.

In the csv out there is a new column "stream (no app)" that removes the
app layer parsers from the stream tracking. So raw stream engine performance
becomes visible.

Move TlsConfig structure out of app-layer-protos.h and rename it to SslConfig.

Add per packet profiling.

Per packet profiling uses tick based accounting. It has 2 outputs, a summary
and a csv file that contains per packet stats.

Stats per packet include:
 1) total ticks spent
 2) ticks spent per individual thread module
 3) "threading overhead" which is simply calculated by subtracting (2) of (1).

A number of changes were made to integrate the new code in a clean way:
a number of generic enums are now placed in tm-threads-common.h so we can
include them from any part of the engine.

Code depends on --enable-profiling just like the rule profiling code.

New yaml parameters:

profiling:
  # packet profiling
  packets:

    # Profiling can be disabled here, but it will still have a
    # performance impact if compiled in.
    enabled: yes
    filename: packet_stats.log
    append: yes

    # per packet csv output
    csv:

      # Output can be disabled here, but it will still have a
      # performance impact if compiled in.
      enabled: no
      filename: packet_stats.csv

Example output of summary stats:

IP ver   Proto   cnt        min      max          avg
------   -----   ------     ------   ----------   -------
 IPv4       6     19436      11448      5404365     32993
 IPv4     256         4      11511        49968     30575

Per Thread module stats:

Thread Module              IP ver   Proto   cnt        min      max          avg
------------------------   ------   -----   ------     ------   ----------   -------
TMM_DECODEPCAPFILE          IPv4       6     19434       1242        47889      1770
TMM_DETECT                  IPv4       6     19436       1107       137241      1504
TMM_ALERTFASTLOG            IPv4       6     19436         90         1323       155
TMM_ALERTUNIFIED2ALERT      IPv4       6     19436        108         1359       138
TMM_ALERTDEBUGLOG           IPv4       6     19436         90         1134       154
TMM_LOGHTTPLOG              IPv4       6     19436        414      5392089      7944
TMM_STREAMTCP               IPv4       6     19434        828      1299159     19438

The proto 256 is a counter for handling of pseudo/tunnel packets.

Example output of csv:

pcap_cnt,ipver,ipproto,total,TMM_DECODENFQ,TMM_VERDICTNFQ,TMM_RECEIVENFQ,TMM_RECEIVEPCAP,TMM_RECEIVEPCAPFILE,TMM_DECODEPCAP,TMM_DECODEPCAPFILE,TMM_RECEIVEPFRING,TMM_DECODEPFRING,TMM_DETECT,TMM_ALERTFASTLOG,TMM_ALERTFASTLOG4,TMM_ALERTFASTLOG6,TMM_ALERTUNIFIEDLOG,TMM_ALERTUNIFIEDALERT,TMM_ALERTUNIFIED2ALERT,TMM_ALERTPRELUDE,TMM_ALERTDEBUGLOG,TMM_ALERTSYSLOG,TMM_LOGDROPLOG,TMM_ALERTSYSLOG4,TMM_ALERTSYSLOG6,TMM_RESPONDREJECT,TMM_LOGHTTPLOG,TMM_LOGHTTPLOG4,TMM_LOGHTTPLOG6,TMM_PCAPLOG,TMM_STREAMTCP,TMM_DECODEIPFW,TMM_VERDICTIPFW,TMM_RECEIVEIPFW,TMM_RECEIVEERFFILE,TMM_DECODEERFFILE,TMM_RECEIVEERFDAG,TMM_DECODEERFDAG,threading
1,4,6,172008,0,0,0,0,0,0,47889,0,0,48582,1323,0,0,0,0,1359,0,1134,0,0,0,0,0,8028,0,0,0,49356,0,0,0,0,0,0,0,14337

First line of the file contains labels.

2 example gnuplot scripts added to plot the data.

Rename profile macro's and variables to reflect that they are for rule profiling.

pcap-file: Allocated packet must be free if there's error

detect: fix regular expression used for check.

nfq: Fix deinit phase

If receive thread is failling, we need to restart it but the code was
not restarting the queue (this was done in verdict thread).

nfq: make thread abort if NFQ verdict fail

nfq: Add iterator on nfq_set_verdict

This patch adds retry to nfq_set_verdict in case of error.

tm-thread: fix documentation string

Fix macro about default packet size

Being pessimistic about packet default size has side effect in
some module. Falling back to the sane correct value.

Rename rule_type_t to ThresholdRuleType.

suppress: use DetectAddress instead of DetectAddressHead

Export some DetectAddress related function.

threshold: refactoring of parsing code

This patch factorize the regular expression to be ease the parsing
process. It also adds a missing free and factorize exit code.

threshold: add suppress keyword

This patch adds the suppress keyword to the threshold.config file.
The alerts are suppressed but the other elements like flowbits are
maintained.

Add sanity check to DetectAdressParse.

The function is only used at parsing time, this is not costly to add
a simple sanity check.

threshold: fix trivial typo in parsing.

doc: introduce doxygen group "threshold"

This patch introduces a doxygen group to put together the documentation
relative to threshold. Group appear in a separate page and they can have
their own documentation. This is useful when a feature is splitted into
different files.

Fix flowint keyword pcre_get_substring issue.

Fix urilen keyword pcre_get_substring issue.

Fix ssl keyword pcre_get_substring issue.

Transform inet_ntop call into PrintInet one.

Introduce PrintInet function

This function has the same signature than inet_ntop() and it
will be used as substitution in the code. For IPv4 this is a simple
wrapper. For IPv6, it display addresses with fixed length.

Small optimizations to pkt acq loop code.

Implement a pkt acq loop infra with support for pcap-file.

Minor changes to move function calls that kills threads + frees resources to the clean up phase right to the end of main thread

Fix code that allows the engine to restart threads that have exited on failure

code cleanup in tm-threads.c

Unify the use of slots to a single struct for threading API. Remove separate slot append functions for 1slot and varslot

Actually limit recursion and backtracking and stack usage by PCRE. Logic was broken, no example was provided in suricata.yaml even though it could be set from there.

Fix for silly pcap counters mistake made by me. ps_recv includes dropped packets.

Only check for PF_RING if we enable PF_RING.

Only set PF_RING cluster if we have more than one receive thread. Gives us accurate drop stats.

coverity fix for counters api

coverity fix - 1.1beta branch - add some comments to indicate false positives by coverity for future reference - mainly comments for switch statement fall through

Fixes for out of bounds pcre_get_substring calls no longer silently accepted by modern pcre.

Support for PF_RING versions where packet passed as a reference and version 4.7.1 where pfring_enable_ring now seems to be required.

autotools: fix duplicate check command in Makefile.

It seems that check target can not be used in Makefile.am. Using
check-am fix a make failure.

Indentation fix on source-pcap.

fix var name parsing in byte_extract

add flowbits:set; only sigs to be treated as ip only

Add Num, Rev, and Gid columns to rule perf output

Improve HTPParserTest07 test to be more helpful if it fails.

Fix stream unittest.

Have separate parser vars in smtp to hold dynamic buffers for parsing fragmented lines

smtp parser support

Fix handling of FIN/ACK packet on TCP state TCP_FIN_WAIT2.

Use p->proto in detect to determine TCP/UDP/SCTP.

Fix unified2 packet length not being set properly for reassembled stream packets.

Fix a reassembly bug that in some cases could lead to a crash.

Only compile byte_extract unittests if --enable-unittests is enabled.

cpu affinity: detect a missed invalid case

This patch improves the error handling in the definition of cpu
set. It detect when the max value is too big and display the name
of the invalid cpu set in error message.

Fix #290: avoid looping when affinity is invalid

This patch adds a loop counter to detect when the cpu_set does
not intersect the set of available CPUs.

Attempt to work around missing __WORDSIZE define on FreeBSD.

Fix a number of unittests not properly initializing a packet causing issues on some archs.

Fix minor compiler comments in CUDA code.

fixed cuda build: portability issues and nvcc version check

fixed ptxdump for python3

build cuda modules with make

Make sure stateful detection engine inspecting HTTP streams works well for to_client rules as well.

minor fixes in endianness handling in dcerpc and dce detection engine

Improve DCERPC big endian support when parsing BIND CTX Items (UUID). Make default byte packing order for the slow path little endian. Byte swapping on slow path will occur if big endian. This is a readability change, not a functional change.

byte_extract support for isdataat added

byte extract added to the engine. Detection support added for packet payload, uri and dce detection engines

Unified2: Use local variable for header copy

Due to the chaining of function call, the per-thread buffer was overwritten.
This was causing invalid data to be output.

This patch restores a local variable usage for the writing of the header
which are rather small and thus should not be a performance and security
issue.

Fix len computation.

Register http parser callbacks in the right place.

Fix passing a uint8_t as an int. Breaks on some args.

Fix complition on OS/archs that don't support atomic variables.

Fix broken stateful detection unittest.

libhtp/m4 dir won't be created on CentOS 5.3 by autogen.sh, so work around that by having it in git

Use pmmintrin.h as older gcc's don't have immintrin.h it seems.

Add a app layer state and stateful detection engine counter that makes sure the stateful inspection is only done when the state changes.

Clean up stateful detection code.

Fix SIMD mask checking on 64 bit systems.

Fix signature mask bitorder.

Always reset alert cnt and always increment det_ctx->pkts.

Add more mask flags.

Use 64 bit mask on 64-bit systems.

Check 32 masks per run instead of 16 in the SIMD code.

Clean up new SIMD mask checking code, improve non-SIMD checks.

Match packet mask against 16 signature masks at once using SIMD instructions for SSE3 and up.

Add wrappers for aligned memory allocation.

Add Vector datatype for SSE operations.

Add compiler and hardware barrier macro's.

Fix broken fix.

Don't loose memory if PoolInit fails