Introduce host table, make tag use it

Add a host table similar to the flow table. A hash using fine grained
locking. Flow manager for now takes care of book keeping / garbage
collecting.

Tag subsystem now uses this for host based tagging instead of the
global tag hash table. Because the latter used a global lock and the
new code uses very fine grained locking this patch should improve
scalability.

Undo changes from 88b8f15663076560b2237e6d8b8cae7e23d92bb6. Atomic stack implementation had a-b-a problem.

Add atomic stack implementation. Convert flow spare queue to use this stack. Remove now unused flow-queue code.

Fix invalid declaration of enable_nss and enable_nspr in configure.in.

Add way to profile mutex/spin locks per thread module.

Implement stream memcap enforcements using atomics instead of spinlocked counters.

Misc fixes.

Remove trailing zero's from some counters output.

flow engine: improve scalability

Major redesign of the flow engine. Remove the flow queues that turned
out to be major choke points when using many threads. Flow manager now
walks the hash table directly. Simplify the way we get a new flow in
case of emergency.

Fix broken unittest.

add null checks to fix bugs in StreamTcpTest23

fix more invalid content unittests

fix invalid unittests with mixed relative and non-relative content modifiers and other issues; DetectContentParse19 still contains some failing dce_stub tests which are commented out.

fix invalid unittests with mixed content modifiers

Fixed some unittests that were incorrectly mixing relative and non-relative content modifiers.

reject mixed relative and non-relative keywords

reject signatures using relative and non-relative positional keywords for the same content (depth or offset with distance or within)

reject invalid combinations of pcre modifiers

don't allow /B with normalized buffers, and don't mix modifiers for normalized and raw buffers

Add libnss/libnspr support output to configure. Clean up configure.in.

Do not assume the include dir for nss to be nss. On F16 it's nss3.

Do not assume the include dir for nspr to be nspr. On F16 it's nspr4.

Fix json output typo.

Fix issue discovered by Anoop. Passing u32 ptr to a size_t can caused badness.

Fix minor memleak in case af-packet init fails.

Fix UTHBuildFlow setup using wrong address.

Improve http filename parsing.

Fix compilation with profiling enabled. Minor unittest fixes.

Fix minor fgetc issue.

Move PACKET_RECYCLE outside of flow lock in FlowForceReassemblyForQ as it confuses static code checkers.

file extract: improve multipart parsing and set events on some error conditions.

flow: Refactor how FlowPrune deals with forced timeouts, improving locking logic.

Another batch of minor fixed for issues found by Coverity.

Various improvements to error handling found by Coverity.

code cleanup

Various fixes and improvements based on feedback by Coverity analyzer.

Add line number to warning about mangled yaml parameters. Limit number of warnings to 10.

Consistently use dashes instead of underscores in the sample config file.

Consistently use dashes instead of underscores in the sample config file.

Convert underscores to dashes in thread affinity type names.

Fix some warning message still using underscored config vars.

Do not use underscored config vars internally.

Remove the underscored "sguil_base_dir" compatibility option.

Convert config entries using underscores to dashes and emit deprecation warnings.

Added Shadowserver plugin.

file-inspection: split 'file' output module into file-store and file-log. Store stores files. Log logs json records.

Add more flow lock assertions to the debug validation code.

Fix locking error in filestore handling. Add debug validate check for asserting a flow is locked.

Added license.

Added some installation instructions to file_processor REAMDE.

Added contrib folder with file_processor utility which is a plugin framework for reading the files-json.log and processing and taking action based on the files observed.

Fix compiler warning and silence complaining unittests.

Misc afpacket changes.

Fix NULL dereference in PacketPatternSearchWithStreamCtx code.

af-packet: Implement zero copy

This patch adds support for zero copy to AF_PACKET running mode.
This requires to use the 'worker' mode which is the only one where
the threading architecture is simple enough to permit this without
heavy modification.

decode: add PacketSetData funtion

This patch adds a function which can be used to set the payload
of a packet when a zero copy mode is used.

af-packet: mmap support

This patch adds mmap support for af-packet. Suricata now makes
use of the ring buffer feature of AF_PACKET if 'use-mmap' variable
is set to yes on an interface.

Config should be set up in sysconfdir/suricata. Add reference to oinkmaster guide.

Improve config details overview at the end of configure.

build: enable af-packet by default

Add sexy information messages to configure output.

Fix PCRE-JIT message

Remove autogen.sh generated files.

Improve output

del rules file deleted

Add install-conf command to build system.

This patch adds support for customisation of suricata.yaml and
automatic download of emerging threat GPL rules. By running
'make install-full' after 'make install', files necessary to run
suricata are copied in the configuration directory and the latest
ruleset is downloaded and installed. Suricata can then be run
without files edition.
This patch has a special treatment for the windows build which
requires some different paths.
suricata.yaml is also updated to load all rules files provided by
emergingthreat ruleset.

file-inspection: support POST requests that do not use multipart.

file-inspection: use filename= value from Content-Disposition where available to determine the filename in GET requests.

Fix UtilMiscParseSizeStringTest01 unittest on 32 bit.

All http_http_stat_code modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_STAT_CODE. Also remove dummy match/free functions for stat code and stat msg

All http_http_stat_msg modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_STAT_MSG

All http_http_raw_uri modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_RAW_URI

All http_http_cookie modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_COOKIE

All http_http_method modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_METHOD

All http_http_raw_header modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_RAW_HEADER

All http_http_header modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_HEADER

All http_server_body modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_SERVER_BODY

All http_client_body modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_CLIENT_BODY

All uricontent modified patterns now are DETECT_CONTENT and not DETECT_URICONTENT. Step towards unifying all content based patterns. Makes way for easier management of patterns

code cleanup. Remove unused functions

code cleanup - replace SigMatchAppendThreshold with SigMatchAppendSMToList

code cleanup - replace SigMatchAppendPostMatch with SigMatchAppendSMToList

code cleanup - replace SigMatchAppendPacket with SigMatchAppendSMToList

code cleanup - replace SigMatchAppendTag with SigMatchAppendSMToList

code cleanup - replace SigMatchAppendDcePayload with SigMatchAppendSMToList

code cleanup - replace SigMatchAppendPayload with SigMatchAppendSMToList

code cleanup - replace SigMatchAppendUricontent with SigMatchAppendSMToList

code cleanup - replace SigMatchAppendAppLayer with SigMatchAppendSMToList

code cleanup - replace SigMatchGetLastSM with SigMatchGetLastSMFromLists

code cleanup - remove DetectContentGetLastPattern. Replace it with SigMatchGetLastSMFromLists

code cleanup - remove DetectContentFindNextApplicableSM

code cleanup - remove DetectContentHasPrevSMPattern

code cleanup - remove SigMatchGetLastPattern

code cleanup - remove DetectUricontentGetLastPattern

Use sm_list to differentiate between different content types while retrieving pattern ids instead of sm_type

DetectPatternGetId() cleanup. Remove separate search element creation for uricontent. We don't need this now since we have unified content structures for content and uricontent

Add a print function specially for json output that escapes all characters json requires to be escaped.

Add referer header to .meta and json file logs.

Make sure that if not built against libnss, we still compile. Only no md5 for you then\!

Add line based log file to log-file module that logs each stored file's meta data in json records.

In PrintRawUriFp, consider " unprintable.

Initial on the fly MD5 calculation for extracted files using libnss.

delete detect-recursive.[ch]

feature #414 - support listing supported keywords. Remove support for dummy keywords __address__, __proto__, __port__. Remove support for recursive keyword and all references to it