Merge branch 'master' of ssh://huica@chivas64dev.cm.sourcefire.com/nfs/home/rucombs/Snort++ into fileclass2

build 159

Squashed commit of the following:

commit 4666c3666bb94dee5404f584fb55e69927a35c6e
Author: Bhagyashree Bantwal <bbantwal@cisco.com>
Date:   Wed Jul 1 16:39:49 2015 -0400

    sip inspector

Merge branch 'master' of ssh://huica@chivas64dev.cm.sourcefire.com/nfs/home/rucombs/Snort++ into fileclass2

Squashed commit of the following:

commit 2013351aa4e456f3bd910dcf08ba7289b6fa9b45
Author: Tom Peters <thopeter@cisco.com>
Date:   Tue Jun 30 14:57:43 2015 -0400

    File processing complete

commit be3c57506fe6e654da94e962150a7114ac99ec56
Author: Tom Peters <thopeter@cisco.com>
Date:   Fri Jun 26 13:55:35 2015 -0400

    File processing stage 2 - MIME but not unexpected close processing

code update based on comments

code clean up

Fixed warnings

valgrind fix

update file id

remove all file verdict stuff

Merge branch 'master' of ssh://huica@chivas64dev.cm.sourcefire.com/nfs/home/rucombs/Snort++ into fileclass2

backout raw packet optimization for now

Merge branch 'master' of ssh://huica@chivas64dev.cm.sourcefire.com/nfs/home/rucombs/Snort++ into fileclass2

file class

Squashed commit of the following:

commit 8d98226a3ae26ce92fbbdc1a93eb04f5fca838d2
Author: Tom Peters <thopeter@cisco.com>
Date:   Wed Jun 24 11:35:10 2015 -0400

    File processing stage 1 - no MIME

Squashed commit of the following:

commit 50f7258a3f0fa9c2561fa0322fd20cca239982b9
Author: Russ Combs <rucombs@cisco.com>
Date:   Wed Jun 17 14:13:12 2015 -0400

    refactoring port group init and start up output
    standardize / generalize fp buffers
    dont search raw packets unless necessary
    add log_hext.width
    tweak style guide
    fix hosts table parsing
    eliminate g_alt_data; refactor mpse calls; add stats for mpse calls
    convert rtn/otn proto from eth/ip proto to protocol ref
    convert ips_ip_proto to plugin
    added svc_anyany port group for alert services
    rename sftarget_protocol_reference.* to snort_protocols.*
    get alert service rules basically working

Squashed commit of the following:

commit 6763e931ecd25c3e7b68fec434f340919cb58169
Author: huica <huica@cisco.com>
Date:   Mon Jun 22 08:27:12 2015 -0400

    replace packet pointer with flow

Squashed commit of the following:

commit 4a1634abbe8a08ad62384edf76d6c71549f00a93
Author: Tom Peters <thopeter@cisco.com>
Date:   Thu Jun 18 17:30:00 2015 -0400

    first step toward flow depth

build 158

Squashed commit of the following:

commit a0384e473768fac2ddc09d1e20a11ba3cac194cb
Author: Russ Combs <rucombs@cisco.com>
Date:   Tue Jun 16 17:41:02 2015 -0400

    cleanup cache config

Squashed commit of the following:

commit 24647b3ee562d18ac38a6ed8f46ca07eb9ce9edb
Author: Tom Peters <thopeter@cisco.com>
Date:   Mon Jun 15 15:32:50 2015 -0400

    white space after chunk length

Squashed commit of the following:

commit 9305b4efbfef9657155bb19accf09fcfa64d4878
Author: Bhagyashree Bantwal <bbantwal@cisco.com>
Date:   Tue Jun 16 11:07:24 2015 -0400

    ssl assertion change

Squashed commit of the following:

commit 2d448adbcb476c2d7e80ca6aafc0dbcf21165633
Author: Russ Combs <rucombs@cisco.com>
Date:   Thu Jun 11 15:24:32 2015 -0400

    refactor of fpcreate
    refactor sfportobject into ports/*
    delete flowbits_size, refactor bitop foo
    rename PortList to PortBitSet etc. to avoid confusion
    fix flowbit group

Squashed commit of the following:

commit 7e0e4e1ef73e850d46d333e665ac91829554a0e5
Author: Tom Peters <thopeter@cisco.com>
Date:   Wed Jun 3 13:48:43 2015 -0400

    NHI Updates

build 157

Squashed commit of the following:

commit f0852f3da95431b5706963c66463a05b529dbdaa
Author: Bhagyashree Bantwal <bbantwal@cisco.com>
Date:   Mon Jun 8 10:30:38 2015 -0400

port ssl preprocessor from snort

Squashed commit of the following:

commit b8189b26b8a153c6be4e75a6e48c74c4b4a12c86
Author: Russ Combs <rucombs@cisco.com>
Date:   Fri Jun 5 19:37:15 2015 -0400

    update active module
    drop rules drop a single packet, block rules blacklist flow
    add reset action for completeness
    remove daq patch cruft
    fixup rule lists
    fixup fast logging
    updated snort2lua

only call splitter finish is scan was called

oops - forgot to clear the flush policy

build 156, update change log, fix paf abort handling

new_http_inspect switch to bitset for event tracking

stream sequencing fixes

fix mime decoding

add plugin load warnings, update manual

build 155; file fixup

update usage from blog

actually add file magic

add file magic lua

xcode analyzer cleanup

update change log, remove debug foo

build 154

fixup some borked copyrights

commit 3a05fa04a9716d0365e4b00752bbcb46458b847f
Author: huica <huica@cisco.com>
Date:   Wed May 27 15:43:44 2015 -0400

    file capture merge

Squashed commit of the following:

commit 4eac8870ac2220666d8da50dd3531143bebdf0f9
Author: Russ Combs <rucombs@cisco.com>
Date:   Wed May 27 15:06:52 2015 -0400

-- stream_tcp reassembles payload only
-- remove obsolete REG_TEST logging
-- change max_dsize to const
-- refactor encode_format*()
-- rewrite alert_csv with default suitable for reg tests and debugging
-- dump 20 hex bytes per line instead of 16
-- fix final_flush packet
-- add raw mode hext DAQ and logger; fix dns inspector typo for tcp checks
-- document raw hext mode
-- cleanup flush flags vs dir
-- add alert_csv.separator, delete alert_test
-- tweak log config; rename daq/log user to hext
-- cleanup logging
-- stream_tcp refactoring and cleanup

tom: new_http_inspect parsing and event handling updates

build 153

tom: new_http_inspect start line parsing updates

Russ
-- use buckets for user seglist
-- add -L u2
-- fix u2 to output data only packets

russ:
-- added socket codec in extras
-- added DAQs for socket, user, and file in extras
-- added stream_user for use with proxy type traffic from socket and user
   DAQs
-- added stream_file for use with file DAQ for file type, signature, and
   inspection
-- refactor Session, StreamApi, and PAF
-- pulled DAQ README into manual
-- fix double loading of stream plugins
-- fix cmake build issues

build 152

carter - fixed config error for inspection of rebuilt packets

bhagya - ported smtp preprocessor from Snort

tom: static analysis fix for new_http_inspect

bump build

tom: new_http_inspect aborts on obvious non-HTTP ttraffic

tom:
    eliminate chunk aggregation from reassemble()
-- static buffer for body sections
-- update during chunk reassembly mods
-- new chunk splitting is working
-- skip on chunk scan side
-- reassemble side chunk skip
-- complete space optimization changes

doc tweaks

russ:
-- fix http inspect use of decompress_swf and decompress_pdf
-- ensure that autotools and cmake install the same files in the same dirs
-- add doc/online_manual.sh to generate an all-in-1 html manual with
   embedded images

fix packaging foo

forgot change log

fixed xcode static analysis issues

russ:
add packet processing to manual
update default manuals
update base version to 297-177

russ - cleanup some comments; build 150

Squashed commit of the following:

russ:
-- ensure unknown sources are analyzed
-- change daq.var to daq.vars to support multiple params, reported by Sancho Panza
-- fixed urg option
-- fix hi mpse search
-- additional refactoring and cleanup

bhagya - pop and imap inspectors ported

fixed build issue with exta/; bump build to 149

build 148

dont just validate when no -r or -i for non-pcap DAQ; reported by Sancho Panza

russ - refactor of snort and snort_config modules

hui - file type ID updates and refactoring

added publish-subscribe handling of data events and data_log example

build 147

change PT_DATA to IT_PASSIVE; supports named instances, reload, and consumers

added snort_manual.text; add flow pointer to splitter finish

build 145

nhttp clear() and related changes

ensure inspector::clear called only after eval

stream and splitter changes for new http - change log

stream and splitter changes for new http

new http refactoring and cleanup

merge in new http changes: events from splitter plus additional refactoring and cleanup

fix dns assertion; remove unused variables

updated autotools generation of api_options.h; bumped build to 144

ported dns preprocessor

build 143 final

missed ssh updates

added ssh inspector

add duplicate service warning; set service ahead of session

apply service from hosts when inspector already bound to flow

ensure direction and service are set regardless of flow state

enable active for react / reject only if used in configuration

fixed use of bound ip and tcp policy if not set in hosts

eliminate dedicated nhttp chunk buffer; minor nhttp cleanup in StreamSplitter

fixed host lookup issue

misc snort2lua updates

apply module defaults; bump build to 142

fix static analysis issues reported by xcode

all parse warnings are optional; fix ip and tcp policy defines

fixed ip and icmp flow init of client/server ip