TLS app layer: misc fixes, reorder some fields to same memory

Add TLS decode events

TLS: replace SigMatchAppendAppLayer with SigMatchAppendSMToList

tls-handshake: add sanity checks.

tls-handshake: Add some missing free in error handling.

When DecodeAsn1BuildValue function fails, it may be necessary to
do some clean-up in the calling functions.

tls-handshake: DecodeAsn1BuildValue should return -1 for error

This patch modifies DecodeAsn1BuildValue to have it return -1 when
there is a too big number of bytes announced in the ASN.1 message.

TLS parser: add sanity checks on loop

It was possible in some loop to read data placed after the buffer
resulting in invalid/unpredictable value. This patch fixes two of
this issues.

TLS parser: add sanity check

TLS parser: modify OCTETSTRING

This patch does on over allocation of 1 for the OCTETSTRING
to be able to add a 0 at the end. This will then
allow us to use the string in printf.

TLS parser: add handing of UTF8STRING

Some certificate contains UTF8STRING which is a subset of
OCTETSTRING. This patch adds support for this type of string.

TLS keywords: fix match regex (remove extra space)

TLS app layer: rewrite decoder to handle multiple messages in records

Since we now parse the content of the TLS messages, we need to handle
the case multiple messages are shipped in a single TLS record, and
taking care of the multiple levels of fragmentation (message, record,
and TCP).
Additionally, fix a bug where the parser state was not reset after an
empty record.

TLS app layer: fix number of bytes processed on SERVER_CERTIFICATE message.

Change the function to return the number of bytes processed, and fix a bug
where the input buffer was wrong.

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

tls app layer: add missing free

issuerdn was not freed at exit.

tls app layer: handle negation on subject and issuerdn.

This patch adds negation support for tls.subject and tls.issuerdn
matches.

TLS app layer: Add tls.issuerdn keyword.

decode ASN.1: Factorize value reading

This patch factorizes the reading of integer value and fix some
indentation. By convention, a value of 0xffffffff is returned
if the size of the integer is too big. In this case, the hexadecimal
value (which is also read) must be used.

TLS handshake: get TLS ciphersuite and compression

Decode the SERVER_HELLO message to extract the ciphersuite and compression
chosen by the server.

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

TLS handshake: decode the SERVER_CERTIFICATE message

Add a decoder for the SERVER_CERTIFICATE during a TLS handshake, extracts the
certificates and keep the subject name.
Add the tls.subject keyword for substring match in rules (TLS layer).

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

Add ASN.1 parser for X509 certificates (in DER format)

Signed-off-by: Pierre Chifflier <pierre.chifflier@ssi.gouv.fr>

Make list-app-layer-protos option name match the help explanation. Make sure it works w/o passing a config.

Add new command line option --list-app-layer-protocols to list supported app layer protocols in sigs

Add BUG_ON to avoid overruning AppLayerDetectDirection map array

reject rules with duplicate content modifiers

reject rules that have multiple depths, offsets, distances, fast_patterns, nocases, or rawbytes for the same content.

added null checks for init_hash to all ac mpms

reject http_client_body with inconsistent flow dir

reject http_client_body with flow: to_client or from_server

Clean up error message.

disallow-use-of-configuration-file-with-unittests

profiling: add per lock location profiling

Add profiling per lock location in the code. Accounts how often a
lock is requested, how often it was contended, the max number of
ticks spent waiting for it, avg number of ticks waiting for it and
the total ticks for that location.

Added a new configure flag --enable-profiling-locks to enable this
feature.

Profile pcap file callback.

Make sure stream debug code is only used in debug mode.

Small http.log improvement: bail out early if there is nothing to log. Make output locking more fine grained.

Fix 2 compilation issues.

Move over src and dst thresholding to use host table. Fix a bug in threshold 'both' handling.

Introduce host table, make tag use it

Add a host table similar to the flow table. A hash using fine grained
locking. Flow manager for now takes care of book keeping / garbage
collecting.

Tag subsystem now uses this for host based tagging instead of the
global tag hash table. Because the latter used a global lock and the
new code uses very fine grained locking this patch should improve
scalability.

Undo changes from 88b8f15663076560b2237e6d8b8cae7e23d92bb6. Atomic stack implementation had a-b-a problem.

Add atomic stack implementation. Convert flow spare queue to use this stack. Remove now unused flow-queue code.

Fix invalid declaration of enable_nss and enable_nspr in configure.in.

Add way to profile mutex/spin locks per thread module.

Implement stream memcap enforcements using atomics instead of spinlocked counters.

Misc fixes.

Remove trailing zero's from some counters output.

flow engine: improve scalability

Major redesign of the flow engine. Remove the flow queues that turned
out to be major choke points when using many threads. Flow manager now
walks the hash table directly. Simplify the way we get a new flow in
case of emergency.

Fix broken unittest.

add null checks to fix bugs in StreamTcpTest23

fix more invalid content unittests

fix invalid unittests with mixed relative and non-relative content modifiers and other issues; DetectContentParse19 still contains some failing dce_stub tests which are commented out.

fix invalid unittests with mixed content modifiers

Fixed some unittests that were incorrectly mixing relative and non-relative content modifiers.

reject mixed relative and non-relative keywords

reject signatures using relative and non-relative positional keywords for the same content (depth or offset with distance or within)

reject invalid combinations of pcre modifiers

don't allow /B with normalized buffers, and don't mix modifiers for normalized and raw buffers

Add libnss/libnspr support output to configure. Clean up configure.in.

Do not assume the include dir for nss to be nss. On F16 it's nss3.

Do not assume the include dir for nspr to be nspr. On F16 it's nspr4.

Fix json output typo.

Fix issue discovered by Anoop. Passing u32 ptr to a size_t can caused badness.

Fix minor memleak in case af-packet init fails.

Fix UTHBuildFlow setup using wrong address.

Improve http filename parsing.

Fix compilation with profiling enabled. Minor unittest fixes.

Fix minor fgetc issue.

Move PACKET_RECYCLE outside of flow lock in FlowForceReassemblyForQ as it confuses static code checkers.

file extract: improve multipart parsing and set events on some error conditions.

flow: Refactor how FlowPrune deals with forced timeouts, improving locking logic.

Another batch of minor fixed for issues found by Coverity.

Various improvements to error handling found by Coverity.

code cleanup

Various fixes and improvements based on feedback by Coverity analyzer.

Add line number to warning about mangled yaml parameters. Limit number of warnings to 10.

Consistently use dashes instead of underscores in the sample config file.

Consistently use dashes instead of underscores in the sample config file.

Convert underscores to dashes in thread affinity type names.

Fix some warning message still using underscored config vars.

Do not use underscored config vars internally.

Remove the underscored "sguil_base_dir" compatibility option.

Convert config entries using underscores to dashes and emit deprecation warnings.

Added Shadowserver plugin.

file-inspection: split 'file' output module into file-store and file-log. Store stores files. Log logs json records.

Add more flow lock assertions to the debug validation code.

Fix locking error in filestore handling. Add debug validate check for asserting a flow is locked.

Added license.

Added some installation instructions to file_processor REAMDE.

Added contrib folder with file_processor utility which is a plugin framework for reading the files-json.log and processing and taking action based on the files observed.

Fix compiler warning and silence complaining unittests.

Misc afpacket changes.

Fix NULL dereference in PacketPatternSearchWithStreamCtx code.

af-packet: Implement zero copy

This patch adds support for zero copy to AF_PACKET running mode.
This requires to use the 'worker' mode which is the only one where
the threading architecture is simple enough to permit this without
heavy modification.

decode: add PacketSetData funtion

This patch adds a function which can be used to set the payload
of a packet when a zero copy mode is used.

af-packet: mmap support

This patch adds mmap support for af-packet. Suricata now makes
use of the ring buffer feature of AF_PACKET if 'use-mmap' variable
is set to yes on an interface.

Config should be set up in sysconfdir/suricata. Add reference to oinkmaster guide.

Improve config details overview at the end of configure.

build: enable af-packet by default

Add sexy information messages to configure output.

Fix PCRE-JIT message

Remove autogen.sh generated files.

Improve output

del rules file deleted

Add install-conf command to build system.

This patch adds support for customisation of suricata.yaml and
automatic download of emerging threat GPL rules. By running
'make install-full' after 'make install', files necessary to run
suricata are copied in the configuration directory and the latest
ruleset is downloaded and installed. Suricata can then be run
without files edition.
This patch has a special treatment for the windows build which
requires some different paths.
suricata.yaml is also updated to load all rules files provided by
emergingthreat ruleset.

file-inspection: support POST requests that do not use multipart.

file-inspection: use filename= value from Content-Disposition where available to determine the filename in GET requests.

Fix UtilMiscParseSizeStringTest01 unittest on 32 bit.

All http_http_stat_code modified patterns now are DETECT_CONTENT and not DETECT_AL_HTTP_STAT_CODE. Also remove dummy match/free functions for stat code and stat msg