detect: move lua smtp support to dynamic list

lua: convert lua output to be tx aware

detect: make ssh detection use dynamic list

ssh: remove single logger limit

ssh: convert app-layer parser to be tx aware

Like with SSL, there is only a single 'tx'.

lua: use tls_generic list for ssl/tls

detect ssl/tls: use dynamic lists

ssl/tls: clean up keywords

detect: convert old tls keywords to dynamic list

tls.store: convert to postmatch

tls.store: cleanup

app-layer-events: remove unused API options

detect: http_start sticky buffer

Matches on the start of a HTTP request or response.

Uses a buffer constructed from the request line and normalized request
headers, including the Cookie header.

Or for the response side, it uses the response line plus the
normalized response headers, including the Set-Cookie header.

Both buffers are terminated by an extra \r\n.

detect: add http_protocol sticky buffer

Matches on protocol field in HTTP.

http_header: convert to use common code

http_header: common detection code

http_header: remove old files

http_header: move all code into keyword files

detect: http_header_names sticky buffer keyword

A sticky buffer that allows content inspection on a contructed buffer
of HTTP header names. The buffer starts with \r\n, the names are
separated by \r\n and the end of the buffer contains an extra \r\n.

E.g. \r\nHost\r\nUser-Agent\r\n\r\n

The leading \r\n is to make sure one can match on a full name in all
cases.

detect: global registery for keyword thread data

Some keywords need a scratch space where they can do store the results
of expensive operations that remain valid for the time of a packets
journey through the detection engine.

An example is the reconstructed 'http_header' field, that is needed
in MPM, and then for each rule that manually inspects it. Storing this
data in the flow is a waste, and reconstructing multiple times on
demand as well.

This API allows for registering a keyword with an init and free function.

It it mean to be used an initialization time, when the keyword is
registered.

profiling: output all sort options for rules

Limit the default number of sids to 10.

profiling: honor limit in json rule output

profiling: fix keyword profiling

detect-engine-mpm: api cleanup

detect: detect engine registration cleanup

detect: cleanup built-in list id's

template: dynamic buffer

app-layer-events: dynamic list

files: use dynamic list

cip/enip: dynamic buffer

modbus: dynamic buffer

dnp3: dynamic buffers/lists

tls: dynamic buffers

dns: use dynamic buffers

detect-parse: content modifier cleanup

http_raw_uri: dynamic buffer

http_client_body: dynamic buffer

http_header / http_raw_header: dynamic buffers

http_stat_msg: dynamic buffer

http_stat_code: dynamic buffer

http_raw_host: dynamic buffer

http_host: dynamic buffer

http_cookie: dynamic buffer

http_user_agent: dynamic buffer

http_response_line: dynamic buffer

http_uri: dynamic buffer

Clean up tests

http_method: make list dynamic

file_data: dynamic buffer

http_request_line: dynamic buffer

detect: remove hardcoded sm_list logic from setup

Introduce utility functions to aid this.

detect: buffer type API

To replace the hardcoded SigMatch list id's, use this API to register
and query lists by name.

Also allow for registering descriptions and whether mpm is supported.

Registration is only allowed at startup.

detect: inspect engine setup cleanup

detect: dce test fixes and improvements

detect-csum: redo tests

detect: move init only Signature members to init_data

detect: shrink Signature::sm_arrays

Signature::sm_arrays now only contains 'built-in' lists, and so is
sized appropriately.

detect: reorganize id's in prep of dynamic lists

threshold: fix and redo tests

detect: improve memory handling & comments

detect: get rid of Signature::sm_lists

Instead use the lists in init_data during setup and the SigMatchData
arrays during runtime.

detect: use detect list passed to generic funcs

Until now the GenericList users used hardcoded list id's.

detect: pass SigMatchData to inspect functions

detect: template list in engine

detect: enip/cip list in engine

detect: modbus list in engine

detect: file list in engine

detect: app-event list in engine

detect: dns & tls lists in engine

detect: http lists in engine

detect-engine: memory handling of sm_lists

For lists that are registered multiple times, like http_header and
http_cookie, making the engines owner of the lists is complicated.
Multiple engines in a sig may be pointing to the same list. To
address this the 'free' code needs to be extra careful about not
double freeing, so it takes an approach to first fill an array
of the to-free pointers before freeing them.

detect: when freeing sig also see sm in inspect engine

detect: add SigMatch arg to inspect functions

detect: use InspectEngineFuncPtr in inspect engines

Replace explicit function pointer use by InspectEngineFuncPtr typedef

detect: shrink inspect engine by using 'id' as state flag

detect: remove unused SIG_FLAG_INIT_PAYLOAD init_flag

detect alert/threshold/tag: sm_list -> sm_array

detect: fix file_data / http_server_body tests

detect file_data: improve error messages

detect-parse: set ipprotos earlier

A high level proto like HTTP implies TCP. However this wasn't set
until after all the parsing was complete which means that keywords
couldn't test if the ipproto matched.

This patch populates the ipprotos right when the higher level proto
is parsed.

detect: remove unused flags

detect: make setup/free/match funcs static where possible

detect: constify Signature/SigMatch use at runtime

detect: simplify SIG_FLAG_STATE_MATCH set logic

detect: remove alproto from keyword registration

It was already marked as depricated and no longer in use anywhere.

Open 4.0 development branch

changelog: update for 3.2.1 release

dns: fix outputs with 0-len A/AAAA records

dns: fix out of bounds read

On a zero size A or AAAA record, 4 or 16 bytes would still be
read.

Found with AFL+ASAN.

defrag - take protocol into account during re-assembly

The IP protocol was not being used to match fragments with
their packets allowing a carefully constructed packet
with a different protocol to be matched, allowing re-assembly
to complete, creating a packet that would not be re-assembled
by the destination host.

afl: add ethernet and erspan entry points

afl: clean up commandline parsing

afl: pass a packet queue to decoder calls

afl: set the packet data so pktlen gets set

afl: minimalistic script to start AFL fuzzers

in suricata source dir:

mkdir afl
cd afl
bash ../scripts/afl/runafl.sh decoder-ipv4

afl: util script to list crashed series

afl: improve packet fuzz testing

Due to the use of AFL_LOOP and initialization/deinit outside of it,
part of the fuzzing relied on the global 'state' in flow and defrag.
Because of this crashes that were found could not be reproduced. The
saved crash input was only the last in the series.

This patch addresses that. It requires a new output directory 'dump'
where the packet fuzzers will store all their input. If the AFL_LOOP
fails the files will not be removed and this 'serie' can be read
again for reproducing the issue.

e.g.: AFL would work with:
--afl-decoder-ppp=@@

and after a crash is found the produced serie can be read with:
--afl-decoder-ppp-serie=1486656919-514163

The series have a timestamp as name and a suffix that controls the
order in which the files will be 'replayed' in Suricata.

afl: add decoder ipv4 option

mpm-ac: fix integer overflow on allocation

The size of a memory buffer to be allocated was kept in a signed int
instead of a size_t, leading to an overflow when large lists of long
and diverse patterns cause the amount of AC states to blow up (>2GB).
Fixes Redmine issues #1827 and #1843.

Signed-off-by: Sascha Steinbiss <sascha@steinbiss.name>

alert: silence compiler type warning

The `ts_ecr' and `ts_val' struct fields are integer types, not
pointers. This leads GCC 6.3.0 to complain about comparisons to
NULL.

Signed-off-by: Sascha Steinbiss <sascha@steinbiss.name>

detect: don't run IP inspection on non-IP packets

The code to get the rule group (sgh) would return the group for
IP proto 0 instead of nothing. This lead to certain types of rules
unintentionally matching (False Positive).

Since the packets weren't actually IP, the logged alert records
were missing the IP header.

Bug #2017.