dnp3: dynamic buffers/lists

tls: dynamic buffers

dns: use dynamic buffers

detect-parse: content modifier cleanup

http_raw_uri: dynamic buffer

http_client_body: dynamic buffer

http_header / http_raw_header: dynamic buffers

http_stat_msg: dynamic buffer

http_stat_code: dynamic buffer

http_raw_host: dynamic buffer

http_host: dynamic buffer

http_cookie: dynamic buffer

http_user_agent: dynamic buffer

http_response_line: dynamic buffer

http_uri: dynamic buffer

Clean up tests

http_method: make list dynamic

file_data: dynamic buffer

http_request_line: dynamic buffer

detect: remove hardcoded sm_list logic from setup

Introduce utility functions to aid this.

detect: buffer type API

To replace the hardcoded SigMatch list id's, use this API to register
and query lists by name.

Also allow for registering descriptions and whether mpm is supported.

Registration is only allowed at startup.

detect: inspect engine setup cleanup

detect: dce test fixes and improvements

detect-csum: redo tests

detect: move init only Signature members to init_data

detect: shrink Signature::sm_arrays

Signature::sm_arrays now only contains 'built-in' lists, and so is
sized appropriately.

detect: reorganize id's in prep of dynamic lists

threshold: fix and redo tests

detect: improve memory handling & comments

detect: get rid of Signature::sm_lists

Instead use the lists in init_data during setup and the SigMatchData
arrays during runtime.

detect: use detect list passed to generic funcs

Until now the GenericList users used hardcoded list id's.

detect: pass SigMatchData to inspect functions

detect: template list in engine

detect: enip/cip list in engine

detect: modbus list in engine

detect: file list in engine

detect: app-event list in engine

detect: dns & tls lists in engine

detect: http lists in engine

detect-engine: memory handling of sm_lists

For lists that are registered multiple times, like http_header and
http_cookie, making the engines owner of the lists is complicated.
Multiple engines in a sig may be pointing to the same list. To
address this the 'free' code needs to be extra careful about not
double freeing, so it takes an approach to first fill an array
of the to-free pointers before freeing them.

detect: when freeing sig also see sm in inspect engine

detect: add SigMatch arg to inspect functions

detect: use InspectEngineFuncPtr in inspect engines

Replace explicit function pointer use by InspectEngineFuncPtr typedef

detect: shrink inspect engine by using 'id' as state flag

detect: remove unused SIG_FLAG_INIT_PAYLOAD init_flag

detect alert/threshold/tag: sm_list -> sm_array

detect: fix file_data / http_server_body tests

detect file_data: improve error messages

detect-parse: set ipprotos earlier

A high level proto like HTTP implies TCP. However this wasn't set
until after all the parsing was complete which means that keywords
couldn't test if the ipproto matched.

This patch populates the ipprotos right when the higher level proto
is parsed.

detect: remove unused flags

detect: make setup/free/match funcs static where possible

detect: constify Signature/SigMatch use at runtime

detect: simplify SIG_FLAG_STATE_MATCH set logic

detect: remove alproto from keyword registration

It was already marked as depricated and no longer in use anywhere.

Open 4.0 development branch

changelog: update for 3.2.1 release

dns: fix outputs with 0-len A/AAAA records

dns: fix out of bounds read

On a zero size A or AAAA record, 4 or 16 bytes would still be
read.

Found with AFL+ASAN.

defrag - take protocol into account during re-assembly

The IP protocol was not being used to match fragments with
their packets allowing a carefully constructed packet
with a different protocol to be matched, allowing re-assembly
to complete, creating a packet that would not be re-assembled
by the destination host.

afl: add ethernet and erspan entry points

afl: clean up commandline parsing

afl: pass a packet queue to decoder calls

afl: set the packet data so pktlen gets set

afl: minimalistic script to start AFL fuzzers

in suricata source dir:

mkdir afl
cd afl
bash ../scripts/afl/runafl.sh decoder-ipv4

afl: util script to list crashed series

afl: improve packet fuzz testing

Due to the use of AFL_LOOP and initialization/deinit outside of it,
part of the fuzzing relied on the global 'state' in flow and defrag.
Because of this crashes that were found could not be reproduced. The
saved crash input was only the last in the series.

This patch addresses that. It requires a new output directory 'dump'
where the packet fuzzers will store all their input. If the AFL_LOOP
fails the files will not be removed and this 'serie' can be read
again for reproducing the issue.

e.g.: AFL would work with:
--afl-decoder-ppp=@@

and after a crash is found the produced serie can be read with:
--afl-decoder-ppp-serie=1486656919-514163

The series have a timestamp as name and a suffix that controls the
order in which the files will be 'replayed' in Suricata.

afl: add decoder ipv4 option

mpm-ac: fix integer overflow on allocation

The size of a memory buffer to be allocated was kept in a signed int
instead of a size_t, leading to an overflow when large lists of long
and diverse patterns cause the amount of AC states to blow up (>2GB).
Fixes Redmine issues #1827 and #1843.

Signed-off-by: Sascha Steinbiss <sascha@steinbiss.name>

alert: silence compiler type warning

The `ts_ecr' and `ts_val' struct fields are integer types, not
pointers. This leads GCC 6.3.0 to complain about comparisons to
NULL.

Signed-off-by: Sascha Steinbiss <sascha@steinbiss.name>

detect: don't run IP inspection on non-IP packets

The code to get the rule group (sgh) would return the group for
IP proto 0 instead of nothing. This lead to certain types of rules
unintentionally matching (False Positive).

Since the packets weren't actually IP, the logged alert records
were missing the IP header.

Bug #2017.

afl: fix ENIP, switch DNS to UDP and add --afl-dnstcp*

afl: with -Wshadow issues

af-packet: add VLAN header when needed in IPS mode

When packet is coming from a real ethernet card, the kernel is
stripping the vlan header and delivering a modified packet so
we need to insert the VLAN header back before sending the packet
on the wire.

To do so, we pass an option to the raw socket to add a reserve
before the packet data. It will get Suricata some head room to
to move the ethernet addresses before there actual place and
and insert the VLAN header in the correct place.

We get VLAN info from the ring buffer as the call of AFPWrite is
always done in the release function so we still have access to the
memory.

detect-tls-sni: add link to documentation

doc: document the tls_sni keyword

detect-tls: add url field pointing to doc

detect-xbits: set documentation URL

dns-log: log requests even when there is no response

The JSON logger had already been updated to handle
transactions without a response. Apply the same logic
to the older dns-log where a logger is registered
for each direction.

Fixes issue 2012.

app-layer-parsing: detect malformed input

If the app-layer-parsing has a very long content it exceeds the maximum
defined in "alproto_name". This adds a check for the too long content
before it will be passed to "strlcpy" and logs an error.

detect: remove unused flow_locked hint

detect: make tenant loading less verbose

profiling: fix memory leaks

detect: use TLS_STATE_CERT_READY in cert inspect

tls: introduce 'cert ready' state

common: add BIT_U8 macro

mpm/spm: check for SSSE3 and enable/disable HS

The new Hyperscan 4.4 API provides a function to check for SSSE3
presence at runtime. This allows us to fall back to non-Hyperscan
matchers on systems without SSSE3 even when the suricata executable
is built with Hyperscan support. Addresses Redmine issue #2010.

Signed-off-by: Sascha Steinbiss <sascha@steinbiss.name>
Tested-by: Arturo Borrero Gonzalez <arturo@debian.org>

stream: initialize stream segment pool from mtu

If segments section in the yaml is ommitted (default) or when the
pool size is set to 'from_mtu', the size of the pool will be MTU
minus 40. If the MTU couldn't be determined, it's assumed to be
1500, so the segment size for the bool will be 1460.

mtu: track max mtu for capture devices

shutdown: remove pid file last

startup: clean up main loop

unittests: clean up registration and startup

shutdown: move global shutdown steps into func

startup/shutdown: cleanup and unify with unix mode

threads: fix missed logging at shutdown

At shutdown, all flows that still need work are handled by the flow
force reassembly logic. This means one or more flow end pseudo packets
are generated and pushed through the engine for final detection and
logging.

In some cases this would not work correctly. This was caused by the
flow timeout logic kicking in before all the 'live' packets were
processed. Before the flow timeout handling runs the receive threads
are disabled, however the engine did not wait for the in-flight
packets to be fully processed. In autofp mode, packets could still
be in the queue between receive thread(s) and flow worker(s).

This patch adds a new function that 'drains' all the packet threads
of any in-progress packets before moving on the flow timeout logic.

Bug #1946.

template script: use bash and require ed

For now these scripts only work in bash, and the "ed" program
is required.

templates: require the protocol name to start with a capital

When running ./setup-app-layer.sh require the protocol name to
start with a capital letter so it looks somewhat like a proper
name. This will help give better function names.

For example:

   ./setup-app-layer.sh IRC
   ./setup-app-layer.sh Irc

will create function names starting with IRC or Irc. But we do
not want function names to start with "irc".

configure: prevent combination of unittests and debug-validation

doc: add documentation for Lua SCFlowHasAlerts

output-json-flow: add has_alerts field

Add has_alerts field to flow eve-log to indicate if a flow has
any alerts or not.

lua: add SCFlowHasAlerts function

Add SCFlowHasAlerts() to check if a flow has alerts. Returns true
on alerts, false otherwise.

Example:

  has_alerts = SCFlowHasAlerts()
  if has_alerts then
    -- do something
  end

flow: set flag to indicate that a flow has alerts

Set FLOW_HAS_ALERTS flag on the flow on alerts. Add FlowHasAlerts(..)
and FlowSetHasAlertsFlag(..) to check and set this flag.