stream: fix progress for min_inspect_depth

Make sure progress don't exceed raw_progress.

smtp: implement min_inspect_depth logic

Implement min_inspect_depth for SMTP so that file_data and
regular stream matches don't go out of sync on the stream start.

Added toserver bytes tracking.

Bug #3190.

debug: make it easier to trace flush logic

configure: don't print ERROR if we don't exit

eve/dhcp: remove leftover template comments

eve/alert: clean up proto metadata

Use a switch statement to select the protocol specific function.

dns: rename rust files and funcs

jansson: remove explicit <jansson.h> includes

Header is included from suricata-common.h

jansson: remove HAVE_LIBJANSSON guards

rust: remove build system HAVE_RUST guards

rust: remove all HAVE_RUST guards

http: updates suricata.yaml comments

As well as the userguide documentation about suricata.yaml

configure: fix python major version check on python 2.6

Python 2.6 doesn't use a named tuple for the version info,
instead use the index of the major version which works
on Python 2.6 upwards.

rust: run tests with same features as build

Cargo check wasn't being passed --features so could have a different
configuration than the build.

rustup: handle rustup for sudo and su

If rustup is in use, and a user uses sudo or su for the make
install, the install may fail with a "no default toolchain"
error.

To prevent this, detect at configure if rustup is being used,
then set RUSTUP_HOME for all calls to cargo.

python: fixes for installing from path with spaces

Related to Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2668

rust: fix build when source directory has spaces in it

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2668

configure: no, followed by reason for python tools

This:
  Install suricatactl:                     no, requires distutils
instead of this:
  Install suricatasc:                      requires distutils

configure: generic instructions for missing python modules

Instead of telling the user what packages to install for missing
Python modules, give generic instructions about what module
needs to be installed.

It is getting tricky to get these package names correct
across distributions.

suricata-update: build before install

Run the Python build independent of install. Prevents files
in the tree becoming owned by root.

configure: detect python major version

For informational purposes only when notifying what Python
modules are required during ./configure.

configure: don't detect python version

Don't detect the Python version, it is not needed anyways,
all we need is the Python path.

Also, python2 --version prints to stderr, while python3
prints to stdout, leading to some odd output during
./configure (but fixable).

doc: cleanup enging logging

Attempt cleanup the engine logging a bit.

Also a include a verbatim excerpt of the default configuration
here for reference purposes.

doc: -v verbose option documentation update

Update -v documentation to reflect the new behaviour discussed
in bug #1851 where -v changes the log level to fixed levels
instead of an offset of the default log level configured
in suricata.yaml.

help: better description for -v

-v: be more verbose (use multiple times to increase verbosity)

logging: used fixed levels of verbosity for -v, -vv...

Change the meaning of the verbosity flag to change the log
level to fixed levels instead of being relative to whats
configured.

-v    => INFO
-vv   => PERF
-vvv  => CONIFG
-vvvv => DEBUG

But do now allow -v to decrease the verbosity.

Bug #1851

logging: respect individual log levels

The log level of individual loggers (console, file, syslog) was
being capped by the default log level. For example, if the
default log level was notice, setting the file level to info
would still result in notice level logging.

Bug #3210

app-layer: remove obsolete msn protocol detection

datasets: make clear the feature is experimental

eve/anomaly: enable by default

Default config will only enable 'app-layer' type within the anomaly
logger.

htp: require 0.5.31

yaml: minor improvements

yaml: clean up 'autofp-scheduler' option

log/anomaly: remove leading underscore from static var

doc/eve.alert: Expand metadata description

logging/alert: Warn if metadata not selected

Warn when HTTP body logging has been selected but applayer/metadata
logging is not configured.

logging/anomaly: Clarify anomaly logging

Clarify the description of the anomaly logging types.

logging/alert: Expand alert logging description

Clarify the configuration requirements for alerts and http-body logging.

ftp: Handle malformed RETR/STOR

Ensure that RETR (STOR) have a filename -- otherwise, treat the command
string as malformed.

Added unittests for each command and verified that SEGV's occur without
parser change and no longer occur with the parser change.

configure.ac: fix --disable-geoip

$enableval should be used to know if the user has passed --enable-geoip
or --disable-geoip

Fixes:
 - http://autobuild.buildroot.org/results/a7a34f760ae5fe0922fdb720b8234dbcd85ed222

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

config: install classification.config (and ref) to $datadir

Install classification.config and reference.config to $datadir,
where they can be updated on every upgrade.

This required moving them into a sub-directory for autotools
to do its thing.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3209

Revert "runmode: consider test mode a user mode"

This reverts commit 6dca50a322b08bbd6391f091787671305649671a.

The test mode should actually test in system mode by default as
that is what tools like Suricata-Update need before issuing a
reload command.

detect/ja3: print error for one rule only

Use 'silent error' logic for any other rules using ja3 as well.

detect/parse: allow signature parsing to fail silently

A sigmatches 'Setup' function may indicate it intends to fail
silently after the first error. It will return -2 instead of -1
in this case.

This is tracked in the DetectEngineCtx object, so errors will
be shown again at rule reloads.

detect/parser: minor cleanup

tls/ja3: allow 'auto' setting for ja3

tls/ja3: try to enable ja3 if rule keywords need it

tls/ja3: add way to check active config

tls/ja3: don't disable; allowing runtime enabling

tls/ja3: allow dynamic enabling of ja3

detect/reference: implement strict parsing option

detect/classtype: implement strict parsing option

detect/parse: add --strict-rule-keywords option

Add --strict-rule-keywords commandline option to enable strict rule
parsing.

It can be used without options or with a comma separated list:
--strict-rule-keywords
--strict-rule-keywords=all
--strict-rule-keywords=classtype,reference

Parsing implementations can use SigMatchStrictEnabled to check
if strict parsing is enabled for them and act accordingly.

detect: use named enum for keyword types

detect/reference: allow undefined references

References are currently not used in Suricata, so erroring out on
rules using a undefined reference is too harsh.

Just issue a warning once per unique missing reference.

reference: change scope of add func to global

reference: use global defines for size limits

detect/reference: code cleanups

detect/classtype: check size of rule input

classtype: handle missing classification.config

Still initialize the classtype hash table so that the classtypes
rules use can be added to it.

The file missing now reports a warning instead of error, as we
will continue to work.

classtype: use global defines for size limits

detect/classtype: show file and line for unknown classtype

detect/priority: use global define for default prio

detect/classtype: allow undefined classtypes

Effect of classification on Suricata's working is minimal. Impact
of adding undefined classtypes is large: rules will fail to load
completely. This also leads multiple lines of log output per rule,
which in a large ruleset can lead to excessive output.

This patch changes the classtype keyword behavior. Instead of erroring
and invalidating a rule, we will merely warn.

The undefined classtype is then defined with a default priority,
so other rules using the classtype will not also warn. This way
there will be just a single warning per missing classtype.

classtype: increase id size

Switch from u8 to u16 to allow for more classtypes.

Rename Signature::class to Signature::class_id to make it clear
it is an id.

classtype: small memory reduction

Reduce memory use by making sure SCClassConfClasstype
has a more optimal memory layout.

classtype: put UNITTESTS guards where appropriate

classtype: reduce scope of functions

detect/classtype: change duplicate classtype behavior

Detect duplicate instances and use the one with the highest
priority.

Use new priority flag to make the logic around explicit priority
sets easier to follow.

Minor code cleanups. Also clean up unittests.

detect/priority: change duplicate priority behavior

Introduce Signature init_flag to indicate priority has been set.
This will be needed in a follow-up classtype update.

Detect duplicate priority instances in a keyword, and use the
highest priority in the rule. Do issue a warning in this case.

detect: use BIT_U32 macros for INIT flags

detect/priority: minor cleanups

detect/classtype: clean up error handling

detect/classtype: warn on duplicate classtype

Issue warning instead of erroring and invalidating the rule.

It's not a very serious issue, so don't error out.

detect/classtype: fix parsing error checking

detect/test: update test for file prune changes

As the file prune is now moved to the flow worker, the file
prune is run later, meaning the first file has not yet
been pruned from the file container list.

Adjust test to look for a second file, and check the
flags on that file.

For commit addressing bug 2490.

file extraction: always prune files after detect

If a keyword like filemd5 was being used without a filestore,
or a file output enabled, it would be pruned before detection
had a chance to match.

Consolidate file pruning to the end of the flow worker so files
are available for detection even when a file output is not
enabled.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2490

afl/decode: fix stats related memleak reports

afp: nicer error message in case of fanout failure

Use clearer message in case fanout is not supported or cluster_id is
already in use.

Closes redmine ticket #1940.

suricata: Check if default log dir is writable

At the startup, if the default log dir provided either by command line
options or suricat.yaml is not writable, the error comes quite later.
This patch makes suricata exit if there is such an error in the
beginning itself.

Closes redmine ticket #2386.

Makefile: Make libhtp available at install-rules stage

So far when "make install-rules" stage was executed, libhtp path was not
recognized as ldconfig does not run by this stage.
Set "LD_LIBRARY_PATH" since we already know the path where libhtp would
be.

Closes redmine ticket #2669.

doc/datasets: update example config to map

runmode: consider test mode a user mode

datasets: fix error handling

datasets: improve and doc return codes

dataset: fix return value check on isnotset

The dataset api returns -1 for not found.

thash: fix prealloc config setting

datasets: fix hash table config

Example:

datasets:
  ua-seen:
    type: string
    state: ua-seen.lst
    hash:
      hash-size: 100000
      prealloc: 1000
      memcap: 256mb

datasets: change config to map

Example:

datasets:
  ua-seen:
    type: string
    state: ua-seen.lst
  dns-sha256-seen:
    type: sha256
    state: dns-sha256-seen.lst

lua: fix lua int size detection

Failed to work with non-bundled htp and with some stricter
compile flags.

configure: detect lua integer size

Lua 5.1 and 5.3 use a different integer size. Run a test program
to set the integer size used in the Rust FFI layer to Rust.

magic/test: remove NULL as format string

Remove passing NULL as a format string parameter
in test. Convert to FAIL_IF_NULL.

configure: remove unused LUA_PC_NAME.

This variable is no longer used. Instead multiple
lua pkg-config names are checked.

config: update lzma size notes to match others

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: reformat linux ips guide

doc: add nftables IPS configuration

doc: information about scaling AF_PACKET IPS mode

doc: add info about AF_PACKET IPS

Based on https://home.regit.org/2012/09/new-af_packet-ips-mode-in-suricata/

Also fix some typo in Netfilter setup.

doc: mark independent json loggers as deprecated

This is the loggers such as alert-json-log, dns-json-log, etc.
They are not even referenced in the default configuration file,
and are easily replaced with multiple eve instances.

drop.log: log deprecation warning if used