log/anomaly: remove leading underscore from static var

doc/eve.alert: Expand metadata description

logging/alert: Warn if metadata not selected

Warn when HTTP body logging has been selected but applayer/metadata
logging is not configured.

logging/anomaly: Clarify anomaly logging

Clarify the description of the anomaly logging types.

logging/alert: Expand alert logging description

Clarify the configuration requirements for alerts and http-body logging.

ftp: Handle malformed RETR/STOR

Ensure that RETR (STOR) have a filename -- otherwise, treat the command
string as malformed.

Added unittests for each command and verified that SEGV's occur without
parser change and no longer occur with the parser change.

configure.ac: fix --disable-geoip

$enableval should be used to know if the user has passed --enable-geoip
or --disable-geoip

Fixes:
 - http://autobuild.buildroot.org/results/a7a34f760ae5fe0922fdb720b8234dbcd85ed222

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

config: install classification.config (and ref) to $datadir

Install classification.config and reference.config to $datadir,
where they can be updated on every upgrade.

This required moving them into a sub-directory for autotools
to do its thing.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3209

Revert "runmode: consider test mode a user mode"

This reverts commit 6dca50a322b08bbd6391f091787671305649671a.

The test mode should actually test in system mode by default as
that is what tools like Suricata-Update need before issuing a
reload command.

detect/ja3: print error for one rule only

Use 'silent error' logic for any other rules using ja3 as well.

detect/parse: allow signature parsing to fail silently

A sigmatches 'Setup' function may indicate it intends to fail
silently after the first error. It will return -2 instead of -1
in this case.

This is tracked in the DetectEngineCtx object, so errors will
be shown again at rule reloads.

detect/parser: minor cleanup

tls/ja3: allow 'auto' setting for ja3

tls/ja3: try to enable ja3 if rule keywords need it

tls/ja3: add way to check active config

tls/ja3: don't disable; allowing runtime enabling

tls/ja3: allow dynamic enabling of ja3

detect/reference: implement strict parsing option

detect/classtype: implement strict parsing option

detect/parse: add --strict-rule-keywords option

Add --strict-rule-keywords commandline option to enable strict rule
parsing.

It can be used without options or with a comma separated list:
--strict-rule-keywords
--strict-rule-keywords=all
--strict-rule-keywords=classtype,reference

Parsing implementations can use SigMatchStrictEnabled to check
if strict parsing is enabled for them and act accordingly.

detect: use named enum for keyword types

detect/reference: allow undefined references

References are currently not used in Suricata, so erroring out on
rules using a undefined reference is too harsh.

Just issue a warning once per unique missing reference.

reference: change scope of add func to global

reference: use global defines for size limits

detect/reference: code cleanups

detect/classtype: check size of rule input

classtype: handle missing classification.config

Still initialize the classtype hash table so that the classtypes
rules use can be added to it.

The file missing now reports a warning instead of error, as we
will continue to work.

classtype: use global defines for size limits

detect/classtype: show file and line for unknown classtype

detect/priority: use global define for default prio

detect/classtype: allow undefined classtypes

Effect of classification on Suricata's working is minimal. Impact
of adding undefined classtypes is large: rules will fail to load
completely. This also leads multiple lines of log output per rule,
which in a large ruleset can lead to excessive output.

This patch changes the classtype keyword behavior. Instead of erroring
and invalidating a rule, we will merely warn.

The undefined classtype is then defined with a default priority,
so other rules using the classtype will not also warn. This way
there will be just a single warning per missing classtype.

classtype: increase id size

Switch from u8 to u16 to allow for more classtypes.

Rename Signature::class to Signature::class_id to make it clear
it is an id.

classtype: small memory reduction

Reduce memory use by making sure SCClassConfClasstype
has a more optimal memory layout.

classtype: put UNITTESTS guards where appropriate

classtype: reduce scope of functions

detect/classtype: change duplicate classtype behavior

Detect duplicate instances and use the one with the highest
priority.

Use new priority flag to make the logic around explicit priority
sets easier to follow.

Minor code cleanups. Also clean up unittests.

detect/priority: change duplicate priority behavior

Introduce Signature init_flag to indicate priority has been set.
This will be needed in a follow-up classtype update.

Detect duplicate priority instances in a keyword, and use the
highest priority in the rule. Do issue a warning in this case.

detect: use BIT_U32 macros for INIT flags

detect/priority: minor cleanups

detect/classtype: clean up error handling

detect/classtype: warn on duplicate classtype

Issue warning instead of erroring and invalidating the rule.

It's not a very serious issue, so don't error out.

detect/classtype: fix parsing error checking

detect/test: update test for file prune changes

As the file prune is now moved to the flow worker, the file
prune is run later, meaning the first file has not yet
been pruned from the file container list.

Adjust test to look for a second file, and check the
flags on that file.

For commit addressing bug 2490.

file extraction: always prune files after detect

If a keyword like filemd5 was being used without a filestore,
or a file output enabled, it would be pruned before detection
had a chance to match.

Consolidate file pruning to the end of the flow worker so files
are available for detection even when a file output is not
enabled.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2490

afl/decode: fix stats related memleak reports

afp: nicer error message in case of fanout failure

Use clearer message in case fanout is not supported or cluster_id is
already in use.

Closes redmine ticket #1940.

suricata: Check if default log dir is writable

At the startup, if the default log dir provided either by command line
options or suricat.yaml is not writable, the error comes quite later.
This patch makes suricata exit if there is such an error in the
beginning itself.

Closes redmine ticket #2386.

Makefile: Make libhtp available at install-rules stage

So far when "make install-rules" stage was executed, libhtp path was not
recognized as ldconfig does not run by this stage.
Set "LD_LIBRARY_PATH" since we already know the path where libhtp would
be.

Closes redmine ticket #2669.

doc/datasets: update example config to map

runmode: consider test mode a user mode

datasets: fix error handling

datasets: improve and doc return codes

dataset: fix return value check on isnotset

The dataset api returns -1 for not found.

thash: fix prealloc config setting

datasets: fix hash table config

Example:

datasets:
  ua-seen:
    type: string
    state: ua-seen.lst
    hash:
      hash-size: 100000
      prealloc: 1000
      memcap: 256mb

datasets: change config to map

Example:

datasets:
  ua-seen:
    type: string
    state: ua-seen.lst
  dns-sha256-seen:
    type: sha256
    state: dns-sha256-seen.lst

lua: fix lua int size detection

Failed to work with non-bundled htp and with some stricter
compile flags.

configure: detect lua integer size

Lua 5.1 and 5.3 use a different integer size. Run a test program
to set the integer size used in the Rust FFI layer to Rust.

magic/test: remove NULL as format string

Remove passing NULL as a format string parameter
in test. Convert to FAIL_IF_NULL.

configure: remove unused LUA_PC_NAME.

This variable is no longer used. Instead multiple
lua pkg-config names are checked.

config: update lzma size notes to match others

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: reformat linux ips guide

doc: add nftables IPS configuration

doc: information about scaling AF_PACKET IPS mode

doc: add info about AF_PACKET IPS

Based on https://home.regit.org/2012/09/new-af_packet-ips-mode-in-suricata/

Also fix some typo in Netfilter setup.

doc: mark independent json loggers as deprecated

This is the loggers such as alert-json-log, dns-json-log, etc.
They are not even referenced in the default configuration file,
and are easily replaced with multiple eve instances.

drop.log: log deprecation warning if used

suricata.yaml: mark drop.log as deprecated

doc/drop.log: mark as deprecated and scheduled to be removed

Also make sure options are in sync with those in
suricata.yaml.

suricata.yaml: mark unified2 as deprecated

doc/unified2: add deprecation/removal notice

unified2: log deprecation warning when used

config: remove all but a stub of file-store v1.

Remove most of the file-store v1 configuration section and mark
it as deprecated. Provide a link where to find the available
options.

filestore(v1): deprecation log warning when enabled

Notify the user with a warning log that this feature is
deprecated and will be remove in v6 of Suricata.

doc/filestore(v1) - make deprecation text a note

Highlights that is is deprecated in the HTML output.

doc/filestore(v1) - document force-filestore field

doc/anomaly Remove event_no

log/anomaly: Remove event_no from alert

stream: remove fix stream.depth references

doc: Update tuning considerations doc

doc: Update high performance config doc

enip: fix compile warnings in gcc-8

In file included from suricata-common.h:471,
                 from app-layer-enip-common.c:27:
app-layer-enip-common.c: In function ‘DecodeCIPRequestPathPDU’:
util-debug.h:222:31: warning: ‘req_path_class8’ may be used uninitialized in this function [-Wmaybe-uninitialized]
             int _sc_log_ret = snprintf(_sc_log_msg, SC_LOG_MAX_LOG_MSG_LEN, __VA_ARGS__);   \
                               ^~~~~~~~
app-layer-enip-common.c:589:13: note: ‘req_path_class8’ was declared here
     uint8_t req_path_class8;
             ^~~~~~~~~~~~~~~
app-layer-enip-common.c:607:9: warning: ‘segment’ may be used uninitialized in this function [-Wmaybe-uninitialized]
         switch (segment)
         ^~~~~~
app-layer-enip-common.c: In function ‘DecodeCIPResponsePDU’:
app-layer-enip-common.c:773:13: warning: ‘service’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     service &= 0x7f; //strip off top bit to get service code.  Responses have first bit as 1
             ^~
app-layer-enip-common.c: In function ‘DecodeCIPRequestPDU’:
app-layer-enip-common.c:503:25: warning: ‘path_size’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     offset += path_size * sizeof(uint16_t); //move offset past pathsize
               ~~~~~~~~~~^~~~~~~~~~~~~~~~~~
app-layer-enip-common.c:506:5: warning: ‘service’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     switch (service)
     ^~~~~~

Bug #3139.

eve/stats: update warning for new default behavior

doc/stats: minor clarrifications on 5.0 defaults

counters: improve handling missing global config

Improve warnings when eve.stats can't work because of the global config
missing or disabled.

Issue warning if global config is missing but stats are still enabled due
to the legacy stats.log.

Issue clearer warning when stats are disabled and unix socket dump-counters
command is issued.

Warnings include links to docs.

Bug #2465.

stats: add global way to check if API is enabled

ebpf: make sure 'make dist' include eBPF files

posix: replace bzero with memset

bzero(3): The bzero() function is deprecated (marked as LEGACY in
POSIX.1-2001); use memset(3) in new programs.  POSIX.1-2008 removes
the specification of bzero().

Use memset instead.

posix: remove deprecated index/rindex calls

Replace index by strchr and rindex by strrchr.

index(3) states "POSIX.1-2008 removes the specifications of index() and
rindex(), recommending strchr(3) and strrchr(3) instead."

Add index/rindex to banned function check so they don't get reintroduced.

Bug #1443.

detect/port: more cleanups

Remove unused funcs. Minor style updates.

detect/port: remove function only used in tests

detect/port: unittest cleanups

changelog: update for 5.0.0-rc1 release

der/asn1: reduce max depth limit to 32

OpenSSL uses 30, so this seems a reasonable limit.

Set a smaller limit than before to reduce the resources spent on
specially crafted input designed to be maximally expensive.

der/asn1: don't pass on more data than is specified

Set and Sequence parsers would pass on max available data instead
of the size of their object.

Malformed data could trigger massive recursion this way, leading
to spending much more resources than necessary.

Found using AFL.

Bug #3185.

decode/ipv4: fix ts opt flags decoding

Field is at data+1 offset, not +3. Also makes sure we always stay
within checked data bounds.

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3176.

decode/ipv4: unittest to show parsing issue

ssl: fix bounds checking in version decoding

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3169.

defrag: check minimum size of reassembled packet

Before re-assembling, check that the first fragment is large
enough to contain the IPv4 or IPv6 header to prevent
an out of bounds read (IPv4) or write (IPv6).

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3171.

ssl: minor cleanups