dataset: fix string length handling in hash

dataset: fix hash computation

nfq: clear memory of queue before using it

Avoids using uninitialized memory. Show showed itself
in nonsense values in counters, and in nfq_handle_packet
errors that were likely the result of passing uninitialized
memory to the nfq API.

Bug 3263.
Bug 3120.

Fixes: b2a6c60dee83 ("source-nfq: increase maximum queues number to 65535")

nfq: micro optimization

nfq: don't warn on 'handle_packet' error

NFQ can generate warnings/errors with a delay. After Suricata has
succesfully passed a verdict to the kernel, there are still things
that can go wrong for that verdict. This is then passed to the
queue through a netlink error message, which leads to nfq_handle_packet
returning an error code.

Suppress the warning. Also remove the errno/strerror use as
nfq_handle_packet does not set the errno.

Thanks to Florian Westphal.

Bug 3120.

nfq: code cleanups

nfq: check for EAGAIN after recv() call in NFQRecvPkt()

nfq: minor code cleanups

datasets: suppress noisy debug statement

log-pcap: don't print (null) for compression method

tcp: don't set event on empty SACK opt

TCP_OPT_INVALID_LEN was set if the opt len was 2. While useless
an empty SACK is not uncommon.

Seen on an iOS device talking to an Apple server.

Bug #3254.

suricata: use version from autoconf

doc/userguide: fix typo

doc/userguide: fix base64 example

Add a sticky buffer example and fix the content modifier one.

detect-base64: fix url in list keywords commands

doc: removal of disable-rust and path typo for suricatasc

eve/dns: don't log warning if dns log version not set

If the DNS log version is not set, we default to v2. This should
not be warning, but better logged at the config level.

A warning will still be logged if the value is set but is not
1 or 2.

signature: leak fix in DetectAddressParse2

config: use logging instead of stderr

mpls: Allow MPLS after vlan.

Fixes #2771

dns: minor cleanup

app-layer: make dns,smb,tls parsers less noisy w/o config

detect/tls: set alternatives for legacy tls keywords

detect/tls: tls.cert_fingerprint is a sticky buffer

Not a content modifier.

doc: fix version in install doc

doc: add upgrade page

changelog: update for 5.0.0

changelog: update 5.0rc1 section with missing entries

automake: use tar-ustar for longer filenames

According to the automake manual it should be considered
portable these days.

https://www.gnu.org/software/automake/manual/html_node/List-of-Automake-options.html

Required for the dist generation with Rust vendoring.

doc: document eve/dns v2 as the default

Adds eve/dns v2 format documentation. Update legacy format
to require the version field.

suricata.yaml/dns: small cleanups, not that default is v2

Note that the eve dns log format is version 2 by default.

Make the value of commented out values their default.

Update the comment on the types to better reflect what it does.

mem: Use correct len with strlcpy

configure.ac: fix static build with pcap

pcap can depends on nl-3 so use pkg-config to find these dependencies
otherwise all AC_CHECK_LIB calls will fail when building statically

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Makefile: prefix suricata-update error with @

So only the echo output is displayed. Not the lines themselves.

suricata-update: don't install if requirements not met

Don't try to run suricata-update if its not installed.

The 'make install-rules' target would try to run suricata-update
when it was detected that it was bundled, but didn't consider
if suricata-update was actually installed.

stream: fix progress for min_inspect_depth

Make sure progress don't exceed raw_progress.

smtp: implement min_inspect_depth logic

Implement min_inspect_depth for SMTP so that file_data and
regular stream matches don't go out of sync on the stream start.

Added toserver bytes tracking.

Bug #3190.

debug: make it easier to trace flush logic

configure: don't print ERROR if we don't exit

eve/dhcp: remove leftover template comments

eve/alert: clean up proto metadata

Use a switch statement to select the protocol specific function.

dns: rename rust files and funcs

jansson: remove explicit <jansson.h> includes

Header is included from suricata-common.h

jansson: remove HAVE_LIBJANSSON guards

rust: remove build system HAVE_RUST guards

rust: remove all HAVE_RUST guards

http: updates suricata.yaml comments

As well as the userguide documentation about suricata.yaml

configure: fix python major version check on python 2.6

Python 2.6 doesn't use a named tuple for the version info,
instead use the index of the major version which works
on Python 2.6 upwards.

rust: run tests with same features as build

Cargo check wasn't being passed --features so could have a different
configuration than the build.

rustup: handle rustup for sudo and su

If rustup is in use, and a user uses sudo or su for the make
install, the install may fail with a "no default toolchain"
error.

To prevent this, detect at configure if rustup is being used,
then set RUSTUP_HOME for all calls to cargo.

python: fixes for installing from path with spaces

Related to Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2668

rust: fix build when source directory has spaces in it

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2668

configure: no, followed by reason for python tools

This:
  Install suricatactl:                     no, requires distutils
instead of this:
  Install suricatasc:                      requires distutils

configure: generic instructions for missing python modules

Instead of telling the user what packages to install for missing
Python modules, give generic instructions about what module
needs to be installed.

It is getting tricky to get these package names correct
across distributions.

suricata-update: build before install

Run the Python build independent of install. Prevents files
in the tree becoming owned by root.

configure: detect python major version

For informational purposes only when notifying what Python
modules are required during ./configure.

configure: don't detect python version

Don't detect the Python version, it is not needed anyways,
all we need is the Python path.

Also, python2 --version prints to stderr, while python3
prints to stdout, leading to some odd output during
./configure (but fixable).

doc: cleanup enging logging

Attempt cleanup the engine logging a bit.

Also a include a verbatim excerpt of the default configuration
here for reference purposes.

doc: -v verbose option documentation update

Update -v documentation to reflect the new behaviour discussed
in bug #1851 where -v changes the log level to fixed levels
instead of an offset of the default log level configured
in suricata.yaml.

help: better description for -v

-v: be more verbose (use multiple times to increase verbosity)

logging: used fixed levels of verbosity for -v, -vv...

Change the meaning of the verbosity flag to change the log
level to fixed levels instead of being relative to whats
configured.

-v    => INFO
-vv   => PERF
-vvv  => CONIFG
-vvvv => DEBUG

But do now allow -v to decrease the verbosity.

Bug #1851

logging: respect individual log levels

The log level of individual loggers (console, file, syslog) was
being capped by the default log level. For example, if the
default log level was notice, setting the file level to info
would still result in notice level logging.

Bug #3210

app-layer: remove obsolete msn protocol detection

datasets: make clear the feature is experimental

eve/anomaly: enable by default

Default config will only enable 'app-layer' type within the anomaly
logger.

htp: require 0.5.31

yaml: minor improvements

yaml: clean up 'autofp-scheduler' option

log/anomaly: remove leading underscore from static var

doc/eve.alert: Expand metadata description

logging/alert: Warn if metadata not selected

Warn when HTTP body logging has been selected but applayer/metadata
logging is not configured.

logging/anomaly: Clarify anomaly logging

Clarify the description of the anomaly logging types.

logging/alert: Expand alert logging description

Clarify the configuration requirements for alerts and http-body logging.

ftp: Handle malformed RETR/STOR

Ensure that RETR (STOR) have a filename -- otherwise, treat the command
string as malformed.

Added unittests for each command and verified that SEGV's occur without
parser change and no longer occur with the parser change.

configure.ac: fix --disable-geoip

$enableval should be used to know if the user has passed --enable-geoip
or --disable-geoip

Fixes:
 - http://autobuild.buildroot.org/results/a7a34f760ae5fe0922fdb720b8234dbcd85ed222

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

config: install classification.config (and ref) to $datadir

Install classification.config and reference.config to $datadir,
where they can be updated on every upgrade.

This required moving them into a sub-directory for autotools
to do its thing.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3209

Revert "runmode: consider test mode a user mode"

This reverts commit 6dca50a322b08bbd6391f091787671305649671a.

The test mode should actually test in system mode by default as
that is what tools like Suricata-Update need before issuing a
reload command.

detect/ja3: print error for one rule only

Use 'silent error' logic for any other rules using ja3 as well.

detect/parse: allow signature parsing to fail silently

A sigmatches 'Setup' function may indicate it intends to fail
silently after the first error. It will return -2 instead of -1
in this case.

This is tracked in the DetectEngineCtx object, so errors will
be shown again at rule reloads.

detect/parser: minor cleanup

tls/ja3: allow 'auto' setting for ja3

tls/ja3: try to enable ja3 if rule keywords need it

tls/ja3: add way to check active config

tls/ja3: don't disable; allowing runtime enabling

tls/ja3: allow dynamic enabling of ja3

detect/reference: implement strict parsing option

detect/classtype: implement strict parsing option

detect/parse: add --strict-rule-keywords option

Add --strict-rule-keywords commandline option to enable strict rule
parsing.

It can be used without options or with a comma separated list:
--strict-rule-keywords
--strict-rule-keywords=all
--strict-rule-keywords=classtype,reference

Parsing implementations can use SigMatchStrictEnabled to check
if strict parsing is enabled for them and act accordingly.

detect: use named enum for keyword types

detect/reference: allow undefined references

References are currently not used in Suricata, so erroring out on
rules using a undefined reference is too harsh.

Just issue a warning once per unique missing reference.

reference: change scope of add func to global

reference: use global defines for size limits

detect/reference: code cleanups

detect/classtype: check size of rule input

classtype: handle missing classification.config

Still initialize the classtype hash table so that the classtypes
rules use can be added to it.

The file missing now reports a warning instead of error, as we
will continue to work.

classtype: use global defines for size limits

detect/classtype: show file and line for unknown classtype

detect/priority: use global define for default prio

detect/classtype: allow undefined classtypes

Effect of classification on Suricata's working is minimal. Impact
of adding undefined classtypes is large: rules will fail to load
completely. This also leads multiple lines of log output per rule,
which in a large ruleset can lead to excessive output.

This patch changes the classtype keyword behavior. Instead of erroring
and invalidating a rule, we will merely warn.

The undefined classtype is then defined with a default priority,
so other rules using the classtype will not also warn. This way
there will be just a single warning per missing classtype.

classtype: increase id size

Switch from u8 to u16 to allow for more classtypes.

Rename Signature::class to Signature::class_id to make it clear
it is an id.