afp: nicer error message in case of fanout failure

Use clearer message in case fanout is not supported or cluster_id is
already in use.

Closes redmine ticket #1940.

suricata: Check if default log dir is writable

At the startup, if the default log dir provided either by command line
options or suricat.yaml is not writable, the error comes quite later.
This patch makes suricata exit if there is such an error in the
beginning itself.

Closes redmine ticket #2386.

Makefile: Make libhtp available at install-rules stage

So far when "make install-rules" stage was executed, libhtp path was not
recognized as ldconfig does not run by this stage.
Set "LD_LIBRARY_PATH" since we already know the path where libhtp would
be.

Closes redmine ticket #2669.

doc/datasets: update example config to map

runmode: consider test mode a user mode

datasets: fix error handling

datasets: improve and doc return codes

dataset: fix return value check on isnotset

The dataset api returns -1 for not found.

thash: fix prealloc config setting

datasets: fix hash table config

Example:

datasets:
  ua-seen:
    type: string
    state: ua-seen.lst
    hash:
      hash-size: 100000
      prealloc: 1000
      memcap: 256mb

datasets: change config to map

Example:

datasets:
  ua-seen:
    type: string
    state: ua-seen.lst
  dns-sha256-seen:
    type: sha256
    state: dns-sha256-seen.lst

lua: fix lua int size detection

Failed to work with non-bundled htp and with some stricter
compile flags.

configure: detect lua integer size

Lua 5.1 and 5.3 use a different integer size. Run a test program
to set the integer size used in the Rust FFI layer to Rust.

magic/test: remove NULL as format string

Remove passing NULL as a format string parameter
in test. Convert to FAIL_IF_NULL.

configure: remove unused LUA_PC_NAME.

This variable is no longer used. Instead multiple
lua pkg-config names are checked.

config: update lzma size notes to match others

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: reformat linux ips guide

doc: add nftables IPS configuration

doc: information about scaling AF_PACKET IPS mode

doc: add info about AF_PACKET IPS

Based on https://home.regit.org/2012/09/new-af_packet-ips-mode-in-suricata/

Also fix some typo in Netfilter setup.

doc: mark independent json loggers as deprecated

This is the loggers such as alert-json-log, dns-json-log, etc.
They are not even referenced in the default configuration file,
and are easily replaced with multiple eve instances.

drop.log: log deprecation warning if used

suricata.yaml: mark drop.log as deprecated

doc/drop.log: mark as deprecated and scheduled to be removed

Also make sure options are in sync with those in
suricata.yaml.

suricata.yaml: mark unified2 as deprecated

doc/unified2: add deprecation/removal notice

unified2: log deprecation warning when used

config: remove all but a stub of file-store v1.

Remove most of the file-store v1 configuration section and mark
it as deprecated. Provide a link where to find the available
options.

filestore(v1): deprecation log warning when enabled

Notify the user with a warning log that this feature is
deprecated and will be remove in v6 of Suricata.

doc/filestore(v1) - make deprecation text a note

Highlights that is is deprecated in the HTML output.

doc/filestore(v1) - document force-filestore field

doc/anomaly Remove event_no

log/anomaly: Remove event_no from alert

stream: remove fix stream.depth references

doc: Update tuning considerations doc

doc: Update high performance config doc

enip: fix compile warnings in gcc-8

In file included from suricata-common.h:471,
                 from app-layer-enip-common.c:27:
app-layer-enip-common.c: In function ‘DecodeCIPRequestPathPDU’:
util-debug.h:222:31: warning: ‘req_path_class8’ may be used uninitialized in this function [-Wmaybe-uninitialized]
             int _sc_log_ret = snprintf(_sc_log_msg, SC_LOG_MAX_LOG_MSG_LEN, __VA_ARGS__);   \
                               ^~~~~~~~
app-layer-enip-common.c:589:13: note: ‘req_path_class8’ was declared here
     uint8_t req_path_class8;
             ^~~~~~~~~~~~~~~
app-layer-enip-common.c:607:9: warning: ‘segment’ may be used uninitialized in this function [-Wmaybe-uninitialized]
         switch (segment)
         ^~~~~~
app-layer-enip-common.c: In function ‘DecodeCIPResponsePDU’:
app-layer-enip-common.c:773:13: warning: ‘service’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     service &= 0x7f; //strip off top bit to get service code.  Responses have first bit as 1
             ^~
app-layer-enip-common.c: In function ‘DecodeCIPRequestPDU’:
app-layer-enip-common.c:503:25: warning: ‘path_size’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     offset += path_size * sizeof(uint16_t); //move offset past pathsize
               ~~~~~~~~~~^~~~~~~~~~~~~~~~~~
app-layer-enip-common.c:506:5: warning: ‘service’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     switch (service)
     ^~~~~~

Bug #3139.

eve/stats: update warning for new default behavior

doc/stats: minor clarrifications on 5.0 defaults

counters: improve handling missing global config

Improve warnings when eve.stats can't work because of the global config
missing or disabled.

Issue warning if global config is missing but stats are still enabled due
to the legacy stats.log.

Issue clearer warning when stats are disabled and unix socket dump-counters
command is issued.

Warnings include links to docs.

Bug #2465.

stats: add global way to check if API is enabled

ebpf: make sure 'make dist' include eBPF files

posix: replace bzero with memset

bzero(3): The bzero() function is deprecated (marked as LEGACY in
POSIX.1-2001); use memset(3) in new programs.  POSIX.1-2008 removes
the specification of bzero().

Use memset instead.

posix: remove deprecated index/rindex calls

Replace index by strchr and rindex by strrchr.

index(3) states "POSIX.1-2008 removes the specifications of index() and
rindex(), recommending strchr(3) and strrchr(3) instead."

Add index/rindex to banned function check so they don't get reintroduced.

Bug #1443.

detect/port: more cleanups

Remove unused funcs. Minor style updates.

detect/port: remove function only used in tests

detect/port: unittest cleanups

changelog: update for 5.0.0-rc1 release

der/asn1: reduce max depth limit to 32

OpenSSL uses 30, so this seems a reasonable limit.

Set a smaller limit than before to reduce the resources spent on
specially crafted input designed to be maximally expensive.

der/asn1: don't pass on more data than is specified

Set and Sequence parsers would pass on max available data instead
of the size of their object.

Malformed data could trigger massive recursion this way, leading
to spending much more resources than necessary.

Found using AFL.

Bug #3185.

decode/ipv4: fix ts opt flags decoding

Field is at data+1 offset, not +3. Also makes sure we always stay
within checked data bounds.

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3176.

decode/ipv4: unittest to show parsing issue

ssl: fix bounds checking in version decoding

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3169.

defrag: check minimum size of reassembled packet

Before re-assembling, check that the first fragment is large
enough to contain the IPv4 or IPv6 header to prevent
an out of bounds read (IPv4) or write (IPv6).

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3171.

ssl: minor cleanups

doc/userguide: add quickstart to dist

tls-log: restructure code for writing to buffer

Restructure code to make it clearer that either 'basic', 'extended'
or 'custom' is being printed, by creating one function for each of
the possibilities.

tls-log: quick code cleanup

tls-log: remove a wrongful comment

The app-layer parser for TLS has been TX aware for quite some time.
Remove a comment that is stating that it is not.

tls-log: fix so buffer is reset on custom logging

Move MemBufferReset() so it also works when using custom tls
logging. This avoids duplicate tls log entries.

Bug #3177

http: sets compression bomb limit

http: disable lzma decompression from configuration

lzma: replaces liblzma with own sdk for swf decompression

so as to avoid memory exhaustion

Avoid to shutdown NSS if it is not initialized

main: enable coredumps after privileges are dropped

On Linux, by default, coredumps are disabled after
privileges are dropped. This re-enables coredumps
after privileges are dropped.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/1271

Credit to Elazar Broad for the pull request:
https://github.com/OISF/suricata/pull/3362

rust/ftp: add parser for active mode port handling

ftp: Use rust parsers to parse dynamic ports

HTTP new parser warning for Ambiguous C-L

detect: Make keyword description consistent

Closes redmine ticket #3137.

smtp: fix file_data inspection

Continue tracking data if API is used with detect. Detection engine
then manages the tracking.

Bug #2395.

sip: disable output by default

sip: rustfmt

As this is new Rust code, format with rustfmt using default
styling.

sip: disable by default in 5.0

sip rust fixup: remove unused import in tests

sip fixup: _Bool -> bool

doc: add SIP keywords

detect/sip.response_line: add sticky buffer

Matches on response line field in SIP.

detect/sip.request_line: add sticky buffer

Matches on request line field in SIP.

detect/sip.stat_msg: add sticky buffer

Matches on status msg field in SIP.

detect/sip.stat_code: add sticky buffer

Matches on status code field in SIP.

detect/sip.protocol: add sticky buffer

Matches on protocol field in SIP.

detect/sip.uri: add sticky buffer

Matches on uri field in SIP.

detect/sip.method: add sticky buffer

Matches on uri field in SIP.

output/json-alert: add sip metadata

Put SIP information to alert event.

rust/sip: add SIP logger

rust/sip: add parser for SIP protocol

detect/dns.opcode: improve error reporting

doc: document dns.opcode keyword

doc: Replace dns_query with dns.query.

dns/detect: dns.opcode keyword

Add a rule keyword, dns.opcode to match on the opcode flag
found in the DNS request and response headers.

Only exact matches are allowed with negation.

Examples:
  - dns.opcode:4;
  - dns.opcode:!1;

htp: simplify depth check

doc: update file-extraction section

app-layer-htp: use stream depth with filestore

This permits to use stream-depth value set for file-store.

Currently if a file is being stored and hits a limit,
such as request or response body, it will be truncated
although file-store.stream-depth is enabled but the file should be
closed and not truncated.

Two unit tests have been added to verify that:
- a file is stored correctly
- chunk's length computation doesn’t cause an underflow

app-layer-parser: flag a tx to use stream depth

This adds a new API that permit to set the stream-depth
file for file-storing when a rule with filestore keyword is matched.

detect: Add missing keyword URLs and description

Add missing keyword URLs and their description. Fix the ones that
were incorrect.

Partially closes redmine ticket #2974.

classification: add command-and-control classtype

Added new classtype 'command-and-control' to be used with more
general TROJAN/MALWARE categories to designate traffic between
infected machine and c2 server.

doc: fix whitespace

doc: add to sigmatch_table

detect: syntax regex logic update

Updated regex logic to include more spaces. Fixed spelling.

config/anomaly: use enabled key word; cleanups

The anomaly section was commented out, but the types sub object
was not, which then attached the types keyword to the previous
object.

Instead keep "anomaly" enabled in the yaml (not commented out)
and use the "enabled: no" to have it disabled by default.

Additonally reformat the comments to be better viewed in 80
columns.