doc: Update tuning considerations doc

doc: Update high performance config doc

enip: fix compile warnings in gcc-8

In file included from suricata-common.h:471,
                 from app-layer-enip-common.c:27:
app-layer-enip-common.c: In function ‘DecodeCIPRequestPathPDU’:
util-debug.h:222:31: warning: ‘req_path_class8’ may be used uninitialized in this function [-Wmaybe-uninitialized]
             int _sc_log_ret = snprintf(_sc_log_msg, SC_LOG_MAX_LOG_MSG_LEN, __VA_ARGS__);   \
                               ^~~~~~~~
app-layer-enip-common.c:589:13: note: ‘req_path_class8’ was declared here
     uint8_t req_path_class8;
             ^~~~~~~~~~~~~~~
app-layer-enip-common.c:607:9: warning: ‘segment’ may be used uninitialized in this function [-Wmaybe-uninitialized]
         switch (segment)
         ^~~~~~
app-layer-enip-common.c: In function ‘DecodeCIPResponsePDU’:
app-layer-enip-common.c:773:13: warning: ‘service’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     service &= 0x7f; //strip off top bit to get service code.  Responses have first bit as 1
             ^~
app-layer-enip-common.c: In function ‘DecodeCIPRequestPDU’:
app-layer-enip-common.c:503:25: warning: ‘path_size’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     offset += path_size * sizeof(uint16_t); //move offset past pathsize
               ~~~~~~~~~~^~~~~~~~~~~~~~~~~~
app-layer-enip-common.c:506:5: warning: ‘service’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     switch (service)
     ^~~~~~

Bug #3139.

eve/stats: update warning for new default behavior

doc/stats: minor clarrifications on 5.0 defaults

counters: improve handling missing global config

Improve warnings when eve.stats can't work because of the global config
missing or disabled.

Issue warning if global config is missing but stats are still enabled due
to the legacy stats.log.

Issue clearer warning when stats are disabled and unix socket dump-counters
command is issued.

Warnings include links to docs.

Bug #2465.

stats: add global way to check if API is enabled

ebpf: make sure 'make dist' include eBPF files

posix: replace bzero with memset

bzero(3): The bzero() function is deprecated (marked as LEGACY in
POSIX.1-2001); use memset(3) in new programs.  POSIX.1-2008 removes
the specification of bzero().

Use memset instead.

posix: remove deprecated index/rindex calls

Replace index by strchr and rindex by strrchr.

index(3) states "POSIX.1-2008 removes the specifications of index() and
rindex(), recommending strchr(3) and strrchr(3) instead."

Add index/rindex to banned function check so they don't get reintroduced.

Bug #1443.

detect/port: more cleanups

Remove unused funcs. Minor style updates.

detect/port: remove function only used in tests

detect/port: unittest cleanups

changelog: update for 5.0.0-rc1 release

der/asn1: reduce max depth limit to 32

OpenSSL uses 30, so this seems a reasonable limit.

Set a smaller limit than before to reduce the resources spent on
specially crafted input designed to be maximally expensive.

der/asn1: don't pass on more data than is specified

Set and Sequence parsers would pass on max available data instead
of the size of their object.

Malformed data could trigger massive recursion this way, leading
to spending much more resources than necessary.

Found using AFL.

Bug #3185.

decode/ipv4: fix ts opt flags decoding

Field is at data+1 offset, not +3. Also makes sure we always stay
within checked data bounds.

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3176.

decode/ipv4: unittest to show parsing issue

ssl: fix bounds checking in version decoding

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3169.

defrag: check minimum size of reassembled packet

Before re-assembling, check that the first fragment is large
enough to contain the IPv4 or IPv6 header to prevent
an out of bounds read (IPv4) or write (IPv6).

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3171.

ssl: minor cleanups

doc/userguide: add quickstart to dist

tls-log: restructure code for writing to buffer

Restructure code to make it clearer that either 'basic', 'extended'
or 'custom' is being printed, by creating one function for each of
the possibilities.

tls-log: quick code cleanup

tls-log: remove a wrongful comment

The app-layer parser for TLS has been TX aware for quite some time.
Remove a comment that is stating that it is not.

tls-log: fix so buffer is reset on custom logging

Move MemBufferReset() so it also works when using custom tls
logging. This avoids duplicate tls log entries.

Bug #3177

http: sets compression bomb limit

http: disable lzma decompression from configuration

lzma: replaces liblzma with own sdk for swf decompression

so as to avoid memory exhaustion

Avoid to shutdown NSS if it is not initialized

main: enable coredumps after privileges are dropped

On Linux, by default, coredumps are disabled after
privileges are dropped. This re-enables coredumps
after privileges are dropped.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/1271

Credit to Elazar Broad for the pull request:
https://github.com/OISF/suricata/pull/3362

rust/ftp: add parser for active mode port handling

ftp: Use rust parsers to parse dynamic ports

HTTP new parser warning for Ambiguous C-L

detect: Make keyword description consistent

Closes redmine ticket #3137.

smtp: fix file_data inspection

Continue tracking data if API is used with detect. Detection engine
then manages the tracking.

Bug #2395.

sip: disable output by default

sip: rustfmt

As this is new Rust code, format with rustfmt using default
styling.

sip: disable by default in 5.0

sip rust fixup: remove unused import in tests

sip fixup: _Bool -> bool

doc: add SIP keywords

detect/sip.response_line: add sticky buffer

Matches on response line field in SIP.

detect/sip.request_line: add sticky buffer

Matches on request line field in SIP.

detect/sip.stat_msg: add sticky buffer

Matches on status msg field in SIP.

detect/sip.stat_code: add sticky buffer

Matches on status code field in SIP.

detect/sip.protocol: add sticky buffer

Matches on protocol field in SIP.

detect/sip.uri: add sticky buffer

Matches on uri field in SIP.

detect/sip.method: add sticky buffer

Matches on uri field in SIP.

output/json-alert: add sip metadata

Put SIP information to alert event.

rust/sip: add SIP logger

rust/sip: add parser for SIP protocol

detect/dns.opcode: improve error reporting

doc: document dns.opcode keyword

doc: Replace dns_query with dns.query.

dns/detect: dns.opcode keyword

Add a rule keyword, dns.opcode to match on the opcode flag
found in the DNS request and response headers.

Only exact matches are allowed with negation.

Examples:
  - dns.opcode:4;
  - dns.opcode:!1;

htp: simplify depth check

doc: update file-extraction section

app-layer-htp: use stream depth with filestore

This permits to use stream-depth value set for file-store.

Currently if a file is being stored and hits a limit,
such as request or response body, it will be truncated
although file-store.stream-depth is enabled but the file should be
closed and not truncated.

Two unit tests have been added to verify that:
- a file is stored correctly
- chunk's length computation doesn’t cause an underflow

app-layer-parser: flag a tx to use stream depth

This adds a new API that permit to set the stream-depth
file for file-storing when a rule with filestore keyword is matched.

detect: Add missing keyword URLs and description

Add missing keyword URLs and their description. Fix the ones that
were incorrect.

Partially closes redmine ticket #2974.

classification: add command-and-control classtype

Added new classtype 'command-and-control' to be used with more
general TROJAN/MALWARE categories to designate traffic between
infected machine and c2 server.

doc: fix whitespace

doc: add to sigmatch_table

detect: syntax regex logic update

Updated regex logic to include more spaces. Fixed spelling.

config/anomaly: use enabled key word; cleanups

The anomaly section was commented out, but the types sub object
was not, which then attached the types keyword to the previous
object.

Instead keep "anomaly" enabled in the yaml (not commented out)
and use the "enabled: no" to have it disabled by default.

Additonally reformat the comments to be better viewed in 80
columns.

output-lua: register app-layer parser logger for SSH

Bug #3162

output-lua: register app-layer parser logger for TLS

Bug #3162

htp/lzma: set limit from configuration

Also use a default defined in Suricata, not libhtp.

htp: set lzma memlimit from config

doc/dotprefix: fix example rules

detect/transform: add dotprefix keyword to doc

detect/transform: add dotprefix keyword

doc/eve.anomaly: fix indent and general formatting

logging/anomaly: Add warning code for anomaly log

doc: Simplified anomaly configuration settings

logging/anomaly: Support configuration filter types

doc: change eBPF directory path

rust/conf: don't print failed conf lookups at info level

rdp: disable eve.rdp by default

rdp: disable rdp by default for 5.0

rdp: address comments in pull request

Pull request:
https://github.com/OISF/suricata/pull/4174

- fix commit: range -> set
- OUTPUT_BUFFER_SIZE -> JSON_OUTPUT_BUFFER_SIZE
- output: check for initdata first

protocol parser: rdp

Initial implementation of feature 2314:
1. Add protocol parser for RDP
2. Add transactions for RDP negotiation
3. Add eve logging of transactions

counters: Add new default for decoder events

Set the new default for decoder events to `decoder.event` instead of the
previously used `decoder`. Remove the corresponding warning for 5.0.

doc: add quickstart guide

ips: fix wrong thread for bridge ips modes

doc/stream: briefly explain bypass

stream: fix bypass callback for stream.depth

Fix bug with bypass callback when called with stream depth threshold.
bug report: https://redmine.openinfosecfoundation.org/issues/2986

ctl/filestore: Add check for filestore directory

Up until now, suricatactl would delete any directory that is provided as
an argument on command line. This patch adds a basic test for the
directories `tmp`, `00` and `ff` in order to justify that the provided
directory is actually a filestore directory.

Additionally, some code has been broken up and made more readable and
pythonic.

Closes redmine ticket #2843

ftp: removing uninitialized variable warning

output-json-ftp.c: In function ‘JsonFTPLogger’:
output-json-ftp.c:129:9: warning: ‘js_respcode_list’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  129 |         json_object_set_new(cjs, "completion_code", js_respcode_list);
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
output-json-ftp.c:74:13: note: ‘js_respcode_list’ was declared here
   74 |     json_t *js_respcode_list;
      |             ^~~~~~~~~~~~~~~~
output-json-ftp.c:128:9: warning: ‘js_resplist’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  128 |         json_object_set_new(cjs, "reply", js_resplist);
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
output-json-ftp.c:73:13: note: ‘js_resplist’ was declared here
   73 |     json_t *js_resplist;
      |             ^~~~~~~~~~~

userguide: remove section on using Oinkmaster

Users should be using Suricata-Update now.

rules: remove configuration for legacy rule handling

Removes the autoconf, and suricata.yaml sections for using
the legacy style of rule management.

rules: no longer install rules to /etc/suricata/rules

Stop falling back to the old method of installing rules into
/etc/suricata/rules if Suricata-Update is not available.

The goal here is to move away from the behaviour of installing
rules to /etc/suricata/rules as part of the default install
process. The engine provided rules are already installed to
/usr/share/suricata/rules, which can then be used as input
to rule management tools such as Suricata-Update.

This does not change the behaviour for Suricata release users
with the bundled Suricata-Update.

Also removes Oinkmaster and PulledPork suggestion for rule
management.

rules: install dhcp-events.rules; order alphabetically

Add dhcp-events.rules to Makefile.am so it gets installed.

Also order the rule files alphabetically for easier review.

pd: don't reverse flow if TCP session not midstream

dns: handle mid stream pickup on response packet

Related Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2146

doc: add endswith keyword docs

doc: update of ssh-kewords documentation

Modifies ssh-keywords.rst to fix syntax error in example rule as well as
update descriptions to indicate older keywords have been deprecated.

doc: use describe instead of option for old Sphinx

Older versions of Sphinx will generate duplicate IDs when you have
options like:

.. option:: some-option

.. option:: some-other-option

The version of Sphinx provided on CentOS 7 has this issue, newer
versions of Sphinx do not.  As CentOS 7 is still a popular
distribution, change ".. option" to ".. describe" which has the
same visual output, but does not generate links.

rust: update to Rust 2018 with cargo fix

Migrate to Rust 2018 edition.

Credit to Danny Browning for first demontrating this:
https://github.com/OISF/suricata/pull/3604/commits