ssl: minor cleanups

doc/userguide: add quickstart to dist

tls-log: restructure code for writing to buffer

Restructure code to make it clearer that either 'basic', 'extended'
or 'custom' is being printed, by creating one function for each of
the possibilities.

tls-log: quick code cleanup

tls-log: remove a wrongful comment

The app-layer parser for TLS has been TX aware for quite some time.
Remove a comment that is stating that it is not.

tls-log: fix so buffer is reset on custom logging

Move MemBufferReset() so it also works when using custom tls
logging. This avoids duplicate tls log entries.

Bug #3177

http: sets compression bomb limit

http: disable lzma decompression from configuration

lzma: replaces liblzma with own sdk for swf decompression

so as to avoid memory exhaustion

Avoid to shutdown NSS if it is not initialized

main: enable coredumps after privileges are dropped

On Linux, by default, coredumps are disabled after
privileges are dropped. This re-enables coredumps
after privileges are dropped.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/1271

Credit to Elazar Broad for the pull request:
https://github.com/OISF/suricata/pull/3362

rust/ftp: add parser for active mode port handling

ftp: Use rust parsers to parse dynamic ports

HTTP new parser warning for Ambiguous C-L

detect: Make keyword description consistent

Closes redmine ticket #3137.

smtp: fix file_data inspection

Continue tracking data if API is used with detect. Detection engine
then manages the tracking.

Bug #2395.

sip: disable output by default

sip: rustfmt

As this is new Rust code, format with rustfmt using default
styling.

sip: disable by default in 5.0

sip rust fixup: remove unused import in tests

sip fixup: _Bool -> bool

doc: add SIP keywords

detect/sip.response_line: add sticky buffer

Matches on response line field in SIP.

detect/sip.request_line: add sticky buffer

Matches on request line field in SIP.

detect/sip.stat_msg: add sticky buffer

Matches on status msg field in SIP.

detect/sip.stat_code: add sticky buffer

Matches on status code field in SIP.

detect/sip.protocol: add sticky buffer

Matches on protocol field in SIP.

detect/sip.uri: add sticky buffer

Matches on uri field in SIP.

detect/sip.method: add sticky buffer

Matches on uri field in SIP.

output/json-alert: add sip metadata

Put SIP information to alert event.

rust/sip: add SIP logger

rust/sip: add parser for SIP protocol

detect/dns.opcode: improve error reporting

doc: document dns.opcode keyword

doc: Replace dns_query with dns.query.

dns/detect: dns.opcode keyword

Add a rule keyword, dns.opcode to match on the opcode flag
found in the DNS request and response headers.

Only exact matches are allowed with negation.

Examples:
  - dns.opcode:4;
  - dns.opcode:!1;

htp: simplify depth check

doc: update file-extraction section

app-layer-htp: use stream depth with filestore

This permits to use stream-depth value set for file-store.

Currently if a file is being stored and hits a limit,
such as request or response body, it will be truncated
although file-store.stream-depth is enabled but the file should be
closed and not truncated.

Two unit tests have been added to verify that:
- a file is stored correctly
- chunk's length computation doesn’t cause an underflow

app-layer-parser: flag a tx to use stream depth

This adds a new API that permit to set the stream-depth
file for file-storing when a rule with filestore keyword is matched.

detect: Add missing keyword URLs and description

Add missing keyword URLs and their description. Fix the ones that
were incorrect.

Partially closes redmine ticket #2974.

classification: add command-and-control classtype

Added new classtype 'command-and-control' to be used with more
general TROJAN/MALWARE categories to designate traffic between
infected machine and c2 server.

doc: fix whitespace

doc: add to sigmatch_table

detect: syntax regex logic update

Updated regex logic to include more spaces. Fixed spelling.

config/anomaly: use enabled key word; cleanups

The anomaly section was commented out, but the types sub object
was not, which then attached the types keyword to the previous
object.

Instead keep "anomaly" enabled in the yaml (not commented out)
and use the "enabled: no" to have it disabled by default.

Additonally reformat the comments to be better viewed in 80
columns.

output-lua: register app-layer parser logger for SSH

Bug #3162

output-lua: register app-layer parser logger for TLS

Bug #3162

htp/lzma: set limit from configuration

Also use a default defined in Suricata, not libhtp.

htp: set lzma memlimit from config

doc/dotprefix: fix example rules

detect/transform: add dotprefix keyword to doc

detect/transform: add dotprefix keyword

doc/eve.anomaly: fix indent and general formatting

logging/anomaly: Add warning code for anomaly log

doc: Simplified anomaly configuration settings

logging/anomaly: Support configuration filter types

doc: change eBPF directory path

rust/conf: don't print failed conf lookups at info level

rdp: disable eve.rdp by default

rdp: disable rdp by default for 5.0

rdp: address comments in pull request

Pull request:
https://github.com/OISF/suricata/pull/4174

- fix commit: range -> set
- OUTPUT_BUFFER_SIZE -> JSON_OUTPUT_BUFFER_SIZE
- output: check for initdata first

protocol parser: rdp

Initial implementation of feature 2314:
1. Add protocol parser for RDP
2. Add transactions for RDP negotiation
3. Add eve logging of transactions

counters: Add new default for decoder events

Set the new default for decoder events to `decoder.event` instead of the
previously used `decoder`. Remove the corresponding warning for 5.0.

doc: add quickstart guide

ips: fix wrong thread for bridge ips modes

doc/stream: briefly explain bypass

stream: fix bypass callback for stream.depth

Fix bug with bypass callback when called with stream depth threshold.
bug report: https://redmine.openinfosecfoundation.org/issues/2986

ctl/filestore: Add check for filestore directory

Up until now, suricatactl would delete any directory that is provided as
an argument on command line. This patch adds a basic test for the
directories `tmp`, `00` and `ff` in order to justify that the provided
directory is actually a filestore directory.

Additionally, some code has been broken up and made more readable and
pythonic.

Closes redmine ticket #2843

ftp: removing uninitialized variable warning

output-json-ftp.c: In function ‘JsonFTPLogger’:
output-json-ftp.c:129:9: warning: ‘js_respcode_list’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  129 |         json_object_set_new(cjs, "completion_code", js_respcode_list);
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
output-json-ftp.c:74:13: note: ‘js_respcode_list’ was declared here
   74 |     json_t *js_respcode_list;
      |             ^~~~~~~~~~~~~~~~
output-json-ftp.c:128:9: warning: ‘js_resplist’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  128 |         json_object_set_new(cjs, "reply", js_resplist);
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
output-json-ftp.c:73:13: note: ‘js_resplist’ was declared here
   73 |     json_t *js_resplist;
      |             ^~~~~~~~~~~

userguide: remove section on using Oinkmaster

Users should be using Suricata-Update now.

rules: remove configuration for legacy rule handling

Removes the autoconf, and suricata.yaml sections for using
the legacy style of rule management.

rules: no longer install rules to /etc/suricata/rules

Stop falling back to the old method of installing rules into
/etc/suricata/rules if Suricata-Update is not available.

The goal here is to move away from the behaviour of installing
rules to /etc/suricata/rules as part of the default install
process. The engine provided rules are already installed to
/usr/share/suricata/rules, which can then be used as input
to rule management tools such as Suricata-Update.

This does not change the behaviour for Suricata release users
with the bundled Suricata-Update.

Also removes Oinkmaster and PulledPork suggestion for rule
management.

rules: install dhcp-events.rules; order alphabetically

Add dhcp-events.rules to Makefile.am so it gets installed.

Also order the rule files alphabetically for easier review.

pd: don't reverse flow if TCP session not midstream

dns: handle mid stream pickup on response packet

Related Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2146

doc: add endswith keyword docs

doc: update of ssh-kewords documentation

Modifies ssh-keywords.rst to fix syntax error in example rule as well as
update descriptions to indicate older keywords have been deprecated.

doc: use describe instead of option for old Sphinx

Older versions of Sphinx will generate duplicate IDs when you have
options like:

.. option:: some-option

.. option:: some-other-option

The version of Sphinx provided on CentOS 7 has this issue, newer
versions of Sphinx do not.  As CentOS 7 is still a popular
distribution, change ".. option" to ".. describe" which has the
same visual output, but does not generate links.

rust: update to Rust 2018 with cargo fix

Migrate to Rust 2018 edition.

Credit to Danny Browning for first demontrating this:
https://github.com/OISF/suricata/pull/3604/commits

detect/analyzer: Add missing http_accept_enc handling

rust: Get rid of unneeded macros, fix warnings

detect/dataset: fix 'state' path handling

datasets/doc: minor fixes and clarifications

datarep: remove notice messages

datasets: remove notice messages and improve errors

doc/dataset: initial documentation

suricatasc: add dataset-add command

datasets: unix socket dataset-add command

datasets: match on lists of data

Datasets are sets/lists of data that can be accessed or added from
the rule language.

This patch implements 3 data types:

1. string (or buffer)
2. md5
3. sha256

The patch also implements 2 new rule keywords:

1. dataset
2. datarep

The dataset keyword allows matching against a list of values to see if
it exists or not. It can also add the value to the set. The set can
optionally be stored to disk on exit.

The datarep support matching/lookups only. With each item in the set a
reputation value is stored and this value can be matched against. The
reputation value is unsigned 16 bit, so values can be between 0 and 65535.

Datasets can be registered in 2 ways:

1. through the yaml
2. through the rules

The goal of this rules based approach is that rule writers can start using
this without the need for config changes.

A dataset is implemented using a thash hash table. Each dataset is its own
separate thash.

thash: generalize hash table as used in flow

Thread safe hash table implementation based on the Flow hash, IP Pair
hash and others.

Hash is array of buckets with per bucket locking. Each bucket has a
list of elements which also individually use locking.

suricata: expose system as global

suricata: --data-dir option

travis: add liblzma (xz) for osx

configure: bump minimum htp to 0.5.30

lzma: make mandatory

Libhtp is starting to use it as well, so its safe to make it mandatory
here.

Remove guards for flash file decompression code.

http: fixes stream flags for http tests

http: wait for response line for filename

See http evader case 481

const: constify decoder, app-layer, detect funcs

afl: fix compile warnings for decoder fuzz funcs