htp/lzma: set limit from configuration

Also use a default defined in Suricata, not libhtp.

htp: set lzma memlimit from config

doc/dotprefix: fix example rules

detect/transform: add dotprefix keyword to doc

detect/transform: add dotprefix keyword

doc/eve.anomaly: fix indent and general formatting

logging/anomaly: Add warning code for anomaly log

doc: Simplified anomaly configuration settings

logging/anomaly: Support configuration filter types

doc: change eBPF directory path

rust/conf: don't print failed conf lookups at info level

rdp: disable eve.rdp by default

rdp: disable rdp by default for 5.0

rdp: address comments in pull request

Pull request:
https://github.com/OISF/suricata/pull/4174

- fix commit: range -> set
- OUTPUT_BUFFER_SIZE -> JSON_OUTPUT_BUFFER_SIZE
- output: check for initdata first

protocol parser: rdp

Initial implementation of feature 2314:
1. Add protocol parser for RDP
2. Add transactions for RDP negotiation
3. Add eve logging of transactions

counters: Add new default for decoder events

Set the new default for decoder events to `decoder.event` instead of the
previously used `decoder`. Remove the corresponding warning for 5.0.

doc: add quickstart guide

ips: fix wrong thread for bridge ips modes

doc/stream: briefly explain bypass

stream: fix bypass callback for stream.depth

Fix bug with bypass callback when called with stream depth threshold.
bug report: https://redmine.openinfosecfoundation.org/issues/2986

ctl/filestore: Add check for filestore directory

Up until now, suricatactl would delete any directory that is provided as
an argument on command line. This patch adds a basic test for the
directories `tmp`, `00` and `ff` in order to justify that the provided
directory is actually a filestore directory.

Additionally, some code has been broken up and made more readable and
pythonic.

Closes redmine ticket #2843

ftp: removing uninitialized variable warning

output-json-ftp.c: In function ‘JsonFTPLogger’:
output-json-ftp.c:129:9: warning: ‘js_respcode_list’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  129 |         json_object_set_new(cjs, "completion_code", js_respcode_list);
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
output-json-ftp.c:74:13: note: ‘js_respcode_list’ was declared here
   74 |     json_t *js_respcode_list;
      |             ^~~~~~~~~~~~~~~~
output-json-ftp.c:128:9: warning: ‘js_resplist’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  128 |         json_object_set_new(cjs, "reply", js_resplist);
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
output-json-ftp.c:73:13: note: ‘js_resplist’ was declared here
   73 |     json_t *js_resplist;
      |             ^~~~~~~~~~~

userguide: remove section on using Oinkmaster

Users should be using Suricata-Update now.

rules: remove configuration for legacy rule handling

Removes the autoconf, and suricata.yaml sections for using
the legacy style of rule management.

rules: no longer install rules to /etc/suricata/rules

Stop falling back to the old method of installing rules into
/etc/suricata/rules if Suricata-Update is not available.

The goal here is to move away from the behaviour of installing
rules to /etc/suricata/rules as part of the default install
process. The engine provided rules are already installed to
/usr/share/suricata/rules, which can then be used as input
to rule management tools such as Suricata-Update.

This does not change the behaviour for Suricata release users
with the bundled Suricata-Update.

Also removes Oinkmaster and PulledPork suggestion for rule
management.

rules: install dhcp-events.rules; order alphabetically

Add dhcp-events.rules to Makefile.am so it gets installed.

Also order the rule files alphabetically for easier review.

pd: don't reverse flow if TCP session not midstream

dns: handle mid stream pickup on response packet

Related Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2146

doc: add endswith keyword docs

doc: update of ssh-kewords documentation

Modifies ssh-keywords.rst to fix syntax error in example rule as well as
update descriptions to indicate older keywords have been deprecated.

doc: use describe instead of option for old Sphinx

Older versions of Sphinx will generate duplicate IDs when you have
options like:

.. option:: some-option

.. option:: some-other-option

The version of Sphinx provided on CentOS 7 has this issue, newer
versions of Sphinx do not.  As CentOS 7 is still a popular
distribution, change ".. option" to ".. describe" which has the
same visual output, but does not generate links.

rust: update to Rust 2018 with cargo fix

Migrate to Rust 2018 edition.

Credit to Danny Browning for first demontrating this:
https://github.com/OISF/suricata/pull/3604/commits

detect/analyzer: Add missing http_accept_enc handling

rust: Get rid of unneeded macros, fix warnings

detect/dataset: fix 'state' path handling

datasets/doc: minor fixes and clarifications

datarep: remove notice messages

datasets: remove notice messages and improve errors

doc/dataset: initial documentation

suricatasc: add dataset-add command

datasets: unix socket dataset-add command

datasets: match on lists of data

Datasets are sets/lists of data that can be accessed or added from
the rule language.

This patch implements 3 data types:

1. string (or buffer)
2. md5
3. sha256

The patch also implements 2 new rule keywords:

1. dataset
2. datarep

The dataset keyword allows matching against a list of values to see if
it exists or not. It can also add the value to the set. The set can
optionally be stored to disk on exit.

The datarep support matching/lookups only. With each item in the set a
reputation value is stored and this value can be matched against. The
reputation value is unsigned 16 bit, so values can be between 0 and 65535.

Datasets can be registered in 2 ways:

1. through the yaml
2. through the rules

The goal of this rules based approach is that rule writers can start using
this without the need for config changes.

A dataset is implemented using a thash hash table. Each dataset is its own
separate thash.

thash: generalize hash table as used in flow

Thread safe hash table implementation based on the Flow hash, IP Pair
hash and others.

Hash is array of buckets with per bucket locking. Each bucket has a
list of elements which also individually use locking.

suricata: expose system as global

suricata: --data-dir option

travis: add liblzma (xz) for osx

configure: bump minimum htp to 0.5.30

lzma: make mandatory

Libhtp is starting to use it as well, so its safe to make it mandatory
here.

Remove guards for flash file decompression code.

http: fixes stream flags for http tests

http: wait for response line for filename

See http evader case 481

const: constify decoder, app-layer, detect funcs

afl: fix compile warnings for decoder fuzz funcs

travis-ci: update for minimum Rust version of 1.33.

Plus:
- Set latest known working stable Rust to 1.37.0.
- Remove test for --disable-rust, as that as option is
  not respected anymore.
- Add test for old/unsupported version of Rust to make
  sure ./configure fails.
- Other minor cleanups.

rustfmt: use default rustfmt configuration

Remove our config that limited line length to 80 columns.

rust: check for minimum Rust version of 1.33.0.

Related Redmine ticket:
https://redmine.openinfosecfoundation.org/issues/2629

install: install all files for events rules

Fixes #2786

boyermoore: avoid one tolower call

Fixes #1218

ftp: Ensure non-zero command length with MPM init

configure.ac: prevent empty if block (llc check)

As AC_SUBST doesn't expand to anything in the shell script, this
will generate a bad script on older versions of autoconf.

Change the logic to eliminate the possibility of an empty
if or else block.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3124

configure: Remove enable-rust-debug

Get rid of enable-rust-debug flag and use enable-debug for acheiving the
desired functionality. From now, adding `--enable-debug` to `configure`
shall create an [unoptimitized + debuginfo] target. Rest behavior stays
the same.

Closes redmine ticket #3054

detect: Improve rule keyword alproto registration

1. Set WARN_UNUSED macro on DetectSignatureSetAppProto.
2. Replace all direct 'sets' of Signature::alproto from keyword registration.

Closes redmine ticket #3006.

doc: typo fixes

By @espritlibre and @Zeal0us

ja3: Mention LibNSS dependency for JA3

fix build on m68k with uclibc

uclibc on m68k defines _POSIX_SPIN_LOCKS but does not define
pthread_spin_unlock so check for this function before using
pthread_spin_xxx functions

Fixes:
 - http://autobuild.buildroot.org/results/ed923bcc1454ce90444b8dac7c064b5f4ea4a0a5

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

ftp: address review comments

ftp: remove RUST guards

eve/ftp: Modifications for MPM-enabled command descriptor table

app-layer: Invoke FTP parser cleanup function

ftp: Use MPM for command lookup

ftp: Remove LIBJANSSON guards

eve/ftp: Move "get next line" into app-layer-ftp.c

stream: support debug notice message in tfo

doc: install eBPF files in share directory

Following proposal by Sascha Steinbiss, let's use /usr/share/suricata
to store the eBPF files.

bypass: fix build on Windows

For the sake of unittests, we need to build capture bypass so we
end up with a Windows build of flow bypass.

doc: fix English and some typos

doc: pointer to bpfctrl

As bpfctrl is currently the easiest way to manage pinned maps,
let's point to it. We will switch doc to suricatacl once support
has been added.

doc: improve doc on compiling with eBPF support

doc: improve XDP cpu redirect documentation

ebpf: add tunnel aware load balancing

This patch decapsulates GRE tunnel in xdp_lb

ebpf: add XDP load balancing code

This patch uses CPU redirect map to do load balancing. This is a
simplified version of xdp_filter that includes code for bypass.

doc: only balance by ip pair

As there is some issue with defrag, let's recommend to only do
IP pair load-balacing for RSS

doc: document filter.bpf changes

Also adds some info to explain maps.

bypass: introduce CAPTURE_OFFLOAD

This define is used to remove reference to capture bypass in case
no capture method implementing this is active.

This patch also introduces CAPTURE_OFFLOAD_MANAGER that is defined
if we need the flow bypass manager code.

flow-hash: generalize function

THis patch generalizes the function to get a flow by its flowkey
by removing the call setting it to capture bypassed state.

ebpf: improve parsing in filter.bpf

Parse VLAN and only filter on IPv4. This patch also change the type
of the counter to get a per CPU hash.

detect: fix FP on ICMP unreachable errors

ICMP unreachable errors are linked to the flow they send an error for.
This would lead to the detection engine calling the TX inspection
engines on them.

The stream inspect engine would default to a match for non-UDP
and non-TCP as for ICMP we're not expected to use a TX inspect engine
for stream data.

This all would lead to a false positive match.

This patch fixes this by making sure the TX engines are not called if
the packet protocol and flow protocol are not the same.

Bug #2769.

main: fix typo in output

stream/tcp: correct spelling typos

stream/tcp: support TCP fast open

decode/tcp: TCP fast open option decoding

Support both regular TFO and TFO as part of the experimental
options support.

signature: fixes leak with duplicate signatures

boyermoore: optimization with one alloc less

Fixes #1220

detectproto: adding missing probing parsers

In direction TO_CLIENT for symetric protocols

detect-geoip: add info for list keywords

doc: fix typos in geoip doc

doc: fix display of icmp code and type array

doc: use a table to list direction filter in geoip

doc: fix geoip syntax

Spaces are not allowed before country code.

unix/socket: Add rev date to version info

Documenting base64_decode and base64_content

base64 doc changes based on #4027 pull feedback