doc/dataset: initial documentation

suricatasc: add dataset-add command

datasets: unix socket dataset-add command

datasets: match on lists of data

Datasets are sets/lists of data that can be accessed or added from
the rule language.

This patch implements 3 data types:

1. string (or buffer)
2. md5
3. sha256

The patch also implements 2 new rule keywords:

1. dataset
2. datarep

The dataset keyword allows matching against a list of values to see if
it exists or not. It can also add the value to the set. The set can
optionally be stored to disk on exit.

The datarep support matching/lookups only. With each item in the set a
reputation value is stored and this value can be matched against. The
reputation value is unsigned 16 bit, so values can be between 0 and 65535.

Datasets can be registered in 2 ways:

1. through the yaml
2. through the rules

The goal of this rules based approach is that rule writers can start using
this without the need for config changes.

A dataset is implemented using a thash hash table. Each dataset is its own
separate thash.

thash: generalize hash table as used in flow

Thread safe hash table implementation based on the Flow hash, IP Pair
hash and others.

Hash is array of buckets with per bucket locking. Each bucket has a
list of elements which also individually use locking.

suricata: expose system as global

suricata: --data-dir option

travis: add liblzma (xz) for osx

configure: bump minimum htp to 0.5.30

lzma: make mandatory

Libhtp is starting to use it as well, so its safe to make it mandatory
here.

Remove guards for flash file decompression code.

http: fixes stream flags for http tests

http: wait for response line for filename

See http evader case 481

const: constify decoder, app-layer, detect funcs

afl: fix compile warnings for decoder fuzz funcs

travis-ci: update for minimum Rust version of 1.33.

Plus:
- Set latest known working stable Rust to 1.37.0.
- Remove test for --disable-rust, as that as option is
  not respected anymore.
- Add test for old/unsupported version of Rust to make
  sure ./configure fails.
- Other minor cleanups.

rustfmt: use default rustfmt configuration

Remove our config that limited line length to 80 columns.

rust: check for minimum Rust version of 1.33.0.

Related Redmine ticket:
https://redmine.openinfosecfoundation.org/issues/2629

install: install all files for events rules

Fixes #2786

boyermoore: avoid one tolower call

Fixes #1218

ftp: Ensure non-zero command length with MPM init

configure.ac: prevent empty if block (llc check)

As AC_SUBST doesn't expand to anything in the shell script, this
will generate a bad script on older versions of autoconf.

Change the logic to eliminate the possibility of an empty
if or else block.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/3124

configure: Remove enable-rust-debug

Get rid of enable-rust-debug flag and use enable-debug for acheiving the
desired functionality. From now, adding `--enable-debug` to `configure`
shall create an [unoptimitized + debuginfo] target. Rest behavior stays
the same.

Closes redmine ticket #3054

detect: Improve rule keyword alproto registration

1. Set WARN_UNUSED macro on DetectSignatureSetAppProto.
2. Replace all direct 'sets' of Signature::alproto from keyword registration.

Closes redmine ticket #3006.

doc: typo fixes

By @espritlibre and @Zeal0us

ja3: Mention LibNSS dependency for JA3

fix build on m68k with uclibc

uclibc on m68k defines _POSIX_SPIN_LOCKS but does not define
pthread_spin_unlock so check for this function before using
pthread_spin_xxx functions

Fixes:
 - http://autobuild.buildroot.org/results/ed923bcc1454ce90444b8dac7c064b5f4ea4a0a5

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

ftp: address review comments

ftp: remove RUST guards

eve/ftp: Modifications for MPM-enabled command descriptor table

app-layer: Invoke FTP parser cleanup function

ftp: Use MPM for command lookup

ftp: Remove LIBJANSSON guards

eve/ftp: Move "get next line" into app-layer-ftp.c

stream: support debug notice message in tfo

doc: install eBPF files in share directory

Following proposal by Sascha Steinbiss, let's use /usr/share/suricata
to store the eBPF files.

bypass: fix build on Windows

For the sake of unittests, we need to build capture bypass so we
end up with a Windows build of flow bypass.

doc: fix English and some typos

doc: pointer to bpfctrl

As bpfctrl is currently the easiest way to manage pinned maps,
let's point to it. We will switch doc to suricatacl once support
has been added.

doc: improve doc on compiling with eBPF support

doc: improve XDP cpu redirect documentation

ebpf: add tunnel aware load balancing

This patch decapsulates GRE tunnel in xdp_lb

ebpf: add XDP load balancing code

This patch uses CPU redirect map to do load balancing. This is a
simplified version of xdp_filter that includes code for bypass.

doc: only balance by ip pair

As there is some issue with defrag, let's recommend to only do
IP pair load-balacing for RSS

doc: document filter.bpf changes

Also adds some info to explain maps.

bypass: introduce CAPTURE_OFFLOAD

This define is used to remove reference to capture bypass in case
no capture method implementing this is active.

This patch also introduces CAPTURE_OFFLOAD_MANAGER that is defined
if we need the flow bypass manager code.

flow-hash: generalize function

THis patch generalizes the function to get a flow by its flowkey
by removing the call setting it to capture bypassed state.

ebpf: improve parsing in filter.bpf

Parse VLAN and only filter on IPv4. This patch also change the type
of the counter to get a per CPU hash.

detect: fix FP on ICMP unreachable errors

ICMP unreachable errors are linked to the flow they send an error for.
This would lead to the detection engine calling the TX inspection
engines on them.

The stream inspect engine would default to a match for non-UDP
and non-TCP as for ICMP we're not expected to use a TX inspect engine
for stream data.

This all would lead to a false positive match.

This patch fixes this by making sure the TX engines are not called if
the packet protocol and flow protocol are not the same.

Bug #2769.

main: fix typo in output

stream/tcp: correct spelling typos

stream/tcp: support TCP fast open

decode/tcp: TCP fast open option decoding

Support both regular TFO and TFO as part of the experimental
options support.

signature: fixes leak with duplicate signatures

boyermoore: optimization with one alloc less

Fixes #1220

detectproto: adding missing probing parsers

In direction TO_CLIENT for symetric protocols

detect-geoip: add info for list keywords

doc: fix typos in geoip doc

doc: fix display of icmp code and type array

doc: use a table to list direction filter in geoip

doc: fix geoip syntax

Spaces are not allowed before country code.

unix/socket: Add rev date to version info

Documenting base64_decode and base64_content

base64 doc changes based on #4027 pull feedback

Add documentation for --with-clang parameter

ebpf: Use $(CLANG) to build eBPF programs

This change makes it possible to generate the eBPF programs even if
Suricata itself is built a different C compiler. It also simplifies
how the correct llc program is detected.

Implements Feature https://redmine.openinfosecfoundation.org/issues/2789

configure: Introduce CLANG variable

cleanup: eliminate warnings/errors with debug build on macos

userguide: remove old reference to rule-reload option

src/detect: check DetectBufferSetActiveList return code

Make sure to always check the return codes of DetectBufferSetActiveList.
Also, force this warning on function prototype.

Closes redmine ticket #3005.

signature: avoids overflow from VariableNameHash

detect/analyzer: remove HAVE_LIBJANSSON cpp guards

spelling: correct spelling typo

detect/analyzer: add support for http_content_type

rust: Fix deprecation warnings

Fix the following warnings by compiler,
(1) warning: use of deprecated item 'take_until_s': Please use `take_until` instead
(2) warning: `...` range patterns are deprecated

For the second warning, the builtin lint
"ellipsis_inclusive_range_pattern" has been added which causes the
following warning to show up with rustc 1.24.

warning: unknown lint: `ellipsis_inclusive_range_patterns`
  --> /home/travis/build/OISF/suricata/suricata-5.0.0-dev/rust/src/lib.rs:18:10
   |
18 | #![allow(ellipsis_inclusive_range_patterns)]
   |          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
   |
   = note: #[warn(unknown_lints)] on by default

Since there is no other way to fix this, the above warning shall stay.
We need to take care of modifying this if and when the support for 1.24
as MSRV is dropped.

applayer: fix typo in debug output

Signed-off-by: jason taylor <jtfas90@gmail.com>

rule-reload: enable rule-reload for -s and -S run as well

pcap: fix breakloop error handling

Ticket #3004

netmap: suppress format truncation warning

  CC       source-netmap.o
source-netmap.c: In function ‘NetmapOpen’:
source-netmap.c:327:56: error: ‘%s’ directive output may be truncated writing up to 15 bytes into a region of size between 10 and 57 [-Werror=format-truncation=]
         snprintf(devname, sizeof(devname), "netmap:%s%s%s",
                                                        ^~
                 ns->iface, strlen(optstr) ? "/" : "", optstr);
                                                       ~~~~~~
source-netmap.c:327:9: note: ‘snprintf’ output 8 or more bytes (assuming 70) into a destination of size 64
         snprintf(devname, sizeof(devname), "netmap:%s%s%s",
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
                 ns->iface, strlen(optstr) ? "/" : "", optstr);
                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
source-netmap.c:330:59: error: ‘%s’ directive output may be truncated writing up to 15 bytes into a region of size between 8 and 55 [-Werror=format-truncation=]
         snprintf(devname, sizeof(devname), "netmap:%s-%d%s%s",
                                                           ^~
                 ns->iface, ring, strlen(optstr) ? "/" : "", optstr);
                                                             ~~~~~~
source-netmap.c:330:9: note: ‘snprintf’ output 10 or more bytes (assuming 72) into a destination of size 64
         snprintf(devname, sizeof(devname), "netmap:%s-%d%s%s",
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
                 ns->iface, ring, strlen(optstr) ? "/" : "", optstr);
                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
source-netmap.c:316:54: error: ‘snprintf’ output may be truncated before the last format character [-Werror=format-truncation=]
         snprintf(devname, sizeof(devname), "%s}%d%s%s",
                                                      ^
source-netmap.c:316:9: note: ‘snprintf’ output 3 or more bytes (assuming 65) into a destination of size 64
         snprintf(devname, sizeof(devname), "%s}%d%s%s",
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
                 ns->iface, ring, strlen(optstr) ? "/" : "", optstr);
                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
cc1: all warnings being treated as errors

Gcc 8 with -Wformat-truncation=1

detect/mpm: put transform into 'profile name'

So that profiling gives more info about cost of the mpm
engines when they use transforms.

detect/dns: register correct profile name

string: making shortening function global

device: break string shortening out of device shortening

device: remove duplicate length check

Shorten code handles all cases correctly.

detect: move includes/declarations closer to use

detect: fix inaccurate comments

pfring: Fix kernel version in comment

af-packet: fix build on recent Linux kernels

rust: fix compiler warning

rustc 1.36 introduced:

error: variable does not need to be mutable
   --> src/dhcp/parser.rs:202:17
    |
202 |             let mut malformed_options = false;
    |                 ----^^^^^^^^^^^^^^^^^
    |                 |
    |                 help: remove this `mut`
    |
note: lint level defined here
   --> src/lib.rs:18:38
    |
18  | #![cfg_attr(feature = "strict", deny(warnings))]
    |                                      ^^^^^^^^
    = note: #[deny(unused_mut)] implied by #[deny(warnings)]

error: aborting due to previous error

error: Could not compile `suricata`.

Ticket #3072.

ssl: register probing for port 443 if no config

configure: Add date with rev information

Date makes it even clearer that when was the last commit for the build
that one is running. Add this info alongwith rev. Change inspired by
rustc.

Before
```
$ suricata -V
This is Suricata version 5.0.0-dev (rev 2d217e666)
```

After
```
This is Suricata version 5.0.0-dev (2d217e666 2019-07-12)
```

Closes redmine ticket #3092

output/json: Refactor output buffer size macro

eve/json: Break multiline FTP responses into array

This changeset breaks multi-line FTP responses into separate array
entries. Multi-line responses are those with "text-1\r\ntext-2[...]".
Each of \r\n delimited text segments is reported in the `reply` array;
each text segment _may_ include a completion code; completion codes are
reported in the `completion_code` array.

eve/ftp: Refactor and reduce logging functions

ftp: Generalize prelim positive reply

Extend special case for reply code 150 to handle all preliminary
positive reply -- reply codes with `1xy`.

ftp: reply code 150 doesn't end tx

ftp: fix reply without request

Permit picking up any reply w/o a request. Observed unsolicited server
messages before connection termination.

Previously the code assumed that this could only happen on connection
start when there was no previously recorded command.

ftp: implement progress tracking

Make sure FTP_STATE_FINISHED is returned for transactions that
are marked 'done'.

This is necessary for timely logging and inspection.

ftp: be more strict with tx type

eve/ftp: minor cleanups and fixes

eve/ftp: Bug fix and banner capture

1. Correct off-by-one error in server response whitespace removal
2. Include banner response (before first command entered)

eve/ftp: Log initial responses

This changeset ensures that unknown commands are logged.
Unknown commands are either
- Banner responses when connecting to the FTP port
- Commands not includes in the FtpCommands descriptor table