detect: fix FP on ICMP unreachable errors

ICMP unreachable errors are linked to the flow they send an error for.
This would lead to the detection engine calling the TX inspection
engines on them.

The stream inspect engine would default to a match for non-UDP
and non-TCP as for ICMP we're not expected to use a TX inspect engine
for stream data.

This all would lead to a false positive match.

This patch fixes this by making sure the TX engines are not called if
the packet protocol and flow protocol are not the same.

Bug #2769.

main: fix typo in output

stream/tcp: correct spelling typos

stream/tcp: support TCP fast open

decode/tcp: TCP fast open option decoding

Support both regular TFO and TFO as part of the experimental
options support.

signature: fixes leak with duplicate signatures

boyermoore: optimization with one alloc less

Fixes #1220

detectproto: adding missing probing parsers

In direction TO_CLIENT for symetric protocols

detect-geoip: add info for list keywords

doc: fix typos in geoip doc

doc: fix display of icmp code and type array

doc: use a table to list direction filter in geoip

doc: fix geoip syntax

Spaces are not allowed before country code.

unix/socket: Add rev date to version info

Documenting base64_decode and base64_content

base64 doc changes based on #4027 pull feedback

Add documentation for --with-clang parameter

ebpf: Use $(CLANG) to build eBPF programs

This change makes it possible to generate the eBPF programs even if
Suricata itself is built a different C compiler. It also simplifies
how the correct llc program is detected.

Implements Feature https://redmine.openinfosecfoundation.org/issues/2789

configure: Introduce CLANG variable

cleanup: eliminate warnings/errors with debug build on macos

userguide: remove old reference to rule-reload option

src/detect: check DetectBufferSetActiveList return code

Make sure to always check the return codes of DetectBufferSetActiveList.
Also, force this warning on function prototype.

Closes redmine ticket #3005.

signature: avoids overflow from VariableNameHash

detect/analyzer: remove HAVE_LIBJANSSON cpp guards

spelling: correct spelling typo

detect/analyzer: add support for http_content_type

rust: Fix deprecation warnings

Fix the following warnings by compiler,
(1) warning: use of deprecated item 'take_until_s': Please use `take_until` instead
(2) warning: `...` range patterns are deprecated

For the second warning, the builtin lint
"ellipsis_inclusive_range_pattern" has been added which causes the
following warning to show up with rustc 1.24.

warning: unknown lint: `ellipsis_inclusive_range_patterns`
  --> /home/travis/build/OISF/suricata/suricata-5.0.0-dev/rust/src/lib.rs:18:10
   |
18 | #![allow(ellipsis_inclusive_range_patterns)]
   |          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
   |
   = note: #[warn(unknown_lints)] on by default

Since there is no other way to fix this, the above warning shall stay.
We need to take care of modifying this if and when the support for 1.24
as MSRV is dropped.

applayer: fix typo in debug output

Signed-off-by: jason taylor <jtfas90@gmail.com>

rule-reload: enable rule-reload for -s and -S run as well

pcap: fix breakloop error handling

Ticket #3004

netmap: suppress format truncation warning

  CC       source-netmap.o
source-netmap.c: In function ‘NetmapOpen’:
source-netmap.c:327:56: error: ‘%s’ directive output may be truncated writing up to 15 bytes into a region of size between 10 and 57 [-Werror=format-truncation=]
         snprintf(devname, sizeof(devname), "netmap:%s%s%s",
                                                        ^~
                 ns->iface, strlen(optstr) ? "/" : "", optstr);
                                                       ~~~~~~
source-netmap.c:327:9: note: ‘snprintf’ output 8 or more bytes (assuming 70) into a destination of size 64
         snprintf(devname, sizeof(devname), "netmap:%s%s%s",
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
                 ns->iface, strlen(optstr) ? "/" : "", optstr);
                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
source-netmap.c:330:59: error: ‘%s’ directive output may be truncated writing up to 15 bytes into a region of size between 8 and 55 [-Werror=format-truncation=]
         snprintf(devname, sizeof(devname), "netmap:%s-%d%s%s",
                                                           ^~
                 ns->iface, ring, strlen(optstr) ? "/" : "", optstr);
                                                             ~~~~~~
source-netmap.c:330:9: note: ‘snprintf’ output 10 or more bytes (assuming 72) into a destination of size 64
         snprintf(devname, sizeof(devname), "netmap:%s-%d%s%s",
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
                 ns->iface, ring, strlen(optstr) ? "/" : "", optstr);
                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
source-netmap.c:316:54: error: ‘snprintf’ output may be truncated before the last format character [-Werror=format-truncation=]
         snprintf(devname, sizeof(devname), "%s}%d%s%s",
                                                      ^
source-netmap.c:316:9: note: ‘snprintf’ output 3 or more bytes (assuming 65) into a destination of size 64
         snprintf(devname, sizeof(devname), "%s}%d%s%s",
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
                 ns->iface, ring, strlen(optstr) ? "/" : "", optstr);
                 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
cc1: all warnings being treated as errors

Gcc 8 with -Wformat-truncation=1

detect/mpm: put transform into 'profile name'

So that profiling gives more info about cost of the mpm
engines when they use transforms.

detect/dns: register correct profile name

string: making shortening function global

device: break string shortening out of device shortening

device: remove duplicate length check

Shorten code handles all cases correctly.

detect: move includes/declarations closer to use

detect: fix inaccurate comments

pfring: Fix kernel version in comment

af-packet: fix build on recent Linux kernels

rust: fix compiler warning

rustc 1.36 introduced:

error: variable does not need to be mutable
   --> src/dhcp/parser.rs:202:17
    |
202 |             let mut malformed_options = false;
    |                 ----^^^^^^^^^^^^^^^^^
    |                 |
    |                 help: remove this `mut`
    |
note: lint level defined here
   --> src/lib.rs:18:38
    |
18  | #![cfg_attr(feature = "strict", deny(warnings))]
    |                                      ^^^^^^^^
    = note: #[deny(unused_mut)] implied by #[deny(warnings)]

error: aborting due to previous error

error: Could not compile `suricata`.

Ticket #3072.

ssl: register probing for port 443 if no config

configure: Add date with rev information

Date makes it even clearer that when was the last commit for the build
that one is running. Add this info alongwith rev. Change inspired by
rustc.

Before
```
$ suricata -V
This is Suricata version 5.0.0-dev (rev 2d217e666)
```

After
```
This is Suricata version 5.0.0-dev (2d217e666 2019-07-12)
```

Closes redmine ticket #3092

output/json: Refactor output buffer size macro

eve/json: Break multiline FTP responses into array

This changeset breaks multi-line FTP responses into separate array
entries. Multi-line responses are those with "text-1\r\ntext-2[...]".
Each of \r\n delimited text segments is reported in the `reply` array;
each text segment _may_ include a completion code; completion codes are
reported in the `completion_code` array.

eve/ftp: Refactor and reduce logging functions

ftp: Generalize prelim positive reply

Extend special case for reply code 150 to handle all preliminary
positive reply -- reply codes with `1xy`.

ftp: reply code 150 doesn't end tx

ftp: fix reply without request

Permit picking up any reply w/o a request. Observed unsolicited server
messages before connection termination.

Previously the code assumed that this could only happen on connection
start when there was no previously recorded command.

ftp: implement progress tracking

Make sure FTP_STATE_FINISHED is returned for transactions that
are marked 'done'.

This is necessary for timely logging and inspection.

ftp: be more strict with tx type

eve/ftp: minor cleanups and fixes

eve/ftp: Bug fix and banner capture

1. Correct off-by-one error in server response whitespace removal
2. Include banner response (before first command entered)

eve/ftp: Log initial responses

This changeset ensures that unknown commands are logged.
Unknown commands are either
- Banner responses when connecting to the FTP port
- Commands not includes in the FtpCommands descriptor table

userguide: formatting: remove tabs

userguide: ftp formatting updates

eve/ftp: Transaction support for unmatched requests

Modified transaction logic to create a new transaction with each
request; replies location transactions by using the oldest "open"
(unmatched) transaction or the last transaction if none are open.

suricata.yaml: Add ftp logging option to eve-log

eve/ftp: Log FTP transactions

This changeset includes changes that
1. Add transaction support to the FTP parser
2. Support eve json logging of FTP transactions

http: fixes overflow in range parsing

stream: fix midstream reverse flow handling

When a TCP session is picked up from the response the flow is
reversed by the protocol detection code.

This would lead to duplicate logging of the response. The reason this
happened was that the per stream app progress tracker was not handled
correctly by the direction reversing code. While the streams were
swapped the stream engine would continue to use a now outdated pointer
to what had become the wrong direction.

This patches fixes this by making the stream a ptr to ptr that can be
updated by the protocol detection as well.

In addition, the progress tracking was cleaned up and the GAP error
handling in this case was improved as well.

ebpf: remove left over debug in lb.c

ftp: removes one use of atoi

Fixes only one small part of #3053

pcap: code reformatting and minor cleanups

flow: minor formatting updates

af-packet: Always fill in vlan_id

The vlan tag will be filled in either from the extended header (for
kernel version >= 3.0) or from the packet itself.

Related to https://redmine.openinfosecfoundation.org/issues/3076

pfring: Always fill in vlan_id

Previously, source-pfring.c would copy the vlan_id from the extended
header only if vlan.use-for-tracking was enabled. This commit removes
that check.

Related to https://redmine.openinfosecfoundation.org/issues/3076

decode erspan: Always fill in vlan_id

Fill in the vlan_id fields unconditionally. We can now remove the check
for the vlan.use-for-tracking setting in decode.c. The debug log message
is moved to suricata.c.

decode vlan: Always fill in vlan_id

Since the vlan.use-for-tracking setting is now handled in flow-hash.c,
we can fill in the vlan_id fields unconditionally. This makes the vlanh
fields unnecessary.

Related to https://redmine.openinfosecfoundation.org/issues/3076

flow hash: Mask vlan_id if not used for tracking

If vlan.use-for-tracking is disabled, set the vlan_id fields to 0 when
hashing or comparing flows. This is done using a bitmask as suggested by
Victor Julien in IRC, in order to avoid adding more branches to this
code.

Currently, suricata does not fill in vlan_id fields if
vlan.use-for-tracking is disabled and instead leaves them at the default
0 value, so this commit makes no functional change. This change is in
preparation for future commits where the vlan_ids will be always filled
in.

Related to https://redmine.openinfosecfoundation.org/issues/3076

flow hash: Make CMP_FLOW macro an inline function

runmodes: remove unused prototypes

afl: fix afl-ftp causing FPE due to missing ippair

runmodes: remove no-Rust logic

runmodes: simply default runmode logic

runmodes: code cleanups

leak: Fixes leak in AppLayerProtoDetectPMRegisterPattern

Fixes #3070

leak: Fixes leak in DetectAppLayerEventPrepare

log: use SCLogError instead of fprintf

leak: fixes leak in DetectAddressParse2

geoip: fix unittests w/o db present

mem: avoid potential shadow vars with 'len' name

mem: add SCStrndup() function to wrap strndup().

detect/geoip: migrate to GeoIP2 database format

Issue #2765

detect/mpm: improve stats reporting

detect: add ipv6.hdr sticky buffer

Inspects IPv6 header and extension headers.

decode/ipv6: track length of ext hdrs

decoder/ipv6: minor cleanups

Remove unused field and macros.

Minor code style cleanups.

detect/ipv4: add ipv4.hdr sticky buffer

detect/tcp/udp: minor cleanups

detect: introduce pkt mpm engines

Instead of the hardcode L4 matching in MPM that was recently introduced,
add an API similar to the AppLayer MPM and inspect engines.

Share part of the registration code with the AppLayer.

Implement for the tcp.hdr and udp.hdr keywords.

detect: remove Threadvars argument from API calls

Remove it as it's (almost) never used. If it is really needed it can
be accessed through DetectEngineThreadCtx::tv as well.

detect/bsize: support transforms in case w/o content

python: fix parsing Suricata version from configure.ac

If parsing the version fails, or no version is found, fail
instead of defaulting to a version of 0.0.0.

decoder/vxlan: improvements and cleanups

Implement port config handling. Also check both src port and dest
port for tunnels that only set the destination port to the VXLAN
port. At the point of the check we don't know the packet direction
yet.

Implement as Suricata tunnel similar to Teredo.

Cleanups.

decoder/vxlan: initial implementation of decoder

mem: fix shadow declaration warning

Avoid clash by adding a leading underscore to the declaration in the
macro. These temporary vars should never clash with valid variables
from the code where they are called from.

doc: add tcp.hdr and udp.hdr

warnings : Fixes integer sizes in format strings

configure: update configure.ac to reflect modern autoconf syntax

rust/snmp: add event when expected/received PDU versions mismatch