tls-log: fix so buffer is reset on custom logging

Move MemBufferReset() so it also works when using custom tls
logging. This avoids duplicate tls log entries.

Bug #3177

configure.ac: remove debug output

Introduced with commit:
e1c07b9f23fdc85f4626b798311f0bbd3542744d

output-lua: register app-layer parser logger for SSH

Bug #3162

(cherry picked from commit e976d8cf740e6a96b0d3adab92e9111d9bc2ce09)

output-lua: register app-layer parser logger for TLS

Bug #3162

(cherry picked from commit 1e9f767debac8ac72d9f8c936d534873c2abe767)

qa/banned-functions: remove strndup now we have a fall back

qa/coccinelle: fix make distcheck

We need to use top_srcdir to know where the sources are. Relative
directory is not enough.

qa/coccinelle: flag check for setter and getter

WHen adding something like
/* coccinelle: AppLayerParserStateIssetFlag():4,2:APP_LAYER_PARSER_ */
the coccinelle check will consider that AppLayerParserStateIssetFlag
is taking 4 parameters and that the second one is a flag that needs
to be checked against APP_LAYER_PARSER_.

qa/coccinelle: fix false positive in setter getter

Coccinelle test was doing a false positive on the function
AppLayerParserStateSetFlag and AppLayerParserStateIssetFlag.
To address that, this patch adds a new coccinelle markup:

 /* coccinelle: AppLayerParserStateSetFlag():2,2:APP_LAYER_PARSER_ */

It indicates that AppLayerParserStateSetFlag is a setter and getter
and that the checks should be disabled inside the function.

Currently this markup is only used for that but following patch will
add some checks on option value.

qa/coccinelle: port struct-flags.py to Python3

qa/coccinelle: reformat struct-flags.py

qa: generate struct-flags.cocci at each run

http: split request/response tx id handling

When HTTP pipelining was in use, the transaction id used for events
and files could be off. If the request side was several requests ahead
of the responses, it would use the HtpState::transaction_cnt for events
and files, even though that is only incremented on complete requests.

Split request and response tx id tracking. The response is still handled
by the HtpState::transaction_cnt, but the request side is now handled by
its own logic.

fastlog: apply icmp type logic to icmpv6 too

fastlog: use icmp type and code instead of port

Fixes #3266

fastlog: move code to reduce variable scope

suricata: fix computing of default packet size

Update the default packet size computation to use LiveDeviceName
instead of LiveDevice as the LiveDevice list is not built when
the default packet size is built.

configure: assume cargo vendor if cargo >= 1.37

Rust/Cargo 1.37 and great has vendor support built-in.

This is a backport to 4.1.x:
https://redmine.openinfosecfoundation.org/issues/3364

http/multipart: use proper progress value to test eof

detect/mpm: Improved handling of variable values

This commit removes the offset and depth if either of these values are
dependent upon a byte-extract operation.

detect: Improve handling of variable values

When one of offset/depth/distance is from a variable, adjust the depth
by the offset as is done with scalar values at parse time.

source-pcap-file: honor bpf filter on command line

When a BPF filter is given on the command line when reading a
pcap file, the BPF filter is not honored.

The regression has been introduced in:

commit 3ab9120821e2b5cbc5925470bcfa5bcfb53f246b
Author: Dana Helwig <dana.helwig@protectwise.com>
Date:   Thu Apr 27 11:17:16 2017 -0600

    source-pcap-file: Pcap Directory Mode (Feature #2222)

Reported-By: Tim Colin <tcolin@et.esiea.fr>

source-pcap-file: fix memory leak on pcap filter

smb: add detect tx flags shim for smb (non-rust)

detect/file_data: fix buffer reusing id 0

ftp: add support for tx detect flags

Related commit for 5.0:
1930b1f5043d9eae17c6665ba920a2a7863f2a8e

detect-engine: check for tx detect flag support

When registing a detection engine, check that the app-layer
protocol supports tx detect flags.

This is a code implementation error that should be resolved
during development.

VJ: made this a warning as we're updating an older stable
branch.

debug: add SCReturnBool function exit macro

app-layer: method to see if parser supports tx detect flags

Add method to check if a parser for an app-layer protocol
supports tx detect flags.

This is a bit of a hack for now as where we need to run
this check from we do not have the IP protocol.

configure: add python3 to python's to look for

github-actions: builds for our tier one linux distributions

Example of using GitHub actions to perform builds across
CentOS, Ubuntu, Debian and the latest Fedora.

(cherry picked from commit 3887f8d1f3d2816b3f46fb48560f9de57ae66314)

app-layer: validate TX detect flag callbacks

Check that both are set or unset.

(cherry picked from commit ba3a2c31bf0544e531789d88b19cefd8f5c75dd9)

enip: add tx detect flags

(cherry picked from commit 706558d4d5211c545b779be43eb1b3fe28b3b876)

dcerpc: add tx detect flags

(cherry picked from commit cb62c8dacffd787795c2f30b12b05342ab70d37c)

modbus: add tx detect flags

(cherry picked from commit 21f014f5c3fa03ca5be8e4ee161842b62febcf21)

krb5: register tx detect flags

Related ticker #3345:
https://redmine.openinfosecfoundation.org/issues/3345

(cherry picked from commit fa4b9d37c2c2d8204aaea209d91734c57c337b19)

rust: define TxDetectFlag struct and binding macros

Define a TxDetectFlag type and macros to generating C
bindings for getting and settings the tx detect
flags.

(cherry picked from commit 8a232be77e4e766ea5618319b1553e1d2a7749ee)

VJ: std::os::raw::c_void to libc::c_void

rust: add tx detect flags function to registration struct

(cherry picked from commit cde49ec24660bfab7cd2dc0d14cb08a16654ba4c)

app-layer: add tx detect functions to register struct

(cherry picked from commit 20bc08a72271a6b7237efd663765c872e6d8125e)

ftpdata: add tx detect flags

(cherry picked from commit b1beb76fd7c6fac527c723139088f4a97a9f5d50)

dnp3: add tx detect flags support

app-layer: don't consider tx flags if not registered

If a protocol does not support TxDetectFlags, don't try to use them.

The consequence of trying to use them was that a TX would never be
considered done, and it would never be freed. This would lead to excessive
memory use and performance problems due to walking an ever increasing
list.

(cherry picked from commit ab471c30541338aa9232b001436dec9b870e5ccb)

dns: log addresses in flow direction, not packet

Ticket #3340.
https://redmine.openinfosecfoundation.org/issues/3340

(cherry picked from commit fccbd36d37dd630a76584b3a7ac6083f4c2eb3ed)

filestore: don't assume flow is TCP

Filestore can be used by UDP based protocols as well. NFSv2 is one
that Suricata supports.

Bug #3278.

(cherry picked from commit 0824b0413455b668777e83cabe9fbc0ea81c400a)

yaml: only enable ikev2 if rust is compiled in

Bug #3279.

decode/pppoe: fix potential crash in debug statement

log-pcap: don't print (null) for compression method

tcp: don't set event on empty SACK opt

TCP_OPT_INVALID_LEN was set if the opt len was 2. While useless
an empty SACK is not uncommon.

Seen on an iOS device talking to an Apple server.

Bug #3254.

suricata: use version from autoconf

signature: leak fix in DetectAddressParse2

automake: use tar-ustar for longer filenames

According to the automake manual it should be considered
portable these days.

https://www.gnu.org/software/automake/manual/html_node/List-of-Automake-options.html

Required for the dist generation with Rust vendoring.

mem: Use correct len with strlcpy

configure.ac: fix static build with pcap

pcap can depends on nl-3 so use pkg-config to find these dependencies
otherwise all AC_CHECK_LIB calls will fail when building statically

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

stream: fix progress for min_inspect_depth

Make sure progress don't exceed raw_progress.

afl/decode: fix stats related memleak reports

Makefile: Make libhtp available at install-rules stage

So far when "make install-rules" stage was executed, libhtp path was not
recognized as ldconfig does not run by this stage.
Set "LD_LIBRARY_PATH" since we already know the path where libhtp would
be.

Closes redmine ticket #2669.

lua: fix lua int size detection

Failed to work with non-bundled htp and with some stricter
compile flags.

configure: detect lua integer size

Lua 5.1 and 5.3 use a different integer size. Run a test program
to set the integer size used in the Rust FFI layer to Rust.

enip: fix compile warnings in gcc-8

In file included from suricata-common.h:471,
                 from app-layer-enip-common.c:27:
app-layer-enip-common.c: In function ‘DecodeCIPRequestPathPDU’:
util-debug.h:222:31: warning: ‘req_path_class8’ may be used uninitialized in this function [-Wmaybe-uninitialized]
             int _sc_log_ret = snprintf(_sc_log_msg, SC_LOG_MAX_LOG_MSG_LEN, __VA_ARGS__);   \
                               ^~~~~~~~
app-layer-enip-common.c:589:13: note: ‘req_path_class8’ was declared here
     uint8_t req_path_class8;
             ^~~~~~~~~~~~~~~
app-layer-enip-common.c:607:9: warning: ‘segment’ may be used uninitialized in this function [-Wmaybe-uninitialized]
         switch (segment)
         ^~~~~~
app-layer-enip-common.c: In function ‘DecodeCIPResponsePDU’:
app-layer-enip-common.c:773:13: warning: ‘service’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     service &= 0x7f; //strip off top bit to get service code.  Responses have first bit as 1
             ^~
app-layer-enip-common.c: In function ‘DecodeCIPRequestPDU’:
app-layer-enip-common.c:503:25: warning: ‘path_size’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     offset += path_size * sizeof(uint16_t); //move offset past pathsize
               ~~~~~~~~~~^~~~~~~~~~~~~~~~~~
app-layer-enip-common.c:506:5: warning: ‘service’ may be used uninitialized in this function [-Wmaybe-uninitialized]
     switch (service)
     ^~~~~~

Bug #3139.

changelog: update for 4.1.5

der/asn1: reduce max depth limit to 32

OpenSSL uses 30, so this seems a reasonable limit.

Set a smaller limit than before to reduce the resources spent on
specially crafted input designed to be maximally expensive.

der/asn1: don't pass on more data than is specified

Set and Sequence parsers would pass on max available data instead
of the size of their object.

Malformed data could trigger massive recursion this way, leading
to spending much more resources than necessary.

Found using AFL.

Bug #3184.

decode/ipv4: fix ts opt flags decoding

Field is at data+1 offset, not +3. Also makes sure we always stay
within checked data bounds.

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3173.

decode/ipv4: unittest to show parsing issue

ssl: fix bounds checking in version decoding

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3168.

defrag: check minimum size of reassembled packet

Before re-assembling, check that the first fragment is large
enough to contain the IPv4 or IPv6 header to prevent
an out of bounds read (IPv4) or write (IPv6).

Reported-by: Sirko Höer -- Code Intelligence for DCSO.
Bug #3170.

Avoid to shutdown NSS if it is not initialized

http: backport new events

htp/lzma: disable by default for 4.1.x.

The configuration logic had to be changed to be disabled by
default, to prevent a limit being set, but not the enable
flag from enabling lzma.

http: disable lzma decompression from configuration

htp/lzma: set limit from configuration

Also use a default defined in Suricata, not libhtp.

htp: set lzma memlimit from config

smtp: fix file_data inspection

Continue tracking data if API is used with detect. Detection engine
then manages the tracking.

Bug #2395.

decode: prevent segfault on bypass without flow

When using a rule like:
pass ip any any -> any any (msg:"Bypass"; sid:1; rev:1;)

We could get a match even in case of flow exhaustion where the
Packet has no Flow attached.

geoip: add --disable-libgeoip

Add ./configure argument --disable-libgeoip to disable
libgeoip when --enable-geoip is requested. This will allow
libmaxminddb to be picked up instead of libgeoip when
both are installed on the system.

geoip: remove instructions to install legacy version

The code is never hit.  If geoip is requested, and neither
libgeoip or libmaxminddb are available, libmaxminddb
will be recommended.

geoip: display which geoip library is in use in configure

Example:
GeoIP support:                           yes, legacy libgeoip
GeoIP support:                           yes, libmaxminddb

doc: fix geoip syntax

Spaces are not allowed before country code.

detect-geoip: restore libgeoip code

Switching to libmaxminddb on a stable release will cause a
dependency to be changed and this may cause issue with some build
systems. Also yaml needs to be updated as geoip is erroring if
no geoip file is defined in the configuration:
 Unable to locate a GeoIP2 database filename in YAML conf.

This patch update configure.ac to search for libgeoip then switch
to libmaxminddb if the first one is not found.

afl/fuzz: fix compiler warnings

http: fixes stream flags for http tests

http: wait for response line for filename

See http evader case 481

detect: fix FP on ICMP unreachable errors

ICMP unreachable errors are linked to the flow they send an error for.
This would lead to the detection engine calling the TX inspection
engines on them.

The stream inspect engine would default to a match for non-UDP
and non-TCP as for ICMP we're not expected to use a TX inspect engine
for stream data.

This all would lead to a false positive match.

This patch fixes this by making sure the TX engines are not called if
the packet protocol and flow protocol are not the same.

Bug #2841.

pcap: fix breakloop error handling

Ticket #3004

capture: check for flow packets on capture timeout

The capture threads can receive packets from the flow manager in their
Threadvars::stream_pq packet queue. This mechanism makes sure the packets
the flow manager injects into the engine are processed by the correct
worker thread.

If the capture thread(s) would not receive packets for a long time, the
Threadvars::stream_pq would not be checked and processed. This could
lead to packet pool depletion in the flow manager. It would also lead
to flows not being timed out/logged until either packets started flowing
again or until the engine was shut down.

The scenario is more likely to happen in a test (e.g. replay) but could
also delay logging on low traffic sensors.

rust: Fix deprecation warnings

Fix the following warnings by compiler,
(1) warning: use of deprecated item 'take_until_s': Please use `take_until` instead
(2) warning: `...` range patterns are deprecated

For the second warning, the builtin lint
"ellipsis_inclusive_range_pattern" has been added which causes the
following warning to show up with rustc 1.24.

warning: unknown lint: `ellipsis_inclusive_range_patterns`
  --> /home/travis/build/OISF/suricata/suricata-5.0.0-dev/rust/src/lib.rs:18:10
   |
18 | #![allow(ellipsis_inclusive_range_patterns)]
   |          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
   |
   = note: #[warn(unknown_lints)] on by default

Since there is no other way to fix this, the above warning shall stay.
We need to take care of modifying this if and when the support for 1.24
as MSRV is dropped.

warnings: fixes integer sizes in format strings

Fixes #3009

af-packet: fix build on recent Linux kernels

decoder/vxlan: disable by default

decoder/vxlan: improvements and cleanups

Implement port config handling. Also check both src port and dest
port for tunnels that only set the destination port to the VXLAN
port. At the point of the check we don't know the packet direction
yet.

Implement as Suricata tunnel similar to Teredo.

Cleanups.

decoder/vxlan: initial implementation of decoder

appveyor: Remove enable-geoip from build script

There is no GeoIP2 package for cygwin and the legacy format GeoIP has
been discontinued. This patch prevents appveyor to fail because of
unavailability of libmaxminddb GeoIP2 library.
References:
- https://support.maxmind.com/geolite-legacy-discontinuation-notice/
- https://cygwin.com/cgi-bin2/package-grep.cgi?grep=geoip&arch=x86_64

geoip: fix unittests w/o db present

mem: avoid potential shadow vars with 'len' name

mem: add SCStrndup() function to wrap strndup().

detect/geoip: migrate to GeoIP2 database format

Issue #2765

rust: fix warnings about wrong type of comments

"rustdoc does not generate documentation for macro expansions"

rust: fix libc deprecation warnings for int types

ikev2: clean up c glue code

tftp: c glue code cleanup

ikev2: remove excess new lines