detect/parse: error out on unused sticky buffers

detect/prefilter: add closing debug return statement

yaml: add missing eve pcap-file comment

capture: fix mtu plus sign names for non-netmap

Bug #2502.

stats: more accurate interval handling

In the stats loop sleep for a time period more closely matching
the stats.interval setting. Fix an off by one that would make
the loop wake up ~1 second early.

Bug #2716

check-setup: fix script names for .sh to .py

travis: update rust version to 1.24.1 and 1.31.0.

1.24.1 is now the oldest version we test support for. All major
distributions appear to be at this version or new.

With the release of 1.31.0 just out, test that as the most
recent version.

dns json v2 (C) - log rrtype in response

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2723

rust/dns/v2 - log rrtype in response

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2723

dns/rust - if let Some over options instead of loop.

Except in one case where the loop makes more sense for easy break
out.

Also remove one line of non-conforming debug logging.

rust/dns/lua - fix call convention to match C.

Also, when requesting the query, if the request doesn't exist,
return the query from the response. This makes it behave
more like C implementation.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2730

rust/dns: add v1 dns logging

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2704

unix: fix deadlock in unix runmode on many cores

Same issue as in 7f8795c7563827f090d8679cb35847af0085fc56, with the
solution now also applied to the unix socket runmode.

Bug #2734

output/tx: fix multi-instance logger output

Fix transactions not being logged after the first tx logger had
logged.

app-layer: improve transaction cleanup handling

The app layers with a custom iterator would skip a tx if during
the ..Cleanup() pass a transaction was removed.

Address this by storing the current index instead of the next
index. Also pass in the next "min_tx_id" to be incremented from
the last TX. Update loops to do this increment.

Also make sure that the min_id is properly updated if the last
TX is removed when out of order.

Finally add a SMB unittest to test this.

Reported by: Ilya Bakhtin

app-layer: fix tx tracking updates in tx cleanup

Fix min_id not getting updated in all cases.

Reported by: Ilya Bakhtin

app-layer: add debug statements to tx cleanup logic

unittests/app-layer: add helper to get app tx trackers

userguide: updated hyperscan version reference

Signed-off-by: jason taylor <jtfas90@gmail.com>

Updated link for Prelude SIEM

Updated link for Prelude SIEM to https://www.prelude-siem.org/

detect-depth: remove semi coma from desc

It was breaking the CSV export.

doc: fix some links in list-keywords command

suricata.yaml: fix path to XDP doc

util-bpf: workaround OpenBSD old libpcap

OpenBSD is not using a pcap_compile_* function so we can just
comment the code for OpenBSD users.

af-packet: remove unused field in AFPThreadVars

configure.ac: better llc binary detection

llc is needed to build the ebpf files and current autoconf code
was not working properly on Debian.

af-packet: remove years old todos

netmap: use custom BPF compile function

af-packet: use the new BPF compilation function

util-bpf: introduce custom BPF compile functions

We can't get error from pcap_compile_nopcap() so let's get our
own function and output message.

af-packet: micro optimization

Use a else if instead of two chained if constructs.

af-packet: improve error handling

Stress condition in Suricata could lead to interface to disconnect
when it is not necessary. This patch updates the error handling
code to try to continue reading when such a case occurs.

bypass:added new documentation reference

Documentation didn't previously exist for the bypass keyword

Signed-off-by: jason taylor <jtfas90@gmail.com>

debug/log: add log level for JSON type

resolves #2671

configure: allow for --disable-suricata-update

This is to prevent suricata-update from being installed if it
would otherwise be installed based on in being bundled, and
its dependencies being available.

Warn the user that Suricata-Update will not be installed if it
is bundled, but python-yaml is missing (this will also cover
the case where Python is missing).

Add "Install suricata-update" to the build summary. For consistency,
relable "Suricatasc install" as "Install suricatasc".

configure: check for python-yaml

Don't install suricata-update if python-yaml does not
exist.

configure: print datarootdir

This is relevant now as its where Suricata engine rules
get installed.

detect/mpm: fix fast_pattern handling of len >255

The fast pattern selection logic would truncate a patterns len to
255 leading to assigning the same pid to different patterns.

This in turn would be caught by the hyperscan setup code which would
abort.

Bug #2714.

rust/filetracker: remove reachable panic

Remove reachable panic condition when an existing file chunk is not
completed. Instead trunc the file and reset.

Related to bug #2717

nfs: improve file tracking under packet loss

In case of packet loss during an in-progress chunk the file tracker
could loose track of a file because it couldn't map the XID to a
file handle.

The file tracker would then panic if a new file was opened, as
it noticed the last chunk wasn't yet complete.

This patch tracks the file handle for a in-progress chunk in the
state, just like the tracking of the size that is left.

Bug #2717

rust/nfs: improve debug output

iprep: small cleanups

iprep: improve error checking of path handling

detect: improve inspect buffer handling

Fix and Optimize cleanup. For the simple single inspect buffer optimize
the cleanup by keeping track of the actually used buffers. This avoid
looping over unused buffers.

Fix the case of cleaning not being done after a tx if the next tx is
also inspected in the context of the same packet.

Fix cleanup of the multi-inspect buffers. Optimize in 2 ways. First
like with single keep track of which multi-inspect buffers have been
used. Second, keep a max of the buffers within a multi-inspect buffer.
Use this max to limit (nested) looping.

profiling: set loop limit to match array size

Signed-off-by: jason taylor <jtfas90@gmail.com>

prelude: fix potential uninitialized value use

detect: suppress coverity deadcode warnings

Suppress as scan-build-7 relies on this 'dead' code to not issue
a warning.

filestore: suppress coverity toctou warning

detect: fix coverity memory leak warnings

file: use u32 file id everywhere

detect/distance: improve value parsing and fix broken test

detect/within: clean up option value parsing

detect/within: test cleanups

eve/dns: improve version warning message

detect/offset: improve value parsing

app-layer-ssl: fix coverty error (RESOURCE_LEAK)

Bug #2677

changelog: update for 4.1

smtp/mime: fix null ptr deref on bad traffic

Due to missing error handling, a bad mime message could put the
mime parser in an error state, without the SMTP layer taking this
into account. So the SMTP layer would continue to pass data to the
mime parser, even though it was in an error state.

When the parser would be fed a very long line while in this state,
it would try to set an error flag in the state. However, due to
the error state, this setting of the flag would dereference a null
pointer.

This patch fixes this issue by updating the mime parser to check
the state it is in when receiving new input. It will refuse to
process futher data while in the error state. It will also return
a new error code to indicate to the SMTP layer that the parser
was in an error state.

ipv6: disable zero len padN rule by default

doc: Remove gulp references

Signed-off-by: jason taylor <jtfas90@gmail.com>

doc: add bypass keyword documentation

Signed-off-by: jason taylor <jtfas90@gmail.com>

filestore: fix compiler truncation warnings

And error out if the constructed filename is truncated.

app-layer-ssl: add Facebook TLSv1.3 draft versions

Add draft versions for Facebooks custom TLSv1.3 implementation "fizz"
to SSLVersionToString().

app-layer-ssl: change how TLSv1.3 drafts are logged

Change from logging TLSv1.3 drafts as "TLS 1.3 (draft 28)" to
"TLS 1.3 draft-28" instead.

userguide: add documentation for ssl_version keyword

pfring: default to runmode workers

Now that threads:auto is implemented workers is a better default
as it generally performs better.

pfring: implement 'threads: auto'

If threads is set to auto, first try the CPU count. If that would
fail, fall back to RSS queue count.

pfring: support checking/disabling offloading

pfring: fix bypass counter print uninitialized values

If the option was disabled in the config the value would be uninitialized.

storage: don't leak memory for unittests

radix: fix a memleak when removing the last node

detect/address: minor memory handling cleanups

detect: suppress scan-build warnings

detect/flags: cleanup parsing to not alloc temp strings

mpm: fix minor scan-build warning

pool: avoid possible double free in error path

Should be impossible as a double free, but scan-build-7 thinks it
is possible.

pool: small code cleanups

stream: don't assume malformed TCP packets

This deep in the stream engine packets are valid, so don't check
for the tcph header in a packet as it confuses scan-build.

Do add a DEBUG_VALIDATE_BUG_ON so in QA we double check.

decode/tcp: rewrite options decoding to assist scan-build

smb/c: don't accept null input

htp: fix potential (but unlikely) memleak in uri normalization

thresholds: remove dead code in parsing

radix: fix memory leak in error path

coverity: suppress warnings

host/os/info: fix lookup memleak

debug/log: suppress coverity checked_return warning

bpf: suppress coverity toctou warning

pcap: fix buffer size validation logic

uricontent: move debug func into unittests

Cleanup header, which lead to the app-layer-htp.h header needing to
be added in a few other places.

detect/replace: fix mem leak in error path

isdataat: fix mem leak in error path

bits: avoid memory leak in case of adding types

ipproto: fix memleak in error case

bytetest: don't leak memory in error condition

yaml: fix potential memleak and suppress coverity issue

outputs: fix memleaks in the error paths reported by coverity

coverity: suppress warning for intentional code

rust/dns: don't compile unused C code if Rust is enabled

coverity: fix filestore v2 memleak

log-pcap: fix coverity memleak warning