updated links to suricata.readthedocs.io

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect/dns: fix misdetection on dns_query on udp

If 'raw' content patterns were used in a dns_query rule, the raw
patterns would only be evaluated for TCP, but not for UDP.

This patch adds the inspection for UDP as well.

Bug #2263.

valgrind: suppressions for NIC offloading calls

detect/profile: minor fixes

install: use up to date url for 'make install-full'

travis: allow rust-stable build to fail

travis: rust 1.21.0 build

travis: do make distcheck on Rust 1.15.0 build

detect: don't register http_*_line twice

detect: test for byte_extract/isdataat large values

detect: handle very large byte_extract'ed values in isdataat

detect: add unittest for byte_extract/isdataat

detect: implement byte_extract support for isdataat

detect: add debug statements for byte_extract/isdataat

detect-asn1: fix memory leak in error path

detect: fix port parsing memory leak

Leak in error path as seen by scan-build:

  CC       detect-engine-port.o
detect-engine-port.c:1083:13: warning: Potential leak of memory pointed to by 'temp_rule_var_port'
    return -1;
            ^

detect-id: clean up to suppress minor coverity warning

redis: suppress minor coverity warning

decoder: implement IEEE802.1AH

random: fix random logic with getrandom

The older random functions returned random values in the range of
0 - RAND_MAX. This is what the http randomize code was expecting.

Newer methods, based on getrandom (or probably Windows too), return
a much large range of values, including negative values and >RAND_MAX.

This patch adds a wrapper to turn the returned value into the expected
range before using it in the http code.

The same is true for the stream engine.

random: support getrandom(2) if available

Ticket: #2193

napatech: fix minor memleak in error path

yaml: print errors if integers are invalid

detect: error out on invalid detect.profile option

Bug #891.

yaml: add 'append' to stats-log entry

Bug #798

changelog: update for 4.0.1 release

autotools: fix distcheck with rust enabled

stats: use unshortened interface names in counters

json: skip over double dots in output tokenizing

Interface name shortening introduces double periods ('..') as spacers,
which cause issues during JSON stats serialization as there '.'
characters are also used as separators to define nesting of the JSON
output. This commit makes sure that '..' are skipped during tokenizing.
Fixes Redmine bug #2208.

rust/file: improve truncation handling

detect/state: fix offset mask logic

changed 0xef to 0x7f

runmodes: fix 'threads' option parsing

Don't cast int to uint8_t for no reason. Add warning that upper
limit for threads is 1024.

Small code cleanups.

Bug: #2228

output: harden output deinit

If thread setup fails allow output deinit code to be called with
NULL data without crashing.

stream: improve error handling of ssn/segment pools

With large number of threads the default memcaps lead to pool setup
failures. Make sure these are reported properly so that the user
knows what is going on.

Bug: #2226

rust/dns: fix new warning in rustc 1.21

rust/nfs: fix new warnings in rustc 1.21

doc/file_data: add note on negated matching

Explain issue #2216 and how to avoid it.

doc/napatech: formatting fixes

profiling: fix app-layer profiling and csv output

debug: free pcre memory used for output filtering

tls: don't set event on small input data

On very small data the max loop count could be 0. Make sure
it's always at least 1.

prscript: update urls to use OISF repo

travis: hook check-setup.sh into the build

Only do it for one build, for now use the one that also
enables Rust.

template: script to check the setup scripts

This script applies the setup scripts one by one followed
by a make distcheck.

template scripts: allow to be called from top or src

Allow the template setup script to be called from the top source
directory or from ./src to unify where they can be executed
from.

templates: rename scripts to use - instead of _

Use "-" consistently instead of a mix of - and _.

setup_decoder.sh -> setup-decoder.sh
setup_simple_detect.sh -> setup-simple-detect.sh

github: codeowners syntax fixes

github: add codeowners file

Initial version.

See https://help.github.com/articles/about-codeowners/

template: fix decoder setup script

template: fix setup detect script

template: minor updates

Merge inspect engine into keyword

dns: fix last timestamp handling

Fixes incorrect variable in ticket #2207

In app-layer-dns-tcp.c in the DNSTCPResponseParse function
a variable is set to last_req when it should be last_resp.
This makes it consistent with UDP DNS response parsing.

af-packet: free bpf program

This fixes a small memory leak when Suricata is running with a
BPF filter.

af-packet: call thread deinit function

prscript: update docker code

Update docker code to latest docker python API. This patch
preserves backwrd compatibility with older versions.

doc: reflect most recent cpu affinity settings

Some settings like output-cpu-set never been used and detect got renamed
to worker. This reflects those changes already present in the yaml also
within the documentation.

app-layer-ssl: fix bug with >255 records in one stream

rule-parser: bump sids within siggroup test

rule-parser: detect duplicate rev keyword

rule-parser: detect duplicate sid keyword

rule-parser: detect duplicate classtype keyword

afpacket: free ring mem on error

Bug #2201: af_packet - treat BPF filter error as fatal

There is no need to try to set erroneous BPF filter again and again. Such attempts
lead to constant mmap() calls without corresponding munmap() when 'use-mmap' is enabled.

redis: support for rpush in list mode

This adds a new redis mode rpush. Also more consistent config keywords orientated at the redis command: lpush and publish.
Keeping list and channel config keywords for backwards compatibility

app-layer-tls: don't decode client certificates

Decoding client certificate overwrites the validity dates from the
server certificate, so we therefore don't decode it, since we don't
do anything with it (right now) anyway.

Fixes Bug #2050

Rust/Lua: cast value to arch-dependant type (fix build on x86, #2197)

napatech: Implementation of packet counters

added util-napatech module which contains implementation threads
for processing statistics.  And modified source-napatech and
runmode-napatech to instantiate the threads.

napatech: Implementation of packet counters

napatech: implementation of statistics counters

napatech: Implementation of packet counters.

napatech: added util-napatech module

napatech: added utils-napatech module.

added include declaration and napatech specific structure when HAVE_NAPATECH
is defined.

Added util-napatech module to project.

napatech: configuration changes.

Added comments describing parameter usage.
Changed example to use range formatting of streams.

napatech: Added section describing packet counters.

napatech: Added description of hba usage.

detect-msg: cleanup error message

rule-parser: ignore duplicated msg keyword

updated fedora libevent package names

Signed-off-by: jason taylor <jtfas90@gmail.com>

changelog: update for 4.0.0

doc: add rust and update version in install

dcerpc: improve stub buffer handling

Stub data buffer could grow without limit depending on traffic.

This patch improves the handling. It honors the 'last frag' setting
and implements a hard limit of 1MB per buffer.

Bug #2186

dcerpc: cleanup, remove unused field

afl: add dcerpc entry points

Add for requests and mix of request/responses.

Implement storing the files to disk and rereading them.

stream/bypass: more liberal policy if no detection

The reason the stream engine can't easily decide to bypass streams
is that there can be non-stream dependent rules that wouldn't match
if bypassing is done too aggressively.

However, if there is no detection engine, there is no reason to hold
back. In this case we can bypass as soon as the stream engine is done
with a session.

af-packet: optimize BPF

This patch turn on code optimization on BPF filter building by
libpcap. This allow to reduce the size of the BPF bytecode and
thus increase the size of BPF filter supported by Suricata.

Reported-by: Martijn van Oosterhout

app-layer-ssh: trigger bypass when done

Trigger bypass when application layer will not inspect anymore.

autogen: cleanup rust strict warning

Sample systemd unit file for Suricata.

Create a sample systemd unit file based on the build time
configuration.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2138

Sample logrotate configuration file.

Create a sample logrotate configuration file with filenames
set for the configuration.

detect: more gracefully handle mpm prepare failure

Exit with error instead of using the detection engine in a broken state.

Bug #2187

detect: reject dsize rules that can't match

Rules can contain conflicting statements and lead to a unmatchable rule.

2 examples are rejected by this patch:

1. dsize < content
2. dsize < content@offset

Bug #2187

Update public-data-sets.rst with stratosphere project

Add the datasets of the Stratosphere project to the list.

mingw: don't try to build unix socket

windows: use wpcap instead of pcap

Windows pcap libraries such as winpcap all use a library name of
wpcap instead of just pcap. Support this in configure.

win32: minor compile warning fixes

mingw: fix random function

cocci: add test to check for uint use

uint is non-standard and not supported by MinGW. So ban it's use.

spatch file by Eric Leblond.

cleanup: remove all uint use

cocci: ban memmem

dnp3: use BasicSearch instead of memmem

Mingw doesn't support memmem.

rust: require jansson for rust build

travis: enable strict rust; use rust 1.15.0

Adds --enable-rust-strict to fail on warnings. Also update
the minimum Rust version from 1.7.0 to 1.15.0.

rust: --enable-rust-strict to turn warnings into errors

doc: add pid-file section to suricata.yaml doc

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2104

suricata.yaml: better comment on pid-file option

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2104