detect-parse: string copy not required

Without using pcre, copies of the strings are no longer
required.

detect-parse: don't use pcre for rule parsing

Don't use pcre for the high level rule parsing, instead
using a tokenizing parser for breaking out the rule
into keywords and options.

Much faster, especially on older CPUs. Should also allow
us to provide better context where a rule parse error
occurs.

runmodes: config test is offline

afl: enable afl dumps by envvar

If SC_AFL_DUMP_FILES is set the inputs are stored to disk.

http: allow shinking in HTPRealloc

Add support for PCAP LINKTYPE_IPV4

mingw: service init compile warning fix

output: clean up log API unittests

Disable for MinGW as the setenv/getenv implementations seems to
be undeterministic.

flow: optimize Flow structure layout

Shrink structure with 8 bytes by moving new ttl fields into an
existing 'gap'.

Also fixes a strange ASAN issue in GCC 5.4.0 in unittests.

thresholds: simplify config parsing

detect: make glob.h optional

glob.h is not available on MinGW.

Simply use the input on the rule list as a literal pattern.

detect: fix flow bypass flag handling

detect/analyzer: formatting fixup

detect: constify rule group lookup

detect: minor profiling cleanup

detect/mpm: minor cleanup: remove unused function arg

detect-state: minor cleanups

detect: constify address match functions

detect: style cleanup

app-layer: minor cleanup

app-layer: cleanup: use true bool type for 'logger'

app-layer: minor cleanups and optimizations

Use flow protomap instead of dynamically converting the ip proto in
each call.

Use const for vars where possible.

stream: minor debug addition

detect: minor cleanups

detect: minor comment cleanup

detect: run buffer setup callback before validate

rust: require at least libc 0.2.33

Required to be higher than 0.2.24 for IPPROTO_UDP. Upgraded to latest
version.

rust/ntp: convert parser to new registration method

Converting the NTP parser to the new registration method is a simple,
3-steps process:
- change the extern functions to use generic input parameters (functions
  in all parsers must share common types to be generic) and cast them
- declare the Parser structure
- remove the C code and call the registration function

rust: generate declaration for extern unsafe funcs

rust/applayer: add registration iface for parsers

Add Rust support for the common interface to declare and register all
parsers.

Add a common structure definition to contain all required elements
required for registering a parser, similar to the C interface.
This also reduces the risk of incorrectly registering a parser: the
compiler prevents omitting required functions from the structure, and
functions (even if external) are type-checked. Optional functions are
explicitly marked.

applayer: add registration interface for parsers

Add a common structure definition to contain all required elements
required for registering a parser.
This also reduces the risk of incorrectly registering a parser: the
compiler will type-check functions.

The registration function allows factorization of the code. It can be
used to register parsers, but is not mandatory.

If extra registration code (for functions not in the structure)
it is still possible by calling the C functions after the registration.

applayer: add StringToAppProto

Add StringToAppProto to map a protocol name to a AppProto.

Exposing this function is required to let parsers discover their
AppProto identifier constant dynamically.
For example, a parser can request this value, and use it for
registration without knowing the value.

applayer: add typedef for Parsing functions

pfring: various build issues

pfring.h brings a different version of likely/unlikely that gives
warnings. So make sure we include our own before.

Make sure pfring.h isn't included globally due to apparent redefinition
of pthread_rwlock_t.

pfring: hw bypass support

This patch adds support for hw bypass by enabling flow offload in the network
card (when supported) and implementing the BypassPacketsFlow callback.
Hw bypass support is disabled by default, and can be enabled by setting
"bypass: yes" in the pfring interface configuration section in suricata.yaml.

NSM: add TTL fields for netflow log

netflow: fix ttl logic

Use a per direction TTL min and max so we can log different values
seen in the two half flows.

Signed-off-by: Eric Leblond <eric@regit.org>

netflow: log ttl fields

Netflow entry collects the minimum and maximum
time to live during the life of the incoming flow.

This adds those field to a netflow event.

Signed-off-by: Eric Leblond <eric@regit.org>

doc: add documentation for tls_cert_fingerprint keyword

detect: add (mpm) keyword tls_cert_fingerprint

Reimplement keyword to match on SHA-1 fingerprint of TLS
certificate as a mpm keyword.

alert tls any any -> any (msg:"TLS cert fingerprint test";
       tls_cert_fingerprint;
       content:"4a:a3:66:76:82:cb:6b:23:bb:c3:58:47:23:a4:63:a7:78:a4:a1:18";
       sid:12345;)

unittests: initialize NSS in unittests runmode

Initialize NSS in unittests runmode when Suricata is compiled with
libnss. Otherwise, calculating SHA-1 sums for TLS fingerprints
will fail.

Open 4.1 development branch

unix socket: don't loose events when offline

https://redmine.openinfosecfoundation.org/issues/2215

Fixes issue with events being dropped since socket was non-blocking for
offline run modes.

Add a method for determining offline from run mode. Make sure SCInstance
offline is set correctly. Use current run mode to set socket flags.

syslog: treat SC_LOG_PERF messages as LOG_DEBUG

SCLogMapLogLevelToSyslogLevel(): treat SC_LOG_PERF messages as LOG_DEBUG

Previously, when logging to syslog, perf events had a default EMERG priority,
which could be a bit confusing.

conf: fix NULL-pointer dereference in CoredumpLoadConfig

An empty value for coredump.max-dump in the config-file leads to a segfault because of a NULL-pointer dereference in CoredumpLoadConfig().

Here is a configuration example:

coredump.max-dump: []

This lets suricata crash with a segfault:

ASAN-output:
==9412==ERROR: AddressSanitizer: SEGV on unknown address 0x000000000000 (pc 0x7f22e851aa28 bp 0x7ffd90006fc0 sp 0x7ffd90006740 T0)
    0 0x7f22e851aa27 in strcasecmp (/usr/lib/x86_64-linux-gnu/libasan.so.3+0x51a27)
    1 0x5608a7ec0108 in CoredumpLoadConfig /root/suricata-1/src/util-coredump-config.c:52
    2 0x5608a7e8bb22 in PostConfLoadedSetup /root/suricata-1/src/suricata.c:2752
    3 0x5608a7e8c577 in main /root/suricata-1/src/suricata.c:2892
    4 0x7f22e4c622b0 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x202b0)
    5 0x5608a7a30c59 in _start (/usr/local/bin/suricata+0xc4c59)

Bug #2276

conf: fix NULL-pointer dereference in ConfGetInt

If there are empty values in the config-file where integer values are expected, strtoimax in the ConfGetInt-function will segfault because of NULL-pointer dereference.

Here is a configuration example:

pcre.match-limit: []

This will let suricata crash with a segfault.
ASAN-output:

ASAN:DEADLYSIGNAL =================================================================
16951ERROR: AddressSanitizer: SEGV on unknown address 0x000000000000 (pc 0x7fa690e3ccc5 bp 0x000000000000 sp 0x7ffd0d770ad0 T0)
0 0x7fa690e3ccc4 (/lib/x86_64-linux-gnu/libc.so.6+0x36cc4)
1 0x7fa6946a6534 in strtoimax (/usr/lib/x86_64-linux-gnu/libasan.so.3+0x44534)
2 0x55e0aeba6499 in ConfGetInt /root/suricata-1/src/conf.c:390
3 0x55e0aed2545d in DetectPcreRegister /root/suricata-1/src/detect-pcre.c:99
4 0x55e0aec1b4ce in SigTableSetup /root/suricata-1/src/detect.c:3783
5 0x55e0aeeed58d in PostConfLoadedSetup /root/suricata-1/src/suricata.c:2690
6 0x55e0aeeee4f2 in main /root/suricata-1/src/suricata.c:2892
7 0x7fa690e262b0 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x202b0)
8 0x55e0aea92d39 in _start (/usr/local/bin/suricata+0xc7d39)

AddressSanitizer can not provide additional info.
SUMMARY: AddressSanitizer: SEGV (/lib/x86_64-linux-gnu/libc.so.6+0x36cc4)

This commit fixes Ticket #2275

conf: fix NULL-pointer dereference in ParseSizeString

If someone accidently writes invalid characters in some parts of the suricata.yaml-configfile, the size-parameter of the ParseSizeString-function becomes NULL and gets dereferenced. Suricata crashes with SEGV. This commit fixes Ticket #2274

The following config value leads to a Segfault:
app-layer.protocols.smtp.inspected-tracker.content-inspect-window: *4096

updated links to suricata.readthedocs.io

Signed-off-by: jason taylor <jtfas90@gmail.com>

detect/dns: fix misdetection on dns_query on udp

If 'raw' content patterns were used in a dns_query rule, the raw
patterns would only be evaluated for TCP, but not for UDP.

This patch adds the inspection for UDP as well.

Bug #2263.

valgrind: suppressions for NIC offloading calls

detect/profile: minor fixes

install: use up to date url for 'make install-full'

travis: allow rust-stable build to fail

travis: rust 1.21.0 build

travis: do make distcheck on Rust 1.15.0 build

detect: don't register http_*_line twice

detect: test for byte_extract/isdataat large values

detect: handle very large byte_extract'ed values in isdataat

detect: add unittest for byte_extract/isdataat

detect: implement byte_extract support for isdataat

detect: add debug statements for byte_extract/isdataat

detect-asn1: fix memory leak in error path

detect: fix port parsing memory leak

Leak in error path as seen by scan-build:

  CC       detect-engine-port.o
detect-engine-port.c:1083:13: warning: Potential leak of memory pointed to by 'temp_rule_var_port'
    return -1;
            ^

detect-id: clean up to suppress minor coverity warning

redis: suppress minor coverity warning

decoder: implement IEEE802.1AH

random: fix random logic with getrandom

The older random functions returned random values in the range of
0 - RAND_MAX. This is what the http randomize code was expecting.

Newer methods, based on getrandom (or probably Windows too), return
a much large range of values, including negative values and >RAND_MAX.

This patch adds a wrapper to turn the returned value into the expected
range before using it in the http code.

The same is true for the stream engine.

random: support getrandom(2) if available

Ticket: #2193

napatech: fix minor memleak in error path

yaml: print errors if integers are invalid

detect: error out on invalid detect.profile option

Bug #891.

yaml: add 'append' to stats-log entry

Bug #798

changelog: update for 4.0.1 release

autotools: fix distcheck with rust enabled

stats: use unshortened interface names in counters

json: skip over double dots in output tokenizing

Interface name shortening introduces double periods ('..') as spacers,
which cause issues during JSON stats serialization as there '.'
characters are also used as separators to define nesting of the JSON
output. This commit makes sure that '..' are skipped during tokenizing.
Fixes Redmine bug #2208.

rust/file: improve truncation handling

detect/state: fix offset mask logic

changed 0xef to 0x7f

runmodes: fix 'threads' option parsing

Don't cast int to uint8_t for no reason. Add warning that upper
limit for threads is 1024.

Small code cleanups.

Bug: #2228

output: harden output deinit

If thread setup fails allow output deinit code to be called with
NULL data without crashing.

stream: improve error handling of ssn/segment pools

With large number of threads the default memcaps lead to pool setup
failures. Make sure these are reported properly so that the user
knows what is going on.

Bug: #2226

rust/dns: fix new warning in rustc 1.21

rust/nfs: fix new warnings in rustc 1.21

doc/file_data: add note on negated matching

Explain issue #2216 and how to avoid it.

doc/napatech: formatting fixes

profiling: fix app-layer profiling and csv output

debug: free pcre memory used for output filtering

tls: don't set event on small input data

On very small data the max loop count could be 0. Make sure
it's always at least 1.

prscript: update urls to use OISF repo

travis: hook check-setup.sh into the build

Only do it for one build, for now use the one that also
enables Rust.

template: script to check the setup scripts

This script applies the setup scripts one by one followed
by a make distcheck.

template scripts: allow to be called from top or src

Allow the template setup script to be called from the top source
directory or from ./src to unify where they can be executed
from.

templates: rename scripts to use - instead of _

Use "-" consistently instead of a mix of - and _.

setup_decoder.sh -> setup-decoder.sh
setup_simple_detect.sh -> setup-simple-detect.sh

github: codeowners syntax fixes

github: add codeowners file

Initial version.

See https://help.github.com/articles/about-codeowners/

template: fix decoder setup script

template: fix setup detect script

template: minor updates

Merge inspect engine into keyword

dns: fix last timestamp handling

Fixes incorrect variable in ticket #2207

In app-layer-dns-tcp.c in the DNSTCPResponseParse function
a variable is set to last_req when it should be last_resp.
This makes it consistent with UDP DNS response parsing.

af-packet: free bpf program

This fixes a small memory leak when Suricata is running with a
BPF filter.