dhcp: verify client id len before parsing data

Verify that the client id length is at least 2 per the DHCP
protocol rfc before parsing the data.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2902

rust/ftp: validate port components in passive reponse

Make sure they are valid 8 bit integers before combining the
two parts into a u16 to prevent an overflow of the u16
return value.

Add unit tests to check parsing of invalid ports.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2904

rules: add mpls packet too small decoder rule

mpls: check buffer length before peeking at next header

Check that we have enough bytes before peaking into the MPLS
packet payload.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2884

ethernet: fix next packet size on DCE packet

Missing parans on the DCE length caused the length update
for the next call to DecodeEthernet to be wrong.

Tests added.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2887

ssh: fix banner overflow issue

Reported-by: Sirko Höer - Code Intelligence

runmodes: for test runmodes, clean up properly

For conf test and engine analysis, clean up memory correctly.

This helps valgrind tests for leaks.

logging: display base64 decoded string for packet

This changeset changes the packet display to be base64, rather than hex.

logging: Ensure all anomalous events have an event_type

This change ensures that each anomaly is tagged with an
event type to support querying.

Each anomalous event will include `"event_type": "anomaly"`
in the log record.

eve/alert: Remove unused results from PrintRawLineHexBuf

This changeset removes the call to `PrintRawLineHexBuf`. The
return values were never used.

logging: Anomaly logging

This changeset adds anomaly logging to suricata for issue 2282.

Anomaly logging is controlled via the `anomaly` section within eve-log.
There is a single option -- `packethdr` -- for including the packet header
in the anomaly.

http: new event for auth unrecognized

activates libhtp auth parsing
Fixes #984

documentation: Correct rst for ssh-keywords

This changeset corrects an error in the ssh-keywords
where 3 "`" characters were used instead of 2 "`" characters.

documentation: sticky buffer updates

This changeset updates the userguide for the TLS and JA3
keywords that have been renamed from <id>_<name> to <id.name>

detect: Modernize TLS keywords

This changeset adds keywords for "tls.<name>" and moves the existing
value of "tls_<name>" to an alias.

init: pledge(2) needs "fattr" during suricata reload.

When killed with SIGHUP, suricata reopens the log files.  If filemode
is set in the config, it needs pledge promise "fattr" to allow the
chmod(2) on OpenBSD.

doc: update http.protocol description

detect-http-protocol: use v2 inspect/mpm engines

This updates inspect/mpm engines to v2.

doc: Add manpages for suricatasc and suricatactl

Add the missing manpages and the corresponding Sphinx configuration
for the command line tools `suricatasc` and `suricatactl`.

Closes redmine ticket #884.

detect/files: fix file sigs state handling

Make sure all file sig mismatches indicate this in their return
code, not just the ones with filestore enabled. This is needed
to tell the stateful detect engine that it is dealing with a file
sig, so it can make sure these are inspected correctly even if
there are possibly multiple files per tx.

eve/alert: take vlan from packet, not flow

Flow is not guaranteed to exist.

doc: add info about buffer usage in lua

detect-filename: avoid multiple inspections of buf

If the filename inspection function is returning nomatch this will
trigger iterative inspections with same content (aka filename) being
inspected. To avoid this we change the return as the buffer inspection
has not to be inspected anymore.

doc: fix way to build URL

detect-lua: implement sticky buffer

This patch implement an option named 'buffer' that can be used in the
init function of a lua signature:

 function init (args)
     local needs = {}
     needs["buffer"] = tostring(true)
     return needs
 end

With this, the lua script will get access to the sticky buffer
content.

detect-lua: fix DNP3 value

eve/json: always output vlan field as array

eve/flow: add in_iface field

Fixes #2057

eve/flow: add vlan field

Flow/Stream: set psuedopacket iface/vlan from flow

This fixes redmine bug #2057 by setting pseudopacket iface and vlan from
flow values, solving the problem of missing vlan/iface when psuedopacket
gets logged/alerted on.

Flow: Set flow iface and vlan_idx

Setting flow iface and vlan_idx from packet, making it possible to log
iface and vlan on psuedopackets and in flow-logs.

Flow: Adding livedev and vlan_idx on flow

Adding livedev and vlan_idx on flow, making it possible to use it for
logging in_iface on flow-logs and fix in_iface on psuedopackets.

http: logs content range

Fixes #2485

smtp: rset command resets bdat chunks length

Fixes #1860

ssh : code style consistency

Adds SSH_FLAG_VERSION_PARSED to flags before each return
This way, we are sure SSHParseBanner does not get called again
And proto_version does not get leaked

decode: Improved FTP active mode handling

This changeset addresses 2 issues:
- 2459
- 2527
and improves handling for FTP active mode over IPv4 and IPv6.

Active mode is triggered when the FTP client conveys the port
that should be used for a data connection (PORT, EPRT).

When this occurs, the FTP state is marked as "active".

mpls: fix misaligned read

Instead of casting the packet buffer to a uint32, memcpy it to
avoid misaligned read error, as caught by the undefined behavior
detector (ubsan).

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2903

ci: updated travis and appveyor for nss/nspr

* added nss and nspr requirements for appveyor build
* added nss and nspr requirements for travis builds
* added travis build without nss and nspr

Signed-off-by: jason taylor <jtfas90@gmail.com>

configure: fix nss check logic

Signed-off-by: jason taylor <jtfas90@gmail.com>

configure: fix nspr check logic

Signed-off-by: jason taylor <jtfas90@gmail.com>

eve/smb: minor cleanup now Rust is mandatory

rust/smb: rename files and code from RustSMB to SMB

detect/dcerpc: cleanup now Rust is mandatory

detect/app-layer-event: cleanup test

smb: remove C implementation

Now that Rust is mandatory it is obsolete.

Ticket: #2849

openbsd: fix rust linking

dns: remove as much C DNS code as possible

As some of the C code is still used it can't all be removed.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2850

userguide: remove dns-log

dns-log: remove, not supported now that Rust is required

The non-json line based DNS log is not supported with Rust only
builds and has been scheduled for removal in Suricata 5.0.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2297

doc: remove autoconf replacement var for Rust

Set to yes as Rust is always enabled now.

config: enable all things requiring Rust

Instead of only enabling them if Rust is enabled, as Rust is
always enabled now.

travis-ci: enable Rust for all builds

autoconf: make Rust required in configure

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/2507

travis-ci: test that configure fails without jansson

Update the no-jansson test to fail out if configure
passes.

The script needed to be converted into a single list item
for the early exit to work on Travis.

autoconf: jansson is now required

Jansson is required by the Suricata Rust support which
will also be mandatory.

Redmine issue:
https://redmine.openinfosecfoundation.org/issues/1970

napatech: auto-config documentation update

Added documentation describing how to configure suricata to automaticly
configure sreams and host buffers without using NTPL.  I.e. from
suricata.yaml.

napatech: simplify integration with Napatech cards

- There is now an option to automatically create streams on the
  correct NUMA node when using cpu affinity.

- When not using cpu affinity the user can specify streams to be
  created in the suricata.yaml file.  It is no longer required to
  use NTPL to create streams before running suricata.

- The legacy usage model of running NTPL to create streams is still
  available. This can be used for legacy configurations and complex
  configurations that cannot be satisfied by the auto-config option.

byte: suppress errors in byte extraction utils

detect/bytejump: suppress runtime error messages

detect/byteextract: suppress runtime error messages

pfring: update PfringThreadVars_ for gcc 4.x

Signed-off-by: jason taylor <jtfas90@gmail.com>

init: use pledge(2) after suricata initialization.

pledge(2) can be used on OpenBSD to restrict suricata possible
operation on the system once initialization is completed.
The process promises to only make use of:
- "stdio" to allow read(2) on IPS rules and write(2) on log file
- "rpath wpath cpath" to allow log rotation
- "unix" to operate the control unix socket and log unix sockets
- "dns" to retrieve DNS from recvfrom(2)/sento(2) in IPFW mode
- "bpf" as suricata uses libpcap, which uses the BIOCGSTATS operation

Signed-off-by: Emmanuel Roullit <emmanuel.roullit@cognitix.de>

log: output file mode in octal on chmod warning

The mode input in chmod is an octal integer. However when the warning is logged,
the file mode is printed in decimal which is confusing.

Signed-off-by: Emmanuel Roullit <emmanuel.roullit@cognitix.de>

decode: Change return type of IPv4 and TCP options decode

The return value from the options decoder in TCP and IPv4 is ignored.
This commit changes the return type of the function to `void` and
modifies existing return points to return without a value.

When an error occurs, the packet state is being set to indicate whether
it's valid or not and the existing return value is never used.

parse: Improve unknown protocol parse message

The message associated with unknown protocols during parsing is incomplete.
This commit improves the message readability.

doc: ssh.{proto,software} documentation update

sticky: Convert ssh_software to new format

sticky: Convert ssh_proto to new format

This changest converts the 'ssh_proto' sticky buffer
into the v2 framework.

detect/http: Use v2 inspect and mpm engines

This changeset updates the http stub detect logic to use the v2 inspect
and npm engines.

stream: suppress noisy debug info messages

pcap: suppress info messages

detect/disable-detect: suppress info message

The message would be displayed even when level was higher than
info.

log/file: use default-log-dir for suricata.log

Default to just suricata.log instead of the full path, so that
in user mode we can log in the user mode location.

user mode: use CWD as logdir

Introduce util func for handling user mode settings.

logopenfile: remove duplicate ifdefs

runmodes: improve error messaging

startup: log system mode with version

instance: set system vs user mode

rust/mingw: enable in appveyor

rust/mingw: build fixes

Fix path passed to cargo by using 'cygpath' if available.

list-keywords: don't load yaml

Avoids a useless warning if the file is not found.

rule-analyzer: Ensure content counts are accurate

Fix for issue 2605.  Make sure that content is counted,
even if none of the specific content types are matched.

source-nflog: fix memleaks

This fixes two memleaks found with ASAN.

Direct leak of 96 byte(s) in 1 object(s) allocated from:
   #0 0x7f59cf4a4d28 in malloc (/usr/lib/x86_64-linux-gnu/libasan.so.3+0xc1d28)
   #1 0xd7f92f in ReceiveNFLOGThreadInit /home/glongo/suricata/src/source-nflog.c:221
   #2 0xe9c8eb in TmThreadsSlotPktAcqLoop /home/glongo/suricata/src/tm-threads.c:293
   #3 0x7f59cd7aa4a3 in start_thread (/lib/x86_64-linux-gnu/libpthread.so.0+0x74a3)

Indirect leak of 70000 byte(s) in 1 object(s) allocated from:
   #0 0x7f59cf4a4d28 in malloc (/usr/lib/x86_64-linux-gnu/libasan.so.3+0xc1d28)
   #1 0xd814ea in ReceiveNFLOGThreadInit /home/glongo/suricata/src/source-nflog.c:324
   #2 0xe9c8eb in TmThreadsSlotPktAcqLoop /home/glongo/suricata/src/tm-threads.c:293
   #3 0x7f59cd7aa4a3 in start_thread (/lib/x86_64-linux-gnu/libpthread.so.0+0x74a3)

SUMMARY: AddressSanitizer: 70096 byte(s) leaked in 2 allocation(s).

log: add NULL ptr guard on fclose when reopening.

Signed-off-by: Emmanuel Roullit <emmanuel.roullit@cognitix.de>

nfs: small cleanups

detect/ftp: small ftpdata_command cleanups

detect/uricontent: suggest http.uri as alternative

detect/dns: add dns.query for dns_query keyword

Improve error checking.

Part of #2283.

nfs: implement midstream reverse flow support

Register special midstream version of protocol detection that
can indicate the flow is the wrong direction based on the record
properties.

app-layer/probing-parser: implement reverse flow

Implement midstream support for the pure probing parsers. These
need to look up the appropriate parsers based on the reverse
tuple.

flow: add macro to get sp/dp

Account for possibility of a reversed flow.

rust/mingw: fix C glue code generator

rust/mingw: fix missing IPPROTO_* declarations

The libc crate doesn't provide these on MinGW, so define them in
our 'core' instead. We only use IPPROTO_TCP and IPPROTO_UDP.

Bug #2733

alert/unified2: remove useless packed attributes

decode: remove useless packed attributes

detect/iponly: only run iponly address parsers for iponly rules

detect/iponly: improve negation handling in parsing

detect/address: clean up 'any' logic

detect/parse: set the type of signature early

This way we can know much sooner if the rule is ip-only
or not.

detect/parse: reduce scope of main parse func