rust/snmp: fix libc deprecation warnings for int types

rust/snmp: use snake_case when logging PDU types

snmp: fix 'defined but not used' warning

Remove HAVE_RUST guards as well.

snmp.version: move unittests to tests/

snmp.pdu_type: move unittests to tests/

snmp.community: move unittests to tests/

detect/snmp: convert snmp.community keyword to v2, and MPM

rust/snmp: fix missing IPPROTO_* declarations (use core)

detect/snmp: rename keywords to snmp.<name>, and make rust mandatory

rust/snmp: fix selection of v1/v2c parser

SNMP: add the "snmp.pdu_type" detection keyword

SNMP: add the "snmp.community" detection keyword

SNMP: add the "snmp.version" detection keyword

SNMP: add missing case for profiling enum

SNMP: use explicit references to support build with old rust compiler

SNMP: start looking for transactions from end of list

SNMP: add logger

Add SNMP (v1/v2c/v3) application layer

Rust: expose function AppLayerParserRegisterGetTxIterator

rust: fix warnings about wrong type of comments

"rustdoc does not generate documentation for macro expansions"

rust: fix libc deprecation warnings for int types

ikev2: clean up c glue code

tftp: c glue code cleanup

ikev2: remove excess new lines

tftp: properly implement tx handling

output: get rid of BUG_ONs

pool: don't call Cleanup after failed Init

Stream reassembly memcap is regulated by the Init and Cleanup
callbacks. If Init fails due to memcap reached, Cleanup had no
way of knowing and it would decrease the memcap even if it hadn't
been increased by Init. This could lead to too much memory use and
memcap counter underflow.

This patch fixes the issue by not calling Cleanup in this case. It's
fair to see a failed Init the responsibility of Init.

pool/thread: clean up tests

pool/thread: remove old grow function

stream: simplify segment and ssn pool inits

pool/thread: introduce simpler way to grow thread pool

pool/thread: minor code cleanups

app-layer: minor cleanups

capture: check for flow packets on capture timeout

The capture threads can receive packets from the flow manager in their
Threadvars::stream_pq packet queue. This mechanism makes sure the packets
the flow manager injects into the engine are processed by the correct
worker thread.

If the capture thread(s) would not receive packets for a long time, the
Threadvars::stream_pq would not be checked and processed. This could
lead to packet pool depletion in the flow manager. It would also lead
to flows not being timed out/logged until either packets started flowing
again or until the engine was shut down.

The scenario is more likely to happen in a test (e.g. replay) but could
also delay logging on low traffic sensors.

app-layer: mandatory tx registration checks

All protocols now implement the TX API, so the runtime checks for
whether or not a protocol supports the TX API can be removed.

app-layer: make tests tx aware

Make tests minimally TX-aware so we can asume all parsers use
the tx API.

ssh: test cleanup

Remove explicit locks. Set ALPROTO_SSH in all tests.

packetpool: move return stack to pool earlier

If waiting for N packets move the return stack to the main
stack every time we take the return stack lock.

Make sure we consider enough packets when setting the pending pool
flush logic. This should at least make sure to have the 9 packets
the flow manager requires per run.

detect/content: clean up logging output

Signed-off-by: jason taylor <jtfas90@gmail.com>

suricatasc: fix reconnect

doc: http keyword update

This changeset updates the keyword type for http.location and http.server

detect/analyzer Add missing HTTP values

This changeset adds recognition of missing HTTP values
- Raw host
- Header names
- Server body
- User agent

signature: fix memory leak in DetectBytejumpSetup

http: adds an event for double encoded uri

http: fixes double-encode configuration keywords

travis: move checks into script

This makes error handling easier and more robust:
https://docs.travis-ci.com/user/job-lifecycle#complex-build-commands

travis: add sphinx to trigger doc build

ja3s-string: move unittests to tests/

ja3s-hash: move unittests to tests/

userguide: add documentation for ja3s.string keyword

detect: add (mpm) keyword ja3s.string

Match on JA3S string using ja3s.string keyword, e.g:

  alert tls any any -> any any (msg:"ja3s.string test";
      ja3s.string; content:"10-11-12"; sid:1;)

userguide: add documentation for ja3s.hash keyword

detect: add (mpm) keyword ja3s.hash

Match on JA3S hash using ja3s.hash keyword, e.g:

  alert tls any any -> any any (msg:"ja3s.hash test";
      ja3s.hash; content:"b26c652e0a402a24b5ca2a660e84f9d5"; sid:1;)

userguide: add documentation for Ja3SGetString Lua function

lua: add Ja3SGetString function

Add Ja3SGetString() to return the content of the JA3S string buffer from
the TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3s_string.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3s_string = Ja3SGetString()
      if ja3s_string == nil then
          return
      end

      file:write(ja3s_string .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

userguide: add documentation for JA3SGetHash Lua function

lua: add Ja3SGetHash function

Add Ja3SGetHash() to return the content of the JA3S hash buffer from
the TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3s_hash.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3s_hash = Ja3SGetHash()
      if ja3s_hash == nil then
          return
      end

      file:write(ja3s_hash .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

In the example above, each JA3S hash is logged to a log file.

userguide: add JA3S fields to the TLS logger documentation

eve: add JA3S field to TLS JSON logger

Add JA3S object to TLS JSON logger (extended log).

app-layer-ssl: generate JA3S fingerprints

Generate JA3S fingerprints based on fields in the ServerHello record.

Bug #2965: fix NFQ arguments parsing

af-packet: fix setting block_timeout value through afpconfig

doc: Anomaly logging documentation

This changeset adds discussion of anomaly log records and
the anomaly log record format.

detect/analyzer: Improve warning message

This changeset modifies the warning printed when a rule
is determined to detect in both directions.

af-packet: remove rollover reference

This patch removes reference to rollover in the configuration file
and add warnings when it is used.

signature: fix overflow in parsing

http: adds events for each libhtp log

Fixes #997

detect-ssl-version: move unittests to tests/

detect-ssl-state: move unittests to tests/

detect-tls-version: move unittests to tests/

detect-tls-cert-validity: move unittests to tests/

detect-tls-sni: move unittests to tests/

detect-tls-ja3-string: move unittests to tests/

detect-tls-ja3-hash: move unittests to tests/

detect-tls-cert-subject: move unittests to tests/

detect-tls-cert-serial: move unittests to tests/

detect-tls-cert-issuer: move unittests to tests/

detect-tls-cert-fingerprint: move unittests to tests/

detect-tls: tidy up unittests

By doing the following:
- removing unnecessary locks
- moving variable declarations
- removing redundant function 'SigCleanSignatures'

ja3: check if JA3 is disabled on one line

detect-tls: remove NULL settings from keyword registration

detect-tls: declare ssl_state as const in GetData()

detect-tls: check return values of functions on setup

Check the return values of DetectBufferSetActiveList() and
DetectSignatureSetAppProto().

detect-tls: remove confusing underscores from variables

Remove confusing underscore prefix from variables in GetData() for
all tls keywords.

userguide: 'sticky' instead of 'Sticky' for all tls keywords

app-layer-ftp: Potential memory leak fixed

Ensure that when handling failures during STOR command
processing, that all memory is freed on the error path.

userguide: add documentation for tls.certs keyword

detect: add tls.certs keyword

Add keyword to do "raw" matching on each of the certificates in the
TLS certificate sticky buffer.

Example:
  alert tls any any -> any any (msg:"tls.certs test"; tls.certs; \
          content:"|01 02 03 04|"; sid:1;)

detect/ssh: fix ssh.protoversion memory leak

detect/ssh: mark old ssh keywords as deprecated

detect/parse: add flag to indicate keyword is deprecated

Issue warning when it is still used.

detect/nfs.version: minor cleanups

detect/nfs: add nfs.version

detect/dcerpc: add dcerpc.iface

Keep dce_iface as an alias.

detect/dcerpc.opnum: minor code cleanups

detect/dcerpc: add dcerpc.opnum as new name for dce_opnum

eve/logging: disable anomaly logging by default

Disable anomaly logging by default. Networks with excessive issues may
experience packet processing degradation.

http: adds event for header repetition

filestore: remove jansson ifdefs

Jansson is now required.

eve/file: remove rust and jansson ifdefs.

Both Rust and Jansson are required now.