Bug #2466: map SC_LOG_CONFIG level to syslogs LOG_DEBUG

suricatasc: move lib to suricata.sc

Pull the sc python package under the suricata top level
package. A suricatasc package still exists for compatibility
that pulls in suricata.sc.

suricatasc: allow to run from non-standard python locations

When we install to a non-standard prefix, the Python modules
are not in the standard location requiring the PYTHONPATH
to be fixed up.

This wa a pre-existing issue with suricatasc, and not due to
the move into the python directory.

suricatasc: move into python/

Will be built and installed as part of the Python code used
for suricatactl, which is intended to be the generic place
for all Python utility code that gets installed with Suricata.

No change to suricatasc code.

app-layer-ssl: use BIT_U32 for flags

app-layer-tls-handshake: remove since it is no longer needed

Remove this file and all its content, since the functionality
was reimplemented in app-layer-ssl.

app-layer-ssl: reimplement function for decoding certificates

Do a complete rewrite of the function for decoding the SSL/TLS
certificate from the handshake.

tls: replace variable in header file with TAILQ_EMPTY()

Use TAILQ_EMPTY to check if a certificate exists instead of
setting two variables in the app-layer-ssl header file for
that purpose only.

smb: minor optimizations

rust: remove multi level 'experimental'

Don't treat 'external' parsers as more experimental. All parsers
depend on crates to some extend, and all have C glue code. So the
distinction doesn't really make sense.

IKEv2: Use JSON arrays instead of comma-separated values

IKEv2: suppress some debug output

IKEv2: remove events counter

Add ikev2 to userguide

Remove the 'experimental' mark for IKEv2

IKEv2 logger: use Debug trait for IkePayloadType

Add logger for IKEv2

Add rules for IKEv2 events

Add new parser: IKEv2

Add a new parser for Internet Key Exchange version (IKEv2), defined in
RFC 7296.
The IKEv2 parser itself is external. The embedded code includes the
parser state and associated variables, the state machine, and the
detection code.

The parser looks the first two messages of a connection, and analyzes
the client and server proposals to check the cryptographic parameters.

Rust: fix prototype of parsing function (make pstate mutable)

Rust: expose function AppLayerParserStateSetFlag

configure: allow to disable libnss and libnspr

Let user chose to disable libnss and libnspr support even if these
libraries are installed in the system. Default remains to enable when
libraries are found and disable parameter were not used

nfs/rpc: fix reponse parsing

auth/krb5: move kerberos5 wrapper to rust root

Make it available outside of just the SMB parser.

smb: clean up partial read/write record handling

smb: improve skip handling

When skipping records the skip tracker could underflow if the record
parsing had more data than expected.

Enforce the calculation by moving it into a method and make the actual
fields private.

smb2: improve read/write record parsing

parse_smb2_response_read()/parse_smb2_response_write() can be called on
incomplete data, so they didn't use the read/write length field to grab
the data field. Instead it just used rest(). However in some cases
SMB2 records have trailing data, which would be included in the
READ/WRITE data.

This patch addresses this by using the length field if enough data is
available.

changelog: update for 4.1.0-beta1

doc: fix http_header_names example

threshold: don't touch globals after init

Don't free/reinit pcre globals per tenant. Others may be using them
at the same time, or try to free/reinit them at the same time.

detect-tls-sni: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_sni' detection
keyword.

detect-tls-cert-serial: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_cert_serial'
detection keyword.

detect-tls-cert-subject: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_cert_subject'
detection keyword.

detect-tls-cert-issuer: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_cert_issuer'
detection keyword.

detect-tls-cert-fingerprint: use *_Register2 API functions

Use *_Register2 API functions when registering 'tls_cert_fingerprint'
detection keyword.

nfs/rpc: improve RPCv2 parser, add GssApi

Improve RPCv2 credentials parsing. Add GssApi and turn creds into
an enum.

Minor cleanups and optimizations.

nfs: minor cleanup

prelude: swap msg and class_msg in Prelude alert

prelude: fix duplicated analyzer in Prelude alert

pcap/file: fix missing files stopping engine #2451

https://redmine.openinfosecfoundation.org/issues/2451

When a missing (or empty named) file is passed to source-pcap-file while
using unix socket, the pcap processing thread will incorrectly be stopped,
and no longer available for subsequent files.

rules: optimize bidir rules with same src/dst

As an optimization, reset bidirectional flag for rules with same src and dst.
If one created bidirectional rule like 'alert tcp any any <> any any ...',
the rule was checked twice (for each packet in every direction). This is
suboptimal and may give duplicated alerts. To avoid this, bidirectional
rules are now checked for the same src and dst (addresses and ports) and
if it's the case, the rule is treated as unidirectional and a corresponding
message is logged.

doc: fix typo in unix socket doc

Also fixes a dead link to code.

doc: more info on unix socket rule reload

doc: fix typo in ebpf xdp doc

suricata.yaml: fix some spelling mistakes

der: don't overwrite errcode

If the code has already been set it is more detailed than the more
generic 'invalid object'.

suricata-update: bundle suricata update

Add autoconf/automake support for installing suricata-update
if found in the top level suricata-update.

conf: user-configurable umask setting

Make umask user-configurable by setting 'umask' in suricata.yaml.

DER parser: ensure errcode is set for every return path

DER parser: fix undefined behaviors and  add missing length tests

Fix several undefined behaviors, caused by possible use or read of
uninitialized memory.

stream-tcp: add counters for midstream pickups

If midstream pickups are enabled this will help in discovering how
many midstream pickups are being done by Suricata.

doc: add JA3 fields to the TLS logger documentation

eve: add JA3 fields to TLS JSON logger

Add JA3 object to TLS JSON logger (extended log).

doc: add documentation for Ja3GetString Lua function

lua: add Ja3GetString function

Add Ja3GetString() to return the content of the JA3 string buffer from the
TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3_string.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3_string = Ja3GetString()
      if ja3_string == nil then
          return
      end

      file:write(ja3_string .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

doc: add documentation for Ja3GetHash Lua function

lua: add Ja3GetHash function

Add Ja3GetHash() to return the content of the JA3 hash buffer from the
TLS session.

Example:

  function init (args)
      local needs = {}
      needs["protocol"] = "tls"
      return needs
  end

  function setup (args)
      filename = SCLogPath() .. "/ja3_hash.log"
      file = assert(io.open(filename, "a"))
  end

  function log (args)
      ja3_hash = Ja3GetHash()
      if ja3_hash == nil then
          return
      end

      file:write(ja3_hash .. "\n")
      file:flush()
  end

  function deinit (args)
      file:close()
  end

In the (useless) example above, each JA3 hash is logged to a log file.

doc: add documentation for ja3_string keyword

detect: add (mpm) keyword ja3_string

Match on JA3 string using ja3_string keyword, e.g:

alert tls any any -> any any (msg:"JA3 string test";
        ja3_string; content:"65-68-69-102"; sid:1;)

doc: add documentation for ja3_hash keyword

detect: add (mpm) keyword ja3_hash

Match on JA3 hash using ja3_hash keyword, e.g:

alert tls any any -> any any (msg:"JA3 hash test";
        ja3_hash;
        content:"e7eca2baf4458d095b7f45da28c16c34";
        sid:1;)

util-ja3: add function to check if JA3 is disabled

app-layer-ssl: generate JA3 fingerprints

Decode additional fields from the client hello packet and generate
JA3 fingerprints.

app-layer-ssl: split function into multiple smaller functions

Split 'TLSDecodeHandshakeHello' into smaller functions to make
it easier to read the code when the function grows in size.

smb: suppress notice messages

SMB: simplify code

SMB: use String::from_utf8_lossy in logging functions

SMB: use kerberos-parser to extract Real and PrincipalName

smb1: extract rename info from TRANS2

Exclude TRANS2 from generic TX lookup bypass.

smb1: add parsing for RENAME command

smb2: log renames

smb: if filename is missing, use '<unknown>'

rust/dns: default to eve log version 2 for rust

eve/dns/v2: support eve/dns v2 in rust

rust/json: expose more of jansson to rust

eve/dns-v2: only log responses for enabled types

This changes the logic a bit for v2, checking the rrtype of the
query to see if the response should be logged.

eve/dns-v2: log authorities as a list

Log the authorities just like the answers, as a list under
the authorities key.

doc: introduce dns compact logging

output-json-alert: add dns info

This changes LogQuery and LogAnswer functions
returning a json object instead of writing it in a log file.
In this way it's possible to reuse them to add dns info
into an alert.

The following is an alert record with dns:

{
  "timestamp": "2017-07-31T15:01:17.885281+0200",
  "event_type": "alert",
  "src_ip": "8.8.8.8",
  ...
  "dns": {
    "query": [
      {
        "type": "query",
        "id": 25394,
        "rrname": "notifications.google.com",
        "rrtype": "A",
        "tx_id": 0
      }
    ],
    "answer": {
      "type": "answer",
      "id": 25394,
      "rcode": "NOERROR",
      "answers": [
        {
          "rrname": "notifications.google.com",
          "rrtype": "CNAME",
          "ttl": 3599,
          "rdata": "plus.l.google.com"
        },
        {
          "rrname": "plus.l.google.com",
          "rrtype": "A",
          "ttl": 299,
          "rdata": "216.58.205.174"
        }
      ]
    }
  }
}

output-json-dns: add json logging functions

This adds some public functions needed to add
dns information when an alert is logged.

output-json-dns: add new output formats for v2

This adds two new output formats that permits to reduce
the number of line logged for a dns answer because
actually an event is logged for each answer.
With this patch, only an event that contains all the answers
is logged.

The formats are named 'detailed' and 'grouped'.

The first format provides a list of answers with
the following fields:
- rrname
- rrdata
- ttl
- rdata

The second format provides a list of record data grouped
by their type.

The output below is an example of the formats:

{
  "timestamp": "2017-11-29T10:27:18.148282+0100",
  "flow_id": 268864910185905,
  "in_iface": "wlp2s0",
  "event_type": "dns",
  "src_ip": "192.168.1.254",
  "src_port": 53,
  "dest_ip": "192.168.1.176",
  "dest_port": 52609,
  "proto": "UDP",
  "dns": {
    "type": "answer",
    "id": 3654,
    "rcode": "NOERROR",
    "answers": [
      {
        "rrname": "wordpress.org",
        "rrtype": "A",
        "ttl": 544,
        "rdata": "66.155.40.249"
      },
      {
        "rrname": "wordpress.org",
        "rrtype": "A",
        "ttl": 544,
        "rdata": "66.155.40.250"
      }
    ],
    "grouped": {
      "A": [
        "66.155.40.249",
        "66.155.40.250"
      ]
    }
  }
}

output-json-dns: add new configuration

This patch adds a new configuration for dns,
introducing a "version" that permits to switch
between the new and old format to provide
backward compatibility.

The new configuration is made up of these new fields:
- version
- requests (query)
- response (answer)
- types (custom)

modbus: Support Unit Identifier

When destination IP address does not suffice to uniquely identify
the Modbus/TCP device.

Some Modbus/TCP devices act as gateways to other Modbus/TCP devices
that are behind this gateways.

smb: share can't be <share_root>

smb1: add OPEN_ANDX command name for logging

smb2: don't log/track each READ/WRITE/etc

smb: log file FID/GUID as fuid

smb: add smb records to fileinfo

smb1: improve non nt-status handling

Support SRV error, with a couple of codes.
Rename statux field to status_code.

smb1: ignore tree_id in session setup

smb: improve nbss/smb record detection

rust/smb: implement minimal record parsing in probing

rust/smb: improve protocol detection

Register both pattern based detection and probing parsers.

smb: add smb to default eve-log config

smb2: break out ioctl handling

smb2: parse async records

smb2: add ioctl transactions to log the funcs

smb2: map ioctl funcs to names

List is based on Wireshark's list.

smb: use formal MS names for disposition

smb: disable debug output