pcap-log: seed ring buffer on start up

On start, look for existing pcap log files and add them to
the ring buffer. This makes pcap-log self maintaining over
restarts removing the need for external tools to clear
orphaned files.

documentation: fix list keywords URLs

Update URLs in keyword definition to point to sphinx documentation.

logging: hook the application log file into rotation

logging: open application log file in append mode

It was being open in read/write mode, which was likely
a mistake with append mode being the intention.

dns: accept a data length of 0 without marking as malformed

Addresses issue:
https://redmine.openinfosecfoundation.org/issues/1924

dns-events: fix direction of malformed events + typo

ipfw: disable more code to suppress compiler warnings

Disabled code lead to unused variable warnings, so disable the
variable code as well.

compiler warnings: fix compiler warnings in format strings

detect-lua: unify on using 'lua' name vs 'luajit'

luajit: remove unused instance counter

luajit: update default yaml and doc for 'states'

lua: luajit improvements

Luajit has a strange memory requirement, it's 'states' need to be in the
first 2G of the process' memory.

This patch improves the pool approach by moving it to the front of the
start up.

A new config option 'luajit.states' is added to control how many states
are preallocated. It defaults to 128.

Add a warning when more states are used then preallocated. This may fail
if flow/stream/detect engines use a lot of memory. Add hint at exit that
gives the max states in use if it's higher than the default.

doc: only build pdf on dist if pdflatex is installed

doc: fix build pdf on non gnu make platforms

The Makefile generated by sphinx-build is GNU Make specific
causing the PDF phase to fail. Instead call pdflatex directly
based on how the generated Makefile was doing it.

pcap-file: minor cleanup

changelog: update for 3.2RC1 release

yaml: group ICS protocols together

ENIP: add default ports to yaml

ENIP: disable parser if no config found

DNP3: disable in case of no dnp3 config

readme: Fix markdown header levels

readme: reformat some key points about possible security issues

readme: Add link to up-to-date user guide and mark wiki as deprecated.

dnp3: fix coverity checks; return value not checked

detect: add missing break (CID 1374301)

eve: make payload printing in alerts more robust

flowint: allow / in name

hostbits: test fixes

pkt-var: const name

DNP3: minor cleanup

DNP3: don't leak memory on dnp3_obj parsing

DNP3: Use directional logging.

Instead of waiting for a transaction complete, log the
request as soon as it is completes which will give it a
more accurate timestamp.

DNP3: --afl-dnp3 entry point

DNP3: Lua detect support.

Adds support for access the DNP3 transaction in Lua rules.

DNP3: Log DNP3 info with DNP3 alert.

DNP3: Log DNP3 transactions.

DNP3: dnp3_data, dnp3_func, dnp3_ind, dnp3_obj rule keywords

DNP3: Application layer decoder.

Decodes TCP DNP3 and raises some DNP3 decoder alerts.

DNP3: dnp3-gen: code generator for repetitive DNP3 code

common: define json_boolean when not defined

Older versions of jansson in current use don't have this
macro defined.

eve: check redis reply in non pipeline mode

We may lose the reply if disconnection happens.
Reconnection is needed.

flowvar: cleanups

fast-pattern: fix tls_sni

Use all 38 arguments in call to SigMatchGetLastSMFromLists

Was preventing fast_pattern from being applied to tls_sni:
https://redmine.openinfosecfoundation.org/issues/1936

dns: use new unittest macros

dns: support back to back requests without a response

Address the issue where a DNS response would not be logged when
the traffic is like:
- Request 1
- Request 2
- Response 1
- Response 2
which can happen on dual stack machines where the request for A
and AAAA are sent out at the same time on the same UDP "session".

A "window" is used to set the maximum number of outstanding
responses before considering the olders lost.

tcp dns: unit test for multi-request buffer

tcp dns: fix advancement to next request in buffer

The advancement through the buffer was not taking into account
the size of the length field resulting in the second request
being detected as bad data.

multi-tenant: make less verbose

multi-tenants: fix minor memleak

detect: suppress debug message for reloads

vars: small cleanups

nfq: support bypass for rebuilt fragment packets

nfq_set_mask: set mark on root pkt for tunnels

source-nfq: document bypass function

source-nfq: fix tunnel mark callback algorithm

In case of a tunnel packet, adding a mark to the root packet will have
for consequence to bypass all the flows that are hosted in this tunnel.
This is not the attended behavior and as initial fix let's simply warn
suricata that bypass for NFQ is not possible for this kind of packets.

This patch also fixes a segfault. The root packet was accessed even if it is
NULL causing a NULL dereference:

ASAN:SIGSEGV
=================================================================
==24408==ERROR: AddressSanitizer: SEGV on unknown address 0x000000000060 (pc 0x00000076f948 bp 0x7f435c000240 sp 0x7f435c000220 T5)
ASAN:SIGSEGV
==24408==AddressSanitizer: while reporting a bug found another one. Ignoring.
    #0 0x76f947 in NFQBypassCallback /home/victor/dev/suricata/src/source-nfq.c:510
    #1 0x4d0f02 in PacketBypassCallback /home/victor/dev/suricata/src/decode.c:395
    #2 0x7b8a95 in StreamTcpPacket /home/victor/dev/suricata/src/stream-tcp.c:4661
    #3 0x7b9ddd in StreamTcp /home/victor/dev/suricata/src/stream-tcp.c:4913
    #4 0x68fa50 in FlowWorker /home/victor/dev/suricata/src/flow-worker.c:194
    #5 0x7f0abd in TmThreadsSlotVarRun /home/victor/dev/suricata/src/tm-threads.c:128
    #6 0x7f2958 in TmThreadsSlotVar /home/victor/dev/suricata/src/tm-threads.c:585
    #7 0x7f436368e6f9 in start_thread (/lib/x86_64-linux-gnu/libpthread.so.0+0x76f9)
    #8 0x7f4362802b5c in clone (/lib/x86_64-linux-gnu/libc.so.6+0x106b5c)

AddressSanitizer can not provide additional info.
SUMMARY: AddressSanitizer: SEGV /home/victor/dev/suricata/src/source-nfq.c:510 NFQBypassCallback
Thread T5 (W#04) created by T0 (Suricata-Main) here:
    #0 0x7f4364ff2253 in pthread_create (/usr/lib/x86_64-linux-gnu/libasan.so.2+0x36253)
    #1 0x7f9c48 in TmThreadSpawn /home/victor/dev/suricata/src/tm-threads.c:1843
    #2 0x8da7c0 in RunModeSetIPSAutoFp /home/victor/dev/suricata/src/util-runmodes.c:519
    #3 0x73e3ff in RunModeIpsNFQAutoFp /home/victor/dev/suricata/src/runmode-nfq.c:74
    #4 0x7503fa in RunModeDispatch /home/victor/dev/suricata/src/runmodes.c:382
    #5 0x7e5cb3 in main /home/victor/dev/suricata/src/suricata.c:2547
    #6 0x7f436271c82f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)

tls-rules: install on 'make install-full'

detect: fix multi-tenant loaders

flow-timeout: fix memory errors on flow bypass

For flow bypass, the flow timeout handling is triggered which may
create up to 3 pseudo packets that hold a reference to the flow.
However, in the bypass case the code signaled to the timeout logic
that the flow can be freed unconditionally by returning 1. This
lead to packets going through the engine with a pointer to a now
freed/recycled flow.

This patch fixes the logic by removing the special bypass case,
which seemed redundant anyway. Effectively reverts 68d9677.

Bug #1928.

flow-manager: cleanups and comment improvements

flow-timeout: don't leak flow reference in error path

doc: add rate_filter

alert: fix rate_filter issues

Fix rate_filter issues: if action was modified it wouldn't be logged
in EVE. To address this pass the PacketAlert structure to the threshold
code so it can flag the PacketAlert as modified. Use this in logging.

Update API to use const where possible. Fix a timout issue that this
uncovered.

conf: cleanup compiler warning (unintialized vars)

doc: flow: update and add new keywords

detect-flow: no_frag and only_frag keyword support

Support flow:no_frag and flow:only_frag keywords from Snort.

defrag: set flag on packets reassembled from fragments

Set the PKT_REBUILT_FRAGMENT on packets that are re-assembled
from fragments.

detect-flow: support flow:not_established

detect-flow: use new unit test macros

file-hashing: Fixed line parsing code

doc: initial app-layer keywords

Document app-layer-protocol and make a start with app-layer-event.

detect-app-layer-protocol: improve rule validation

Also add tests for PD-only conditions

detect-app-layer-protocol: implement prefilter

Introduce 'Protocol detection'-only rules. These rules will only be
fully evaluated when the protocol detection completed. To allow
mixing of the app-layer-protocol keyword with other types of matches
the keyword can also inspect the flow's app-protos per packet.

Implement prefilter for the 'PD-only' rules.

detect-app-layer-protocol: convert to pkt match

eve: print app_proto_ts/app_proto_tc

logging: return string for ALPROTO_FAILED

app-layer counters: count failed protocol detect

proto-detect: clean up UDP handling

Set FAILED instead of using a flow flag. Flag packets in both
sides when detection is done. Detection is only done in one
direction.

proto detect: improve error case handling

Improve flags logic, update tests.

detect-app-layer-protocol: improve error handling

Redo tests.

proto-detect: update mismatch handling

Improve protocol mismatch handling. Preserve both protos. Use otherdir
if already sent to parser, use toclient otherwise.

app-layer-protocol: improve detection

Add negated matches to match list instead of amatch.

Allow matching on 'failed'.

Introduce per packet flags for proto detection. Flags are used to
only inspect once per direction. Flag packet on PD-failure too.

proto detect: remove flow data tracking

The Flow::data_al_so_far was used for tracking data already
parsed when protocol for the current direction wasn't known yet. As
this behaviour has changed the tracking can be removed.

proto detect: update behavior on partial detection

When the current direction doesn't get a protocol detection, but the
opposing direction did, previously we would send the current data to
the parser. Then when we'd be invoked again (until the protocol
detection finally failed) we'd get the same data + the new data. To
make sure we'd not send the same data to the parser again, the flow
kept track of how much was already sent to the app-layer using
data_al_so_far.

This patch changes the behaviour. Instead of sending the data for
the current direction right away, we only do this when protocol
detection is complete. This way we won't have to track anything.

proto detect: TCP cleanup

Split function into multiple smaller ones.

app-layer: clean up counters registration

doc: app-layer tls including no-reassemble

tls: change 'no-reassemble' option to default off

This option was broken so there should be no visible change to
actual deployments.

prelude: add IPv6 support

prelude: add missing TCP header to additional data

prelude: update URL

prelude: coding style, it's better to use macro

prelude: Add other actions than just ACTION_DROP when packet drop

prelude: Add log when failed to create assessment or impact object

Add macro for TCP and UDP header access

app-layer-tls: stop detection if no reassembly

It no-reassembly is asked in TLS conf then we can stop inspection
after handshake and cause bypass to be triggered on the flow.

stream-tcp: bypass encrypted when both side ready

Suricata should not completely bypass a flow before both end of it
have reached the stream depth or have reached a certain state.
Justification is that suricata need the ACK to treat the other side
so we can't really decide to cut only one side.

doc: add SCPacketTimestamp Lua function

Signed-off-by: Nicolas Thill <ntl@p1sec.com>

lua: add an SCPacketTimestamp function

The SCPacketTimestamp function returns packet timestamps as 2 real
numbers (seconds & microseconds).

Example:

  local sec, usec = SCPacketTimestamp()

Signed-off-by: Nicolas Thill <ntl@p1sec.com>

file: register filedata loggers before file

This fixes the issue that 'stored' remained false even if the file
was stored.

Reported-by: Chris Wakelin

doc: small eve update: add dns