Set release number to 2.0.5.

include: keep a copy of linux/netfilter_ipv4/ipt_ULOG.h

This fixes compilation if you use a Linux kernel >= 3.17. This problem
occurs since ULOG was removed from mainstream:

http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/commit/?id=7200135bc1e61f1437dc326ae2ef2f310c50b4eb

Closes: https://bugzilla.netfilter.org/show_bug.cgi?id=986
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

Fix JSON output on big endian systems

Signed-off-by: Jimmy Jones <jimmyjones2@gmx.co.uk>

gitignore: add manpage

Signed-off-by: Eric Leblond <eric@regit.org>

gitignore: ignore generated documentation

Signed-off-by: Vincent Bernat <Vincent.Bernat@exoscale.ch>

Set release number to 2.0.4.

Signed-off-by: Eric Leblond <eric@regit.org>

ulogd: fix loglevel handling

It was always default if not specified by command parameter.

Signed-off-by: Ken-ichirou MATSUZAWA <chamas@h4.dion.ne.jp>

printpkt: oob.time.sec was not used

This patch supresses the oob.time.sec from the input keys as this
is not used when creating the string corresponding to the packet.

Signed-off-by: Eric Leblond <eric@regit.org>

json: use packet timestamp if available

This patch updates the JSON output plugin to have it use the
timestamp of the packet if available. The date format used
for the timestamp is now using ISO 8601 to have an easy
import in most software (tested with logstash and splunk).

Signed-off-by: Eric Leblond <eric@regit.org>

nfct: use start timestamp if provided

When hash table is not used, the start timestamp was not used even
if the kernel is sending it. This patch modifies the code to use it
when available. This allows to log connection with start and end
with a single message per connection and without the cost of
maintaining the hash table.

ulogd: add carriage return as separator

If the file is in DOS mode, the string coming from config file
parsing are containing the carriage return. The result is that
string are not correct and the parsing of confuguration file
is failling.

ulogd: avoid potential double print of message

In case there is no logfile, ulogd could possibly display each
log message twice to stderr.

json: introduce new JSON output plugin

This patch introduces a new JSON output plugin. This
patch displays CIM field name instead of ulogd key valu
if this CIM field is available.

The module does not display binary address but uses the
string version of them. So a complete stack is for example:
 stack=log2:NFLOG,base1:BASE,ifi1:IFINDEX,ip2str1:IP2STR,mac2str1:HWHDR,json1:JSON

If boolean_label is set to 1, then the numeric_label put on packet
by the input plugin is coding the decision on packet. If 0, then
packet has been blocked and if non null it has been accepted.

store Common Information Model name in ulogd key

This patch adds storage for CIM field name in ulogd key. This
will be used by JSON output to interoperate with logging
collector such as logstash or splunk.

Common Information Model is an open standard that defines how managed
elements in an IT environment are represented as a common set of objects
and relationships between them:
 http://www.dmtf.org/standards/cim

This seems to be mainly XML based but there is a JSON version of some
aspects of the model. One of the main documentation on CIM in JSON
format seems to be:
 http://docs.splunk.com/Documentation/PCI/2.0/DataSource/CommonInformationModelFieldReference

Using the correct CIM field name allow events coming from ulogd to be
correlated with events coming from other sources.

db: don't loose one packet on reconnect

This patch improves database reconnection handling in ring buffer
mode. Ulogd now redo the failed query and do not loose anymore
one packet.

db: cancel injection thread when terminating

Injection thread was not cancelled when a termination signal was
sent. This was causing a crash in some cases. This patch fixes this
by canceling the thread when a SIGTERM or SIGINT signal is received.

db: set ring default size to 0

As default size was non null, the ring system was activated by
default. It was only possible to desactivate the ring system
by setting it to ring_buffer_size to 0 in the configuration.

This was not the attended behavior. This patch set it to 0 to have
only explicit activation of the ring feature.

util: fix warning on format string

pp_print macro was not correctly formatting u64. This patch renames
it to pp_print_u as it is only used to print integer. It also use
the PRIu* macros to have a correct format string for all integers
type.

nacct: fix format warning

Some counter have been recently switch to u64. This has caused warnings
relative to format string. This patch uses PRIu64 macro to fix these
warnings.

ulogd: use AC_SEARCH_LIBS for libpthread

Some uClibc-based toolchains lack threading support, so use
AC_SEARCH_LIB instead of AC_CHECK_LIB to check for libpthread
availability and link conditionally if found since it's only used for
the database backends.

Signed-off-by: Gustavo Zacarias <gustavo@zacarias.com.ar>

Set release number to 2.0.3.

Signed-off-by: Eric Leblond <eric@regit.org>

ulogd: ulogd_inppkt_NFLOG: close nflog handle after unbinding

The nflog handle is closed, and then nflog_unbind_pf() is called on it, which
triggers an assertion failure within libnfnetlink. This patch simply moves
the nflog_close() just after the nflog_unbind_pf() calls.

Signed-off-by: Chris Boot <bootc@bootc.net>

nfct: make NFCT packet counter/length 64 bit

Kernel and libnetfilter_conntrack counters are 64bit,
so use 64bit too in ulogd instead of 32bit.

Worked fine on little endian systems but big endian systems
had zero counter...

Didn't test ipfix output, but RFC allows template with
either 32 or 64 counters, so should be safe.

Signed-off-by: Ulrich Weber <uw@xyne.com>
Signed-off-by: Eric Leblond <eric@regit.org>

ulogd: use daemon() function

This patches update the daemonization code. It is done earlier and
it uses the daemon(à function which is used for daemonization by
most projects.

Signed-off-by: Eric Leblond <eric@regit.org>

ulogd.conf: add missing quote.

Pcap file variable was not quoted. This was confusing
as the correct file was not open if the user did
uncomment the variable.

Signed-off-by: Eric Leblond <eric@regit.org>

pgsql: add var to specify arbitrary conn params

This patch adds a configuration variable for PostgreSQL output.
Named connstring it stores the character string that will be
used to connect to the PostgreSQL server. This allows the user
to use all options available like TLS parameters for example.

Signed-off-by: Eric Leblond <eric@regit.org>

Improve pid file handling.

This patch improves latest patch by splitting in two part the pid
file creation. This allows to display a message to stdout when
ulogd can not be started. Another linked improvement is that the
plugin initialization is not done if the pid file existence will
result in a ulogd exit.

Signed-off-by: Eric Leblond <eric@regit.org>

ulogd: Implement PID file writing

The deamon currently does not have the ability to write a PID file to track its
process ID. This is very useful to an init script and to ensure there is only
one running instance. This patch implements this functionality.

Signed-off-by: Chris Boot <bootc@bootc.net>

ulogd: Perform nice() before giving up root

The daemon code currently tries to nice(-1) just after having given up root
privileges, which fails. This patch moves the nice(-1) call to just before
the code that gives up the required privileges.

Signed-off-by: Chris Boot <bootc@bootc.net>

Exec libmnl config check only if nfacct is enabled

In case nfacct is not enabled in ulogd2, libmnl is not used. So it shouldn't
be a hard global dependency, but instead only a dependency in case nfacct is
enabled.

db: db ring has precedence over backlog.

db: disable SIGHUP if ring buffer is used.

The handling of signal when using threads can be complicated. When
ring buffer is used for query, this means ulogd will have to follow
some sort of mutex. Thus, it is easier and better performance wise
to disable the reload via SIGHUP when the ring buffer is used.

db: add ring buffer for DB query

This patch adds an optional ring buffer option which modify
the way database queries are made. The main thread is only handling
kernel message reading and query formatting. The SQL request is made
in a separate dedicated thread.
The idea is to try to avoid buffer overrun by minimizing the time
requested to treat kernel message. Doing synchronous SQL request, as
it was made before was causing a delay which could cause some messages
to be lost in case of burst from kernel side.

db: use offset instead of direct pointer.

Use an offset approach to get the start of values printing area. It
is more generic and will be use soon.

db: suppress field in db structure

The field is currently only used in a single function as a string
pointer and can thus be removed from the db instance structure.

db: store data in memory during database downtime

This patch is adding a mechanism to store query in a backlog build
in memory. This allow to store events during downtime in memory and
realize the effective insertion when the database comes back.
A memory cap is used to avoid any memory flooding.

sqlite3: add sanity checking

Nullify sqlite3 handler at deinit.

mysql: add sanity checking

Nullify mysql handler at deinit.

postgresql: add sanity checking

Clean postgresql handler at deinit.

Fix automagic support of dbi, pcap and sqlite3

ulogd has automagic deps for several output plugins right now, namely dbi,
pcap and sqlite3. These plugins are built if the appropriate libs are present
on user's system. While this situation is fine with binary distros it is not OK
on source-based ones such as Gentoo.

The problem arises when such a program links against libs without user's
request and libs are later removed from system which leaves program in a
broken state.

This patch is modifying configure.ac which we apply in our package and which
fixes mentioned issue. It adds 3 new configure options: --
without-{dbi,pcap.sqlite}. I would like to emphasize that this patch doesn't
change default behaviour of configure script at all, so all other distros won't
suffer. We simply add options to explicitly disable any attempts to try and
detect libs for automagic deps, which is enough to avoid unnecessary linkage.

ulogd: display stack during configuration

Revert "ulogd: close logfile description in the exit path of parent process"

This reverts commit 3179bd4de89de7c2388849f5bc48e8f5aad9e5b9.

Pointing to the wrong place. This is not the file descriptor
that ulogd is leaking.

ulogd: close logfile description in the exit path of parent process

Joan Touzet reported that file descriptor 3 was not ever closed
in the exit path of the parent process:

open("ulogd.conf", O_RDONLY)            = 3

That corresponds to the the file descriptor that was used to
parse the configuration file was not closed.

This closes: http://bugzilla.netfilter.org/show_bug.cgi?id=793

Reported-by: Joan Touzet <joant@cloudant.com>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

ulogd: change verbosity of a message

The "registering plugin" message is not really useful as the message
is really explicit if a plugin is missing.

nfct: use timestamp of conntrack object.

If conntrack object sent by connection tracking system is containing
a timestamp we use it instead of a gettimeofday() based counter.

Signed-off-by: Eric Leblond <eric@regit.org>

Prepare release number to 2.0.2

Update release number and delete Changes file because we can use
git changelog fot that.

Update README

Get rid of ULOG only documentation and adds some new stuffs.

Update man page.

logemu: return error if configuration is invalid.

Add handling of too long line and arguments.

When an argument or a line is too long, it can not be store
into ulogd configuration and this must results in a error.

Fix typo in comments.

Use access to ensure readability of config gile

This patch adds a call to access to check the readability of the
configuration file.

Suppress dead FIXME.

Update TODO.

Try to sync TODO with real state of the project.

graphite: fix crash on i386

It seems a cast of time_t is needed for i386 system to avoid a
crash. I've added a cast to uint64_t that should be ok on all
Linux system.

Reported-by: netfilter@openenterprise.co.uk

Fix make distcheck

Recently introduced addr.h was missing from Makefile.am.

Add TAGS to .gitignore

graphite: fix warning about gnu extension usage

clang is complaining about missing = being a gnu extension. This
patch adds equal sign to fix the warning.

base: fix warning on pointer handling

Fix warning on format

It seems Z is a libc5 only format modifier. Using standard 'z'
instead.

Get rid of SVN tag in comment.

This patch also update some copyright and licence declaration.

Add -l option to set log level from command line

This patch adds a '-l' option which can be used to setup ulogd
loglevel. Command line option has precedence on the configuration
file one.

conf: add flag to allow option setup tuning

This patch adds a flag to the config_entry structure to be able to
tune setup. First usage is to ask config parser not to update a key
if it has been already set.

ulogd: add -v option to display message on stderr.

If can be painful to have to check the logfile, so this patch adds
a '-v' option which display logs message to stderr.

addr: fix compilation warning

This patch fixes a compilation warning related to a signed and
unsigned integer comparison.

nfct: add protocol filter

This patch adds a new configuration variable which is used to limit
conntrack event to connection of these protocols:
For example:
   accept_proto_filter=tcp,sctp

nfct: implement src and dst filter

This patch implements two filtering options in NFCT input plugin.
If 'accept_src_filter' is set to a network it will only catch the
event where the source is that specific network. 'accept_dst_filter'
does the same for the destination.

addr: add file containing addr utility functions.

nfct: call register callback on opened handler

nfctp_callback_register was called on the regular handler instead
of begin called on the newly opened handler dedicated to the dump.

Add GRAPHITE output module.

Graphite is a web application which provide real-time visualization
and storage of numeric time-series data. This patch adds a module
named GRAPHITE which sends NFACCT accounting data to a graphite
server.

Add missing u64 function.

Add additional ip6 header fields to database scripts

Rename internal keyname ip6.payload_len to remove "_"
to facilitate this.

Handle postgresql schemas correctly

Add 'schema' variable to look into corresponding schema.

Fix parsing of ipv6 flowlabel and tc fields

Mask should be applied after ntohl conversion.

build: move remaining preprocessor flags into CPPFLAGS

The flags retrieved from `pkg-config --cflags ...` are generally only
preprocessor flags (mostly -I to point to the directories), since
anything else would inconvenience downstream users.

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

build: avoid per-target CFLAGS

There is no harm in putting the includes in the global AM_CPPFLAGS;
this can generally save number of compilations of a file when a
source file is used multiple times.

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

build: resolve compile error due to missing nfacct CPPFLAGS

Fixes this error:

make[3]: Entering directory "/home/jengelh/code/ulogd2/output"
  CC       ulogd_output_XML.lo
ulogd_output_XML.c:31:49: fatal error:
libnetfilter_acct/libnetfilter_acct.h: No such file or directory

(Note that pkgconfig-provided cflags are actually cppflags, so
I add ${LIBNETFILTER_ACCT_CFLAGS} to AM_CPPFLAGS.)

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

build: resolve automake-1.12 warnings

/usr/share/automake-1.12/am/ltlibrary.am: warning:
'ulogd_output_SQLITE3.la': linking libtool libraries using a non-POSIX
archiver requires 'AM_PROG_AR' in 'configure.ac'
(one for each .la)

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

XML: add missing include

Inclusion of libnetfilter_acct.h is not enough as the integer type
definition are not included in the header. So if NFCT is disable, the
compilation fails.

Use PRIu64 to print unsigned 64bit int

configure: display info about build plugins

This patch modifies configure to display the list of plugins that
will be built.

configure: add flag to disable NFLOG build

configure: add flag to disable NFCT build

configure: add flag to disable NFACCT build

It is now possible to pass the --disable-nfacct flag to disable
compilation of NFACCT input plugin. Doing this the build of ulogd
is possible on system where nfacct is not available.

autoconf/ulogd: fix broken libpcap AM_CONDITIONAL

The AM_CONDITIONAL lacks the opening bracket, hence it always evaluates
as true, even if there's no libpcap found thus causing build breakage.

Signed-off-by: Gustavo Zacarias <gustavo@zacarias.com.ar>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

bump version to 2.0.1

And update library dependency. Push users to upgrade to get fixes
from library releases.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

ipfix: fix bracket imbalance if IPPROTO_SCTP is defined

Detected by cppcheck.

Signed-off-by: Thomas Jarosch <thomas.jarosch@intra2net.com>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

src: update copyright and authors information

Include Eric and myself in the copyright notice and the AUTHORS file
since we're the most recurrent contributors (of course, after the
original author of this software, Harald Welte).

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

filter: IP2HBIN: fix compilation warning with gcc-4.7

ulogd_filter_IP2HBIN.c: In function 'interp_ip2hbin':
ulogd_filter_IP2HBIN.c:122:6: warning: unused variable 'fret' [-Wunused-variable]

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

ulogd.conf: slightly expand documentation on zerocounter option for nfacct

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

nfacct: add timestamp option

This patch adds a timestamp option to the nfacct plugin.
If activated, nfacct output a timestamp which is computed just
after sending the nfacct request.

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

src: fix version that -V displays

It was wrong, use VERSION constant which uses the version
information available in configure.ac.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

input: NFCT: fix compilation warning with gcc-4.7

  CC     ulogd_inpflow_NFCT_la-ulogd_inpflow_NFCT.lo
ulogd_inpflow_NFCT.c: In function 'configure_nfct':
ulogd_inpflow_NFCT.c:977:28: warning: unused variable 'cpi' [-Wunused-variable]

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

pgsql: only disable key if it starts with underscore

ulogd2 was magically making inactive the first key of description
table. This patch improves this system by only doing so when
the key start with an undescore. This way, system like nfacct which
do not have a primary key can be implemented easily.

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

pgsql schema: fix timestamp default value

Set timestamp default value to now() not now which is the time at
table creation.

Reported-by: Mr Dash Four <mr.dash.four@googlemail.com>
Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

pgsql schema: add nfacct table

This patch adds a nfacct table to the postgresql schema. It enables
the storage of all counters at each poll.

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

nfacct: add variable to not zero counter after read

The default nfacct input plugin zeroes counter after each read. This
is a limitation as other software can't use the counter at the same
time as ulogd2.

This patch adds the zerocounter variable to the NFACCT input plugin.
If set to zero, the counters are not zeroed.

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

sqlite3: Add more logging if database initialization fails.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

NFCT: fix crash in polling mode if used by two stacks

The polling timer initialisation code was put in the configurator
code. It was then created for all instances. But only first one has
a valid NFCT handle. This was resulting in a crash.
This patch moves the timer initialisation in the constructor which
is called only once on the main NFCT instance.

Signed-off-by: Eric Leblond <eric@regit.org>
Reported-by: Gomathivinayagam Muthuvinayagam <sankarmail@gmail.com>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

output: XML: display time for NFACCT

<obj><name>test</name><pkts>00000000000000000000</pkts><bytes>00000000000000000000</bytes><hour>17</hour><min>46</min><sec>47</sec><wday>6</wday><day>22</day><month>6</month><year>2012</year></obj>

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>