Update TODO.

Try to sync TODO with real state of the project.

graphite: fix crash on i386

It seems a cast of time_t is needed for i386 system to avoid a
crash. I've added a cast to uint64_t that should be ok on all
Linux system.

Reported-by: netfilter@openenterprise.co.uk

Fix make distcheck

Recently introduced addr.h was missing from Makefile.am.

Add TAGS to .gitignore

graphite: fix warning about gnu extension usage

clang is complaining about missing = being a gnu extension. This
patch adds equal sign to fix the warning.

base: fix warning on pointer handling

Fix warning on format

It seems Z is a libc5 only format modifier. Using standard 'z'
instead.

Get rid of SVN tag in comment.

This patch also update some copyright and licence declaration.

Add -l option to set log level from command line

This patch adds a '-l' option which can be used to setup ulogd
loglevel. Command line option has precedence on the configuration
file one.

conf: add flag to allow option setup tuning

This patch adds a flag to the config_entry structure to be able to
tune setup. First usage is to ask config parser not to update a key
if it has been already set.

ulogd: add -v option to display message on stderr.

If can be painful to have to check the logfile, so this patch adds
a '-v' option which display logs message to stderr.

addr: fix compilation warning

This patch fixes a compilation warning related to a signed and
unsigned integer comparison.

nfct: add protocol filter

This patch adds a new configuration variable which is used to limit
conntrack event to connection of these protocols:
For example:
   accept_proto_filter=tcp,sctp

nfct: implement src and dst filter

This patch implements two filtering options in NFCT input plugin.
If 'accept_src_filter' is set to a network it will only catch the
event where the source is that specific network. 'accept_dst_filter'
does the same for the destination.

addr: add file containing addr utility functions.

nfct: call register callback on opened handler

nfctp_callback_register was called on the regular handler instead
of begin called on the newly opened handler dedicated to the dump.

Add GRAPHITE output module.

Graphite is a web application which provide real-time visualization
and storage of numeric time-series data. This patch adds a module
named GRAPHITE which sends NFACCT accounting data to a graphite
server.

Add missing u64 function.

Add additional ip6 header fields to database scripts

Rename internal keyname ip6.payload_len to remove "_"
to facilitate this.

Handle postgresql schemas correctly

Add 'schema' variable to look into corresponding schema.

Fix parsing of ipv6 flowlabel and tc fields

Mask should be applied after ntohl conversion.

build: move remaining preprocessor flags into CPPFLAGS

The flags retrieved from `pkg-config --cflags ...` are generally only
preprocessor flags (mostly -I to point to the directories), since
anything else would inconvenience downstream users.

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

build: avoid per-target CFLAGS

There is no harm in putting the includes in the global AM_CPPFLAGS;
this can generally save number of compilations of a file when a
source file is used multiple times.

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

build: resolve compile error due to missing nfacct CPPFLAGS

Fixes this error:

make[3]: Entering directory "/home/jengelh/code/ulogd2/output"
  CC       ulogd_output_XML.lo
ulogd_output_XML.c:31:49: fatal error:
libnetfilter_acct/libnetfilter_acct.h: No such file or directory

(Note that pkgconfig-provided cflags are actually cppflags, so
I add ${LIBNETFILTER_ACCT_CFLAGS} to AM_CPPFLAGS.)

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

build: resolve automake-1.12 warnings

/usr/share/automake-1.12/am/ltlibrary.am: warning:
'ulogd_output_SQLITE3.la': linking libtool libraries using a non-POSIX
archiver requires 'AM_PROG_AR' in 'configure.ac'
(one for each .la)

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

XML: add missing include

Inclusion of libnetfilter_acct.h is not enough as the integer type
definition are not included in the header. So if NFCT is disable, the
compilation fails.

Use PRIu64 to print unsigned 64bit int

configure: display info about build plugins

This patch modifies configure to display the list of plugins that
will be built.

configure: add flag to disable NFLOG build

configure: add flag to disable NFCT build

configure: add flag to disable NFACCT build

It is now possible to pass the --disable-nfacct flag to disable
compilation of NFACCT input plugin. Doing this the build of ulogd
is possible on system where nfacct is not available.

autoconf/ulogd: fix broken libpcap AM_CONDITIONAL

The AM_CONDITIONAL lacks the opening bracket, hence it always evaluates
as true, even if there's no libpcap found thus causing build breakage.

Signed-off-by: Gustavo Zacarias <gustavo@zacarias.com.ar>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

bump version to 2.0.1

And update library dependency. Push users to upgrade to get fixes
from library releases.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

ipfix: fix bracket imbalance if IPPROTO_SCTP is defined

Detected by cppcheck.

Signed-off-by: Thomas Jarosch <thomas.jarosch@intra2net.com>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

src: update copyright and authors information

Include Eric and myself in the copyright notice and the AUTHORS file
since we're the most recurrent contributors (of course, after the
original author of this software, Harald Welte).

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

filter: IP2HBIN: fix compilation warning with gcc-4.7

ulogd_filter_IP2HBIN.c: In function 'interp_ip2hbin':
ulogd_filter_IP2HBIN.c:122:6: warning: unused variable 'fret' [-Wunused-variable]

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

ulogd.conf: slightly expand documentation on zerocounter option for nfacct

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

nfacct: add timestamp option

This patch adds a timestamp option to the nfacct plugin.
If activated, nfacct output a timestamp which is computed just
after sending the nfacct request.

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

src: fix version that -V displays

It was wrong, use VERSION constant which uses the version
information available in configure.ac.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

input: NFCT: fix compilation warning with gcc-4.7

  CC     ulogd_inpflow_NFCT_la-ulogd_inpflow_NFCT.lo
ulogd_inpflow_NFCT.c: In function 'configure_nfct':
ulogd_inpflow_NFCT.c:977:28: warning: unused variable 'cpi' [-Wunused-variable]

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

pgsql: only disable key if it starts with underscore

ulogd2 was magically making inactive the first key of description
table. This patch improves this system by only doing so when
the key start with an undescore. This way, system like nfacct which
do not have a primary key can be implemented easily.

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

pgsql schema: fix timestamp default value

Set timestamp default value to now() not now which is the time at
table creation.

Reported-by: Mr Dash Four <mr.dash.four@googlemail.com>
Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

pgsql schema: add nfacct table

This patch adds a nfacct table to the postgresql schema. It enables
the storage of all counters at each poll.

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

nfacct: add variable to not zero counter after read

The default nfacct input plugin zeroes counter after each read. This
is a limitation as other software can't use the counter at the same
time as ulogd2.

This patch adds the zerocounter variable to the NFACCT input plugin.
If set to zero, the counters are not zeroed.

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

sqlite3: Add more logging if database initialization fails.

Signed-off-by: Michael Tremer <michael.tremer@ipfire.org>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

NFCT: fix crash in polling mode if used by two stacks

The polling timer initialisation code was put in the configurator
code. It was then created for all instances. But only first one has
a valid NFCT handle. This was resulting in a crash.
This patch moves the timer initialisation in the constructor which
is called only once on the main NFCT instance.

Signed-off-by: Eric Leblond <eric@regit.org>
Reported-by: Gomathivinayagam Muthuvinayagam <sankarmail@gmail.com>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

output: XML: display time for NFACCT

<obj><name>test</name><pkts>00000000000000000000</pkts><bytes>00000000000000000000</bytes><hour>17</hour><min>46</min><sec>47</sec><wday>6</wday><day>22</day><month>6</month><year>2012</year></obj>

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

output: XML: support for NFACCT input plugin

This patch extends XML plugin to support NFACCT. You can use
the following line in ulogd.conf to test it:

stack=acct1:NFACCT,xml1:XML

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

src: add ULOGD_DTYPE_SUM for nfacct-based accounting

This new type will be used in flow-up patch to support XML output.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

build: require 1.0.0 of all libraries

Bump library version requirement to relatively recent releases of
all libraries (ie. 1.0.0 release).

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

build: bump release version to 2.0.0

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

doc: add documentation for SIGUSR2

Signal SIGUSR2 makes plugin ulogd_inpflow_NFCT to
 * dump conntrack table
 * flush counters

Signed-off-by: Björn Lässig <laessig@bitformer.net>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

pcap: resolve unreliable detection

pcap is not found reliably by either --with-pcap=%_prefix or
--with-pcap-lib=%_libdir --with-pcap-inc=%_includedir.

If you have any special paths, just use
./configure CPPFLAGS="-I/my/pcap" LDFLAGS="-L/my/pcap"

(And -lpcap is already known so no need to specify that.)

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

nfacct: resolve build failure

  CC       ulogd_inpflow_NFACCT_la-ulogd_inpflow_NFACCT.lo
ulogd_inpflow_NFACCT.c:24:27: fatal error: libmnl/libmnl.h:
No such file or directory
compilation terminated.

LIBS is not interchangeable with C(PP)FLAGS.

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

sqlite: resolve compiler warnings

In file included from /usr/include/string.h:642:0,
                 from ulogd_output_SQLITE3.c:34:
In function 'strncat',
    inlined from 'db_count_cols' at ulogd_output_SQLITE3.c:306:9,
    inlined from 'sqlite3_init_db' at ulogd_output_SQLITE3.c:328:11:
/usr/include/bits/string3.h:152:3: warning: call to __builtin___strncat_chk might overflow destination buffer [enabled by default]

I: Statement might be overflowing a buffer in strncat. Common mistake:
   BAD: strncat(buffer,charptr,sizeof(buffer)) is wrong, it takes the left over size as 3rd argument
   GOOD: strncat(buffer,charptr,sizeof(buffer)-strlen(buffer)-1)
E: ulogd2 bufferoverflowstrncat ulogd_output_SQLITE3.c:328:11

Signed-off-by: Jan Engelhardt <jengelh@inai.de>

build: use pkglibdir instead of pkglibexecdir for automake

This fixes the following problem while running `autoreconf -fi`

`pkglibexecdir' is not a legitimate directory for `LTLIBRARIES'
variable `ulogd_filter_PRINTPKT_la_SOURCES' is defined but no program or
library has `ulogd_filter_PRINTPKT_la' as canonical name (possible typo)

Signed-off-by: Björn Lässig <laessig@bitformer.net>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

NFCT: add `reliable' config option to enable reliable flow-based logging

Reliability comes at the cost of dropping new flows if the
destroy event that ctnetlink delivers to us is lost. Under
heavy stress this may imply dropping packets, you've been
warned.

If you do want not to lose one single flow-logging information,
enable this.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

ulogd2 / DBI / table name

DBI: allow to define table name via table config option

While using the DBI plugin of ulogd2 for NFCT based accounting, despite
using table="conntrack", it always insisted in using the table "ulog"
for deriving the keys/columns to be stored.

I've hacked up a quick fix, and it seems to work as expected (though no
proper null termination after strncpy).

Signed-off-by: Harald Welte <laforge@netfilter.org>

src: add example use of GPRINT to ulogd.conf.in configuration file

Example on how this display one conntrack:

timestamp=2012/02/22-13:16:54,orig.ip.saddr=192.168.1.129,orig.ip.daddr=173.194.34.235,orig.ip.protocol=6,orig.l4.sport=58221,orig.l4.dport=80,orig.raw.pktlen=1206,orig.raw.pktcount=4,reply.ip.saddr=173.194.34.235,reply.ip.daddr=192.168.1.129,reply.ip.protocol=6,reply.l4.sport=80,reply.l4.dport=58221,reply.raw.pktlen=1104,reply.raw.pktcount=3,ct.mark=0,ct.id=846180008,ct.event=4,flow.end.sec=1329913014,flow.end.usec=413771,oob.family=2,oob.protocol=0

and one NFLOG line look like this

timestamp=2012/02/22-13:21:24,raw.pktlen=40,raw.pktcount=1,oob.prefix=test,oob.time.sec=1329913284,oob.time.usec=226795,oob.mark=0,oob.ifindex_in=3,oob.hook=1,raw.mac_len=14,oob.family=2,oob.protocol=2048,raw.label=0,raw.type=1,raw.mac.addrlen=6

People that like parsing comma-separated key-value files will
like this.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

input: add nfacct plugin

This patch adds the nfacct plugin.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

output: add GPRINT plugin

This patch adds GPRINT which is a generalization of OPRINT.

It display the set of key-values separated by commas. This is
the generic print that you can attach to whatever kind of
input plugin.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

OPRINT: display u64 fields

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

ulogd: add okey_set_u64

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

A simple filter plugin called IP2HBIN added

The plugin converts the IPv4 addresses to host order for databases
like MySQL. The expected name of the table fields are ip.hsaddr,
ip.hdaddr, etc.

Signed-off-by: Jozsef Kadlecsik <kadlec@blackhole.kfki.hu>

Support stored mysql procedures besides stored functions

MySQL stored procedures must be invoked by the "CALL" SQL command and
not by "SELECT". Add the convention that if the procedure name starts
with "CALL", then the issued SQL command is "CALL procedurename(args)".

The stored procedure support in MySQL automatically brings transaction
support too.

Signed-off-by: Jozsef Kadlecsik <kadlec@blackhole.kfki.hu>

build: disable implicit .tar.gz archive generation and use POSIX mode

build: use AC_CONFIG_AUX_DIR and stash away tools

Update .gitignore

Only ignore these paths if they are a directory.

pcap: add file option to configuration file

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@gnumonks.org>

pcap: fix build on some recent x86_64 platform

Signed-off-by: Eric Leblond <eric@regit.org>
Signed-off-by: Pablo Neira Ayuso <pablo@gnumonks.org>

build: abort autogen on subcommand failure

Needed to stop an automated build process when automake requirements
are not fulfilled.

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

ulogd: fix segfault if syslog and SIGTERM is received

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

build: Linux kernel-style for compilation messages

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

sqlite3: remove automatic creation of table `daily'

This patch removes the creation of the `daily' table. Now, we assume
that the table that we use are created before launching ulogd2.

This code is broken because you have to specify in the configuration
file that the table used is `daily', otherwise this `daily' table is
created and dropped during the daemon starting, but not used.

Moreover, the code explicit shows a message that it says:

/* FIXME make this configurable */

So, I think that this patch is the way to go :-).

This patch also documents the table creation in ulogd.sgml

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

sqlite3: fix warning during compilation

This patch fixes the following warning during the compilation:

ulogd_output_SQLITE3.c: In function ‘ulogd_find_key’:
ulogd_output_SQLITE3.c:292: warning: comparison between signed and unsigned integer expressions

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

sqlite3: cleanup error handling of sqlite3_bind_int() in sqlite3_interp()

Move error handling after the switch statement since it's the same
for all cases, we save several lines of code.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

sqlite3: use continue instead of goto in sqlite3_interp()

Use continue instead of goto inside loop. I don't need to scroll
up and down in the code to know what the jump is performing.
I think this improve code readability. It's a comestic cleanup,
of course.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

NFLOG: don't display overrun message once we have reach the buffer limit

We only report the overrun once with this patch, instead of spamming
the ulogd.log file.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

build: simplify sqlite3 check

With pkg-config variables, even a non-installed sqlite3 can be
configured easily.

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>
Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

NFCT: use nfct_copy() instead of deprecated nfct_sizeof() function

nfct_sizeof() allows memcpy() of ct objects, which violates the
library design (that aims to hide binary layout).

We use nfct_copy() with the override flag instead as added by
libnetfilter_conntrack 0.9.1.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

sqlite3: add configuration examples and new tables layout

This patch adds two configuration examples for sqlite3 to log
flows and packets.

We use two tables, one for packet logging information, and
another for flow-based information.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

sqlite3: initial support extracted from Holger Eitzenberger's work

This patch imports the sqlite3 support from Holger.

I applied folded the following patches, that Harald passed to me
during the last Netfilter workshop, into one:

0001-ulog2-sqlite-port-to-v2.diff.patch
0002-ulog2-sqlite-prepare-fix.diff.patch
0003-ulogd-sqlite-new-logging.diff.patch
0004-ulogd-accounting-add-flow-start-day.patch
0005-ulogd-sqlite3-err-codes-fix.dif.patch
0006-ulogd-sqlite3-tbl-corrupt-fix.diff.patch
0007-ulogd-sqlite3-handle-schema-change.diff.patch
0008-SQLITE3-count-instead-of-log-table-busy-messags.patch
0009-ulogd-SQLITE-Added-flowstartsec.diff.patch

Harald passed them to me with no description, so applying them
separately does not provide more information.

I'll start adding patches on top on these so Holger can get in
sync with my work. This also can help him to take my patches
and to integrate them to his tree.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

config: add file option for NACCT pluging to the example config file

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

build: use compile/link information from pkgconfig

This is important for when the libraries are in a non-default path.
Also, libs must be listed in LDADD/LIBADD, not LDFLAGS.

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

build: use appropriate location for program modules

Modules - since they are dependent on the executable - generally go to
libexec/.

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

build: avoid use of LIBS variable

The variable contains global libraries linked into every possible
object, which is unwanted. Clean up things.

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

ulogd: fix double call of stop for reused input plugins

This patch adds reference counting for plugins. This is used to fix
a double stop for input plugins that are reused.

This problem was reported by Salih Gonullu <sag@open.ch>:

http://marc.info/?l=netfilter&m=129439584700693&w=2

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

NFCT: fix bug in polling mode

This closes the following bug:
http://bugzilla.netfilter.org/show_bug.cgi?id=684

This problem was introduced with the XML output plugin.

Signed-off-by: Pablo Neira Ayuso <pablo@netfilter.org>

filter/HWHDR: remove redundant sizeof(char)

It is 1 by definition.

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

build: no need for error message in PKG_CHECK_MODULES

PKG_CHECK_MODULES already produces its own (and more verbose) messsage
when a module cannot be found.

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

build: propagate global CFLAGS

We must not override CFLAGS, because that will break when the user
overrides CFLAGS again at make time (which he is entitled to). So,
name our CFLAGS regular_CFLAGS, and also include that across all
Makefiles so that they are actually uesd for all the code.

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

build: default to not building static libraries

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

output/LOGEMU: resolve build warning

ulogd_output_LOGEMU.c:37:2: warning: #warning this libc does not
define HOST_NAME_MAX

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

build: remove unused $(all_includes)

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

build: remove -fPIC flag

libtool automatically adds PIC flags as needed.

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

build: remove statements without obvious effect

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

build: move global automake options into configure.ac

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

Add helper script pcap2ulog

This script uses the Net::Pcap Perl library to parse an pcap file and
send packets to ulogd2 throught the UNIXSOCK input module.

Signed-off-by: Pierre Chifflier <chifflier@edenwall.com>

Add new input plugin UNIXSOCK

This input plugins creates a unix socket which can be used to log packets.
Scripts or applications can connect to the socket (only one client allowed
per socket) and send data in a Key-Length-Value format (including the
payload).

Signed-off-by: Pierre Chifflier <chifflier@edenwall.com>

DB output: fix crash in SIGHUP handling

This patch fixes the handling of SIGHUP when a SQL plugin is used. A
freed structure was previoulsy used to build the request and this was
leading to a crash.