Merge remote-tracking branch 'github-octo/pyr/riemann' into pyr/riemann

riemann plugin: Implement the "StoreRates" option.

riemann plugin: Use the new strarray interface to allow indefinite number of tags.

src/common.[ch]: Implement strarray_{add,free}.

riemann plugin: Fix two minor bugs.

riemann plugin: Fix a double-free issue with the shared structure.

The reference to the riemann_host structure is shared between the write
and the notification callback. Upon exit, riemann_free() is called twice,
via the user_data_t structure passed to the register functions. Previously
this would have caused a double-free, which is unacceptable.

This patch introduces a reference counter and will only free the structure
(and close the socket) when the last reference is freed.

The locking has been moved out of the riemann_connect() function and into
the riemann_send() function. It is unlikely, but not impossible that two
threads interfere with each other when writing to the socket.

riemann plugin: Add support for service names.

I.e. you can not define a "riemann" service in /etc/services and then use
«Port "riemann"» in the configuration. Also add support for arbitrarily
long host names.

riemann plugin: Move the creation of protobufs into their own function.

This also adds a couple more tags, e.g. "type:..." and so on. The "host"
field is now correctly populated from the vl->host or n->host field.

riemann plugin: Make all private funcitons and module-global variables "static".

riemann plugin: Remove trailing white-space.

riemann plugin: Improve the riemann_send() function.

Make the passed in "Msg*" const, use swrite() to make sure the entire
buffer is sent and break out the disconnect logic into an own function.

take into account PR comments from @octo

Signed-off-by: Florian Forster <octo@collectd.org>

add support for notifications as well

Signed-off-by: Florian Forster <octo@collectd.org>

Riemann UDP write plugin

First implementation of a riemann plugin.
This is basic for now and only support
sending to a UDP target, later work will
include notification support and service
rewriting.

Signed-off-by: Florian Forster <octo@collectd.org>

Remove the redundant and little used STATIC_ARRAY_LEN() macro.

apcups plugin: Implement the "ReportSeconds" option.

Merge branch 'sh/config-include'

configfile: Free a string buffer returned by cf_util_get_string().

config: Implemented include filter pattern as sub-option in a <Include> block.

This has the advantage of being more easy to read/understand and also being
more flexible. E.g. multiple filters and other options may be specified in the
future.

Thanks to octo for suggesting this!

aggregation plugin: Make it possible to set parts of the identifier.

config: Added support for specifying include filter patterns.

An optional second argument may now be passed to the "Include" configuration
option. If specified (and if the fnmatch() function was available at build
time), only files matching this pattern will be included. For example, the
following will include all files matching "*.conf" in any subdirectory of
/etc/collectd.d/:

  Include "/etc/collectd.d" "*.conf"

This is useful, e.g. for distributions in order to include a possibly empty
directory in the default configuration including all subdirectories but also
making it possible to ship further documents like README files.

src/utils_vl_lookup.[ch]: Support selecting values by regex.

The name generated by the Aggregation plugin currently includes the
regular expression, which is suboptimal. We need to come up with something
clever there I guess.

collectd.conf(5): Add the per-plugin interval to the synopsis.

Fix java detection as unprivileged user.

If you have an inaccessible directory inside
JAVA_HOME, find returns an error and the test fails.

I found this on Fedora, where /usr/lib64/audit is only
readable by root, and my JAVA_HOME was set to /usr

Signed-off-by: Florian Forster <octo@collectd.org>

Fix building of java binding

Caused by d327beed4d1541d883c4823485b381d1dff79039

Signed-off-by: Florian Forster <octo@collectd.org>

src/libcollectdclient/Makefile.am: Fix typo.

src/libcollectdclient/Makefile.am: Add "collectd/network.h".

Bump version to 5.2.0; Update ChangeLog.

src/libcollectdclient/network.c: Fix the build on FreeBSD.

On FreeBSD, we have to include <netinet/in.h> to get IN_MULTICAST(). We
don't need to include anything extra, as according to POSIX,
<netinet/in.h> also exposes htonl(). There is no need to include
<arpa/inet.h>.

Signed-off-by: Florian Forster <octo@collectd.org>

src/libcollectdclient/network_buffer.c: Fix gcrypt build on FreeBSD.

As with src/network.c, we need to ensure that we define
GCRYPT_NO_DEPRECATED on FreeBSD to get rid of the compiler warnings
emitted by the header file.

Signed-off-by: Florian Forster <octo@collectd.org>

Merge branch 'collectd-5.1'

Merge remote-tracking branch 'origin/master'

Merge branch 'collectd-5.0' into collectd-5.1

Merge branch 'collectd-4.10' into collectd-5.0

fixed paths in example configuration file

These paths previously got expanded to:
  #BaseDir "/usr/var/lib/collectd"
instead of:
  #BaseDir "/var/lib/collectd"

And on systems which put libs in /usr/lib64:
  #PluginDir   "/usr/lib/collectd"
instead of:
  #PluginDir   "/usr/lib64/collectd"

Signed-off-by: Florian Forster <octo@collectd.org>

lcc_features.h: Relicense under the MIT license.

src/libcollectdclient/network_buffer.c: Copy gcrypt import magic from the network plugin.

libcollectdclient: Update to the high-resolution time format.

Merge branch 'sr/pf'

Merge branch 'sh/postgresql-writer'

Conflicts:
src/collectd.conf.pod
src/postgresql.c

Merge branch 'sh/postgres-queries'

Merge branch 'libvirt-interfacenumber'

GenericJMXConfConnection: Automatically determine the host name.

Fixes Github issue #182.

libcollectdclient: Relicense under the MIT license.

Merge branch 'ff/netlib'

Conflicts:
src/collectdctl.c
src/libcollectdclient/client.c
src/libcollectdclient/collectd/client.h

src/network.c: Fix the build on FreeBSD.

<gcrypt.h> accepts a definition called GCRYPT_NO_DEPRECATED to disable
deprecated functionality. Unfortunately, this definition is not
sufficient to suppress all warnings. However, FreeBSD's version of
libgcrypt has been fixed to properly remove all deprecated features.

Signed-off-by: Florian Forster <octo@collectd.org>

src/plugin.c: Replace the last use of "interval_g" in this file.

Merge branch 'sh/plugin_interval'

Conflicts:
src/amqp.c
src/exec.c
src/memcached.c
src/unixsock.c

collectd_insert.sql: Use timestamptz rather than timestamp.

Don't want to get messed-up values after daylight-savings changes.

utils_time: cdtime_to_iso8601(): Include timezone information as well.

src/configfile.[ch]: Implement the cf_get_default_interval() function.

This should be able to replace "interval_g" in a global (i.e. non-plugin)
context, such as the interval in which timeouts are being checked.

The default value (10 seconds) is also configurable at compile time using
a define.

postgresql plugin: Simplified transaction handling a bit.

Don't set any next commit time after committing a transaction but only when
starting a new transaction. This way, db->next_commit == 0 always means that
we're outside of a transaction. Also, this removes the need to restart a
transaction right away. Rather, the write callback will take care of that the
next time it gets any data.

collectd.conf(5): Documented the postgresql FLUSH support.

postgresql plugin: Added support for "flushing" data.

This may be used to commit a PostgreSQL writer's transaction. Two different
types of flush callbacks are registered:

 - postgresql: Flush *all* databases.
 - postgresql-<database>: Flush the database named '<database>' only.

postgresql plugin: Fixed unregistering of write callbacks.

Rather than unregistering some callback for each writer for each database,
unregister the single callback for each database only.

postgresql plugin: Unregister all writers on shutdown.

This will make sure that all pending transactions will be committed. Else, the
open transactions would be rolled back by the PostgreSQL backend when closing
the connection.

In order to do so, all database connections are now stored in a plugin-global
array (this will also make further changes possible). Also, a ref-count has
been added to the database object in order to support "deleting" an object
twice when having it in use by a connection doing queries and writes.

postgresql plugin: Commit a transaction before shutting down a connection.

Also, make sure to acquire the database lock before that in order to wait for,
for example, outstanding writers.

postgresql plugin: Don't try to restart a failed transaction when there's none.

postgresql plugin: Restart a writer transaction if the writer's query failed.

The failed query inside the transaction causes the transaction to be aborted
and all subsequent queries to fail as well.

collectd.conf(5): Documented the postgresql <Database> 'Writer' option.

collectd.conf(5): Documented the "CommitInterval" option of 'postgresql'.

collectd_insert.sql: Let values_update_childs() return table names.

The function will now return a set of the names of child tables that have been
created.

collectd_insert.sql: Added view 'collectd'.

This view provides a join of the 'identifiers' and 'values' tables plus an
additional column with the serialized collectd identifier.

postgresql plugin: Added 'CommitInterval' config option.

If specified, this option causes a writer to put several updates into a single
transaction. This transaction will last for the specified amount of time (in
seconds). By default, each update would be executed in a separate transaction
causing quite some overhead.

collectd-perl(5): Don't actually use $interval_g in any examples.

collectd-perl(5): Mention that $interval_g should not be used.

perl plugin: Emit a warning when accessing $interval_g.

Rather, point to plugin_get_interval().

perl plugin: Simplified $interval_g implementation.

Don't pass any pointers to interval_g around just in order to later
dereference them. There's just no reason to do so ;-)

Collectd.pm: Use plugin_get_interval() rather than $interval_g.

Collectd::Plugins::OpenVZ: Use plugin_get_interval() rather than $interval_g.

perl plugin: Export plugin_get_interval() to Perl plugins.

src/plugin.c: Report an error if ctx.interval is not set.

rrdtool plugin: Remove warnings.

They made sense when all data was collected at the same interval. This
has not been true for a while now and these warnings don't make any sense
anymore.

We could transform them into a per-VL check and use complaints to notify
the user, but I don't think it's worth it. There is an "I told you so"
in the manpage in big bold letters ...

src/plugin.c: Don't regularly check for read plugins.

Rather, let plugin_insert_read() wake up all the read threads.
This removes another usage of interval_g.

Merge branch 'collectd-5.1'

Bump version to 5.1.1; Update ChangeLog.

Merge branch 'collectd-5.0' into collectd-5.1

Conflicts:
ChangeLog
version-gen.sh

Bump version to 5.0.5; Update ChangeLog.

Merge branch 'collectd-4.10' into collectd-5.0

Conflicts:
ChangeLog
src/pyvalues.c
version-gen.sh

Update version-gen.sh.

Bump version to 4.10.8; Update ChangeLog.

ping plugin: Don't abort the "ping_thread" when ping_send() fails.

This may happen when the network is down. If the thread fails, the read
callback will indicate an error and the exponential back-off will start.
This is not optimal for this scenario, since you usually want to have
ping stats from right when the network is back up.

Fixes Github issue #171.

ping plugin: Refactor "ping_thread": Move iteration over hosts into a function.

disk plugin: Add the "UseBSDName" option for Mac OS X.

This new option will use the "BSD Name" rather than major / minor numbers of
the device when reporting statistics.

See also Github issue #72.

aggregation plugin: Improve two error messages.

Merge branch 'ff/aggregate'

Conflicts:
src/Makefile.am

aggregation plugin: Handle the initial EAGAIN return value of rate_to_value().

This avoids an annoying and confusing warning.

aggregation plugin: Handle a start-up condition gracefully.

The resulting error message would confuse and annoy users.

aggregation plugin: Implement the "GroupBy" option.

This new configuration format has two benefits:
1) It is easier to understand by users, because they don't have to know
   about two types of wildcards.
2) In the future matching of Host, Plugin, Type, ... may support regular
   expressions. In that case, this configuration syntax doesn't need to
   be adapted.

1) Cleans up one configure.ac error AC_LINK_IFELSE requires AC_LANG_PROGRAM (or something similar) to get the setup right.
2) Fix for maintaier-clean so that you can run the autoreconf build script multiple times.
3) Clean up the generated man pages when running cleanup.

Signed-off-by: Florian Forster <octo@collectd.org>

rrdcached plugin: Fix syntax and type errors.

rrdcached plugin: Implement the "XFF" option.

rrdcached plugin: Implement the "RRATimespan" option.

rrdcached plugin: Implement the "StepSize", "HeartBeat" and "RRARows" options.

rrdcached plugin: Refactor the configuration handling.

Remove a custom string handling function that's only used in one place and use
the functions provided by "configfile.h".

Merge remote-tracking branch 'github-tokkee/sh/empty-config'

collectd-python.conf(5): fix register_* argument description

Signed-off-by: Florian Forster <octo@collectd.org>

collectd-python.conf(5): change phrasing of function descriptions

Signed-off-by: Florian Forster <octo@collectd.org>

collectd-python.conf(5): change phrasing of minimum required version

Signed-off-by: Florian Forster <octo@collectd.org>

collectd-python.conf(5): fix trivial spelling mistakes

Signed-off-by: Florian Forster <octo@collectd.org>