daemon: Add "plugin_instance" and "type_instance" back to identifier_t.

Tree wide: uc_get_rate → uc_get_rate_vl

Makefile.am: Compile "utils_llist" only once.

src/daemon/plugin.c: Refactor plugin_register_flush().

src/daemon/utils_cache.c: Don't overwrite the meta data of existing entries.

The cache entry's meta data is not the same as the metric's meta data.
Overwriting the cache entry's meta data breaks a number of plugins,
including the network and write_stackdriver plugins.

src/daemon/utils_cache_mock.c: Migrate from "metric_single_t" to "metric_t".

src/daemon/identity.[ch]: Remove; superseded by metric_family_t and metric_t.

src/daemon/plugin.c: Check argument to plugin_dispatch_metric_family().

src/daemon/plugin.c: Migrate from "metric_list_add" to "metric_family_metric_append".

src/daemon/{plugin,utils_threshold}.c: Replace "label_set_get" with "metric_label_get".

daemon: migrate to metric_parse_identity().

daemon: Create the metric_family_t and metric_t types.

A "metric family" is a set of metrics, all with the same name (but
different labels and/or label values). The identity is split between the
two types: the "metric family" holds the "name" while the "metric" holds
the labels. Likewise, the "metric family" holds the metric type, the
"metric" holds the metric value.

This commit contains all required changes to compile the daemon, but
pretty much everything else still fails to build. The tests have not yet
updated either.

daemon: s/metric_t/metric_single_t/g

srd/daemon/utils_cache.c: Fix an invalid variable name in a DEBUG() statement.

src/daemon/plugin.c: Refactor plugin_convert_values_to_metrics().

*   Rename variables to fit the naming schema better.
*   Improve the error message. value_to_metric() can and has failed for
    other reasons than out of memory.

src/daemon/plugin.c: Implement plugin_valuelist_to_identity().

This new function maps a value_list_t to a identity_t, using the same
logic as the Prometheus collectd exporter and the write_prometheus plugin.

This should, eventually, replace identity_create_legacy().

src/daemon/plugin.[ch]: Ensure that "time" and "interval" are set at enqueue time.

This also ensures that an "instance" label (as used by the Prometheus
collectd exporter) exists. This is currently essentially a placeholder
for target labels.

src/daemon/utils_cache.c: Add uc_meta_data_add_unsigned_int_vl().

With this change, the daemon (without plugins) compiles!

src/daemon/utils_cache.c: Update to the new identity_marshal_text() API.

daemon: Changes because src/daemon/metric.[ch] was created.

src/daemon/utils_threshold.c: Remove access to obsolete metric_t fields.

threshold_get() is mostly a placeholder for now; appropriate TODOs have
been left in the code.

src/daemon/utils_cache_mock.c: Fix function definitions to match the header file.

daemon: Remove identity functions.

src/daemon/plugin.c: Add a bunch of TODOs to plugin_format_metric().

Minor cleanups:
*   Replace "metric_p" with "m".
*   Use "identity_get_label" instead of "c_avl_get".
*   Declare variables late.

src/daemon/plugin.[ch]: Add stub for identity_parse().

No implementation yet; just trying to get the existing code to compile.

src/daemon/plugin.[ch]: Implement identity_compare().

daemon: More cleanups.

*   Struct "metric_t": unnecessary fields "type", "plugin", "ds" have
    been removed. The field "value_ds_type" has been renamed to
    "value_type".
*   The reference counted, multiple instance "meta_data_list_head_t" type
    has been removed. Manually doing the reference counting all over the
    place is error prone and it seems like premature optimization.
*   The "<type>_destroy" functions must handle NULL gracefully. Removed
    NULL-checks around their invocation to improve readability.

# Conflicts:
# src/daemon/metrics_list_test.c

daemon: Reworked some code in src/daemon/plugin.[ch].

Unfortunately it's all a bit messy and entangled. Since this is such
an early WIP, I didn't spend the (substantial) time needed to pick this
into separate changes. The changes in this commit are:

*   Create a consistent naming schema for the identity functions:
    *   Rename "create_identity" to "identity_create_legacy".
    *   Rename "clone_identity" to "identity_clone".
    *   Rename "destroy_identity" to "identity_destroy".
*   Add "identity_create" to allocate a new identity_t.
*   Copy key and value strings within "identity_add_label".
    *   Make use of "identity_create" and "identity_add_label" in
        "identity_clone", "identity_create_legacy" and others that used
        to fiddle with the AVL tree directly.
*   Remove the "_p" suffix used for pointers. This is quite unusual for
    the collectd codebase.

# Conflicts:
# src/daemon/metrics_list_test.c

daemon: Use metric_t internally

This is a WIP

This commit is where the major transform takes palce; the internal
representation is changed, and the read plugins use that indirectly
when they submit a value list transparently.

The baromerter read plugin has been converted to using metric_t
representation natively.

The write plugins have to be adapted to use these new single data
source metrics.

Signed-off-by: Manoj Srivastava <srivasta@google.com>
Change-Id: I9bdeaa59de5c58d11c0ae0e7b55d68d9e4d77fa1

# Conflicts:
# src/daemon/metrics_list_test.c

[metric-label-support]: Modify write queue to use metric_t

This commit adds an updated write queue data structure, and updates
the enqueue and dequeue calling paths. Note that while this compiles
and the tests pass, thisis not a functioning collectd by itself, the
caching and networking code is a work in progress.

Signed-off-by: Manoj Srivastava <srivasta@google.com>
Change-Id: I7f41f9271abc481067b9bcdedf88d2c5b5da9bc9

[metric-label-support]: Utility functions for the new data structure

This commit adds utility function to clone and destroy identity and
metrics objects introduced earlier, and adds unit testing for them.

Signed-off-by: Manoj Srivastava <srivasta@google.com>
Change-Id: I87ffe1e4b8393be7a5a6e1c5714cd28e2cf0a355

[metric-label-support]: Utility to convert value_list_t to metric_t

This is another step in implementing the proposal defined in the
document  "Adding Labels to Collectd Metrics"
 - https://docs.google.com/document/d/173gGP3tUD3yfN2NNHxCv0BsKsacfDlSyoaQIn7MqLtQ/edit?usp=sharing
This commit adds a utility method to convert from the old metric
represetation to a the new datastructures updated as per the document:
"Compare data structures for metric labels (collectd)"
- https://docs.google.com/document/d/1RZ7YAO6lWcDDvevzxFGVDgv4UQpdgWoT7OCP9Vpb2CU/edit?usp=sharing

This method is designed to be called from plugindispatch_values during
the transition period before read plugins are amended to use the
metric_t data structure directly.

The unit test serves as a example usage.

Signed-off-by: Manoj Srivastava <srivasta@google.com>
Change-Id: Iecfaf06355a53c1ad2951775ee3f331a852ef14d

[metric-label-support]: Code cleanup

This commit adds no change in behaviour or functionality, but cleans
up a few diagnostic, updates  the metrics_t data structure to add
names of the type and subtype, and fixes a space/tab anpmaly.. The
tests still work.

Signed-off-by: Manoj Srivastava <srivasta@google.com>
Change-Id: I9e2d7283f2aaf5b7d67747bae7eb781b87fb4595

[metric-label-support]: Initial setup

This is the initial commit on the proposal defined in the document
"Adding Labels to Collectd Metrics"
  - https://docs.google.com/document/d/173gGP3tUD3yfN2NNHxCv0BsKsacfDlSyoaQIn7MqLtQ/edit?usp=sharing
With the datastructures updated as per the document:
"Compare data structures for metric labels (collectd)"
  - https://docs.google.com/document/d/1RZ7YAO6lWcDDvevzxFGVDgv4UQpdgWoT7OCP9Vpb2CU/edit?usp=sharing

This commit adds the initial declaration and definition of the basic
data structure, and sets up the build system to add in unit testing
for the label store, the identity and metrics data streuctures.

Signed-off-by: Manoj Srivastava <srivasta@google.com>
Change-Id: I29673ab36f75db2ac487ee6a22907e3deba2f965

src/daemon/metric.[ch]: Add metric_label_{get,set,reset}().

label_set_{get,add,reset} have been made static, providing the calling
code with a nicer API.

src/daemon/metric.[ch]: Data types and functions representing metrics.

This implementation closely mirrors the Prometheus / OpenMetrics
protocol buffer.

A "metric family" is a set of metrics, all with the same name (but
different labels and/or label values). The identity is split between the
two types: the "metric family" holds the "name" while the "metric" holds
the labels. Likewise, the "metric family" holds the metric type, the
"metric" holds the metric value.

This commit contains all required changes to compile the daemon, but
pretty much everything else still fails to build. The tests have not yet
updated either.

The metric_marshal_text() function uses a strbuf_t* and generates the
OpenMetric exposition format.

Merge pull request #3508 from octo/metric_t

Implement metric_t and metric_family_t.

src/daemon/metric.[ch]: Improve doc comments.

statsd plugin: Rename "metric_type_t" to avoid a name clash.

format_json: Rename "label_t" to "keyval_t" in test.

This is to avoid a name clash with the type defined in "metric.h".

src/testing.h: Support NULL pointers in EXPECT_EQ_STR().

Changes in "format_graphite" fix the following error:

./src/testing.h:77:56: error: the address of ‘want’ will always evaluate as ‘true’ [-Werror=address]
   77 |              #actual, got__ ? got__ : "(null)", expect ? expect : "(null)");   \

src/testing.h: Support const pointers in CHECK_NOT_NULL().

src/daemon/metric.[ch]: Implement metric_family_append().

src/daemon/metric.[ch]: Add metric_family_metric_reset().

This and metric_family_metric_append() replace the metric_list_{add,reset}
functions.

src/daemon/metric.[ch]: Add metric_label_{get,set,reset}().

label_set_{get,add,reset} have been made static, providing the calling
code with a nicer API.

src/daemon/metric.[ch]: Implement metric_parse_identity().

src/daemon/metric.[ch]: Data types and functions representing metrics.

This implementation closely mirrors the Prometheus / OpenMetrics
protocol buffer.

A "metric family" is a set of metrics, all with the same name (but
different labels and/or label values). The identity is split between the
two types: the "metric family" holds the "name" while the "metric" holds
the labels. Likewise, the "metric family" holds the metric type, the
"metric" holds the metric value.

This commit contains all required changes to compile the daemon, but
pretty much everything else still fails to build. The tests have not yet
updated either.

Merge pull request #3509 from octo/avltree

avltree: Return errno values; unify argument handling.

avltree: Return errno values; unify argument handling.

Merge pull request #3507 from octo/remove-absolute

Tree-wide: Remove support for "absolute" metric values.

Tree-wide: Remove support for "absolute" metric values.

Merge pull request #3481 from octo/strbuf

strbuf: Library that implements printing to a dynamically allocated buffer.

strbuf: Update buf->size if realloc succeeds.

strbuf: Implenet "strbuf_printn" and "strbuf_print_escaped".

common: Use the strbuf library in format_values().

common: Add test for format_values().

strbuf: Add STRBUF_CREATE_FIXED, unify naming.

This changes the macro and function name to use "fixed" when a buffer and
its size are provided, and "static" if `sizeof()` is used to determine the
size.

The macros now return and expect a `strbuf_t`, i.e. *not* a pointer. This
makes it easier to see that the buffer is allocated on the stack and may
go out of scope.

The buffer size in the tests has been changed to 9, so that `sizeof(array)`
and `sizeof(pointer)` return different values.

strbuf: Improve documentation of exported functions.

strbuf: Add tests for stack allocation.

Add tests for the STRBUF_CREATE[_STATIC] macros. This surfaced a bug with
the STRBUF_DESTROY macro, which was missing `… while (0)` at the end.

strbuf: Library that implements printing to a dynamically allocated buffer.

Merge pull request #3493 from octo/configfile

src/daemon/configfile.c: Remove special case for the "libvirt" plugin.

src/daemon/configfile.c: Remove special case for the "libvirt" plugin.

Merge pull request #3263 from duckfez/http_output_fix

write_http no longer writes http response to stdout

Merge pull request #3463 from miesi/master

mysql: report slave_io_running and slave_sql_running

run format.sh to comply with coding style

replace long if else with compact code

replace slave_running with generic bool

mysql: report slave status running io and sql

Merge pull request #3458 from octo/man-types-db

types.db(5): Improve wording and document conventions.

types.db(5): Improve wording and document conventions.

Merge pull request #3398 from mbakhoff/sensu-source

write_sensu: add the IncludeSource option

Merge pull request #3443 from octo/sensors-man

collectd.conf(5): Document the format expected by "sensors"' ignore list.

Merge pull request #3452 from maciejsszmigiero/mqtt-reconnect-fix

MQTT: Resubscribe after a reconnect

Fix code style issues in src/mqtt.c

This is an automated code style fix generated by running
"contrib/format.sh src/mqtt.c".
No functional change intended.

Signed-off-by: Maciej S. Szmigiero <mail@maciej.szmigiero.name>

MQTT: Resubscribe after a reconnect

After losing our connection to a MQTT broker our subscription will be gone,
too, so we need to subscribe to our topic once again after reconnecting,
otherwise collectd will not receive any MQTT messages anymore.

Signed-off-by: Maciej S. Szmigiero <mail@maciej.szmigiero.name>

Merge pull request #3450 from hightea/zk-add-mntr-fields

Zookeeper - Add missing 3.5 mntr fields

Zookeeper - Add missing 3.5 mntr fields

Add missing zk_last_proposal_size , zk_min_proposal_size and zk_max_proposal_size mntr fields (available since zk 3.5) to handled fields

Merge pull request #3446 from F4-Group/handle-full-stat-name

Add target in category for varnish 6

Add backend name in vbe stat

Split stat key on dot, extract target for SMA/SMF and use it in category

For example, this adds v0 and Transient for SMA, allowing to monitor
cache size properly

Fixes https://github.com/collectd/collectd/issues/2206

Merge pull request #3445 from F4-Group/varnish6-support

Add varnish 6 support

Restrict workers stats to versions before v6

Update counters for MSE 3.0 - varnish plugin

Add counter for vmod-goto, only for Varnish Plus 6

VSM only apply for Varnish 4 or 5

Add varnish 6 new values

Extracted from https://github.com/collectd/collectd/pull/3360

Merge pull request #3410 from mbakhoff/amqp-failover

amqp: allow multiple hosts for failover

amqp: improve example conf

Merge pull request #3441 from maciejsszmigiero/disk-plugin-udev-rule

Provide an udev rule with ID_SERIAL based, disk plugin usable ID attribute.

Update conf files

Add varnish 6 support

Merge pull request #2730 from viulian/master

adding mosquitto_loop after mosquitto_publish, otherwise qos=1 messag…

collectd.conf(5): Document the format expected by "sensors"' ignore list.

This question recently came up on the mailing list.

Provide an udev rule with ID_SERIAL based, disk plugin usable ID attribute

Disk plugin UdevNameAttr option is very useful for making sure that the
same disk always ends in the same RRD file no matter which particular
device node it ends being assigned by the OS.

However, using the most fitting ID_SERIAL udev attribute for this purpose
results in data about the whole disk and each partition being mixed
together incorrectly, since this attribute has exactly the same value for
the whole disk device node and its particular partition nodes.

Let's introduce an ID_COLLECTD attribute instead which differentiates
between the whole disk and its particular partitions in a new udev rule
file provided in "contrib" directory.
To warn users about the issue let's also add a relevant note to the
UdevNameAttr option description.

Based on Stewart Adam's workaround from
https://github.com/collectd/collectd/issues/823

Signed-off-by: Maciej S. Szmigiero <mail@maciej.szmigiero.name>

Code files don't need execute permission

Some .c files had execute permission bit set needlessly.

Signed-off-by: Maciej S. Szmigiero <mail@maciej.szmigiero.name>

Merge pull request #3439 from ffontaine/master

src/dpdk_telemetry.c: fix build on musl

src/dpdk_telemetry.c: fix build on musl

Include unistd.h instead of sys/unistd.h to fix the following build
failure on musl:

src/dpdk_telemetry.c:43:10: fatal error: sys/unistd.h: No such file or directory
 #include <sys/unistd.h>
          ^~~~~~~~~~~~~~

Fixes:
 - http://autobuild.buildroot.org/results/aafb8c72f147fefc7a988c45e4dc17de48b07a95

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Merge pull request #2841 from elfiesmelfie/feat_mdevents

New plugin to read RAID events

Merge pull request #3432 from ryan-mccabe/master

amqp1: Add options to limit send queue length

clang-format