resource_metrics: Skip duplicate metrics instead of erroring out.

The semantics have been changed to simply ignore metrics that are already
in the set. The previous semantic was optimized for a "add and if that
fails flush and try again" plugin behavior. With the support for multiple
instances of the same metric (at different times), there no longer is a
need to ensure metrics in the set are unique.

resource_metrics: Treat metrics with different time stamps as different metrics.

resource metrics: Add missing free to `resource_metrics_reset`.

resource_metrics: Doc comment improvements.

resource_metrics: Fix bugs surfaced by the unit test.

* Sort metric families after inserting.
* Dereference the pointer-pointer returned by `bsearch` in `lookup_family`.
* Delete the metrics created by `metric_family_clone`.
* Run ./contrib/format.sh

resource_metrics: Add unit test.

New utility: resource_metrics.

Resource metrics allows plugin to stage metric families, grouped by
resource. This is designed to work well with plugins that export the
OpenTelemetry protocol.

daemon: Add `metric_family_compare` and `label_set_compare`.

Merge pull request #4191 from octo/6/load

[collectd 6] Load plugin: Migrate to collectd 6 data structures.

src/daemon/metric.h: Improve doc comment for `metric_family_append`.

./contrib/format.sh src/load.c

Load plugin: Simplify libstatgrab implementation.

Load plugin: rewrite Linux implementation using `read_text_file_contents`.

load plugin: Migrate to collectd 6 data structures.

Merge pull request #4192 from octo/6/irq

 [collectd 6] IRQ plugin: Migrate to collectd 6 data structures.

irq plugin: Remove special case for the "FIQ" interrupt.

format_json: Improve the doc comment for `irq_strsplit`.

Contrast the behavior to `strsplit`.

Co-authored-by: Florian Forster <octo@collectd.org>

irq plugin: Parse counters as `DS_TYPE_DERIVE`.

irq plugin: Document the return value of `irq_strsplit`.

common: Improve coding style of `strsplit`.

* Combine declaration and initialization.

irq plugin: refactor the NetBSD code.

* Declare local variables late.
* Initialize when declaring variables.
* Use `metric_family_append`.

irq plugin: Add additional labels to the Linux implementation.

The Linux implementation will now emit the following fields if available:

* device
* trigger
* kernel_module
* name (a human readable name, e.g. "Non-maskable interrupts")

[collectd 6] irq: migration to v6.0

Merge pull request #4187 from octo/6/resource

[collectd 6] RFC: Add resource attributes.

Move resource attributes into `metric_family_t`.

src/daemon/metric.h: Fix typos in doc comment.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

Change the semantic of `label_set_clone`.

It checks to ensure that `dest` is empty and returns `EINVAL` otherwise.

src/daemon/metric.c: improve readability of "first_label" logic.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

src/daemon/metric.h: Fix typo.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

format_graphite: Add support for resource attributes.

Add resource labels to `metric_t`.

Merge pull request #4176 from octo/6/write_http

[collectd 6] add reference counting to plugins that register multiple callbacks with the same `user_data_t`.

write_riemann plugin: Unify reference counting code with other plugins.

write_http plugin: Unify coding style.

A few plugins implement reference counting. Ensure that they use locks
etc. consistently.

write_tsdb plugin: Implement reference counting.

write_syslog plugin: Implement reference counting.

write_riemann plugin: use reference counting to when freeing user data.

While reference counting was present previously, it had problems:

*   The reference passed to `plugin_register_flush()` was not counted.
*   If a flush plugin was registered, `free_func` was set to NULL but
    the reference passed to `plugin_register_notification()` was still
    counted, meaning in that case the counter never went to zero.
*   Mutexes must be unlocked when calling `pthread_mutex_destroy()`.
*   The code limped on after an error, returning a failure eventually.
    This is unnecessarily complex control flow that has been simplified.

write_stackdriver plugin: Implement reference counting.

src/write_http.c: use reference counting to decide when to free user_data

The teardown code for the wh_callback_t struct previously relied on
the order in which the different callback functions are de-initialized
to be known and to never change.

This is prone to failure and is indeed currently broken, leading to a
segmentation fault on collectd exit.

Fix this by counting the active references to the user data and freeing
it once it reaches zero.

Signed-off-by: Leonard Göhrs <l.goehrs@pengutronix.de>

Merge pull request #4182 from octo/6/configure-write_http

configure: Disable the write_http plugin if libyajl2 is not found.

configure: Disable the write_http plugin if libyajl2 is not found.

Merge pull request #4181 from octo/6/otep119

Update standard system metric names in accordance with OpenTelemetry.

memory plugin: Use standard system metric names (OTEP #119)

https://github.com/open-telemetry/oteps/blob/main/text/0119-standard-system-metrics.md

disk plugin: Use standard system metric names (OTEP #119)

https://github.com/open-telemetry/oteps/blob/main/text/0119-standard-system-metrics.md

df plugin: Use standard system metric names (OTEP #119)

https://github.com/open-telemetry/oteps/blob/main/text/0119-standard-system-metrics.md

cpu plugin: Use standard system metric names (OTEP #119)

https://github.com/open-telemetry/oteps/blob/main/text/0119-standard-system-metrics.md

Merge pull request #4179 from octo/6/write_log

write_log plugin: Remove empty lines, add example config

./contrib/format.sh src/write_log.c

write_log plugin: Add example config block to `collectd.conf`.

write_log plugin: remove trailing newlines in the Graphite format.

The `INFO()` log macro will add a newline, which was leading to empty lines
being printed.

Merge pull request #4174 from octo/workflows6

[collectd 6.0] Fix the build

Intel RDT plugin: use `pqos_mon_start_cores()` if available.

Intel RDT plugin: use `pqos_mon_start_pids2()` if available.

Newer versions of the pqos library deprecate the previous function, so
we have to migrate even though it makes memory management quite ugly.

ChangeLog: Intel RDT plugin: support for PQOS ≥5.0.0 has been added.

mdevents plugin: Re-enable the `compile_regex` test.

configure.ac: De-cuplicate `plugin_foo` definitions.

Apparently we defined a bunch of `plugin_foo` variables that were never
used. The generated list from the arguments to `AC_PLUGIN` now appear as
duplicates. This removes the previously unused definitions and leaves
the generated ones.

capabilities plugin: Make state tracking clearer in the MDH handler.

procevent plugin: Consistently mention the unit in log message.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

procevent plugin: Reference buffer sizing guideline.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

procevent plugin: report errors in human readable form.

procevent plugin: ensure the ring buffer length is not zero.

The manpage documents a default of 10, which was not implemented. This
change brings the implementation in line with the documentation.

procevent plugin: remove use of a nested flexible array member.

The previous code used an ad-hoc struct to construct or parse a Netlink
message. This relied on allocating a field _after_ the struct with the
flexible array member, which is prohibited by the C standard, leading to
compiler warnings.

SMART plugin: initialize struct passed to `ioctl(2)`.

Valgrind is complaining about a conditional jump based on uninitialized
memory:

```
==66462== Conditional jump or move depends on uninitialised value(s)
==66462==    at 0x10C500: smart_read_nvme_intel_disk (in /__w/collectd/collectd/test_plugin_smart)
==66462==    by 0x10D366: test_x (in /__w/collectd/collectd/test_plugin_smart)
==66462==    by 0x10D638: main (in /__w/collectd/collectd/test_plugin_smart)
```

This may be due to the `struct nvme_additional_smart_log` being
uninitialized when it's being passed to `ioctl(2)`.

This there, this removed an unnecessary level of indentation.

Netlink plugin: complete initialize structs used for testing.

Valgrind complains about a conditional jump based on uninitialized
memory:

```
==66438== Conditional jump or move depends on uninitialised value(s)
==66438==    at 0x10CA06: vf_info_submit (in /__w/collectd/collectd/test_plugin_netlink)
==66438==    by 0x1110F2: test_vf_submit_test (in /__w/collectd/collectd/test_plugin_netlink)
==66438==    by 0x112EAC: main (in /__w/collectd/collectd/test_plugin_netlink)
```

This is likely caused by the `vf_stats_t` being only partially
initialized. Using a struct initializer is not only cleaner, it also
ensures the remainder of the struct is initialized to zero.

Add Valgrind suppression for libvirt memory leak.

NUT plugin: import `<time.h>` before `<upsclient.h>`.

configure.ac: if neither UPSCONN{,_t} type was found, refuse to build NUT plugin

NOTE: src/nut.c also has pragmas to error out in this situation,
but that handling is compiler-dependent and happens too late in
the checkout/configure/build loop.

Presumably this inability to find the type in the earlier-found header file
is also triggered by build environment "inconsistencies" like lack of basic
types in the libc implementation (maybe highlighting the need for additional
headers or macros for the platform).

configure.ac, src/nut.c: detect int types required by NUT API we build against

Either use the stricter int types required by NUT headers since v2.8.0 release,
or the relaxed (arch-dependent) types required by older NUT releases - depending
on which NUT API version the collectd is building against at the moment.

Inspired by discussion at https://github.com/networkupstools/nut/issues/1638

capabilities plugin: remove warning about "leaking" a pointer to a local variable.

```
src/capabilities.c: In function 'cap_http_handler':
src/capabilities.c:209:23: error: storing the address of local variable '({anonymous})' in '*connection_state' [-Werror=dangling-pointer=]
  209 |     *connection_state = &(int){44};
      |     ~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~
src/capabilities.c:209:31: note: '({anonymous})' declared here
  209 |     *connection_state = &(int){44};
      |                               ^
src/capabilities.c:209:31: note: 'connection_state' declared here
```

cpu plugin: Fix potential buffer overflow.

```
In function 'cpu_commit_without_aggregation',
    inlined from 'cpu_commit' at src/cpu.c:563:5,
    inlined from 'cpu_read' at src/cpu.c:925:3:
src/cpu.c:534:50: note: directive argument in the range [0, 18446744073709551614]
  534 |       snprintf(cpu_num_str, sizeof(cpu_num_str), "%zu", cpu_num);
      |                                                  ^~~~~
src/cpu.c:534:7: note: 'snprintf' output between 2 and 21 bytes into a destination of size 16
  534 |       snprintf(cpu_num_str, sizeof(cpu_num_str), "%zu", cpu_num);
      |       ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
```

gmond plugin: Improve `mc_handle_metadata_msg()`.

This function was not properly formatted. While there:

* Handle the error instead of indenting the successful flow.
* Declare variables late.
* Initialize variables when declaring them.

gmond plugin: Look for RPC headers in /usr/include/tirpc.

glibc removed the SunRPC headers, and the replacement headers are in a
different location. Try and look for them there.

gmond plugin: Import `<ganglia.h>`.

`<gm_protocol.h>` has been removed in new versions of libganglia.

curl_stats: fix compatibility with new versions of cURL.

Use integer based keys for metrics if available.

cURL ≥ 7.55.0 provides additional keys that allow getting certain
metrics as integers rather than doubles, e.g. content length. In some
newer versions of cURL, the original keys (using doubles) are marked as
deprecated.

ChangeLog: cURL, cURL-JSON, cURL-XML, Write HTTP plugins: fix compatibility with new versions of cURL.

Import workflow definitions from `main`.

configure: disable all plugins not yet supporting collectd 6.

This should allow us (and users) to just run `./configure` without
further flags, lowering the barrier to entry. It also allows us to
remove these configure flags from the CI configuration.

configure: ensure there is a `plugin_foo` variable for each plugin.

Merge pull request #4173 from eero-t/log-metrics

[Collectd 6] gpu_sysman: improve metric variants handling

gpu_sysman: minor improvements to Sysman plugin documentation

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

gpu_sysman: rename "counter" output variant to more generic "base"

And make it control output for all base metric values, not just
counters.  That allows disabling output of values for:
- Memory usage
- Frequency
- Temperature
If one wants to see only their rates.

That will be useful with the new "LogMetrics" option in next commit.

Did also small optimization for output variant checks (no need for
free() if they're moved earlier).

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

gpu_sysman: better metrics check interval counter name

Collectd value_t struct has also "counter" field, so this makes Sysman
plugin check interval counter easier to find.

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

gpu_sysman: add unit (s) to interval settings output

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

Merge pull request #3810 from manuelluis/mlsr/collectd6-df

[collectd 6] df: migration to v6.0

[collectd 6] df: migration to v6.0

Merge pull request #4175 from octo/write_log6

write_log plugin: remove the "write_log values:" line when logging metrics.

write_log plugin: remove the "write_log values:" line when logging metrics.

gpu_sysman: fix initial min memory check value

High end GPUs can have more memory than earlier initial dummy value.

Reported-by: Valtteri Rantala <valtteri.rantala@intel.com>
Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

gpu_sysman: Improve counter metrics documentation

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

gpu_sysman: fix "Enabled metrics: none" logging

"none" could be logged erronously when "DisableEngine" is set.

Add test code for that (does not validate the log output, but
runs that and "no metrics + logging" cases so output can be
checked manually).

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

gpu_sysman: log correct power limit error value

Fixes: 55a9296a0ec1b
Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

gpu_sysman: Improve disabled/enabled metrics logging

- Move enabled/disabled metric reporting to a separate function
- Report metrics enabling and metric details enabling separately
- Error if all metrics are disabled, regardless of detail options
- Explicitly log what metrics are still being reported if any of
  them were disabled at run-time

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

gpu_sysman: Output device ECC state with other GPU info at start

Added in L0 spec v1.4.

Requires loader 1.8.0 version released in May 2022.

(With minor cleanup comments from Alexey applied.)

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

gpu_sysman: Add mapping for new memory types

Added in L0 spec v1.3.

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

[collectd 6] exec: make PUTMETRIC work

The cmd_handle_putmetric function checks if the command actually is
a PUTMETRIC command, at least that is what is supposed to check.
Prior to this fix it actually checked for PUTVAL and always prints a

    -1 Unexpected command: `PUTMETRIC'.

error. While at it also remove the development printf that results in

    set_option("type", "GAUGE")
    set_option("type", "Counter")
    …

being printed during normal operation.

Signed-off-by: Leonard Göhrs <l.goehrs@pengutronix.de>

[collectd 6] exec: add PUTMETRIC command

Most existing setups using exec will use PUTVAL, which should just continue
to work with collectd 6 due to the plugin_dispatch_values compatibility
function.
New plugins should however use the new PUTMETRIC.
The respective command handler already exists. This commit just pipes it
through.

Signed-off-by: Leonard Göhrs <l.goehrs@pengutronix.de>

src/daemon/plugin.c: init fam.{time,interval} before uc_update(fam) on dispatch

The changes in commit

  55efb56a ([collectd 6] src/daemon/plugin.c: Use one thread per write plugin)

changed the order in which the time and interval on a to-be-dispatched metric
family were set and uc_update() was called on the metric family.

The time and interval inside a metric family have to be set before calling
uc_update() on it, otherwise warnings like these will be generated en masse[1]:

  uc_update: Value too old: … value time = 0.000; last cache update = 0.000;

And the "missing" handlers for the metric family will be called resulting in
plugins like write_prometheus dropping the value, resulting in it not showing
up when queried [2].

This change requires the inroduction of a second metric_family_clone() in the
dispatch path:

 plugin_dispatch_metric_family()
 | \
 |  Has to modify the passed fam to initialize the correct time and interval.
 |  So it has to metric_family_clone() the input.
 v
 plugin_dispatch_metric_internal()
 | \
 |  Calls the filter chains and uc_update(fam), which both require correct
 |  times and intervals to be set.
 |
 |     plugin_dispatch_metric_internal() calls either fc_process_chain() or
 v <-- fc_default_action() depending on if a chain is configured.
 |\
 | fc_process_chain()
 | |
 | v
 | plugin_write()
 |   \
 |    A chain may call plugin_write() multiple times with the same fam.
 |    This means plugin_write() can not take "ownership" of the fam,
 |    put it in a queue and free it once it feels like it.
 |    It must instead create another clone to put into the queue.
 v
 fc_default_action()
 |
 v
 plugin_write()
   \
    This is the much more common case, as filter chains are a niche feature,
    and in this case we could actually transfer ownership of the fam to
    plugin_write and save a clone, but we would have to tell plugin_write()
    that it is responsible for freeing the passed fam.

The negative performance impact of the clone could be mitigated by adding a
reference count to the metric_family_t struct and only freeing it once all
references to it are gone. But that would be a larger change and not a bug fix.

Only fix the "uninitialized time and interval" bug for now.

[1]: https://github.com/collectd/collectd/pull/4026#issuecomment-1463884930
[2]: https://github.com/collectd/collectd/issues/4098

Signed-off-by: Leonard Göhrs <l.goehrs@pengutronix.de>

src/daemon/plugin.c: don't store references to stack allocated values

The changes in commit

  55efb56a ([collectd 6] src/daemon/plugin.c: Use one thread per write plugin)

wrongly assume that the references passed in to plugin_register_write()
somehow outlive the spawned write thread.
While this is true for some plugins that pass staticly allocated strings
and global user_data_t structs to plugin_register_write() it is not correct
for all plugins.

See [1] for an example of a plugin (write_http) mis-behaving due to this.

Store owned versions of the passed values instead. For user_data this means
the content of the struct and for the name it means a strdup()ed version of
the string.

[1]: https://github.com/collectd/collectd/issues/4098

Signed-off-by: Leonard Göhrs <l.goehrs@pengutronix.de>

[collectd 6] entropy: migration to v6.0

[collectd 6] src/daemon/plugin.h: Revert plugin_write documentation change

The behaviour of plugin_write with regards to fam being NULL has not changed
with the switch to one thread per write plugin, so the documentation should
not change as well.

[collectd 6] src/collectd.conf.pod polish the WriteQueueLimitHigh/Low docs

The behaviour of LimitHight/LimitLow has changed with the switch to one
thread per write plugin. This warrants a rewrite of the respective
documentation. Thanks to @eero-t for the suggestion.

[collectd 6] src/daemon/plugin.c: restore previous position of plugin_write

The new queue design resulted in plugin_write being based on
enqueue_metric_family, which resulted in the functions moving around in the
file. This made the diff harder to read. Restore old position.

Signed-off-by: Leonard Göhrs <l.goehrs@pengutronix.de>