memory plugin: Remove "slab" and "available" memory.

Under Linux, the plugin reported "slab" (kernel data structures cache) and
"available" (estimate of how much memory might be available without swapping).
These metrics group memory along different dimensions than other reported
memory, leading to double counting of some memory. The result was that the sum
of all memory metrics was not constant.

memory plugin: Remove overly verbose prefix from enum values.

memory plugin: Add the "system.memory.limit" metric.

memory plugin: Enable utilization reporting by default.

This follows OpenTelemetry semantic convention.

memory plugin: Rename `ValuesPercentage` to `ReportUtilization`.

memory plugin: Rename `ValuesAbsolute` to `ReportUsage`.

memory plugin: Report a fraction of 1 rather than a percentage.

write_riemann plugin: Terminate `riemann_event_set` arguments with `RIEMANN_EVENT_FIELD_NONE`.

`riemann_event_set` is a variadic function, that means it accepts a variable
number of arguments. That means it needs some way to determine – at runtime
– how many arguments there are. It appears to be doing so by using
`RIEMANN_EVENT_FIELD_NONE` to indicate the last element in the argument
list. Unfortunately I was unable to find the library's documentation and
code and could not verify this.

That means that the argument list passed to `riemann_event_set` was not
always terminated, causing it to read past where it was supposed to and
adding random crap into the message it crafted.

Issue: #4050

Merge pull request #4228 from octo/6/interface

[collectd 6] interface plugin: Align metrics with OpenTelemetry recommendations.

interface plugin: Add link to spec.

interface plugin: Fix variable name: `fam` -> `fams`.

interface plugin: Align metrics with OpenTelemetry recommendations.

ChangeLog: Interface plugin: The metric schema has been aligned with OpenTelemetry semantic conventions.

Merge pull request #4233 from octo/6/strncpy

[collectd 6] feat: Improve `sstrncpy` semantic.

common: Overhaul the `sstrncpy` implementation.

Properly check all arguments and behave in a sane manner, i.e. don't crash.

I went back and forth a few times on whether to return `NULL` or `dest` when `n == 0`.

*   On the one hand, `n == 0` is not really an error and a situation that could
    naturally occur, e.g. when you're implementing code that appends to the end
    of a string.
*   On the other hand, if we return `NULL` when `n` is zero we can guarantee
    that we will either return `NULL` or a null terminated string.

Ultimately I decided to go with the stronger guarantee, i.e.

```c
if (n == 0) {
  return NULL;
}
```

common: Reserve a null byte when calling `strncpy`.

While `sstrncpy` guarantees a null terminated string, some compilers don't get
the memo and complain about the buffer size being equal to the size provided to
*strncpy(3)*. This *is* a potential source of error with *strncpy(3)*, because
if the source string is longer than the buffer, the buffer is not null
terminated. That is the precise reason `sstrncpy` exists in the first place.

Make these compilers happy by decreasing the size passed to *strncpy(3)* by
one.

Merge pull request #3795 from kenhys/v6-lua

[collectd 6] lua: migrate the Lua plugin to v6.0

lua: update data types section

It describes changes about internal data type.

Signed-off-by: Kentaro Hayashi <kenhys@gmail.com>

lua: migrate interface to v6 plugin API

Since v6, value_list_t is deprecated and metric_family_t is
introduced.

metric_family_t is mapped to the following Lua table:

  {
    name => ...,
    help => ...,
    unit => ...,
    type => ...,
    resource => {
      key1 => value1,
      ...,
      keyN => valueN
    }
    metric => {
     [1] => {
       label => {
         key1 => value1,
         ...,
         keyN => valueN
       }
       value => ...,
       time => ...,
       interval => ...,
       meta => {
         key1 => value1,
         ...,
         keyN => valueN
       }
     },
     ...
     [N] => {
       ...
     }
  }

Closes: #3654
Signed-off-by: Kentaro Hayashi <kenhys@gmail.com>

lua: enable Lua

Signed-off-by: Kentaro Hayashi <kenhys@gmail.com>

Auto-Merge pull request #4231 from octo/6/submodules

Automatically merged due to "Automerge" label

.gitmodules: Defaut to shallow submodules.

.github/workflows/: Only activate the opentelemetry submodule.

memory plugin: Use a constant for label names.

Merge pull request #4180 from octo/open-telemetry

[collectd 6] Write OpenTelemetry: New plugin to export metrics via OTLP over gRPC.

write_open_telemetry plugin: Fix minor memory leak.

Error:

```
==171106== 8 bytes in 1 blocks are definitely lost in loss record 58 of 228
==171106==    at 0x48407B4: malloc (vg_replace_malloc.c:381)
==171106==    by 0x492E7F9: strdup (strdup.c:42)
==171106==    by 0x1131F9: cf_util_get_string (configfile.c:1127)
==171106==    by 0x4EA3FD0: ot_config_node (write_open_telemetry.cc:206)
==171106==    by 0x4EA3FD0: ??? (write_open_telemetry.cc:262)
==171106==    by 0x111794: dispatch_block_plugin (configfile.c:464)
==171106==    by 0x1119B9: dispatch_block (configfile.c:508)
==171106==    by 0x11313D: cf_read (configfile.c:1100)
==171106==    by 0x11034E: configure_collectd (collectd.c:356)
==171106==    by 0x1104B6: init_config (collectd.c:406)
==171106==    by 0x121F3F: main (cmd.c:167)
```

src/collectd.conf.in: Add a `LoadPlugin` line for write_open_telemetry.

format_open_telemetry: Add `return` statement to that the block is not empty.

Write Open Telemetry plugin: Improve readability of time comparison.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

format_open_telemetry: Handle unexpected metric types gracefully.

format_open_telemetry: Unify the `set_gauge` and `set_sum` functions.

format_open_telemetry: Reuse local variable.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

src/daemon/metric.c: Drop redundant check from `metric_family_clone`.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

format_open_telemetry: Populate the `unit` field.

.cirrus.yml: Tell CirrusCI to also clone submodules.

./contrib/format.sh src/write_open_telemetry.cc

write_open_telemetry plugin: Adapt to changed resource_metrics semantic.

write_open_telemetry plugin: Configure the flush callback to be called periodically.

write_open_telemetry plugin: Use resource metrics to stage metric families.

format_open_telemetry: Accept a `resource_metrics_set_t`.

write_open_telemetry plugin: Take the resource attributes into account when comparing metric families.

The `staged_metric_families` tree was only using the metric family's name
to stage metrics, which is incorrect with the new resource attributes.

The code is now using the new `metric_family_compare` function to take the
attributes also into account.

./contrib/format.sh src/utils/format_open_telemetry/format_open_telemetry.h

src/collectd.conf.pod: Fix typo.

Fix .cc .h -> .proto mappings.

How did this ever build on my machine?!

Add OpenTelemetry .proto files to the distribution.

This fixes `make distcheck`.

Add `using opentelemetry::proto::resource::v1::Resource`.

Add support for resource attributes.

Makefile.am: Only build OpenTelemetry protos if needed by write_open_telemetry.

The plugin is only activated when protoc supports optional fields, which
is required by the OT protos.

configure: Check whether protoc requires `--experimental_allow_proto3_optional`.

write_open_telemetry plugin: Fix "unused variable" compile warning.

The variable is only used when compiling with `--enable-debug`.

GitHub Actions: Fetch submodules when checking out the repository.

write_open_telemetry plugin: Update copyright headers.

write_open_telemetry plugin: Document configuration options.

write_open_telemetry plugin: Remove the unused "Path" config option.

write_open_telemetry plugin: Set up the build system properly.

My initial thought was to treat the file generated from protocol buffers
like the code generated by flex/yacc. However, protocol buffer code needs
to be linked with the protobuf library, so packaging the generated code
with the distribution may cause compatibility issues in the future.

write_open_telemetry plugin: Implement gRPC sending logic.

write_open_telemetry plugin: Implement conditional flushing.

write_open_telemetry plugin: s/cached/staged/

write_open_telemetry plugin: Wrap headers with `extern "C"`.

This is required for linking correctly.

write_open_telemetry plugin: Initial commit.

New utility: format OpenTelemetry.

This new utility formats a metric family as an OpenTelemetry
"ResourceMetric" and writes the serialized protocol buffer to the provided
string buffer.

git submodule add https://github.com/open-telemetry/opentelemetry-proto/

Merge pull request #4188 from octo/6/write_http_otlp_json

[collectd 6] Add OTLP support to the Write HTTP plugin.

write_http plugin: Remove `WH_FORMAT_OTLP_PROTO`.

format_json: Add the `unit` field to the OpenTelemetry output.

collectd.conf(5): Improve wording.

collectd.conf(5): spell "time series database" consistently.

write_http plugin: Adapt to changed resource_metrics semantic.

write_http plugin: Clear the response buffer before issuing the request.

Previously all responses were concatenated together until the buffer was
full, at which point no additional responses were accessible.

write_http plugin: Make the OTLP_JSON output configurable.

Also updates the manpage to reflect this change.

write_http plugin: Add OTLP JSON support using resource metrics.

format_json: Fix unit test.

format_json: Emit only one `ScopeMetrics` per `ResourceMetrics`.

Also fixed the unit test to pass again.

format_json: Update `format_json_open_telemetry` to use resource metrics.

format_json: Move conditional error logging to a separate function.

This reduces the amount of duplicate code being generated.

Co-authored-by: Florian Forster <octo@collectd.org>

format_json: Use `yajl_gen_double` to encode gauge metrics.

This also fixes the unit test by embedding PACKAGE_VERSION.

format_json: Add a missing "array open" call.

format_json: Add a unit test for the OpenTelemetry format.

format_json: add special error handling to `json_add_string`.

format_json: only log errors when a `yajl_gen_` call fails.

write_http plugin: Add initial support for exporting OTLP via HTTP.

format_json: Add `format_json_open_telemetry` for creating OpenTelemetry JSON.

Merge pull request #4219 from octo/6/memory

[collectd 6] memory plugin: Align metrics with OpenTelemetry recommendations.

memory plugin: Align metrics with OpenTelemetry recommendations.

* The "state" label has been renamed to "system.memory.state".
* Metric descriptions and units have been added.

Merge pull request #4220 from octo/6/write_prometheus

write_prometheus plugin: Use the `unit` field to create metric names.

write_prometheus plugin: Remove invalid characers from the unit.

contrib/format.sh src/write_prometheus.c

write_prometheus plugin: Use the `unit` field to create metric names.

Reference:
https://opentelemetry.io/docs/specs/otel/compatibility/prometheus_and_openmetrics/#metric-metadata-1

Merge pull request #4194 from octo/6/unit

[collectd 6] Add a `unit` field to the `metric_family_t` struct.

contrib/format.sh src/daemon/unit.h

src/daemon/unit.h: Reference OpenTelemetry docs.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

src/daemon/unit.c: Use `string_has_suffix()` from `common`.

src/daemon/unit.c: Add reference link to metric names and units.

src/daemon/metric.h: Add doc comment for the `unit` field.

src/daemon/plugin.c: Automatically determine the unit if possible.

src/daemon/unit.[ch]: Add utility for determining the unit.

src/daemon/metric.[ch]: Add `unit` to `metric_family_t`.

Merge pull request #4212 from octo/6/names

[collectd 6] Allow arbitrary UTF-8 strings as label names.

Makefile.am: Fix inconsistent indentation.

Merge branch 'collectd-6.0' into 6/names

Merge pull request #4213 from octo/6/write_prometheus

[collectd 6] Improve Write Prometheus' handling of resource attributes.