lua: update data types section

It describes changes about internal data type.

Signed-off-by: Kentaro Hayashi <kenhys@gmail.com>

lua: migrate interface to v6 plugin API

Since v6, value_list_t is deprecated and metric_family_t is
introduced.

metric_family_t is mapped to the following Lua table:

  {
    name => ...,
    help => ...,
    unit => ...,
    type => ...,
    resource => {
      key1 => value1,
      ...,
      keyN => valueN
    }
    metric => {
     [1] => {
       label => {
         key1 => value1,
         ...,
         keyN => valueN
       }
       value => ...,
       time => ...,
       interval => ...,
       meta => {
         key1 => value1,
         ...,
         keyN => valueN
       }
     },
     ...
     [N] => {
       ...
     }
  }

Closes: #3654
Signed-off-by: Kentaro Hayashi <kenhys@gmail.com>

lua: enable Lua

Signed-off-by: Kentaro Hayashi <kenhys@gmail.com>

Auto-Merge pull request #4231 from octo/6/submodules

Automatically merged due to "Automerge" label

.gitmodules: Defaut to shallow submodules.

.github/workflows/: Only activate the opentelemetry submodule.

memory plugin: Use a constant for label names.

Merge pull request #4180 from octo/open-telemetry

[collectd 6] Write OpenTelemetry: New plugin to export metrics via OTLP over gRPC.

write_open_telemetry plugin: Fix minor memory leak.

Error:

```
==171106== 8 bytes in 1 blocks are definitely lost in loss record 58 of 228
==171106==    at 0x48407B4: malloc (vg_replace_malloc.c:381)
==171106==    by 0x492E7F9: strdup (strdup.c:42)
==171106==    by 0x1131F9: cf_util_get_string (configfile.c:1127)
==171106==    by 0x4EA3FD0: ot_config_node (write_open_telemetry.cc:206)
==171106==    by 0x4EA3FD0: ??? (write_open_telemetry.cc:262)
==171106==    by 0x111794: dispatch_block_plugin (configfile.c:464)
==171106==    by 0x1119B9: dispatch_block (configfile.c:508)
==171106==    by 0x11313D: cf_read (configfile.c:1100)
==171106==    by 0x11034E: configure_collectd (collectd.c:356)
==171106==    by 0x1104B6: init_config (collectd.c:406)
==171106==    by 0x121F3F: main (cmd.c:167)
```

src/collectd.conf.in: Add a `LoadPlugin` line for write_open_telemetry.

format_open_telemetry: Add `return` statement to that the block is not empty.

Write Open Telemetry plugin: Improve readability of time comparison.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

format_open_telemetry: Handle unexpected metric types gracefully.

format_open_telemetry: Unify the `set_gauge` and `set_sum` functions.

format_open_telemetry: Reuse local variable.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

src/daemon/metric.c: Drop redundant check from `metric_family_clone`.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

format_open_telemetry: Populate the `unit` field.

.cirrus.yml: Tell CirrusCI to also clone submodules.

./contrib/format.sh src/write_open_telemetry.cc

write_open_telemetry plugin: Adapt to changed resource_metrics semantic.

write_open_telemetry plugin: Configure the flush callback to be called periodically.

write_open_telemetry plugin: Use resource metrics to stage metric families.

format_open_telemetry: Accept a `resource_metrics_set_t`.

write_open_telemetry plugin: Take the resource attributes into account when comparing metric families.

The `staged_metric_families` tree was only using the metric family's name
to stage metrics, which is incorrect with the new resource attributes.

The code is now using the new `metric_family_compare` function to take the
attributes also into account.

./contrib/format.sh src/utils/format_open_telemetry/format_open_telemetry.h

src/collectd.conf.pod: Fix typo.

Fix .cc .h -> .proto mappings.

How did this ever build on my machine?!

Add OpenTelemetry .proto files to the distribution.

This fixes `make distcheck`.

Add `using opentelemetry::proto::resource::v1::Resource`.

Add support for resource attributes.

Makefile.am: Only build OpenTelemetry protos if needed by write_open_telemetry.

The plugin is only activated when protoc supports optional fields, which
is required by the OT protos.

configure: Check whether protoc requires `--experimental_allow_proto3_optional`.

write_open_telemetry plugin: Fix "unused variable" compile warning.

The variable is only used when compiling with `--enable-debug`.

GitHub Actions: Fetch submodules when checking out the repository.

write_open_telemetry plugin: Update copyright headers.

write_open_telemetry plugin: Document configuration options.

write_open_telemetry plugin: Remove the unused "Path" config option.

write_open_telemetry plugin: Set up the build system properly.

My initial thought was to treat the file generated from protocol buffers
like the code generated by flex/yacc. However, protocol buffer code needs
to be linked with the protobuf library, so packaging the generated code
with the distribution may cause compatibility issues in the future.

write_open_telemetry plugin: Implement gRPC sending logic.

write_open_telemetry plugin: Implement conditional flushing.

write_open_telemetry plugin: s/cached/staged/

write_open_telemetry plugin: Wrap headers with `extern "C"`.

This is required for linking correctly.

write_open_telemetry plugin: Initial commit.

New utility: format OpenTelemetry.

This new utility formats a metric family as an OpenTelemetry
"ResourceMetric" and writes the serialized protocol buffer to the provided
string buffer.

git submodule add https://github.com/open-telemetry/opentelemetry-proto/

Merge pull request #4188 from octo/6/write_http_otlp_json

[collectd 6] Add OTLP support to the Write HTTP plugin.

write_http plugin: Remove `WH_FORMAT_OTLP_PROTO`.

format_json: Add the `unit` field to the OpenTelemetry output.

collectd.conf(5): Improve wording.

collectd.conf(5): spell "time series database" consistently.

write_http plugin: Adapt to changed resource_metrics semantic.

write_http plugin: Clear the response buffer before issuing the request.

Previously all responses were concatenated together until the buffer was
full, at which point no additional responses were accessible.

write_http plugin: Make the OTLP_JSON output configurable.

Also updates the manpage to reflect this change.

write_http plugin: Add OTLP JSON support using resource metrics.

format_json: Fix unit test.

format_json: Emit only one `ScopeMetrics` per `ResourceMetrics`.

Also fixed the unit test to pass again.

format_json: Update `format_json_open_telemetry` to use resource metrics.

format_json: Move conditional error logging to a separate function.

This reduces the amount of duplicate code being generated.

Co-authored-by: Florian Forster <octo@collectd.org>

format_json: Use `yajl_gen_double` to encode gauge metrics.

This also fixes the unit test by embedding PACKAGE_VERSION.

format_json: Add a missing "array open" call.

format_json: Add a unit test for the OpenTelemetry format.

format_json: add special error handling to `json_add_string`.

format_json: only log errors when a `yajl_gen_` call fails.

write_http plugin: Add initial support for exporting OTLP via HTTP.

format_json: Add `format_json_open_telemetry` for creating OpenTelemetry JSON.

Merge pull request #4219 from octo/6/memory

[collectd 6] memory plugin: Align metrics with OpenTelemetry recommendations.

memory plugin: Align metrics with OpenTelemetry recommendations.

* The "state" label has been renamed to "system.memory.state".
* Metric descriptions and units have been added.

Merge pull request #4220 from octo/6/write_prometheus

write_prometheus plugin: Use the `unit` field to create metric names.

write_prometheus plugin: Remove invalid characers from the unit.

contrib/format.sh src/write_prometheus.c

write_prometheus plugin: Use the `unit` field to create metric names.

Reference:
https://opentelemetry.io/docs/specs/otel/compatibility/prometheus_and_openmetrics/#metric-metadata-1

Merge pull request #4194 from octo/6/unit

[collectd 6] Add a `unit` field to the `metric_family_t` struct.

contrib/format.sh src/daemon/unit.h

src/daemon/unit.h: Reference OpenTelemetry docs.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

src/daemon/unit.c: Use `string_has_suffix()` from `common`.

src/daemon/unit.c: Add reference link to metric names and units.

src/daemon/metric.h: Add doc comment for the `unit` field.

src/daemon/plugin.c: Automatically determine the unit if possible.

src/daemon/unit.[ch]: Add utility for determining the unit.

src/daemon/metric.[ch]: Add `unit` to `metric_family_t`.

Merge pull request #4212 from octo/6/names

[collectd 6] Allow arbitrary UTF-8 strings as label names.

Makefile.am: Fix inconsistent indentation.

Merge branch 'collectd-6.0' into 6/names

Merge pull request #4213 from octo/6/write_prometheus

[collectd 6] Improve Write Prometheus' handling of resource attributes.

write_prometheus plugin: Emit a single `target_info` metric family.

With this change, the *write_promtheus plugin* will emit a single
`target_info` metric family with one metric per resource.

write_prometheus plugin: Insert a newline between metric families.

resource_metrics: Compile into a library.

resource_metrics: Fix an incorrect pointer type.

It's only ever used for a NULL comparison, so it doesn't really matter,
but it is unnecessarily confusing to use an incorrect type.

write_prometheus plugin: Emit the "target info" label as a gauge by default.

Prometheus doesn't know the "info" type metrics that OpenMetrics talks
about. Instead, is has a *convention* of using a gauge metric named
"target_info".

write_prometheus plugin: Improve label sanitation.

This copies the behavior of the OpenTelemetry Prometheus translator:

1.  Replace all invalid characters with underscores.
2.  If the name starts with a single underscore, add the prefix `key`.
3.  If the name stars with a digit, add the prefix `key_`.

src/daemon/metric.[ch]: Export `label_set_get` and `label_set_update`.

write_prometheus plugin: Improve metric family name generation.

write_prometheus plugin: Emit resource attributes only, if they differ from the default.

write_prometheus plugin: Translate between resource attributes and target labels.

* `service.name` → `job`
* `service.instance.id` → `instance`

write_prometheus plugin: Emit special a "target info" metric.

src/daemon/metric_test.c: Add invalid inputs for `metric_parse_identity`.

src/daemon/metric.c: Allow arbitrary UTF-8 strings are label name.

src/daemon/metric_test.c: Add test for `metric_parse_identity`.

utf8: Handle `NULL` inputs gracefully.

utf8: Make `decode` idempotent by returning the new state.