Merge pull request #4238 from kenhys/test-lua-plugin

lua: add missing test case for #3779, #4235

lua: add missing test case for #3779, #4235

* luaC_pushoconfigitem (indirectly lua_config)
* luaC_pushnotification

In the previous versions, there was no test code for Lua plugin.
Thus this is first step to improve such a situation.

Signed-off-by: Kentaro Hayashi <kenhys@gmail.com>

Merge pull request #4279 from zzzyhtheonly/main

memory.c: workaround to let ValuesPercentage works again without "available"

memory.c: workaround to let ValuesPercentage works again without "available"

Signed-off-by: zzzyhtheonly <zyhtheonly@yeah.net>

Merge pull request #4281 from matwey/epics-deadlock

epics: Fix potential deadlock in handle_label_event

epics: Fix potential deadlock in handle_label_event

Merge pull request #4276 from octo/ras

ras plugin: Remove unnecessary includes.

Merge pull request #4148 from brd/freebsd-pf

FreeBSD's PF has a new interface so leverage libpfctl to access it so…

ras plugin: Ensure each log message prints an appropriate prefix.

ras plugin: Use `sysconf(_SC_NPROCESSORS_CONF)` instead of `get_nprocs_conf()`.

`get_nprocs_conf()` is a GNU extension.

FreeBSD's PF has a new interface so leverage libpfctl to access it so the right interface is used depending on the version

ras plugin: Remove unnecessary includes.

.github/workflows/release.yml: Import changes from `collectd-6.0`.

version-gen.sh: Add the `--tags` flag to `git describe`.

Add GitHub Action to automatically build and upload release assets.

Merge pull request #4247 from octo/interface-solaris

interface plugin: Reorder implementations to put kstat above getifaddrs.

ci: Remove the "statgrab" task from CirrusCI.

The "statgrab" job builds collectd with the "statgrab" library and then expects
certain plugins to be linked against it. However, since the build runs on
Linux, the plugins are actually using the "native" implementation. The linker,
noticing that the plugin is not referring to any symbol in the statgrab
library, does not actually produce a link, causing the test to fail.

The native implementations provide much richer metrics than the libstatgrab
based implementations, so we'll drop the test.

.cirrus.yml: Rename `checks_script` to `make_distcheck_script`.

.cirrus.yml: Upload `.log` files as artifacts.

Auto-Merge pull request #4260 from octo/write_redis

Automatically merged due to "Automerge" label

write_redis plugin: Clean up allocated fields in `wr_config_free()`.

Merge pull request #4256 from zzzyhtheonly/main

disk.c: add config options to support diskstats 15-20 in KERNEL_LINUX

disk.c: add config options to support diskstats 15-20 in KERNEL_LINUX

Signed-off-by: tiozhang <zyhtheonly@yeah.net>

interface plugin: Reorder implementations to put kstat above getifaddrs.

Fixes: #4240

Merge pull request #4248 from octo/disk-linux

disk plugin: Build `disk_submit_single` on Linux only.

Merge pull request #4249 from ffontaine/main

fix(configure.ac): fix grpc build

configure.ac: fix grpc build

abseil and other google tools are now subject to
"Google's Foundational C++ Support Policy" [0][1]. This currently
mandates gcc 7.3.1 and C++14 as minimum versions. So replace -std=c++11
by -std=c++14 to fix following build failure:

checking whether /home/buildroot/autobuild/instance-0/output-1/host/bin/sparc64-linux-g++ accepts -std=c++11
configure:25105: result: yes
configure:25127: checking grpc++/grpc++.h usability
configure:25127: /home/buildroot/autobuild/instance-0/output-1/host/bin/sparc64-linux-g++ -c -D_LARGEFILE_SOURCE -D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64  -O1 -g0 -D_FORTIFY_SOURCE=2 -std=c++11  -DNOMINMAX  -D_LARGEFILE_SOURCE -D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64 conftest.cpp >&5
In file included from /home/buildroot/autobuild/instance-0/output-1/host/sparc64-buildroot-linux-gnu/sysroot/usr/include/absl/base/config.h:86,
                 from /home/buildroot/autobuild/instance-0/output-1/host/sparc64-buildroot-linux-gnu/sysroot/usr/include/absl/base/const_init.h:25,
                 from /home/buildroot/autobuild/instance-0/output-1/host/sparc64-buildroot-linux-gnu/sysroot/usr/include/absl/synchronization/mutex.h:67,
                 from /home/buildroot/autobuild/instance-0/output-1/host/sparc64-buildroot-linux-gnu/sysroot/usr/include/grpcpp/impl/codegen/sync.h:32,
                 from /home/buildroot/autobuild/instance-0/output-1/host/sparc64-buildroot-linux-gnu/sysroot/usr/include/grpcpp/completion_queue.h:41,
                 from /home/buildroot/autobuild/instance-0/output-1/host/sparc64-buildroot-linux-gnu/sysroot/usr/include/grpcpp/channel.h:25,
                 from /home/buildroot/autobuild/instance-0/output-1/host/sparc64-buildroot-linux-gnu/sysroot/usr/include/grpcpp/grpcpp.h:52,
                 from /home/buildroot/autobuild/instance-0/output-1/host/sparc64-buildroot-linux-gnu/sysroot/usr/include/grpc++/grpc++.h:26,
                 from conftest.cpp:167:
/home/buildroot/autobuild/instance-0/output-1/host/sparc64-buildroot-linux-gnu/sysroot/usr/include/absl/base/policy_checks.h:79:2: error: #error "C++ versions less than C++14 are not supported."
   79 | #error "C++ versions less than C++14 are not supported."
      |  ^~~~~

[0] https://github.com/abseil/abseil-cpp/releases/tag/20230125.0
[1] https://github.com/google/oss-policies-info/blob/b842c39db88e6569dfe2cf98be434b03507cb503/foundational-cxx-support-matrix.md

Fixes:
 - http://autobuild.buildroot.org/results/e2cf909ab3c356f1881fd18cfa039e87faa10d7d

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

disk plugin: Build `disk_submit_single` on Linux only.

Merge pull request #4242 from zzzyhtheonly/main

disk: add /proc/diskstats fields 15 to 20 in KERNEL_LINUX

disk: add /proc/diskstats fields 15 to 20 in KERNEL_LINUX

Kernel 4.18+ appends four more fields for discard tracking putting
the total at 18.
Kernel 5.5+ appends two more fields for flush requests.
This patch makes collectd available for those fields.

Signed-off-by: tiozhang <zyhtheonly@yeah.net>
Signed-off-by: yutongzhou <timefly2010@gmail.com>

Merge pull request #4234 from octo/contributing

docs: Document important labels and how to interact with them.

docs/CONTRIBUTING.md: Change formulation examples to discourage verbatim copying.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

docs/CONTRIBUTING.md: Replace remaining use of "Unlisted Change".

docs/CONTRIBUTING.md: Document that PRs with features and fixes should be split.

docs/CONTRIBUTING.md: Rename "Unlisted Change" to "Maintenance".

Also document that doc updates should default to "fix".

Merge pull request #3917 from eero-t/gcc-warnings

Fix some gcc warnings with more strict checks

write_riemann_threshold.c: fix switch-case fall through warning

Checking also warning limits was just executing redundant code, but
otherwise harmless as later code checks failure count first.

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

Pass strcmp() to c_avl_create() as function pointer, not data one

Matches how strcmp() is passed to c_avl_create() elsewhere.

Reported by -Wpendantic:
------------------------------------
write_prometheus.c: In function ‘prom_init’:
write_prometheus.c:900:28: error: ISO C forbids conversion of function pointer to object pointer type [-Werror=pedantic]
  900 |     metrics = c_avl_create((void *)strcmp);
      |                            ^
write_prometheus.c:900:28: error: ISO C forbids passing argument 1 of ‘c_avl_create’ between function pointer and ‘void *’ [-Werror=pedantic]
  900 |     metrics = c_avl_create((void *)strcmp);
      |                            ^~~~~~~~~~~~~~
In file included from write_prometheus.c:30:
utils/avltree/avltree.h:54:34: note: expected ‘int (*)(const void *, const void *)’ but argument is of type ‘void *’
   54 | c_avl_tree_t *c_avl_create(int (*compare)(const void *, const void *));
      |
                                   ~~~~~~^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
------------------------------------

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

turbostat, format_json: Satisfy clang-format CI check

CI has changed since this code was added to collectd.

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

Fix signedness mismatch GCC warnings in few of the plugins

Based on "-O3 -Werror -Wall -Wextra -Wformat-security" output.

daemon/utils_cache: remove unused functions and function args

Arg update required touching also threshold.c & write_riemann plugin.

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

Remove unused function arguments from few of the plugins

Based on "-O3 -Werror -Wall -Wextra -Wformat-security" output.

Attribute unused function args as such in few of the plugins

Based on "-O3 -Werror -Wall -Wextra -Wformat-security" output.

write_prometheus: annotate unused args and fix comments

Fix obsolete comment to match MHD docs:
  https://www.gnu.org/software/libmicrohttpd/  ("Queueing responses" section)
  https://git.gnunet.org/libmicrohttpd.git/tree/src/include/microhttpd.h#n2398

format_json, network_parse: annotate unused args as unused

Based on output of:
 gcc -O3 -Werror -Wall -Wextra -Wno-missing-field-initializers -Wformat-security

Signed-off-by: Eero Tamminen <eero.t.tamminen@intel.com>

docs/CONTRIBUTING.md: Rename "Bug" to "Fix"; improve wording.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

Merge pull request #4230 from octo/workflows

Import changes to `.github/workflows/` from the `collectd-6.0` branch.

Merge pull request #4235 from clear-code/lua-notification

 lua: add missing notification callback

lua: update explanation about register_notification callback

Signed-off-by: Kentaro Hayashi <hayashi@clear-code.com>

lua: add missing notification callback

* register_notification

In this version, it support callback function something like:

  function notification(notif)
     print(inspect(notif))
     return 0
  end

  collectd.register_notification(notification)

It accepts PUTNOTIF event via plugin_dispatch_notification then you can
handle it.

Signed-off-by: Kentaro Hayashi <hayashi@clear-code.com>

docs: Document important labels and how to interact with them.

.github/workflows/distcheck.yml: Run on Debian12 (current stable).

Merge pull request #4232 from octo/write_riemann

write_riemann plugin: Terminate `riemann_event_set` arguments with `RIEMANN_EVENT_FIELD_NONE`.

write_riemann plugin: Terminate `riemann_event_set` arguments with `RIEMANN_EVENT_FIELD_NONE`.

`riemann_event_set` is a variadic function, that means it accepts a variable
number of arguments. That means it needs some way to determine – at runtime
– how many arguments there are. It appears to be doing so by using
`RIEMANN_EVENT_FIELD_NONE` to indicate the last element in the argument
list. Unfortunately I was unable to find the library's documentation and
code and could not verify this.

That means that the argument list passed to `riemann_event_set` was not
always terminated, causing it to read past where it was supposed to and
adding random crap into the message it crafted.

Issue: #4050

Merge pull request #3779 from clear-code/main-more-lua-callbacks

lua: Add functions to register some missing callbacks

.cirrus.yml: Provide expected plugin list to `check-built-plugins.sh` if present.

.cirrus.yml: Rename container images.

* bookworm_amd64 → debian12
* mantic_amd64 → ubuntu23.10
* el9_x86_64 → centos9
* fedora_rawhide_x86_64 → fedora_main

.github/workflows/build.yml: Add "Check expected plugins" to "experimental".

.github/workflows/build.yml: Add a "Check expected plugins" step.

.github/workflows/: Rename container images.

* bookworm_amd64 → debian12
* bullseye_amd64 → debian11
* buster_amd64 → debian10
* mantic_amd64 → ubuntu23.10
* jammy_amd64 → ubuntu22.04
* focal_amd64 → ubuntu20.04
* el9_x86_64 → centos9
* fedora38_x86_64 -> fedora38
* fedora_rawhide_x86_64 → fedora_main

.github/workflows/build.yml: Remove Ubuntu Bionic.

It is too old to work with `actions/checkout@v4`.

lua: Add functions to register some missing callbacks

* register_init
* register_shutdown
* register_config

In this version, the configuration for each Script is
supported.

  Script "foo.lua"
  Script "bar.lua"
  <Module "foo.lua">
    Key1 Value1
  </Module>
  <Module "bar.lua">
    Key2 Value2
  </Module>

The scope of accessible key-value pair is limited to under <Module>
This feature is similar to collectd-python.

  ref. https://www.collectd.org/documentation/manpages/collectd-python.html

Signed-off-by: Kentaro Hayashi <hayashi@clear-code.com>

Merge pull request #3777 from clear-code/change-lock-scope

lua: Use a global lock to call Lua's API

Merge pull request #3778 from clear-code/detect-luajit

lua: support to detect LuaJIT automatically

lua: Use a global lock to call Lua's API

Since vanilla Lua isn't multi-thread-safe, a global lock should be used
when calling their functions. The previous code causes unstable behavior
especially on loading Lua's C modules with both read & write threads.

e.g.)

  collectd.register_read(function()
    require('cqueues')
    return 0
  end)

  collectd.register_write(function()
    return 0
  end)

Note that you need to add the following config to your collectd.conf to
load C modules:

  <LoadPlugin lua>
    Globals true
  </LoadPlugin>

Signed-off-by: Takuro Ashie <ashie@clear-code.com>
Signed-off-by: Kentaro Hayashi <hayashi@clear-code.com>

Merge pull request #4022 from matwey/epics

EPICS plugin

Initial implementation for epics plugin

EPICS is Experimental Physics and Industrial Control System.

Reference: https://epics-controls.org/

Signed-off-by: Matwey V. Kornilov <matwey.kornilov@gmail.com>

lua: add fallback to detect LuaJIT

Before:
  LIBLUA_PKG_CONFIG_NAME=luajit ./configure --enable-lua

After:
  ./configure --enable-lua

In the previous versions, for enabling LuaJIT,
it needs to specify LIBLUA_PKG_CONFIG_NAME=luajit explicitly.

In this commit, add fallback to detect LuaJIT without specifying
LIBLUA_PKG_CONFIG_NAME=luajit explicitly by default (just use
--enable-lua).

Note that if both of lua and luajit exists, then lua is used.

Signed-off-by: Kentaro Hayashi <hayashi@clear-code.com>

collection3: Fix inappropriate usage of CGI:param

When using collection3 as a CGI, the following error is sent to logs
repeatedly.

  FastCGI sent in stderr: "CGI::param called in list context from
  /usr/share/doc/collectd-core/examples/collection3/lib/Collectd/Graph/Common.pm
  line 529, this can lead to vulnerabilities. See the warning in
  "Fetching the value or values of a single named parameter" at
  /usr/share/perl5/CGI.pm line 412"

This is caused inappropriate usage of param(), it should be handled as
a scalar or should be treated by multi_param() explicitly.

Signed-off-by: Kentaro Hayashi <kenhys@gmail.com>

Merge pull request #4205 from octo/putval

cmds: Add a unittest for `cmd_parse_putval`.

common: Use `sstrncpy` to get around misinformed compiler error.

common: Fix compiler warning in unit test.

Some compilers complained about using a value that depends on the input for the
size argument passed to `strncpy`. They missed that the size of `buf` also
depends on the source argument and therefore this use is fine.

```
  CC       src/utils/common/common_test.o
../../src/utils/common/common_test.c: In function 'test_parse_values':
../../src/utils/common/common_test.c:316:5: error: 'strncpy' specified bound depends on the length of the source argument [-Werror=stringop-overflow=]
  316 |     strncpy(buf, cases[i].buffer, buf_sz);
      |     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../../src/utils/common/common_test.c:314:21: note: length computed here
  314 |     size_t buf_sz = strlen(cases[i].buffer) + 1;
      |                     ^~~~~~~~~~~~~~~~~~~~~~~
```

contrib/format.sh src/utils/common/common_test.c

cmds: Add a test for `cmd_parse_putval`.

cmds: Prevent `cmd_parse_putval` from modifying its `argv` argument.

common: Change `parse_values` so it doesn't modify the parsed string.

Merge pull request #4184 from octo/issue/4137

MySQL plugin: Fix incorrect WSREP/Galera metric types.

MySQL plugin: Fix incorrect WSREP/Galera metric types.

Fixes: #4137

Merge pull request #4065 from carlospeon/flush-buffer

evaluate flush condition with oldest value in the buffer

evaluate flush condition with oldest value in the buffer

Merge pull request #4178 from octo/convigure-virt

configure: Improve the reporting when the "virt" plugin cannot be built.

Makefile.am: Build `test_virt_plugin` with the same `CFLAGS` as the *virt plugin*.

Using different flags leads to build errors if libvirt is in a non-system location.

configure: Use `elif` instead of two separate `if` blocks.

configure: Improve the reporting when the "virt" plugin cannot be built.

Merge pull request #4172 from octo/procevent

procevent plugin: Remove embedded flexible array member to fix compiler warning.

procevent plugin: Consistently mention the unit in log message.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

procevent plugin: Reference buffer sizing guideline.

Co-authored-by: Eero Tamminen <eero.t.tamminen@intel.com>

write_log plugin: remove the "write_log values:" line when logging metrics.

procevent plugin: report errors in human readable form.

procevent plugin: ensure the ring buffer length is not zero.

The manpage documents a default of 10, which was not implemented. This
change brings the implementation in line with the documentation.

procevent plugin: remove use of a nested flexible array member.

The previous code used an ad-hoc struct to construct or parse a Netlink
message. This relied on allocating a field _after_ the struct with the
flexible array member, which is prohibited by the C standard, leading to
compiler warnings.

Merge pull request #4171 from octo/workflow

Improve CI workflows

Merge pull request #4164 from octo/notify_upstart_systemd

Notify upstart/systemd after initialization is complete.

Build workflow: request that clang produce DWARF v4 debug symbols.

Disable "exit on error" when running `make check`.

procevent plugin: Disable the `-Wgnu-variable-sized-type-not-at-end` warning.

.cirrus.yml: Update list of compilers to match the `debian_unstable` container.

Build workflow: add builds for `--enable-debug` and `CC=clang`.

Merge pull request #4170 from octo/debian_sid

Workflows: rename "sid_amd64" to "debian_unstable".

Workflows: rename "sid_amd64" to "debian_sid".