xalloc.h: add new functions: xstrappend, xstrputc, xstrvfappend, and xstrfappend

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lsfd: (refactor) make the code comparing struct lock objects reusable

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: add a missing "break;" in a switch/case statement

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: (preparation) add a fd number to the lock struct when loading lock info from /proc/$pid/fdinfo/$fd

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: (refactor) use a tree for storing lock information extracted from /proc/$pid/fdinfo/$fd

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: (refactor) make the data structure for storing lock information replacable

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

Merge branch 'PR/libsmartcols-filter' of github.com:karelzak/util-linux-work

* 'PR/libsmartcols-filter' of github.com:karelzak/util-linux-work: (88 commits)
  meson: remove scols filter sample
  tests: use array keys in more robust way
  lsblk: update after rebase
  tests: add libsmartcols filter tests
  libsmartcols: (sample) fix error message
  tests: use scols_column_set_properties() in 'fromfile' sample
  libsmartcols: improve and fix scols_column_set_properties()
  libsmartcols: (samples) remove filter.c
  libsmartcols: add filter support to 'fromfile' sample
  libsmartcols: fix filter param copying
  tests: don't keep bison messages in tests
  autotools: use stamp file to build filter parser, improve portability
  meson: use bison --defines=HEADER
  libsmartcols: fix typo in parser tokens
  libsmartcols: add scols-filter.5 man page
  libsmartcols: (filter) add upper case EQ,NE,LE,LT,GT and GE operators
  ci: packit: add flex
  meson: fix copy & past error
  libsmartcols: build filter scanner and parser header files too
  meson: add missing scols sample
  ...

Merge branch 'irqtop-fix-sort' of https://github.com/nbuwe/util-linux

* 'irqtop-fix-sort' of https://github.com/nbuwe/util-linux:
  irqtop: fix numeric sorting

meson: remove scols filter sample

Signed-off-by: Karel Zak <kzak@redhat.com>

tests: use array keys in more robust way

Let's use while-loop to support arbitrary key and to avoid fragile
quotes for strings .

Signed-off-by: Karel Zak <kzak@redhat.com>

Merge branch 'unused' of https://github.com/t-8ch/util-linux

* 'unused' of https://github.com/t-8ch/util-linux:
  treewide: explicitly mark unused arguments

Merge branch 'undefined' of https://github.com/t-8ch/util-linux

* 'undefined' of https://github.com/t-8ch/util-linux:
  lsfd: avoid undefined behavior

lsblk: add hint that partition start is in sectors

Reported-by: Dusty Mabe <dustymabe@redhat.com>
Signed-off-by: Karel Zak <kzak@redhat.com>

irqtop: fix numeric sorting

qsort(3) requires three-way result like that from strcmp(3),
not an std::less like boolean.

lsblk: update after rebase

Signed-off-by: Karel Zak <kzak@redhat.com>

tests: add libsmartcols filter tests

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (sample) fix error message

Signed-off-by: Karel Zak <kzak@redhat.com>

tests: use scols_column_set_properties() in 'fromfile' sample

The library already can read column properties from a column separated
string. Let's use it in 'fromfile' sample to avoid duplicate code and
to test this function too.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: improve and fix scols_column_set_properties()

* fix typos and copy & past bug
* add support for data types

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (samples) remove filter.c

It seems better to use fromfile.c sample where we do not have
hardcoded table data, but it's possible to use data from files (see
tests/ts/libsmartcols/files) as already used in in our tests.

Signed-off-by: Karel Zak <kzak@redhat.com>

 libsmartcols: add filter support to 'fromfile' sample

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: fix filter param copying

Signed-off-by: Karel Zak <kzak@redhat.com>

tests: don't keep bison messages in tests

Bison generates the 'syntax error' messages and depends on
the Bison version. For example, the current bison uses

        lsfd: failed to parse "(": syntax error, unexpected end of file

But the old version:

        lsfd: failed to parse "(": syntax error, unexpected $end

We do not control these strings, so it's better not to save them to our tests.

Signed-off-by: Karel Zak <kzak@redhat.com>

autotools: use stamp file to build filter parser, improve portability

* use .stamp files to generate .c and .h by only one flex and bison call

* use bison --defines=HEADER rather than --header=, the --header is
  supported also by old bison version (like common bison 3.0.4)

* make sure there is defined dependence between the scanner and parser
  .c and .h files (scanner need header from parser and vice-versa)

* distribute .stamp files to avoid flex and bison for people who use
  sources from tarball (we distribute generated source files)

Signed-off-by: Karel Zak <kzak@redhat.com>

meson: use bison --defines=HEADER

It's more backwardly compatible than --header=.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: fix typo in parser tokens

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: add scols-filter.5 man page

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) add upper case EQ,NE,LE,LT,GT and GE operators

Signed-off-by: Karel Zak <kzak@redhat.com>

ci: packit: add flex

Signed-off-by: Karel Zak <kzak@redhat.com>

meson: fix copy & past error

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: build filter scanner and parser header files too

* if .c and .h generated in the same time then bison does not duplicate
  declarations from .h in .c

* it seems better to generate everything and exclude header files from
  git

* the patch excludes autotools YACC support, we need reentrant parser
  with some cool features from bison; autotools assumes POSIX
  compatibility for YACC (bison -y), we do not need it.

Signed-off-by: Karel Zak <kzak@redhat.com>

meson: add missing scols sample

Signed-off-by: Karel Zak <kzak@redhat.com>

github: fix build with clang and in ubuntu build-root

Signed-off-by: Karel Zak <kzak@redhat.com>

tests: update lsfd broken filter test

* empty filter is valid in the new implementation

* expression without operators (for example -Q 'FD') is valid. The
  library check is the cell is non-empty in this case.

* update error messages

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: improve parser error messages

* remove T_ prefix for tokens in error message (the error message is generated
  by bison)

* use rename T_NAME to T_HOLDER to be consistent with library API

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: prefer float in filter expression

Reported-by: Masatake YAMATO <yamato@redhat.com>
Addresses: https://github.com/util-linux/util-linux/pull/2531#discussion_r1373797202
Signed-off-by: Karel Zak <kzak@redhat.com>

lsfd: use SCOLS_JSON_FLOAT

* use a new SCOLS_JSON_FLOAT
* add "float" to the columns description
* add space before '?' operator

Reported-by: Masatake YAMATO <yamato@redhat.com>
Addresses: https://github.com/util-linux/util-linux/pull/2531#issuecomment-1780164195
Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: fix filter parser initialization

Addresses: https://github.com/util-linux/util-linux/pull/2531#discussion_r1372360666
Reported-by: Masatake YAMATO <yamato@redhat.com>
Signed-off-by: Karel Zak <kzak@redhat.com>

lsfd: fix memory leak in append_filter_expr()

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: accept also '/' in column name for filters

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols:  accept '%:-' in column name for filters

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: make sure all line data are deallocated

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: add filter API docs

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: cleanup datafunc() API

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: don't directly access struct members

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: ignore duplicate lines for counters

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) normalize param strings

Let's ignore space at the beginning and end of the string. It's
possible that filling functions in applications use extra space to
align data in columns. We need to ignore it.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) cleanup __filter_new_node()

Reported-by: Thomas Weißschuh <thomas@t-8ch.de>
Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) fix regex deallocation

Reported-by: Thomas Weißschuh <thomas@t-8ch.de>
Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) use also rpmatch() for boolean

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) improve holder use

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) support period in identifier

Signed-off-by: Karel Zak <kzak@redhat.com>

lsfd: keep filter-only columns hidden

Signed-off-by: Karel Zak <kzak@redhat.com>

meson: update  for libsmartcols filter

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) improve holder status

Split "fetched" and "empty" filter param status.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsfd: use filter and counters from libsmartcols

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: accept apostrophe as quote for strings in filter

lsfd supports "abc" as well as 'abc'.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: report all unknown columns in filter

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: define cell data-types, use raw data for SIZEs

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: introduce column type

Now the column can define JSON-type, this commit introduces data-type.
This type is hint for filters and counters how to convert strings from
cells to raw data.

If the conversion from string is not possible, then application can
define callback for this purpose (aka. "datafunc"), this function has
to return the raw data as a void pointer.

This solution allows to use human readable things in cells (e.g.
"123MiB"), but filters and counters can still use the original data.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: Export internally used types to API

We anticipate a need for improved interaction between applications and
the library in certain scenarios. For instance, when a table contains
strings that cannot be readily converted from strings to numbers
(e.g., strings like "15.3MiB") but the application possesses data in a
more suitable format.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: rename sortdata to rawdata

We can use the data for another purpose too.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: always set column type

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: support normalized column names on command line

For example column name "LOG-SEC" is possible to use as LOG_SEC in
some output formats and in filter expressions.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: search also by normalized column names (aka 'shellvar' name)

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: make sure counter is initialized

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: add scols counters support

* add --ct-filter <expr> to restrict the next next counters

* add --ct <name>[:<param>:func] to define counter. The counter
  assigned to the previously specified filter, if no filter specified
  then it's applied to all output lines.

Examples:

  $ lsblk --ct "number of block devices"
  ...
  Summary:
              21 number of block devices

The filter uses default count() function and is applied to
all lines.

  $ lsblk --ct-filter 'TRAN=="nvme"' --ct "number of NVMEs"
  ...
  Summary:
               4 number of NVMEs

The filter is restricted by filter.

  $ lsblk --bytes
          --ct-filter 'TRAN=="sata" && TYPE=="disk"'
          --ct "size of all SATAs disks":SIZE:sum
  ...
  Summary:
    320083771392 size of all SATAs disks

The counter uses sum() built-in function for specified column (SIZE)
and is restricted by filter.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: implement filter based counters

* add support for empty filter; the result of the empty expression is
  always "true"

* Filter can hold arbitrary number of counters

* A counter is based on a built-in function. Now supported are count, max, min and sum functions.

* The default function is "count" (count lines)

* It's possible to assign column (param) to the counter, for example count sum
  of all data in the column

* The param is used in the same way as params in the filter (and
  initialized in the same way)

Based on Masatake YAMATO's work on lsfd.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: split filter allocation and initialization

A small refactoring to parse filters during getopt_long() time.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: fix in-tree filtering

The function device_to_scols() is used recursively (for children).
It's impossible leave the function on filter status=false, it's
necessary to continue in the tree.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: add --highlight

The new option can colorize lines specified by scols query. The
columns (in the expression) does not have to be in the output.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: add --filter

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) Add on-demand data filler

When dealing with really large data sets, we need to reduce overhead
by filtering out unnecessary lines. The traditional approach, using:

 lstool | grep <expr>

requires the tool to read all data from the system and then filter out
(and throw away) a lot of data.

The filter-filler now allows us to use an empty line. The filter will
request data through a callback, and when a line passes the filter,
the application can fill in the rest of the columns.

For example, in a query like "FOO > 10 && BAR < 10," libsmartcols will
never ask for "BAR" if "FOO" is smaller than 10. This means the
application doesn't have to gather additional columns.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: Add --highlight option to filter sample

This commit demonstrates another example of how to use the filter. It
also enables testing of two filters for the same table to ensure that
Bison and Flex generate a reentrant parser.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) add regular expression operators

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) move struct filter_param

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) move struct filter_expr

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) support empty values

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) improve scols_filter_assign_column()

* make it more usable with scols_filter_next_holder() and avoid name

* make it usable with only with name

* fix return codes

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: support SCOLS_JSON_FLOAT in print API

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) add ability to cast data

* add FLOAT type for JSON

  JSON standard does not care and everything is number, but for libsmartcols
  it would be better to differentiate between the types.

* add functions to cast data in the filter param

* cast data from scols rows

* cast data in the filter expression if necessary

Signed-off-by: Karel Zak <kzak@redhat.com>

include/strutils: add ul_strtold()

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) cleanup function arguments

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) implement data basic operators

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols (filter) fetch data from columns

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) param data refactoring

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) make holders API more generic

The internal implementation is generic (can hold something else than
only column name). Let's make the API also generic. Maybe later we can
support something else than only column names in expressions
(e.g. env.variables ?).

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) cleanup data types

* split placeholders (e.g. column name) and data types
* make data type enums independent on params

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) implement logical operators

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) evaluate params

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: update gitignore

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) split code

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: add API to join filter and columns

Signed-off-by: Karel Zak <kzak@redhat.com>

autotools: check for flex in autogen.sh

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: add parser header files

The header files are generated by bison and flex, but it seems that it's
expected that developer generate it only rarely and manually. So, it
seems better to keep it in git.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: add filter sample

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: improve filter integration, use JSON to dump

Signed-off-by: Karel Zak <kzak@redhat.com>

lib/jsonwrt: add support for float numbers

Signed-off-by: Karel Zak <kzak@redhat.com>

autotools: fix AC_PROG_LEX use

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: introduce basic files for filter implementation

Signed-off-by: Karel Zak <kzak@redhat.com>