libsmartcols: improve parser error messages

* remove T_ prefix for tokens in error message (the error message is generated
  by bison)

* use rename T_NAME to T_HOLDER to be consistent with library API

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: prefer float in filter expression

Reported-by: Masatake YAMATO <yamato@redhat.com>
Addresses: https://github.com/util-linux/util-linux/pull/2531#discussion_r1373797202
Signed-off-by: Karel Zak <kzak@redhat.com>

lsfd: use SCOLS_JSON_FLOAT

* use a new SCOLS_JSON_FLOAT
* add "float" to the columns description
* add space before '?' operator

Reported-by: Masatake YAMATO <yamato@redhat.com>
Addresses: https://github.com/util-linux/util-linux/pull/2531#issuecomment-1780164195
Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: fix filter parser initialization

Addresses: https://github.com/util-linux/util-linux/pull/2531#discussion_r1372360666
Reported-by: Masatake YAMATO <yamato@redhat.com>
Signed-off-by: Karel Zak <kzak@redhat.com>

lsfd: fix memory leak in append_filter_expr()

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: accept also '/' in column name for filters

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols:  accept '%:-' in column name for filters

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: make sure all line data are deallocated

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: add filter API docs

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: cleanup datafunc() API

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: don't directly access struct members

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: ignore duplicate lines for counters

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) normalize param strings

Let's ignore space at the beginning and end of the string. It's
possible that filling functions in applications use extra space to
align data in columns. We need to ignore it.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) cleanup __filter_new_node()

Reported-by: Thomas Weißschuh <thomas@t-8ch.de>
Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) fix regex deallocation

Reported-by: Thomas Weißschuh <thomas@t-8ch.de>
Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) use also rpmatch() for boolean

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) improve holder use

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) support period in identifier

Signed-off-by: Karel Zak <kzak@redhat.com>

lsfd: keep filter-only columns hidden

Signed-off-by: Karel Zak <kzak@redhat.com>

meson: update  for libsmartcols filter

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) improve holder status

Split "fetched" and "empty" filter param status.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsfd: use filter and counters from libsmartcols

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: accept apostrophe as quote for strings in filter

lsfd supports "abc" as well as 'abc'.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: report all unknown columns in filter

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: define cell data-types, use raw data for SIZEs

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: introduce column type

Now the column can define JSON-type, this commit introduces data-type.
This type is hint for filters and counters how to convert strings from
cells to raw data.

If the conversion from string is not possible, then application can
define callback for this purpose (aka. "datafunc"), this function has
to return the raw data as a void pointer.

This solution allows to use human readable things in cells (e.g.
"123MiB"), but filters and counters can still use the original data.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: Export internally used types to API

We anticipate a need for improved interaction between applications and
the library in certain scenarios. For instance, when a table contains
strings that cannot be readily converted from strings to numbers
(e.g., strings like "15.3MiB") but the application possesses data in a
more suitable format.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: rename sortdata to rawdata

We can use the data for another purpose too.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: always set column type

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: support normalized column names on command line

For example column name "LOG-SEC" is possible to use as LOG_SEC in
some output formats and in filter expressions.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: search also by normalized column names (aka 'shellvar' name)

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: make sure counter is initialized

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: add scols counters support

* add --ct-filter <expr> to restrict the next next counters

* add --ct <name>[:<param>:func] to define counter. The counter
  assigned to the previously specified filter, if no filter specified
  then it's applied to all output lines.

Examples:

  $ lsblk --ct "number of block devices"
  ...
  Summary:
              21 number of block devices

The filter uses default count() function and is applied to
all lines.

  $ lsblk --ct-filter 'TRAN=="nvme"' --ct "number of NVMEs"
  ...
  Summary:
               4 number of NVMEs

The filter is restricted by filter.

  $ lsblk --bytes
          --ct-filter 'TRAN=="sata" && TYPE=="disk"'
          --ct "size of all SATAs disks":SIZE:sum
  ...
  Summary:
    320083771392 size of all SATAs disks

The counter uses sum() built-in function for specified column (SIZE)
and is restricted by filter.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: implement filter based counters

* add support for empty filter; the result of the empty expression is
  always "true"

* Filter can hold arbitrary number of counters

* A counter is based on a built-in function. Now supported are count, max, min and sum functions.

* The default function is "count" (count lines)

* It's possible to assign column (param) to the counter, for example count sum
  of all data in the column

* The param is used in the same way as params in the filter (and
  initialized in the same way)

Based on Masatake YAMATO's work on lsfd.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: split filter allocation and initialization

A small refactoring to parse filters during getopt_long() time.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: fix in-tree filtering

The function device_to_scols() is used recursively (for children).
It's impossible leave the function on filter status=false, it's
necessary to continue in the tree.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: add --highlight

The new option can colorize lines specified by scols query. The
columns (in the expression) does not have to be in the output.

Signed-off-by: Karel Zak <kzak@redhat.com>

lsblk: add --filter

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) Add on-demand data filler

When dealing with really large data sets, we need to reduce overhead
by filtering out unnecessary lines. The traditional approach, using:

 lstool | grep <expr>

requires the tool to read all data from the system and then filter out
(and throw away) a lot of data.

The filter-filler now allows us to use an empty line. The filter will
request data through a callback, and when a line passes the filter,
the application can fill in the rest of the columns.

For example, in a query like "FOO > 10 && BAR < 10," libsmartcols will
never ask for "BAR" if "FOO" is smaller than 10. This means the
application doesn't have to gather additional columns.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: Add --highlight option to filter sample

This commit demonstrates another example of how to use the filter. It
also enables testing of two filters for the same table to ensure that
Bison and Flex generate a reentrant parser.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) add regular expression operators

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) move struct filter_param

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) move struct filter_expr

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) support empty values

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) improve scols_filter_assign_column()

* make it more usable with scols_filter_next_holder() and avoid name

* make it usable with only with name

* fix return codes

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: support SCOLS_JSON_FLOAT in print API

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) add ability to cast data

* add FLOAT type for JSON

  JSON standard does not care and everything is number, but for libsmartcols
  it would be better to differentiate between the types.

* add functions to cast data in the filter param

* cast data from scols rows

* cast data in the filter expression if necessary

Signed-off-by: Karel Zak <kzak@redhat.com>

include/strutils: add ul_strtold()

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) cleanup function arguments

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) implement data basic operators

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols (filter) fetch data from columns

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) param data refactoring

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) make holders API more generic

The internal implementation is generic (can hold something else than
only column name). Let's make the API also generic. Maybe later we can
support something else than only column names in expressions
(e.g. env.variables ?).

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) cleanup data types

* split placeholders (e.g. column name) and data types
* make data type enums independent on params

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) implement logical operators

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) evaluate params

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: update gitignore

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: (filter) split code

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: add API to join filter and columns

Signed-off-by: Karel Zak <kzak@redhat.com>

autotools: check for flex in autogen.sh

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: add parser header files

The header files are generated by bison and flex, but it seems that it's
expected that developer generate it only rarely and manually. So, it
seems better to keep it in git.

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: add filter sample

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: improve filter integration, use JSON to dump

Signed-off-by: Karel Zak <kzak@redhat.com>

lib/jsonwrt: add support for float numbers

Signed-off-by: Karel Zak <kzak@redhat.com>

autotools: fix AC_PROG_LEX use

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: introduce basic files for filter implementation

Signed-off-by: Karel Zak <kzak@redhat.com>

Merge branch 'authors' of https://github.com/t-8ch/util-linux

* 'authors' of https://github.com/t-8ch/util-linux:
  AUTHORS: add tools contributed by myself

Merge branch 'cfdisk/resize-out-of-order' of https://github.com/t-8ch/util-linux

* 'cfdisk/resize-out-of-order' of https://github.com/t-8ch/util-linux:
  cfdisk: properly handle out-of-order partitions during resize
  libfdisk: add fdisk_partition_get_max_size
  libfdisk: fix typo in debug message

AUTHORS: add tools contributed by myself

Signed-off-by: Thomas Weißschuh <thomas@t-8ch.de>

cfdisk: properly handle out-of-order partitions during resize

Fixes #2580

Signed-off-by: Thomas Weißschuh <thomas@t-8ch.de>

libfdisk: add fdisk_partition_get_max_size

Signed-off-by: Thomas Weißschuh <thomas@t-8ch.de>

libfdisk: fix typo in debug message

Signed-off-by: Thomas Weißschuh <thomas@t-8ch.de>

lsblk: add separate MAJ and MIN columns

Signed-off-by: Karel Zak <kzak@redhat.com>

libsmartcols: accept no data for custom wrapping cells

Don't re-use previously used 'rc' variable, otherwise empty cell will
be interpreted as error.

Signed-off-by: Karel Zak <kzak@redhat.com>

Merge branch 'fincore-err' of https://github.com/t-8ch/util-linux

* 'fincore-err' of https://github.com/t-8ch/util-linux:
  fincore: (tests) also use nosize error file

tests: (lsfd::column-xmode) ignore "rwx" mappings

This change fixes the issue about lsfd reported in
https://marc.info/?l=util-linux-ng&m=169972678725084&w=2

column-xmode test case assumes an executable file has only
one "x" mapping like:

    % pmap $$ | grep ${SHELL##*/}
    1292343:   zsh
    0000562386c1c000     92K r---- zsh
    0000562386c33000    716K r-x-- zsh <<
    0000562386ce6000     88K r---- zsh
    0000562386cfc000      8K r---- zsh
    0000562386cfe000     24K rw--- zsh

However, this assumption is wrong on Sparc64:

    % pmap $$
    1490470:   zsh
    0000010000000000    792K r-x-- zsh <<
    00000100001fe000      8K r---- zsh
    0000010000200000     32K rwx-- zsh <<

Two "x" mappings are found.
As a result, the original test case failed.

Signed-off-by: Masatake YAMATO <yamato@redhat.com>
Tested-by: John Paul Adrian Glaubitz <glaubitz@physik.fu-berlin.de>

fincore: (tests) also use nosize error file

Link: https://lore.kernel.org/util-linux/b8cafd0d89878949705782312dfe800ec2779035.camel@physik.fu-berlin.de/
Signed-off-by: Thomas Weißschuh <thomas@t-8ch.de>

libuuid: avoid truncate clocks.txt to improve performance

Instead of explicitly truncating clocks.txt file, pad with
whitespaces in the end of file.
This is done to improve performance of libuuid on xfs
filesystems. Instead of truncating the file, pad it with whitespaces.
This is anyways used as a failsafe method in case truncate fails.

The reason why this regression was introduced was because of:
869ae85dae64 ("xfs: flush new eof page on truncate to avoid post-eof corruption")

An attempt to move the clocks.txt to /run (tmpfs) has been attempted before
[1] and with commit ab2e7dd17 ("libuuid: move clock state file from
/var/lib to /var/run"). The latter was reverted.

[1] https://www.spinics.net/lists/util-linux-ng/msg17331.html

Signed-off-by: Goldwyn Rodrigues <rgoldwyn@suse.com>

Merge branch 'lslocks--per-process' of https://github.com/masatake/util-linux

* 'lslocks--per-process' of https://github.com/masatake/util-linux:
  lslocks: (man) update the note about OFDLCK
  lslocks: (test) add a case for OFDLCK type locks
  lslocks: use information extracted from "locks: " column of /proc/$pid/fdinfo/*
  lslocks: (refactor) lift up the code destroying the lock list for future extension
  lslocks: rename functions for future extension
  lslocks: refactor the code reading /proc/locks
  lslocks: (refactor) remove 'pid' global variable
  lslocks: (man) document LEASE type
  lslocks: (test) add a case

Merge branch 'master' of https://github.com/ffontaine/util-linux

* 'master' of https://github.com/ffontaine/util-linux:
  libuuid/src/gen_uuid.c: fix cs_min declaration

lslocks: (man) update the note about OFDLCK

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: (test) add a case for OFDLCK type locks

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: use information extracted from "locks: " column of /proc/$pid/fdinfo/*

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: (refactor) lift up the code destroying the lock list for future extension

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: rename functions for future extension

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: refactor the code reading /proc/locks

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: (refactor) remove 'pid' global variable

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: (man) document LEASE type

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lslocks: (test) add a case

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

libuuid/src/gen_uuid.c: fix cs_min declaration

Define cs_min through a define and not a const int to avoid the
following build failure with -O0 raised since version 2.39 and
https://github.com/util-linux/util-linux/commit/2fa4168c8bc9d5438bc1dfadda293c7c21b6fa59:

libuuid/src/gen_uuid.c: In function 'uuid_generate_time_generic':
libuuid/src/gen_uuid.c:536:33: error: initializer element is not constant
  THREAD_LOCAL int  cache_size = cs_min;
                                 ^~~~~~

For consistency, also use define for cs_max and cs_factor

Fixes:
 - http://autobuild.buildroot.org/results/2f80a5cdb523cc3c8c0f3693607a1be036b2ae98

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Merge branch 'lsfd--tty' of https://github.com/masatake/util-linux

* 'lsfd--tty' of https://github.com/masatake/util-linux:
  tests: (lsfd) add a case testing NAME, SOURCE, ENDPOINTS, and PTMX.TTY-INDEX columns of pts fds
  tests: (test_mkfds::pty) add a new factory
  lsfd: fill ENDPOINTS column for pty devices
  lsfd: add attach_xinfo and get_ipc_class methods to cdev_ops
  lsfd: add PTMX.TTY-INDEX column
  lsfd: utilize /proc/tty/drivers for filling SOURCE column of tty devices
  lsfd: make the order of calling finalize_* and initialize_* consistent

Merge branch 'lslocks--man-missing-fields' of https://github.com/masatake/util-linux

* 'lslocks--man-missing-fields' of https://github.com/masatake/util-linux:
  lslocks: (man) add missing fields

lslocks: (man) add missing fields

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

libmount: fix possible NULL dereference [coverity scan]

Signed-off-by: Karel Zak <kzak@redhat.com>

tests: (lsfd) add a case testing NAME, SOURCE, ENDPOINTS, and PTMX.TTY-INDEX columns of pts fds

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

tests: (test_mkfds::pty) add a new factory

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lsfd: fill ENDPOINTS column for pty devices

An example output:

  $ ./lsfd -o+ENDPOINTS -Q '(COMMAND =~ "tmux") and ((SOURCE == "ptmx") or (SOURCE =~ "pts:.*"))'
  COMMAND          PID   USER ASSOC  XMODE TYPE SOURCE MNTID INODE NAME         ENDPOINTS
  tmux: client 3717086 yamato     0 rw----  CHR  pts:9    27    12 /dev/pts/9   2143274,xfce4-terminal,34rw
  tmux: client 3717086 yamato     1 rw----  CHR  pts:9    27    12 /dev/pts/9   2143274,xfce4-terminal,34rw
  tmux: client 3717086 yamato     2 rw----  CHR  pts:9    27    12 /dev/pts/9   2143274,xfce4-terminal,34rw
  tmux: server 3717088 yamato     5 rw---m  CHR  pts:9    27    12 /dev/pts/9   2143274,xfce4-terminal,34rw
  tmux: server 3717088 yamato     8 rw---m  CHR   ptmx    24   208 tty-index=16 3717089,zsh,0rw
                                                                                3717089,zsh,1rw
                                                                                3717089,zsh,2rw
                                                                                3717089,zsh,10rw

  $ ./lsfd -o+ENDPOINTS -Q '(PID == 3717089) and (FD == 0)'
  COMMAND     PID   USER ASSOC  XMODE TYPE SOURCE MNTID INODE NAME        ENDPOINTS
  zsh     3717089 yamato     0 rw----  CHR pts:16    27    19 /dev/pts/16 3717088,tmux: server,8rw

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lsfd: add attach_xinfo and get_ipc_class methods to cdev_ops

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lsfd: add PTMX.TTY-INDEX column

tty-index field in /proc/$pid/fdinfo/$fd is the data source of
the column. The value is helpful for looking up the conterpart
of /dev/ptmx.

Signed-off-by: Masatake YAMATO <yamato@redhat.com>

lsfd: utilize /proc/tty/drivers for filling SOURCE column of tty devices

The original code referenced /proc/devices using major numbers as keys to obtain
the name of the device driver corresponding to a file descriptor.

However, it turnes out that some drivers share a same major number;
there are cases that a key is not unique.

  Character devices:
    1 mem
    4 /dev/vc/0
    4 tty
    4 ttyS
    ...

About tty-related devices, /proc/tty/drivers is better information
source; both major and minor numbers can be used as keys:

  /dev/tty             /dev/tty        5       0 system:/dev/tty
  /dev/console         /dev/console    5       1 system:console
  /dev/ptmx            /dev/ptmx       5       2 system
  /dev/vc/0            /dev/vc/0       4       0 system:vtmaster
  usbserial            /dev/ttyUSB   188 0-511 serial
  dbc_serial           /dev/ttyDBC   242 0-63 serial
  serial               /dev/ttyS       4 64-95 serial
  pty_slave            /dev/pts      136 0-1048575 pty:slave
  pty_master           /dev/ptm      128 0-1048575 pty:master
  unknown              /dev/tty        4 1-63 console

This commit extracts the second column of the /proc/tty/drivers as
driver names after removing "/dev": tty, console, ptmx, ...

With the orinal code:

  # lsfd -n -p 1789 -Q '(FD == 25)'
  systemd-logind  1789 root    25  rw-  CHR /dev/vc/0:6   432    25 /dev/tty6
--------------------------------------------^^^^^^^^^^^
With this commit:

  # ./lsfd -n -p 1789 -Q '(FD == 25)'
  systemd-logind  1789 root    25  rw---- CHR tty:6 432 25 /dev/tty6
----------------------------------------------^^^^^

Signed-off-by: Masatake YAMATO <yamato@redhat.com>