regress: Add test with pool overwrite for storage group

Fix warning with delta_seq on MySQL during restore

Fix mysql warning about OPT_RECONNECT that is deprecated in 8.0.34

cloud: Fix #10259 Oracle cloud failed behind. Several updates

tweak compat.ccp remove dead code

regress: add zstd3 to zstd-test

- add XAPARAM ZSTD3 and NONE

COMPRESSION ZSTD -->   FD Bytes Written:       123,976 (123.9 KB)   Elapsed time:           1 sec
COMPRESSION ZSTD1 -->   FD Bytes Written:       128,040 (128.0 KB)   Elapsed time:           1 sec
COMPRESSION ZSTD3 -->   FD Bytes Written:       123,976 (123.9 KB)   Elapsed time:           1 sec
COMPRESSION ZSTD10 -->   FD Bytes Written:       110,279 (110.2 KB)   Elapsed time:           1 sec
COMPRESSION ZSTD19 -->   FD Bytes Written:       106,196 (106.1 KB)   Elapsed time:           1 sec
COMPRESSION NONE -->   FD Bytes Written:       548,688 (548.6 KB)   Elapsed time:           1 sec

Set default ZSTD level to 3 instead of 10

- add new zstd3 level
- zstd is now an alias for zstd3 instead of zstd10
- 3 is a better compromise between compression and speed
- 10 is way slower than level 3
- WARNING this break compatibility with previous version !
  - the DIR now use a new CODE for zstd10 that is unknown for older FD
  - if you use zstd10 in your FileSet, you MUST upgrade your FD or
    change zstd10 to another level, zstd3 is probably the best choice

regress: tweak zstd-test to show the time and size and add XPARAM ZSTD_LEVEL

- remove LZO backup that was breaking the check for "Software Compression"
  when LZO is available but ZSTD not
- handle XPARAM ZSTD_LEVEL to chose the compression level
- show time and size to compare different ZSTD level with LZO

Fix ZSTD compression level ignored in FileSet

- before all ZSTD* where enabling ZSTD level 10
  now all ZSTD* match there own level and ZSTD match ZSTD10
- embellish the code

Fix #0010329: No module named 'csi_snapshot'

regress: Add check for new custom label format

Fix #10307 Add PriorJobName and PriorJobId to the volume label format

For Migration and Copy job mostly

  Label Format = ${JobId}_${PriorJobName}_${PriorJobId}

Disable garbage collection based on sm_bytes for big systems

When several hundred of jobs are running, dird_free_jcr() ends
up to call garbage collection all the time.

Add tryIncNumConcurrentJobs for CLIENT and STORE class

Change the deadlock check interval to 20mins

Fix #10323 about bug in status storage with incorrect devices

Fix malware message typo

Fix @author in k8s plugin and ignore ouput of function check_regress_string_in_log()

k8s: Add compatibility with csi volume snapshots backup

In this feature, you can do backups more consistents with volumesnapshots. It create a snapshot in pvc before do backup.

regress: Add k8s tests to check volume snapshots feature

regress: Add check_string_in_log and generate self-signed certificate

k8s: Style consistency in string format.

k8s: Fix service upload error and flexible yaml loader

k8s:Typo error

fd: Fix typo on ExcludedBackupDirectories

Fix postgresql warning

Tweak debug level in askdir.c

k8s: Fix #9735 Protocol error when tar file changed while we do backup it

The problem was resolved changing protocol with metaplugin. Now we can use Q messages. That it's means that is not fatal error and it continues the backup

k8s: Fix clusterIP when we restore a headless service.

k8s: Fix dependence problem with upx package when the kubernetes-pod is created

The image of kubernetes pod is based from image python3.8-slim. This image is based from Debian 12. And upx binary (upx-ucl package provides it) only is available in: buster, bulleye and sid.

k8s: Fix problem when upgrade libraries

k8s: Upgrade libraries up to Centos7 supports

k8s: Fix pip fixed value with variables pip path.

k8s: Fix build compatibility with old versions and RHEL.

After pip version 23, it's mandatory use --break-system-packages when you don't use a virtual env.
So, in this change I did a change in Makefile to adapt this situation in older and newer versions of pip.

Fix the selection list bug with jobid=1-2277

- must take in account '\0' AND ','

regress: Fix k8s tests

Fix compilation k8s.

I need change parameter because 'pip' doesn't allow the command '--user'. Command output:

➜  kubernetes-backend git:(fran-16.0-k8s-params) ✗ pip install --user -r requirements.txt
error: externally-managed-environment

× This environment is externally managed
╰─> To install Python packages system-wide, try apt install
    python3-xyz, where xyz is the package you are trying to
    install.

    If you wish to install a non-Debian-packaged Python package,
    create a virtual environment using python3 -m venv path/to/venv.
    Then use path/to/venv/bin/python and path/to/venv/bin/pip. Make
    sure you have python3-full installed.

    If you wish to install a non-Debian packaged Python application,
    it may be easiest to use pipx install xyz, which will manage a
    virtual environment for you. Make sure you have pipx installed.

    See /usr/share/doc/python3.11/README.venv for more information.

note: If you believe this is a mistake, please contact your Python installation or OS distribution provider. You can override this, at the risk of breaking your Python installation or OS, by passing --break-system-packages.
hint: See PEP 668 for the detailed specification.

So I needed include '--break-system-packages' to manage the EXTERNALLY-MANAGED python.

kubernetes: Allow parameters with simple quotes

Fix #10249 Adjust the output of status schedule

Fix error message code when a FileDaemon cannot connect a Director

fix ifdef logic in fs_get_free_space()

- this
#if defined(HAVE_WIN32)
#elif defined(HAVE_SYS_STATVFS_H) || !defined(HAVE_WIN32)
#endif
  is equivalent to
#if defined(HAVE_WIN32)
#else
#endif
  as the HAVE_WIN32 are in the if and the elif
- there is no reason to "care" about "statvfs()" as the fallback is to use
  statfs (see the line above, that I reproduce here):
#ifdef HAVE_SYS_STATVFS_H
#include <sys/statvfs.h>
#else
#define statvfs statfs
#endif
- the other commits related to this piece of code are
c8d10999f1789b88f9f93d29b512e7af10fd009d
33b01b743fa5629828f61fa1300234785c999afa
db82b457bf1dede1225a53c37e60d2d30af84b3b

docker: Fix potential segfault with incorrect plugin command line

Tweak namedpipe for vddk compilation

Use more specific Job status when verify job is waiting for SD or FD

win32: tweak fix warning

/home/bac/workspace/bee/bacula/src/lib/bsys.c:1772:12: warning: ‘init_size’ defined but not used [-Wunused-variable]
 1772 | static int init_size=1024;

win32: tweak fix some warning
Z:w
ScsiDeviceList.h:100:22: warning: format ‘%d’ expects argument of type ‘int’, but argument 4 has type ‘long unsigned int’ [-Wformat=]
  100 |                   _T("%d:%d:%d:%d"),
      |                      ^~~~~~~~~~~~~
In file included from scsilist.cpp:48:
ScsiDeviceList.h:100:24: note: format string is defined here
  100 |                   _T("%d:%d:%d:%d"),
      |                       ~^
      |                        |
      |                        int
      |                       %ld

home/bac/workspace/bee/bacula/src/tools/fstype.c: In function ‘void print_mtab_item(void*, stat*, const char*, const char*, const char*, const char*)’:
/home/bac/workspace/bee/bacula/src/tools/fstype.c:66:8: warning: cast to pointer from integer of different size [-Wint-to-pointer-cast]
   66 |       ((void *)st->st_dev), fstype, mountpoint, mntopts);
      |        ^~~~~~~~~~~~~~~~~~
/home/bac/workspace/bee/bacula/src/tools/fstype.c: In function ‘int main(int, char* const*)’:
/home/bac/workspace/bee/bacula/src/tools/fstype.c:138:39: warning: format ‘%lx’ expects argument of type ‘long unsigned int’, but argument 3 has type ‘u_int64_t’ {aka ‘long long unsigned int’} [-Wformat=]
  138 |          fprintf(stderr, "Found dev=%lx fstype=%s\n", item->dev, item->fstype);
      |                                     ~~^               ~~~~~~~~~
      |                                       |                     |
      |                                       long unsigned int     u_int64_t {aka long long unsigned int}
      |                                     %llx

win32: tweak fix warning

- sendit() already handle the final '\O' no need to include it in the len
- fir warning:
In file included from /home/bac/workspace/bee/bacula/src/stored/status.c:30:
In function ‘void sendit(const char*, int, STATUS_PKT*)’,
    inlined from ‘void list_one_device(char*, DEVICE*, STATUS_PKT*, OutputWriter*)’ at /home/bac/workspace/bee/bacula/src/stored/status.c:407:24,
    inlined from ‘void list_devices(STATUS_PKT*, char*)’ at /home/bac/workspace/bee/bacula/src/stored/status.c:498:25:
/home/bac/workspace/bee/bacula/src/lib/status.h:46:13: warning: ‘void* memcpy(void*, const void*, size_t)’ forming offset 4 is out of the bounds [0, 4] [-Warray-bounds]
   46 |       memcpy(user->msg, msg, len+1);
      |       ~~~~~~^~~~~~~~~~~~~~~~~~~~~~~

tweak fix warning

../plugins/fd/fd_common.h:528:32: warning: format ‘%lld’ expects argument of type ‘long long int’, but argument 3 has type ‘int64_t’ {aka ‘long int’} [-Wformat=]
  528 |       l = fprintf(fp, "time=%lld level=%c key=%s name=%s vollen=%d vol=%s\n",

../plugins/fd/fd_common.h:528:66: warning: format ‘%d’ expects argument of type ‘int’, but argument 7 has type ‘size_t’ {aka ‘long unsigned int’} [-Wformat=]
  528 |       l = fprintf(fp, "time=%lld level=%c key=%s name=%s vollen=%d vol=%s\n",

tweak unused variable

../../../plugins/fd/fd_common.h:576:17: warning: variable ‘len’ set but not used [-Wunused-but-set-variable]

Use size_t for smartalloc

regress: Tweak list-jobmedia-test with FORCE_SPOOL_DATA

regress: Tweak backup-to-null for FORCE_SPOOL_DATA

regress: in acl-xattr-test check if client is linked with libacl

Fix windows compilation

regress: Tweak job-spool-test

regress: Add FORCE_SPOOL_DATA

Fix issue with data spooling introduced in 16.0

regress: Schedule job-spool-test

regress: Add job-spool-test

Fix MySQL catalog upgrade script with StatusInfo field

fix #10137 Volume XXX in unavailable now.

- I put my "case"  in the middle of a "fall through" cascade of "case"
- I moved it up above the "cascade"
- I'm not able to reproduce the problem with volumes on disk
- 100% sure that this will change the behavior at the customer level

fix typo in message "The volume XXX in unavailable"

win32: Fix joblist for windows

regress: Fix volume-read-only-test

Cleanup immutability/read-only code

s3_driver: Fix #10130 Add debug to S3 driver

amazon_driver: Fix #10130 Add support for endpoint_url

Fix #10094 About broken var command

win32: Modify namedpipe to configure the message protocol

Fix #10082 Add Queue RunsWhen to bdirjson

Fix #10086: Going backward in BSR because of 2 jobs running in //

- modify the split_bsr_loop() code to handle this situation:
  This can happens when two incremental jobs run in //
  As the BSR is written job by job the split is enough, no need to reorganize
  the BSR an move all the parts of the first job before the second one

fix warning in compat.cpp

implement fs_get_free_space for win32

Fix #9894 Use Journal instead of Syslog for systemd service output

Ensure the Director can work with the previous SD after VolRetention modification

Fix #10020 #9757 Improve Volume Protection code and fix the unprotection code

31-Mar 13:55 zog8-sd JobId 12: Marking Volume "Test10018" as read-only. Retention set to 31-Mar-2023 13:55 (10 secs).

regress: Add tests for unprotection

regress: Add function to test atime with expected value in check_protect()

regress: Add tests for MinimumVolumeProtectionTime and VolumeRetention

regress: update read-only-volume test for new feature

Fix #10004 Use VolRetention if greater than MinimumVolumeRetention when setting volume to Read-Only

regress: Fix store-mngr-freespaceleastused-test

regress: fix store-mngr-freespace-test

Fix #10017 Add support for runscript AtJobCompletion to bdirjson

store-mngr: Rename LastBackupedTo into LastBackedUpTo

regress: Add more tests with update volumeprotect

Fix #10004 Check if volumes are used when setting the volume protection

Fix missing JobHisto fields in make_mysql_tables

Manual workaround:

  ALTER TABLE JobHisto
      ADD COLUMN RealStartTime DATETIME,
      ADD COLUMN isVirtualFull     TINYINT    default 0,
      ADD COLUMN CompressRatio     float      default 0,
      ADD COLUMN Rate              float      default 0,
      ADD COLUMN LastReadStorageId Integer    default 0,
      ADD COLUMN LastReadDevice    blob,
      ADD COLUMN WriteStorageId    integer    default 0,
      ADD COLUMN WriteDevice       blob,
      ADD COLUMN Encrypted         int        default 0;

Fix list jobmedia command

Fix #9981 About segfault in bvfs_get_volume()

Introduced with VolType addition.

allow double quote escaping in win32 bpipe

k8s: Fix 9935 part-2 misspelled reponse instead of response

Tweak key-manager comments

Fix bdb_find_next_volume() with VolEncrypted field

The SQL query was not dealing with the mr->VolEncrypted=-1 value

Fix typo in grant_mysql_privileges

regress: Fix verify-vol-test and verify-cat-test

A file generated by restart-job-virtual-full-test was causing an
issue with the two tests.

Add .ls dironly parameter to list only client directories

regress: Schedule exclude-test

regress: Add basic test for FileSet exclude

regress: Test console runscript status