Fix #11058 About fsync error reported for tape driver

regress: Tweak store-mngr-leastused-test output

regress: Add prune-many-jobs-test

Check for backquote in check_for_invalid_chars() function

Fix #11048 About LastBackedUpTo StorageGroup policy not correctly set

metaplugin: Include bacula jobid in the backend calls as BACULA_JOBID env variable

Use bfopen instead of fopen in various tools

win32: Limit the scope of the open files

Add handle-list.exe tool in tools/Makefile

regress: Add tool to list open handle on windows

Disable orphan file detection

Fix #10985 Report the FD/SD Encryption in the Job record and the job output

The SQL Job record has now the Encrypted field proprely updated
at the end of a job.

The date can be encrypted by the FD and/or the SD, the value
of the SQL field is the following:

 0 : no encryption
 1 : FD encryption
 2 : SD encryption
 3 : FD and SD encryption

Use bclose_from() in daemon.c

Add k8s dependency versions in requirements

Cleanup code in open_bpipe() when closing open files

Refactor the code that is responsible to close open files.

Add helper functions to close open files

Use O_CLOEXEC in pid/stat file management

Add SOCK_CLOEXEC to bnet_server sockets

k8s: Fix #0011005: ModuleNotFoundError: No module named 'baculak8s.plugins.k8sbackend.ingress'

deploy: limit urllib3 version to be compatible with rhel8

k8s: Avoid pvc data when pvc is in Pending status.
k8s: Fix redoing backup when pvcdata is 0 bytes and the backup mode is standard

Added tests

deploy: create dockerfile to fast k8s compilation in rhel platform

regress: Fix some bugs in tests

regress: Add new make rule to sync source code with regress code

regress: Add more k8s tests

regress: Add documentation to k8s tests

k8s: Add more options to debug

regress: k8s testing

Fix #10947 time output without century for locale that use multi bytes utf8

- in Korean strftime("%b") is a 3 unicode char encoded in 5 bytes (in utf8)
- before
Daemon started 28- 5<EC><9B>2024 15:55, conf reloaded 28- 5월-2024 19:03:10
-after
Daemon started 28- 5월-24 15:55, conf reloaded 28- 5월-2024 19:03:10

BSOCK improve POLL to detect and report errors

- when I was crashing my SD during my dedup2 tests,
  the FD was oftent stuck with thread using 100% cpu.
  This patch solved the problem, now the FD just terminate
  the job.

show minimal backtrace if gdb is not installed

- here is a sample, lines in the stack trace are doubled
  with and witout demanglind/addr2line

Attempt to dump locks
threadid=0x7ffaa63fe640 max=2 current=-1
threadid=0x7ffaa53fc640 max=3 current=-1
threadid=0x7ffaa5bfd640 max=0 current=-1
threadid=0x7ffaa6bff640 max=0 current=-1
threadid=0x7ffaa7a2a080 max=0 current=-1
Attempt to dump current JCRs. njcrs=1
threadid=0x7ffaa53fc640 JobId=2 JobStatus=R jcr=0x7ffa98025728 name=RestoreFiles.2024-02-07_19.45.34_04
        use_count=1 killable=1
        JobType=R JobLevel=F
        sched_time=07-Feb-2024 19:45 start_time=07-Feb-2024 19:45
        end_time=01-Jan-1970 01:00 wait_time=01-Jan-1970 01:00
        db=(nil) db_batch=(nil) batch_started=0
        dcr=0x7ffa98000908 volumename=TestVolume001 dev=0x7ffa9800bbe8 newvol=0 reserved=1 locked=0
List plugins. Hook count=0
    /home/bac/workspace/bee/regress/bin/libbacsd-18.0.0.so(_Z12read_recordsP3DCRPFbS0_P10DEV_RECORDEPFbS0_E+0x11b) [0x7ffaa806b275]
    /home/bac/workspace/bee/regress/bin/libbacsd-18.0.0.so:read_records(DCR*, bool (*)(DCR*, DEV_RECORD*), bool (*)(DCR*))
    /home/bac/workspace/bee/regress/bin/libbacsd-18.0.0.so(_Z12do_read_dataP3JCR+0x43c) [0x7ffaa80695f4]
    /home/bac/workspace/bee/regress/bin/libbacsd-18.0.0.so:do_read_data(JCR*)
    /home/bac/workspace/bee/regress/bin/bacula-sd(+0x234a7) [0x5558cd5db4a7]
    /home/bac/workspace/bee/regress/build/src/stored/fd_cmds.c:431
    /home/bac/workspace/bee/regress/bin/bacula-sd(+0x2281a) [0x5558cd5da81a]
    /home/bac/workspace/bee/regress/build/src/stored/fd_cmds.c:234
    /home/bac/workspace/bee/regress/bin/bacula-sd(+0x22473) [0x5558cd5da473]
    /home/bac/workspace/bee/regress/build/src/stored/fd_cmds.c:176
    /home/bac/workspace/bee/regress/bin/bacula-sd(+0x25025) [0x5558cd5dd025]
    /home/bac/workspace/bee/regress/build/src/stored/job.c:252
    /home/bac/workspace/bee/regress/bin/bacula-sd(+0x17f53) [0x5558cd5cff53]
    /home/bac/workspace/bee/regress/build/src/stored/dircmd.c:255
    /home/bac/workspace/bee/regress/bin/libbac-18.0.0.so(workq_server+0x45f) [0x7ffaa7f9e0fe]
    /home/bac/workspace/bee/regress/bin/libbac-18.0.0.so:workq_server()
    /home/bac/workspace/bee/regress/bin/libbac-18.0.0.so(lmgr_thread_launcher+0xf7) [0x7ffaa7faa2b4]
    /home/bac/workspace/bee/regress/bin/libbac-18.0.0.so:lmgr_thread_launcher()
    /lib/x86_64-linux-gnu/libc.so.6(+0x94ac3) [0x7ffaa7894ac3]
    ./nptl/pthread_create.c:442
    /lib/x86_64-linux-gnu/libc.so.6(+0x126850) [0x7ffaa7926850]
    ./misc/../sysdeps/unix/sysv/linux/x86_64/clone3.S:83

Please install GDB.

Detect unsolvable volume cycle in split_bsr_loop()

- Fix empty part: when a cycle inside a job was detected, the function
  was creating an empty part (splitting at offset 0), that was causing
  a fatal error in the restore
- this make that the first part to restore is totally empty and
  generate the messages from the SD and from the FD:
  SD - Fatal error: No Volume names found for restore.
  FD - Fatal error: job.c:3694 Bad response from SD to Read Data command. Wanted 3000 OK data

- in the trace file we have a split at off=0
  BSR: Split the BSR at off=0 at the beginning of jobnum=1 ....

Signed-off-by: Alain Spineux <alain@baculasystems.com>

k8s: Avoid pvcs backup when the pvc status is Terminating

k8s: Add dockerfile to create an image to compile k8s plugin in any debian/ubuntu distribution

k8s: Add Ingress integration backup/restore

k8s: Fix #0010901 - Problem when restore service clusterIPs

Fix Client/Uname field not always updated after a status client

regress: Add test for uname update

win32: Fix unwanted debug messages in windows File Daemon

Add Francisco to AUTHORS file

Merge branch 'francisco.garcia-15.0-baculum-m365EmailList-query-params' into 'Branch-15.0'

baculum: Add new query parameters in M365EmailList endpoint

See merge request bacula-community-edition/bacula-community!3

baculum: Add new query parameters in M365EmailList endpoint

Fix compilation issue with zstd and without lzo

baculum: Add enable and disable client, storage, job and schedule endpoints

baculum: Fix missing scopes on supported OAuth2 scope list

baculum: Fix compatibility with very old PHP 5.4

baculum: Add cloud storage status to SD status endpoint

baculum: Fix #2722 port from Bacularis fix for displaying schedule list

baculum: Fix sorting in filesets endpoint if unique filesets parameter is used

Enforce malware database download from Abuse.ch

regress: tweak tests/tls-test for testing org#2714 fix

Fix org#2714 Fails to take TLS Allowed CN into account

- verify_list is never used

regress: Add rot13 plugin

baculum: Update API documentation

baculum: Add name and sort parameters to filesets filter

regress: Fix unittests on ubunbut where sh is dash

regress: Fix crc32-unittests

regress: Fix console-acl-test

regress: Check restore menu with consoles

 - menu item 1
 - menu item 2
 - menu item 3
 - menu item 11

regress: Add test for restore jobid= parameter

regress: Add tests for file=? restore with restricted console

regress: Fix loading of test-plugin

regress: Fix runscript-test

Use MaximumConcurrentJobPerLevel script instead of a simplified version

Fix copyright

update changelog and releasenotes

baculum: Update version

baculum: Update release notes

baculum: Update oauth2 scope list

baculum: Add application version endpoint

build: avoid warning with extra parenthesis

update changelog and releasenotes

update version

Revert "Fix #9882 About tapealert script issue on rhel8"

This reverts commit b677c0739d72a08997623d76bcc386bf37efd12e.

The tapealert tool is not supposed to convey the error from
tapealert.

The excelent bacula-tapealert tool can also be used
https://github.com/waa/bacula-tapealert

cloud: Fix #10291 clean_cloud_volume uses "ls", so we handle its return code the same way

add bVarEstimate to let the FD knows this is an estimate and not a real backup

- some plugin need to know that this is an "estimate" command and not
  a "run" to not activate snapshot, mount, .......
- the winbmr plugin can avoid the collection of information and
  the mount of recovery operation.

cloud: generic driver clean uses alist instead of ilist

cloud: Fix 10788 s3 driver clean uses alist instead of ilist

regress: Detect ZSTD in zstd-test

ilist: remove append function since it's not used, but in generic driver and it's buggy

could: Fix 10788 cloud volume deletion crash

- the problem is about iterating up to including parts.last_index()
  using parts.get(parts.last_index()) is a mistake !!!
  it works most of the time because most of the time this value is NULL
  and the code does a continue
  BUT when parts.last_index() == parts.max_size(), then
  parts.get(parts.last_index()) is out of the allocated memory and can
  contain garbage
- why is the code doing a "continue" ? Is it expected to have a NULL ?
  in the list ?
  in clean_cloud_volume_read_cb() that fill the list, there is no raison
  to have NULL ?
  With the bug, testing for NULL will save us 99% of the time
  Without the bug we can reach 100% :-)

Only normal backup jobs can become "Incomplete", MAC must return errors

- jcr->sd_client is set when the SD is acting as a client from the point
  of view of the control job that is "restoring" the job  up
  to the other SD. It is set only for SD <-> SD
- The control job as a different cr->getJobType()
FROM
 JobId  Level     Files      Bytes   Status   Finished        Name
====================================================================
     1  Full       3,087    49.77 M  OK       13-Mar-24 16:49 MigrationJobSave
     2  Full         795    5.900 M  Error    13-Mar-24 16:49 migrate-job
     3  Full         795    5.900 M  Incomplete  13-Mar-24 16:49 MigrationJobSave
TO
     1  Full       3,087    49.77 M  OK       14-Mar-24 19:25 MigrationJobSave
     2  Full         795    5.900 M  Error    14-Mar-24 19:26 migrate-job
     3  Full         795    5.900 M  Error    14-Mar-24 19:26 MigrationJobSave

Add a new command code to bsock for dedup2 protocol

regress: sd-sd-test check for "Migration Error"

Fix compilation

win32: update openssl 1.1.1w

k8s: Add backup_mode parameter, add resiliance when snapshot backup is not compatible and clone backup fails and minor fixes

k8s:Add check snapshot api-resource available

Fix when 'volumesnapshotclasses' resource is not available in cluster

k8s: Fix 0010669: When a node have not any pvc

Added custom version to get more verbose

Report immutable/readonly error messages to the job log

Use llu for st_dev in snapshot code

Cleaner shell code in install-key-manager.sh.in

Change deprecated . to : in chown

Change bashism "$UID" to POSIX compatible "$(id -u)",
c.f. https://www.shellcheck.net/wiki/SC3028

Change "-o" in test to "||",
c.f. https://www.shellcheck.net/wiki/SC2166

baculum: Fix config does not exist error in resource list endpoint

baculum: Fix level property in show job endpoint if level is not provided in config

baculum: Make sources order by jobstatus consistent in asc/desc sorting

baculum: Add to filesets endpoint parameter to list unique filesets without versions

baculum: Fix regular expression in list client files/dirs endpoint

baculum: Fix displaying items in list client files/dirs endpoint

baculum: Add overview parameter to client resources endpoint

regress: add a Storage::FileStorage2 to match the "orphan" Dir::File2

- new-test-bacula-dir.conf.in as Storage(File2) but there was no
  matching Storage resource in the SD side test-bacula-sd.conf.in

Fix #10752 storage option on the restore command line not working

- restore **storage=File** is ignored