regress: Add more tests with update volumeprotect

Fix #10004 Check if volumes are used when setting the volume protection

Fix missing JobHisto fields in make_mysql_tables

Manual workaround:

  ALTER TABLE JobHisto
      ADD COLUMN RealStartTime DATETIME,
      ADD COLUMN isVirtualFull     TINYINT    default 0,
      ADD COLUMN CompressRatio     float      default 0,
      ADD COLUMN Rate              float      default 0,
      ADD COLUMN LastReadStorageId Integer    default 0,
      ADD COLUMN LastReadDevice    blob,
      ADD COLUMN WriteStorageId    integer    default 0,
      ADD COLUMN WriteDevice       blob,
      ADD COLUMN Encrypted         int        default 0;

Fix list jobmedia command

Fix #9981 About segfault in bvfs_get_volume()

Introduced with VolType addition.

allow double quote escaping in win32 bpipe

k8s: Fix 9935 part-2 misspelled reponse instead of response

Tweak key-manager comments

Fix bdb_find_next_volume() with VolEncrypted field

The SQL query was not dealing with the mr->VolEncrypted=-1 value

Fix typo in grant_mysql_privileges

regress: Fix verify-vol-test and verify-cat-test

A file generated by restart-job-virtual-full-test was causing an
issue with the two tests.

Add .ls dironly parameter to list only client directories

regress: Schedule exclude-test

regress: Add basic test for FileSet exclude

regress: Test console runscript status

Fix estimate code with limit

k8s: Fix #9935 name 'response' is not defined in get_pods()

- the previous fix #9727 was buggy, I fixed get_pvcs() but
  broke the "weak" get_pods()
- the problem is that __execute() wrapper intercept exceptions
  and return and error dict() or the expected response when no
  exception are generated

Fix #9945 About incorrect job status after Runscript::Console execution

Fix typo in MaximumConcurrentJobPerLevel

Tweak breg.c code

Make Jobs with runscript "Queued" in timeout to wait

Prune Object records when pruning Files

Fix #9933 About incorrect message of the setbandwidth command

Fix #9923 Windows crash when Fileset is empty

- this was because of some debuging

Fix #9912 About Director crash with status dir

#3  str_to_int64 (str=0xd5 <Address 0xd5 out of bounds>) at edit.c:72
#4  BDB::bdb_find_next_volume (this=0x7f573403cc28, jcr=jcr@entry=0x7f573400b088, item=<optimized out>, item@entry=-1, InChanger=InChanger@entry=false, mr=mr@entry=0x7f57449796e0) at sql_find.c:586

Fix orphan buffer with plugin list

Enhance MaximumConcurrentJobPerLevel script

Report an error when .query cannot find a suitable plugin

regress: Add test for console runscript

regress: Add get_client_name() to functions.pm

store-mngr: Fix #8852 #9572 2 new store-mngr strategies and regress tests

Add limit option to the estimate command

Fix warning reported by new GCC

Fix typo in MaximumConcurrentJobPerLevel script

win32: code cleanup

Fix #9749: backup windows mount points and cleanup and improve win32 code

win32: cleanup VSSClient constructor

- VSSClient is a pure class that has virtual methods, using a
  memset() to initialize the class is not appropriate because the object
  include a VPTR that is initialized by the constructor
- gcc 11.3 complains about that
- initializing the class the right way cannot be wrong
- Using C++11 in-member class initializers (we are not building win32 on
  centos 5 anymore but on modern platforms :-)

win32: typos & comments

win32: add helper function

- add win32_to_unix_slash() to compat.cpp
  simply replace any '\\' into '/'
- add remove_win32_trailing_slash() to compat.cpp
- add dump_name_list() to find.c for debuging fileset

regress: in compare_backup_content ignore strange files in Microsoft/Search

- Files in C:/ProgramData/Microsoft/Search/Data/Applications/Windows
  don't show up in snapshot, they look like Reparse point
  only the windows explorers show that the file is a reparse point
  command line tools don't
  as estimate don't use VSS, this make a diff between both
- reset "nb" to zero to always show the 10 first files that are in
  the backup but not in estimate

Fix update_mysql_tables script

Fix bconsole path in MaximumConcurrentJobPerLevel script

Cleanup Jsmg/Dmsg calls

Add MaximumConcurrentJobPerLevel script for RunScript Job Queue control example

regress: update runscript-test for cancel status

Allow to cancel a job in the jobq with the runscript exit status 2

regress: redurce verify-data-test verbosity

regress: Tweak runscript-test

Add runscript RunsWhen=Queue to create advanced job queue management scripts

Fix .status storage devices output

regress: Add test for list restoreobjects client= command

Add list restoreobject client= option

win32: fix HRESULT constant mismatch between signed and unsigned

- HRESULT is a 32bits signed value
- some constant are >= 0x80000000 that are out of the range of a signed 32
- An alternative would be to set the type casting inside the .h file in the
  depkgs directory
- this concern (in 64bits)
- VSS_E_INVALID_XML_DOCUMENT
- VSS_E_OBJECT_NOT_FOUND
- VSS_E_BAD_STATE
- VSS_E_WRITER_INFRASTRUCTURE
- VSS_E_WRITER_NOT_RESPONDING

Fix aix compilation

regress: Add test for list reviewed command

Add bconsole command 'list jobs reviewed=<0|1>'

fix key-manager.py local variable 'crypto_ctx' referenced before assignment

2023-01-31 11:55:22 ERR key-manager.py:471 unhandled exception in getkey0
Traceback (most recent call last):
  File "/home/bac/workspace/bee/regress/bin/key-manager.py", line 469, in getkey
    getkey0(args)
  File "/home/bac/workspace/bee/regress/bin/key-manager.py", line 409, in getkey0
    crypto_ctx=get_crypto_ctx_from_config(args, volume_name)
  File "/home/bac/workspace/bee/regress/bin/key-manager.py", line 310, in get_crypto_ctx_from_config
    return crypto_ctx
UnboundLocalError: local variable 'crypto_ctx' referenced before assignment

regress: add simple volume encryption test volenc-test

- un-comment some lines to check error conditions
- all error condition need to be automated

tweak install-key-manager.sh & key-manager.py

- check for python gnupg module
- make key-manager works when no regex match the volume name

Fix AIX compilation

Fix compilation for AIX

Use the malware command name as description rather than "user defined"

regress: Fix verify-cat-test and verify-vol-test

regress: Fix status-test script

regress: cleanup gnupg home

improve the key-manager to better support master-key

- get gnupghome from key-manager.conf or from install script
- better error reporting to the SD

regress: volenc-mkey-test test master-key

- basic test

new installation script install-volume-encryption.sh

- the script setup a default the etc/key-manager.conf and initialize
  gnupg in etc/gnupg

async.sh: sync the .in files

- unfortunately this don't replace the @xxx@ :-(

regress: tweak the key-manager call to not use the master-key by default

Add basic master-key support to key-manager

- add a configuration file to the key-manager to setup the master-key
- increase "encoded-key" size in the SD to support gnupg encrypted "blob"

remove xxh_x86dispatch.c that was unused from Makefile

- of course this don't compile on AIX and other non intel CPU

Cloud: Fix #9799 Add objects_default_tiers support into bsdjson

Cloud: Fix #9747 Fatal error prevents catalog update so Volume was never set in error.

!! handle the Jmsg at an upper level when required

The goal is to allow the "next_volume" to work in a backup and in last
resort to finish by a mount request

This Jmsg was handy, it was avoiding to handle the error a the caller level
and sometime at the caller+2 level
Here they are

DEVICE::load_encryption_key(DCR *, const char *, const char *, u_int32_t *, unsigned char *, u_int32_t *, unsigned char *) : bool
DEVICE::read_dev_volume_label(DCR *) : int
acquire_device_for_read(DCR *, u_int32_t) : bool
aligned_dev::read_dev_volume_label(DCR *) : int
cloud_dev::read_dev_volume_label(DCR *) : int
DCR::check_volume_label(bool &, bool &) : int
device_initialization(void *) : void *
label_volume_if_ok(DCR *, char *, char *, char *, int, int) : void
mount_cmd(JCR *) : bool
read_label(DCR *) : bool
read_volume_label(JCR *, DCR *, DEVICE *, int) : void
readlabelcmd() : void
DEVICE::rewrite_volume_label(DCR *, bool) : bool
cloud_dev::rewrite_volume_label(DCR *, bool) : bool
DCR::mount_next_write_volume() : bool
DEVICE::write_volume_label(DCR *, const char *, const char *, bool, bool) : bool
cloud_dev::write_volume_label(DCR *, const char *, const char *, bool, bool) : bool
DCR::try_autolabel(bool) : int
label_volume_if_ok(DCR *, char *, char *, char *, int, int) : void
labelcmd() : void

fix Cannot free Volume XXX, because it is reserved by someone else

- when something goes wrong, sometime, the volume_unused() is not called
  and the volume stay stuck
- always call volume_unused() in the "check_bail_out:"
- load_encryption_key() can return a new error: VOL_ENC_ERROR
  that will trigger the call to volume_unused()

typo in Dmsg

adjust antivirus-test to new jobid selection

Fix #9780 allow multiple jobids in fileevents request

Fix #9786 About tab completion issue

Issue introduced by "Improve .help to display information about dot-commands"

Fix #9791 About incorrect connection message generated during a Virtual Full

Issue introduced in 14.1

Fix #9781 About adding "list fileevents" to the help command output

Fix #9790 Enhance Malware error message

Cloud: Add a test that manually delete part.1 so it's correctly restored from cloud

Fix #9764 Abort a job if a PluginOptions is incorrect

If a plugin is not installed and is specified with the Job PluginOptions, the
job simply terminated "Verify OK"

With other plugins, like the vSphere plugin, if the plugin is not installed,
but a Fileset calls it, we get a failed job and a warning about "command not
found" or similar.

The important part here is that if the plugin is missing, we end up with False
negatives that a sysadmin should be notified about.

Fix #9765 About FileEvent table permission on Redhat

Install malware database tools to exepath

Fix #9712 about SHA256 size detection for malware

Use number/limit on status schedule output

Improve .help to display information about dot-commands

Fix connection information in verify and virtualfull jobs

regress: Fix read-only-device-test

regress: Fix store-mngr-leastused-test

regress: Fix totp-auth-plugin-test

regress: Fix daemon-connection-xxx tests

regress: Fix portability of network-error-test

Add connection message back in Copy/Migration job log

Fix catalog's update procedure for JobHisto

regress: Fix double EncryptionCommand in regress

Fix schema for old MySQL