regress: update runscript-test for cancel status

Allow to cancel a job in the jobq with the runscript exit status 2

regress: redurce verify-data-test verbosity

regress: Tweak runscript-test

Add runscript RunsWhen=Queue to create advanced job queue management scripts

Fix .status storage devices output

regress: Add test for list restoreobjects client= command

Add list restoreobject client= option

win32: fix HRESULT constant mismatch between signed and unsigned

- HRESULT is a 32bits signed value
- some constant are >= 0x80000000 that are out of the range of a signed 32
- An alternative would be to set the type casting inside the .h file in the
  depkgs directory
- this concern (in 64bits)
- VSS_E_INVALID_XML_DOCUMENT
- VSS_E_OBJECT_NOT_FOUND
- VSS_E_BAD_STATE
- VSS_E_WRITER_INFRASTRUCTURE
- VSS_E_WRITER_NOT_RESPONDING

Fix aix compilation

regress: Add test for list reviewed command

Add bconsole command 'list jobs reviewed=<0|1>'

fix key-manager.py local variable 'crypto_ctx' referenced before assignment

2023-01-31 11:55:22 ERR key-manager.py:471 unhandled exception in getkey0
Traceback (most recent call last):
  File "/home/bac/workspace/bee/regress/bin/key-manager.py", line 469, in getkey
    getkey0(args)
  File "/home/bac/workspace/bee/regress/bin/key-manager.py", line 409, in getkey0
    crypto_ctx=get_crypto_ctx_from_config(args, volume_name)
  File "/home/bac/workspace/bee/regress/bin/key-manager.py", line 310, in get_crypto_ctx_from_config
    return crypto_ctx
UnboundLocalError: local variable 'crypto_ctx' referenced before assignment

regress: add simple volume encryption test volenc-test

- un-comment some lines to check error conditions
- all error condition need to be automated

tweak install-key-manager.sh & key-manager.py

- check for python gnupg module
- make key-manager works when no regex match the volume name

Fix AIX compilation

Fix compilation for AIX

Use the malware command name as description rather than "user defined"

regress: Fix verify-cat-test and verify-vol-test

regress: Fix status-test script

regress: cleanup gnupg home

improve the key-manager to better support master-key

- get gnupghome from key-manager.conf or from install script
- better error reporting to the SD

regress: volenc-mkey-test test master-key

- basic test

new installation script install-volume-encryption.sh

- the script setup a default the etc/key-manager.conf and initialize
  gnupg in etc/gnupg

async.sh: sync the .in files

- unfortunately this don't replace the @xxx@ :-(

regress: tweak the key-manager call to not use the master-key by default

Add basic master-key support to key-manager

- add a configuration file to the key-manager to setup the master-key
- increase "encoded-key" size in the SD to support gnupg encrypted "blob"

remove xxh_x86dispatch.c that was unused from Makefile

- of course this don't compile on AIX and other non intel CPU

Cloud: Fix #9799 Add objects_default_tiers support into bsdjson

Cloud: Fix #9747 Fatal error prevents catalog update so Volume was never set in error.

!! handle the Jmsg at an upper level when required

The goal is to allow the "next_volume" to work in a backup and in last
resort to finish by a mount request

This Jmsg was handy, it was avoiding to handle the error a the caller level
and sometime at the caller+2 level
Here they are

DEVICE::load_encryption_key(DCR *, const char *, const char *, u_int32_t *, unsigned char *, u_int32_t *, unsigned char *) : bool
DEVICE::read_dev_volume_label(DCR *) : int
acquire_device_for_read(DCR *, u_int32_t) : bool
aligned_dev::read_dev_volume_label(DCR *) : int
cloud_dev::read_dev_volume_label(DCR *) : int
DCR::check_volume_label(bool &, bool &) : int
device_initialization(void *) : void *
label_volume_if_ok(DCR *, char *, char *, char *, int, int) : void
mount_cmd(JCR *) : bool
read_label(DCR *) : bool
read_volume_label(JCR *, DCR *, DEVICE *, int) : void
readlabelcmd() : void
DEVICE::rewrite_volume_label(DCR *, bool) : bool
cloud_dev::rewrite_volume_label(DCR *, bool) : bool
DCR::mount_next_write_volume() : bool
DEVICE::write_volume_label(DCR *, const char *, const char *, bool, bool) : bool
cloud_dev::write_volume_label(DCR *, const char *, const char *, bool, bool) : bool
DCR::try_autolabel(bool) : int
label_volume_if_ok(DCR *, char *, char *, char *, int, int) : void
labelcmd() : void

fix Cannot free Volume XXX, because it is reserved by someone else

- when something goes wrong, sometime, the volume_unused() is not called
  and the volume stay stuck
- always call volume_unused() in the "check_bail_out:"
- load_encryption_key() can return a new error: VOL_ENC_ERROR
  that will trigger the call to volume_unused()

typo in Dmsg

adjust antivirus-test to new jobid selection

Fix #9780 allow multiple jobids in fileevents request

Fix #9786 About tab completion issue

Issue introduced by "Improve .help to display information about dot-commands"

Fix #9791 About incorrect connection message generated during a Virtual Full

Issue introduced in 14.1

Fix #9781 About adding "list fileevents" to the help command output

Fix #9790 Enhance Malware error message

Cloud: Add a test that manually delete part.1 so it's correctly restored from cloud

Fix #9764 Abort a job if a PluginOptions is incorrect

If a plugin is not installed and is specified with the Job PluginOptions, the
job simply terminated "Verify OK"

With other plugins, like the vSphere plugin, if the plugin is not installed,
but a Fileset calls it, we get a failed job and a warning about "command not
found" or similar.

The important part here is that if the plugin is missing, we end up with False
negatives that a sysadmin should be notified about.

Fix #9765 About FileEvent table permission on Redhat

Install malware database tools to exepath

Fix #9712 about SHA256 size detection for malware

Use number/limit on status schedule output

Improve .help to display information about dot-commands

Fix connection information in verify and virtualfull jobs

regress: Fix read-only-device-test

regress: Fix store-mngr-leastused-test

regress: Fix totp-auth-plugin-test

regress: Fix daemon-connection-xxx tests

regress: Fix portability of network-error-test

Add connection message back in Copy/Migration job log

Fix catalog's update procedure for JobHisto

regress: Fix double EncryptionCommand in regress

Fix schema for old MySQL

Cloud: change MaximumVolumeParts type to 32bits

Fix #9742 About incorrect checksum type detection for Malware checking

Improve connection error message with a different code for each target component

Change connection error code to distinguish from TLS errors

regress: Schedule new test

regress: Add test to check fileset content overview

Add Content preview to FileSet catalog record.

The FileSet catalog record is now created during the Director startup,
it was done during the Job creation.

The Content field will represent the FileSet overview.
If the FileSet has files and directories, it will contain "files"
If the FileSet has plugin entries, each plugin will be added to
the Content field.

Ex:
Content="files,mysql,postgresql"

Add client=x filter to ".status dir running"

Update pid file after a reload

update docker and kubernetes image to 07Dec22

setup default value for Encryption Command in bacula-sd.conf

- like this: Encryption Command = "@scriptdir@/key-manager.py getkey"

Fix #9724 empty EncryptionCommand crash the SD

- fix edit_device_codes() to handle NULL has empty format string
- test for empty EncryptionCommand at runtime and report a FATAL error.
  tested for "label" and "run"

Fix #9729 bad volume label BlockVer field

- get BB02 or BB03 instead of BB%d

k8s: Fix #9727 NoneType object is not subscriptable

- the code for get_pvcs() has changed and expect a tuple instead
  of a dictionary
- also change get_pods() that don't handle error correctly
- the upstream code can handle a missing self.k8s['pvcs']
  and will handle better pvcs_counter=0 and pods_counter=0 than
  with an invalid value

cloud: Fix #9714 introduce max_vol_parts_num variable to limit cloud volumes parts count

fix wrong "Last Volume Bytes" in VirtualFull

- the data was coming from the last volume that was READ instead
  of the last WTRITTEN one
- the problem don't show up in copy/migrate
- unify the code to retrieve this information for VF & MAC
  - extent get_job_volume_names() to also return the last written volume

tweak bdb_get_media_record() don't duplicate the field twice

- just make the "WHERE" clause vary
- this reduce the risk of having the field in a different order in
  both query

show a warning when trying to read encrypted volume on un-encrypted device

- this can happens only when the user try to cheat the SD

tweak improve code readability in cancel_cmd

- it is useless to test for nb != -1 because nb is always >=0
- maybe the idea behind the comment was to test for ret and not nb ???
- &= is a bitwise operator, not for boolean
- notice that the two lines below don't work the same because
    ret = cancel_job(ua, jcr, 60, cancel) && ret;
    ret = ret && cancel_job(ua, jcr, 60, cancel);
  I chose the first one, but maybe because of the comment that I have
  removed, we should use the first one

tweak error code in block_utils.c

- there was 4 time the same code to handle a wrong BB0X header,
  remove 3 of them and let the final "else" handle these errors
- there is no reason to handle any xxx3 as BB03 and LATER check if it is
  BB03 and complain if it is not
- also used asciidump() to dump the bad ID to avoid invalid unicode char

Fix #9682: give a name instead of a number for stream that are unexpected

- notice that I have changed "Unknown" into "Unexpected"
- I also use asciidump() to dump the raw data inDmsg() instead of just a %s

bextract JobId 0: Error: Unknown stream=20 ignored. This shouldn't happen!
become
bextract JobId 0: Error: Unexpected stream="Encrypted File data" ignored. This shouldn't happen!

bscan: initialize the volume type using the device type

- bscan was initializing this value to ZERO and this was working as
  expected because we include ZERO in our SQL query, like in :
  AND VolType IN (0,%d)", mr->VolType)
- I have tested this with File (1) and Dedup (15) devices

regress: fix the 3 verify tests

- the estate was set before a stop_bacula/run_bacula, move the
  test at the end
- the "!verified" was not set appropriately in the tests

regress: fix verify-data-test for Volume encryption

- one more time

Fix #9715 add VolEncrypted field when upgrading the Catalog

- update files in updatedb, files in src/cats where already up2date

Fix #9719 About upgrade issue with grant_postgresql_privileges script

improve code for volume selection for encrypted volumes

regress: add volume encryption tests

regress: change VolumeEncryption parameters from enable to yes

Fix #9689 VolumeEncryption parameters must be yes|no|strong

Fix #2962 Change btape sample output message

Adjust malware error codes

Adjust some Daemon Event/Error codes

Fix memory leak with RestoreObject compression

Fix compilation without openssl

Update device initialization error code

regress: Add test to check the volume encryption key errors

Remove unneeded call to gettext()

Add missing error message after incorrect TLS setup

initialize encrypted volume when recycling with rewrite_volume_label()

bscan: update the VolEncrypted state in the catalog

use VolEncrypted in find_next_volume() only for Volume in 'Append'

sqlite3: use AUTOINCREMENT for JobId to avoid reuse of old jobid when purging

BB03 recycle continuity