Update device initialization error code

regress: Add test to check the volume encryption key errors

Remove unneeded call to gettext()

Add missing error message after incorrect TLS setup

initialize encrypted volume when recycling with rewrite_volume_label()

bscan: update the VolEncrypted state in the catalog

use VolEncrypted in find_next_volume() only for Volume in 'Append'

sqlite3: use AUTOINCREMENT for JobId to avoid reuse of old jobid when purging

BB03 recycle continuity

Fix VolEncrypted in get_scratch_volume()

- get_scratch_volume() was not using the right VolEncrypted value for
  the SQL query
- this fix tests :
failed   651s  tests/copy-uncopied-test
failed   651s  tests/copy-volume-test
failed   651s  tests/next-vol-test
failed    69s  tests/verify-data-test
failed   651s  tests/scratchpool-pool-test

tweak messages and dmsg for vol encryption

- fix Dmsg(0,
- from \"load Volume %s\" to  Volume \"%s\"
- add the "operation" in the error message

Fix update_mysql_tables for MODIFY vs ADD for Protected & VolEncrypted

Add VolumeEncrypted field to the catalog

- the goal is to not append encrypted data to volumes that that are not
  encryption ready ( that are BB02 or have not been label with an
  "encrypted" capable label )

reactivate the 64bits XXHASH checksum in the block

- the code was deactivated by mistake (to try to compile on windows)

fix .bvfs_lsfile SQL query for mysql and sqlite3

- got no such column: T.DeltaSeq in sqlite3 in tests/next-vol-test,
  copy-uncopied-test, copy-volume-test & scratchpool-pool-test

fix bsys path split

Fix compilation without TLS

Fix error message after connect() in filed and stored

regress: Add checks for the storage daemon to network-error-test

Enhance the network error reporting with between the Director and the File/SD

regress: Schedule network-error-test

regress: Add test to compare connection errors

Improve the bsock network errors display

 - Put [error] codes in many messages
 - Do not print error messages inside the BSOCK::connect/open calls
 - Print error messages after a connect() depending of the context (UA/jcr)
 - Network messages should not end up in JobId 0
 - Fix incorrect socket usage after a console command error

Fix typo in update_postgresql_tables_1225_to_1026.in

Store verified JobId/Job name inside PriorJob and PriorJobId Verify job

Rename Protect to Protected

Initialize Protect when creating a new media

Stay in non-blocking state for the entire TLS connection

Modify the help command to display only available commands

regress: Add test for status dir schedule output

Limit the 'status dir' scheduled job list to 50 jobs

Add set_limit_offset() to OutputWriter groups

Enhance the output of status director with large job list

regress: Add fast option for pg_backup_start()

Add status director scheduled 'novolume' option

Translate some error messages in file_dev.c

Fix warning in findlib/fstype.c

Update Dmsg() to not modify the errno during a call

Add tools to synchronize Read-Only/Immutable flags with the Storage Daemon

 - Change the interface of the immutable functions to not modify the device
 - Add Protect fields to the catalog and the SD/DIR protocol

regress: Adapt immutable and read-only test

Fix #9563 Inherit JobDefs tags

regress: Add test for JobDefs-Job tag

regress: cleanup bin/keydir

fix key-manager.py: don't delete old volume's keyfile

- fix an error in the logging
- don't show cipher key in the logging

regress: rename BlockEncrytion into VolumeEncryption

VolEnc: rename BlockEncrytion into VolumeEncryption

Fix sqlite query error in VF

- this fix don't modify the pgsql nor the mysql query, ONLY the sqlite
  query, is modified. The code is duplicated and modified ONLY for sqlite,
- fix the "UNION": syntax error that come when running a VF
- the fix just remove the () and a useless "order by"
- I think this query could be used for pgsql & mysql too.
- tests/virtual-backup-test

12-Aug 11:38 127.0.0.1-dir JobId 8: Error: Query failed: SELECT Path, Filename, FileIndex, JobId, LStat, DeltaSeq     , JobTDate FROM ((SELECT Path.Path, T1.Filename, T1.FileIndex, T1.JobId, LStat, DeltaSeq     , JobTDate FROM ( SELECT FileId, Job.JobId AS JobId, FileIndex, File.PathId AS PathId,File.Filename AS Filename, LStat     , File.DeltaSeq AS DeltaSeq,Job.JobTDate AS JobTDate FROM Job, File, (SELECT MAX(JobTDate) AS JobTDate, PathId, Filename, DeltaSeq FROM (SELECT JobTDate, PathId, Filename, DeltaSeq FROM File JOIN Job USING (JobId) WHERE File.JobId IN (1,2,3,4,5,6) UNION ALL SELECT JobTDate, PathId, Filename, DeltaSeq FROM BaseFiles JOIN File USING (FileId) JOIN Job  ON    (BaseJobId = Job.JobId) WHERE BaseFiles.JobId IN (1,2,3,4,5,6) ) AS tmp GROUP BY PathId, Filename, DeltaSeq ) AS T1 WHERE (Job.JobId IN ( SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (1,2,3,4,5,6)) OR Job.JobId IN (1,2,3,4,5,6)) AND T1.JobTDate = Job.JobTDate AND Job.JobId = File.JobId AND T1.PathId = File.PathId AND T1.Filename = File.Filename ) AS T1 JOIN Path ON (Path.PathId = T1.PathId) WHERE FileIndex > 0 ) UNION (SELECT ObjectName AS Path, PluginName AS Filename, FileIndex, JobId, '' AS LStat, 0 AS DeltaSeq           , JobTDate FROM Job JOIN RestoreObject USING (JobId) WHERE JobId IN (1,2,3,4,5,6) ORDER BY JobTDate ASC, FileIndex ASC)  ) AS U1 ORDER BY JobTDate, FileIndex ASC: ERR=near "UNION": syntax error

Fix compilation without openssl/encryption

regress: tweak async & asyncregress.sh to exclude core and .gdb_history

Fix warnings in base64

fix XXH3_64bits() not exported by bacula.dll in 64bits

regress: force SDEnc to NULL for verify-data-test

- sed can still works with NULL encryption

add the script key-manager.py

- environment variables are used to pass parameter to the script
- NULL cipher for testing only

regress: support new FORCE_SDENC and key-manager script

- use a shell wrapper to call key-manager.py, because the
  Bacula's directive are limited to 128 chars

regress: modify arun to run a test with all possible XPARAM values

Using the option --xparam will run tests/copy-job-test 27 times
with every SPOOLDATA_JOB, SPOOLDATA_RUN, NEXT_NODEDUP possible values:

$ grep XPARAM tests/copy-job-test
tests/copy-job-test:# XPARAM SPOOLDATA_JOB=(default|yes|no)
tests/copy-job-test:# XPARAM SPOOLDATA_RUN=(default|yes|no)
tests/copy-job-test:# XPARAM NEXT_NODEDUP=(default|yes|no)

New BB03 volume format: volume encryption & new 64bits checksum

- this is a 64bits XXHASH64 check that replace the 32bits
- The old crc32 location is used for a "block option" bit field
- use the block header option bit field to store information about
  - if block checksum (XXH64) is used
  - encryption is used
  - if "this" block is encrypted (volume label are not)
- add encryption_command
- use the BlockNum for the IV
- new SD->Device->BlockEncryption directive to enable encryption
- the xxhas64 is in one block at the end of the header
- add documentation
- add a unittest for block_crypto, to show how to use it and do some basic
  encrypte/decrypte
- 2 options bit in the block header
    - BLKHOPT_ENCRYPT_VOL if the volume is encrypter
    - BLKHOPT_ENCRYPT_BLOCK if THIS block is encrypted
- bsdjson can display the encryption type
- high level protocol between the sd_encryption_script and the SD
  - use ENV to send the data
  - use stdout/stdin to read the answere from the keymanager
  - handle error reported by the script
- obfuscate data in the volume when needed (BlockEncryption = STRONG)
- support data spooling (don't encode data in the spool)
- support %V in edit_device_codes() but not used anymore, use environment
  instead
- add support for a master key (store encoded version of the encryption key
  and the key id of the masterkey)
- DEVICE::load_encryption_key() that call the keymanager
- Add new fields to volume label : EncCipherKey[Size] & MasterKeyId[Size]
- add int DEV_RECORD::BlockVer to know the volume version, in case we decode
  the volume header and its extra fields
- add the NULL cipher only for testing purpose
- the XXHASH is always there in the block header event when not used (set to 0)
- the block header has a constant length

# Conflicts:
# bacula/src/stored/stored_conf.h

New Block crypto functions and types for Volume encryption

- encapsulate openssl API
- include a unittest to show how to use and test it

add support for new file signature in the xxhash family

- XXHASH64 fast 64bits signature
- XXH3_64  a bit faster 64bits signature
- XXH3_128 a even faster 128bits signature

Add xxhash files for new signatures and block checksum

new bin_to_base64_pad() that encode into base64 with padding

Fix wrong length returned by base64_to_bin(), rewrite the function

- base64_to_bin() was handling the '=' padding char as data,
  making the output longer when padding was used.
- If you had no padding, this was ok
- Or if you were knowing the length of the output to cut it at the right
  length this was ok too
- The output buffer had to be a little longer too
- The function base64_init() has been removed and 'base64_map' is
  initialized with a static table
- The function has been rewritten
  - ignore spaces in the input (space, tab, newline), can be a multi-line input
  - stop when a '\0', a '=' (padding) or srclen depending what is hit first
  - return 0 when the output string is too short or invalid char are fount
    in the output
  - dest_size don't need to be bigger, the exact length is ok
  - the output string is not ended with '\0', has it is supposed to be binary data
- The other usage of base64_to_bin() in the code have been fixed when needed
- Add plenty of test
==== Starting base64_test ... ====
OK  test bin_to_base64
OK  test bin_to_base64 content
OK  test base64_to_bin
OK  test base64_to_bin content
OK  test base64 encode decode for multiple lengths
OK  test base64 decode base64 with multiple spaces
OK  test base64 buffer too small 1
OK  test base64 buffer too small 2
OK  test base64 padding YQ==
OK  test base64 padding YQ=
OK  test base64 padding YQ
OK  test base64 padding YQ==
OK  test base64 padding YQ=
OK  test base64 padding YQ
OK  test base64 truncated padding YQ== 3
OK  test base64 truncated padding YQ== 2
OK  test base64 invalid char 1
OK  test base64 invalid char 2
OK  test base64 invalid char 3
OK  test base64 invalid char after the padding
OK  Checking bin_to_base64 encoded length
OK  Checking bin_to_base64 encoded data
OK  Checking base64_to_bin decoded length
OK  Checking base64_to_bin decoded data
OK  Checking base64_to_bin decoded length - encoded
OK  Checking base64_to_bin decoded data - encoded
OK  Checking to_base64 encode length
OK  Checking to_base64 encoded data
OK  Checking from_base64 decoded data
OK  Checking from_base64 decoded length
OK  Checking from_base64 decoded data - encoded
OK  Checking from_base64 decoded length - encoded

==== Report ====
Result 32/32 OK

tweak remove wrong definition of ser_block_header() from proto.h

- the definition of ser_block_header in proto.h is wrong
void ser_block_header(DEV_BLOCK *block);
- the right one is
uint32_t ser_block_header(DEV_BLOCK *block, bool do_checksum)
- the definition in proto.h is never used

Add ser_skip() and ser_set() to serialisation functions

- ser_skip() skip some bytes without writing anything
- ser_set() works like memset()

remove unused DEV_BLOCK::ser_buf

# Conflicts:
# bacula/src/stored/block.h

Add Protect fields to the catalog and the SD/DIR protocol

Add Storage Daemon SetReadOnly directive

Add %V as a variant of %v in edit_device_codes()

Modify .status dir running to return the output as a flow

cloud: remove useless edit_device_codes function

Convert MySQL TinyBlob to BLOB for some Object table members

Tweak debug levels for CDP

Tweak debug messages

Fix warnings reported by cppcheck

 - shadows outer variable in stored/ansi_label.c
 - Fix variable initialization warning in prepare.h
 - Fix warning in stored/autochanger.c
 - Fix warning in console/console.c

pluginlib: Move the new variables in the JobInfo phase

Add --enable-check-dmsg option to ./configure

Fix windows build

Add bVarSysConfigPath for plugins

fix JobHisto field typo from ReadDevice to LastReadDevice and a missing space

- tests/stats-test was failing

fix sqlite3 make table Error: near line 254: near ")": syntax error

- one ',' too much

regress: tweak bin/true -> true into copy-job-test

Add Tenant resource

Add Worm/UseWorm to MySQL and adapt SQLite

Adapt JobHisto procedure for new Job fields

Add Worm/IsWorm to Media table

create update_mysql_tables for 1026

Send progress information for Migration and Copy Jobs

cats: Update postgresql upgrade procedure

Fix MySQL make script

update mysql updatedb script

bvfs: Add VolType to .bvfs_versions

cats: Adjust MySQL update scripts

inventory-fd: b_uname

regress: add a crypto-unittest

- the main goal is to learn how the use the crypt_* function
- for now test only signature part

Enhance .bvfs_ls_files() to support VirtualFull

In one Job, a single file can have multiple instances with delta_seq != 0.
We modify the queries to find the higest DeltaSeq for a file and return
the correct FileId.

Optimize the split of the BSR

- When the BSR is split there is no need to remember for the volumes that
  are in the previous part.
- Read the BSR in one pass and resetting the list of volumes is difficult
  as we do the split in hindsight.
- Instead of modifying the list we remember when a volume has been
  seen for the last time (the job_num) and to know if a volume matter
  we compare it with the last_split_job_num that is the first job_num
  of the list

regress: add more check to bsr-loop-test

- check the number of session with the SD
- check the number of mount of a volume

antivirus: Generate FileEvents when a virus is detected

regress: Test new FileEvent list

Fix small memory leak when starting a job with PluginOptions

regress: Adapt plugin-test for fileevents