win32: Add cdp plugin

win32: Tweak Makefile to handle dependencies

- the dependencies where ignored because the target was wrong
  before > main.o obj64/main.d: main.cpp who.h ../libwin32/main.cpp
  after  > obj64/main.o obj64/main.d: main.cpp who.h ../libwin32/main.cpp
  the "obj64" "prefix allows make to find the rule when building
  obj64/main.o
- adding "-" to "include" shut up missing .d files at first compile

Add support for QT5 in windows build

win32: Makefile add winfiled target + NOTPARALLEL

- the .NOTPARALLEL option just disable the "-j" option effect at the
  level of the Makefile to keep it sequential. The "-j" will be passed
  to sub-level Makefile
- the new target allow to quickly RE-build the client when all files
  have been already compiled once.
- A quick way to build the client :
  use "make win64=yes bat=no winfiled -j 4" to quickly build the client
- this is not 100% reliable, but very convenient for faster development
  of the client.
- run the command twice to be sure.
- for the build of the package does as usual, don't use "-j"

Update copyrights

win32: update External-mingw*

Fix compilation warning

Fix compilation on Tru64

Replace a memset by bmemset in findlib/bfile.c

BEE Backport filed/fd_plugins.c

Fix incorrect error message with metadata backup

Fix #8276 About segfault when plugins are not loaded

Fix compilation on OSX

Fix #8142 Skip XATTR larger than MaximumNetworkBuffer

BEE Backport stored/stored_conf.h

Fix #8343 About weird output characters after stopping job

cloud: Fix #8265 Do not re-open part.1 during truncate

Whem using glacier, if we re-open the part.1 after the truncate,
bacula might have to wait 3 days to get the part.1 from the cloud
to finally truncate it as well. During this call, the SD is locked
and all jobs are blocked.

Fix #7396 grant command error in granting privileges script for MySQL

Fix #7319 Introduce 'du' command inside restore menu

Description:
-----------

Restore menu's du commands mimics Linux 'du' commands in terms that it
simply sums size of all files in directories below. For files, it simply
prints it's sizes.

TREE_NODE`s delta_seq size was reduced to int16_t since we don't expect
it to be any bigger at all while it reduced struct`s size a little bit
(it was still expanded by the `size` filed though).

Update information message with 'purge jobs name=' command

Fix #6051 About adding 'name' arg for 'purge jobs' command

Change .bvfs_get_jobids() to use PriorJob

Backport dird/ua_cmds.c from Enterprise

Remove useless bmemset() with POOL_DBR

Update help command for the purge command

Use bmemset in dird/job.c

Fix #8167 About BAT tool crashing the dir

Reintroduced missing 'if(job)' case for get_job_storage, so that it
works for both 'run' and 'job' arguments provided.
Removed unneded get_job_storage() call from get_storage().

Move the delete volume event just before the actual deletion

Tweak debug message in lib/progress.h

regress: Fix base64-unittest

scripts: Fix git version script.

Add PriorJob to llist job output

Allow to use PriorJob in db_get_job_record() if the Job is not found

The .bvfs_get_jobids ujobid=xxxx function will set the Job and the PriorJob
fields to search for a JobId. It will allow to search on Copy Jobs.

Add support for Fujitsu Eternus LT under Solaris 11

Tweak spaces in inc_conf.c

Use const in global names in dird_conf.h

Fix #8140 About wrong version mentioned in catalog update scripts

Fix #8159 About a deadlock when starting the Director with a missconfigured catalog

mysql: add Primary Key for all fixed tables

Remove debugging information

Remove extraneous file committed in error

Get regression testing working on FreeBSD

Fix #8126 About strange ouput for the .status client command

Fix compilation warning on STATUS_PKT

regress: Schedule new store mngr test

regress: add all-store-mngr-tests

regress: add store-mngr-many-read-devs-test

Fix #8098 About director crash for Migration job

All of the 'read' storage groups members have to be
incremented/decremented instead of just first on from the list.

tweak comment about lmgr_mutex_is_locked()

ProgressCounter::find_accounting(state=0) return start_t & end_t

- this allow to use find_accounting() method instead of accessing
  directly the fields start_t & end_t

fix the %W hexdump output size limit problem in bsnprintf

- bsnprintf was display twice the number of digits
- this is exclusively used by dedup

Fix incorrect patch merged with WIP work

Fix compilation error on redhat7

regress: Add regress tests for metaplugin accurate get feature.

metaplugin: Add accurate get feature for backends.

Add getAccurateAttribs() FD Plugins callback.

This callback implements a direct query on accurate database.
To make a query you need to provide `fname` in `accurate_attribs_pkt`
parameter struct. Then you will get response at other struct fields.

metaplugin: Add missing files.

regress: Update kubernetes regress test.

regress: Update metaplugin regress tests.

regress: Update regression script for accurate mode.

metaplugin: Add accurate mode query.

This patch implements a basic accurate mode query to the metaplugin
protocol. In this extension the backend can issue `CHECK:$fname`
command followed by a standard `STAT:...` and `TSTAMP:...` commands
to ask Bacula if it should backup $fname in this job.
The metaplugin will response with simple "OK", you should backup this
file or "SEEN" it before, backup is not required. This feature will work
with Accurate jobs only. If job is not accurate then user will get
an error job message.

pluginlib: Update general build.

Update general plugins build.

metaplugin: Fix invalid constant comparision.

This is a possible regression as we changed the PTCOMM
Interface but do not update error condition verification.

metaplugin: Update regression to check large RestoreObject.

metaplugin: sendbackend() update.

cdp: open the inotify stream using the CLOEXEC (close on exec) flag

- this will avoid for any child to corrupt the inotify stream

cloud: Fix #8101 Update S3 error list to match the libs3 index

cloud: Fix destination name when moving part

cloud: S3 delete parts once it's been renamed

Fix compilation

cloud: Fix S3 error msg generation during upload

win32: Switch to OpenSSL 1.1.1l

tweak ProgressCounter to store some accounting for the different state

- this make it easier to show the time spend in the different part of the
   vacuum for example.

Add macro for MmsgD7-8

add built-in hexdump to bsnprintf()

- sample
char hash[MAX_HASH_SIZE];
int hash_size=32;

/* notice that the length is the length in the output "buffer" not the
   length of the input buffer. This is like in any printf() "length"
   any char in the input will generate 2 digit in the output, you must
   multiply by 2 the size of the input buffer or get a small output!
   It is safe because bnsprintf() knows the length of its output buffer
   and truncate any overload
*/
Mmsg(0, "the hash is :%64W", hash);             // fixed size
Mmsg(0, "the hash is :%*W", 2*hash_size, hash); // variable size

regress: Schedule new test remote-console-duplicate-test in CDASH

regress: add test for #7998 About client initiated backup crash

Fix #7998 About dir crashing for client intiated backup

Description:
For client initiated backup, ua->UA_sock == jcr->file_bsock, see
(ua_run.c:275):
if (rc.fdcalled) {
      jcr->file_bsock = ua->UA_sock;
      jcr->file_bsock->set_jcr(jcr);
}

So when jcr is freed, the ua->UA_sock which is used by ua->error_msg
and others, is no longer valid.

Revert "Fix #7998 About dir crashing for client intiated backup"

This reverts commit c891dfd15fda4841ed8f6c69b6db7c43c80fb026.

regress: Schedule new test copy-job-res-rename-test in CDASH

regress: add test for org#2627 about dir crashing during copy job

Fix org#2627 About DIR crashing for copy jobs and resource rename

Ensure that the DIR will reject catalog update from the FD

- bget_dirmsg() allows or denies some operation reagarding the role

remove dead code mount_request()

cleanup dead code: dir_send_job_status()

Fix #7998 About dir crashing for client intiated backup

Description:
For client initiated backup, ua->UA_sock == jcr->file_bsock, see
(ua_run.c:275):
if (rc.fdcalled) {
      jcr->file_bsock = ua->UA_sock;
      jcr->file_bsock->set_jcr(jcr);
}

So when jcr is freed, the ua->UA_sock which is used by ua->error_msg
and others, is no longer valid.

Fix compilation warning in storage manager to get rid of 'initialzer lists' warning

Description:
when using:
mutex = PTHREAD_MUTEX_INITIALIZER;
instead of:
pthread_mutex_init(&mutex, NULL);
There could be warning on some environments:
store_mngr.c:31:10: warning: extended initializer lists only available
with -std=c++11 or -std=gnu++11 [enabled by default]
    mutex = PTHREAD_MUTEX_INITIALIZER;

To get rid of it, simply use the init/destroy mutex helpers.

docker: Check the presence of the docker tools duing loadPlugins()

If the plugin is installed without the tools, the status client command
is broken.

*st client
Automatically selected Client: centos7-64-fd
Connecting to Client centos7-64-fd at centos7-64:9102
Failed to connect to Client centos7-64-fd.
====
You have messages.
*m
06-Aug 02:47 centos7-64-dir JobId 0: Fatal error: File daemon "centos7-64-fd" rejected Job command: docker: Unable to use command tool: /usr/bin/docker Err=No such file or directory

Fix segfault with the status dir command and debug level 250

regress: Fix plugin-objects-test for MySQL

Fix compilation warnings

regress: add some sleep in store-mngr-busy-dev-test

regress: Fix console-acl-test

With the new features of the "list jobmedia" command (filter by jobid),
the command used in the script "list jobmedia jobid=1" now works as
expected and is returning only one record instead of everything.

regress: Cleanup files generated by the regexwhere-test

Fix SQL query generated with ACLs

Issue reported by the console-acl-test

05-Aug 10:59 localhost-dir JobId 0: bdb.h:141 SELECT JobId,Media.VolumeName,FirstIndex,LastIndex FROM JobMedia JOIN Media
USING (MediaId)  JOIN Job USING (JobId)  JOIN Client USING (ClientId)  JOIN Pool USING (PoolId)  LEFT JOIN FileSet USING (
FileSetId)    WHERE  (Client.Name IN ('localhost-fd'))  ORDER BY JobMediaId ASC
05-Aug 10:59 localhost-dir JobId 0: Fatal error: bdb.h:141 bdb.h:141 query SELECT JobMediaId,JobId,Media.MediaId,Media.VolumeName,FirstIndex,LastIndex,StartFile,JobMedia.EndFile,StartBlock,JobMedia.EndBlock FROM JobMedia JOIN Media USING (MediaId)  JOIN Job USING (JobId)  JOIN Client USING (ClientId)  JOIN Pool USING (PoolId)  LEFT JOIN FileSet USING (FileSetId) WHERE  (Client.Name IN ('localhost-fd'))  ORDER BY JobMediaId ASC failed:
ERROR:  common column name "poolid" appears more than once in left table

The Pool restriction was introduced recently and is not mandatory.

regress: Fix edit-unittests

The test procedure tries to run the test from src/lib,
and it doesn't work very well with libtool...

make: Entering directory '/home/r1/r1/regress/build/src/lib'
/bin/rm -f edit.o
/usr/bin/g++ -DTEST_PROGRAM   -c -fno-strict-aliasing -fno-exceptions -fno-rtti  -I. -I..  -Wall -g -O0 -fno-strict-aliasing -fno-exceptions -fno-rtti  edit.c
/home/r1/r1/regress/build/libtool --silent --tag=CXX --mode=link /usr/bin/g++  -L. -o edit_test edit.o unittests.o  -lbac -lm -lpthread -ldl -ldl  -lssl -lcrypto
/home/r1/r1/regress/build/libtool --silent --tag=CXX --mode=install /usr/bin/install -c -m 0750 edit_test /home/r1/r1/regress/bin/
/bin/rm -f edit.o
/usr/bin/g++   -c -fno-strict-aliasing -fno-exceptions -fno-rtti  -I. -I..  -Wall -g -O0 -fno-strict-aliasing -fno-exceptions -fno-rtti  edit.c
make: Leaving directory '/home/r1/r1/regress/build/src/lib'
/usr/lib/gcc/x86_64-linux-gnu/5/../../../x86_64-linux-gnu/crt1.o: In function `_start':
(.text+0x20): undefined reference to `main'
collect2: error: ld returned 1 exit statusn

Add !verified to default FD configuration files

regress: Update verify tests with files listing

Fix #6119 About listing files being verified

regress: tweak copy-job-mail-test