Tools: More cleanup

Remove references to VMDB.
Cleaned up some headers - they are all the same now
NIC, not nic in messages
RPC, not rpc in messages
OS, not os in messages
Added a few debugging messages for the new, structure data paths

Add VMX logging support to vgauth

Add support to log to the VMX.  Currently this is just for special
error conditions.

sync version and build number

Workaround for false negative result when detecting cloud-init existance

"cloud-init -v" cmd is used to detect if cloud-init is properly configured and
it works on most linux distros. However in some linux distro like Amazon Linux 2,
"cloud-init -v" will print result to stderr instead of stdout and it makes
"forkExecAndWaitCommand" give false negative result.

1. added a new bool switch in  "ForkExecAndWaitCommand" to choose
   if we should ignore the stderr output when the return code is 0
2. removed unnecessary reference for "ForkExecAndWaitCommand" in linuxDeploymentUtilities.c
3. trivial change for some formatting

Common header file change not applicable to open-vm-tools.

Tools: Rename GuestInfoUpdateVmdb to GuestInfoUpdateVMX

hostinfoPosix.c: More clean up

Tools Version change for AppDef Beta - 10.3.2.

Common header file change not applcable to open-vm-tools.

Common header file change not directly applicable to open-vm-tools.

Fix memory leaks in 'vix' tools plugin.

* vix plugin retrieves the power script file paths from the
config file but doesn't free them and this causes a memory leak.
Fixed the code to free the filepaths.

* In GuestAuthPasswordAuthenticateImpersonate function, the VGAuth
handle is not freed when the impersonation fails. Fixed the
code to call VGAuth_UserHandleFree in the error path.

Note: I executed one guest operation with wrong credentials.
Every failure leaks 75 bytes of memory. (in Centos 64-bit VM)

* Fixed another minor issue in the code. At couple of places in
the code, replaced 'err' with 'vgErr' for storing the return value
of VGAuth_UserHandleAccessToken.

open-vm-tools: build without libdnet by default

Building with libdnet does not add any value for Linux, so build
without it by default, but keep the option open to fall back on
it if there are issues.

FreeBSD still needs libdnet for full functionality, therefore
make building without it the default only for Linux.

Some source code clean up.

lib/file: FileIO_CloseAndUnlink

Unlink regardless of the close status.

Common header file change not applicable to open-vm-tools.

Common header file change not applicable to open-vm-tools.

Changes to common header files not applicable to open-vm-tools.

Adding structured data to Tools. (feature DISABLED)

This change touches both vmware-tools and the VMX.

Tools:
Added new rpc for sending a structured data. The structured data is
composed of 2 parts. A struct header and a well formatted property list
string called structured string.

The structured string is built by appending key='value' pairs
separated by ' '. This string will include any extra information
regarding the guest that is applicable to the VMX and higher up.

The structured string will not include any '"' characters and all '\\'
and '\'' characters are escaped. The fields included in the structured
string will vary depending on the guest OS, and if Linux, also what lsb
standard it conforms to.

The structure header contains the OS name and OS long name and will
always be included. If the structured data can be sent successfully the
short and long os names are not sent individually. If the VMX is an
older version and does not support the structured data RPC, then the
send in Tools will fail and can react accordingly.

Back out the previous change to a common header file.

Common header file change not directly applicable to open-vm-tools.

Common source file change not directly applicable to open-vm-tools

Verify existence of the returned path, retry the guest OP
CreateTemporaryFileInGuest/CreateTemporaryDirectoryInGuest using system
temp folder if the path disappears.

Change for tools vmx logging. Added locking to handle race condition
and deadlocks.

While there, changing GStaticRecMutex to GRecMutex since
GStaticRecMutex is deprecated since glib 2.32, and we are now at
glib 2.48.

The requirement here is that on top of the existing logging mechanism,
toolsd also send logs to VMX according to VMX side setting for toolsd
log levels. The existing logging mechansim shall be preserved so that
if there is a problem sending a message to VMX, that message is saved
in the guest according to whatever exising setting in tools.conf
either to a local file or the guest syslog. In addition, if there is
an issue sending VMX the log message, additioinal logs about the error
can also be logged using the existing tools.conf based log mechansim.

In order to support both the new and the old RPCs and the existing
tools.conf settings, it is best to use static globals for the vmx
logging. This simplifies both design and coding, and make it easier
to reason about the state of the vmx guest logger.

There is also no need to split the new code into another file. The newly
added logic actually belong to vmtoolsLog.c which keeps track of the
global states of the log processing and then invokes each external
log handler. The newly added code shall be invoked from the existing
vmtoolsLog.c framework code and also uses/updates multiple existing
vmtoolsLog.c data structure.

The old VMX LogHandler shall be left alone for now, since not all guest
apps will move to the new code at the same time. Once every apps have changed,
the old VMX LogHandler can be removed. Also removed is the stoplogging
code from the old VMX LogHandler since it is already covered by the
caller VMToolsLog() in vmtoolsLog.c

The global logging state is initialized as early as possible. However,
it should be done after the first VMTools_ConfigLogging() call so
that if there is any errors during the initialization, we can use
the local logging system to log them.

For a compatibility with older hosts and older tools, this change
tries to make sure the old vmx handler settings shall still WORK.
This is the most challenging part.

In order to avoid sending logs to VMX twice, if the VMX handler setting
is specified in the tools.conf, the local logger shall replace it
with the default file logging. However, the vmx handler setting is
NOT ignored, it shall be honored and used if the host is old and does
not support the new guest.log.* RPCs. There, we shall enter a fallback
mode and use the old log RPCs and the VMX handler's level setting is
read and used.

Need to call the setup() code in multiple places.
1) Initial start up (this is to enable it as early as possible).
2) Set option for a host designated level change.
3) RPC channel reset.
4) Tools config change procssing from signal HUP or timer callback.

The setup code can use g_xxx() for logging, but the core log handler
VmxGuestLog() cannot, to avoid recursive g_xxx() calls. Instead,
it calls Debug()/Warning() suites just like RpcChannel code.

Before, the RpcChannel loggings are thrown away which is not good.
This change here fixed the issue by logging those using the internal
VMToolsLogInt() function which directly write to the file system logger.

This change also fixed a bug where the vmtoolsd domain logs are thrown
away at the beginnnig of the tools load up. Enabling those requires us
to add the username as part of the log file name, since both the vmsvc
and vmusr processes would have use the same file vmware-vmtoolsd.log
which would cause a permission problem. The g_get_user_name only
returns the user without the domain. This might be a concern if
there are the same user id in both the local accouts and in the
domain. This rare case needs to be handled, but I am leaving it out
for now since it is very rare use case, and the same problem exists
already with the existing code.

Common header file change not applicable to open-vm-tools.

Common source file change not directly applicable to open-vm-tools.

Common header file change not applicable to open-vm-tools.

Common header file change not applicable to open-vm-tools.

Disable hgfsServer plugin when not running in a VMware VM.

VmCheck_GetVersion() accesses Backdoor in an unsafe manner
which is not expected to work on non-VMware environments
including physical machines. So, we need to make sure that
VmCheck_GetVersion() is called only when we are running in
a VMware VM.

Common header file change not directly applicable to open-vm-tools.

Common header file change not applicable to open-vm-tools.

Common header file change not applicable to open-vm-tools.

Optional override for short and long OS names sent from Tools

Added support for customers to override the returned long and short OS
names through the tools config file. If the setting is present, then names
gathered by hostinfo will be ignored. The user is responsible for setting
the appropriate names.

The override will be ignored if the short-name setting is not present in
tools.conf.

An empty string will be sent for the long OS name if only the short-name
setting is present.

Appropriate warning msg will be generated in both cases.

Example of the conf setting:

[guestosinfo]
short-name = centos6-64
long-name = some long name

Common header file not directly applicable to open-vm-tools.

Tools version to 10.3.1 as ben assigned to a Hot Patch.

Tools 10.3.1 has the newer version of the WDDM driver 8.16.01.0001

Expose more guest stats for vROPS to report the exact physical memory
stats as the guest OS UI does.

Windows:
guest.mem.modifiedPages (Win32_PerfRawData_PerfOS_Memory#ModifiedPageListBytes)
guest.mem.standby.core (Win32_PerfRawData_PerfOS_Memory#StandbyCacheCoreBytes)
guest.mem.standby.normal (Win32_PerfRawData_PerfOS_Memory#StandbyCacheNormalPriorityBytes)
guest.mem.standby.reserve (Win32_PerfRawData_PerfOS_Memory#StandbyCacheReserveBytes)

Linux:
guest.mem.total (/proc/meminfo#MemTotal)
guest.mem.buffers (/proc/meminfo#Buffers)
guest.mem.cached (/proc/meminfo#Cached)
guest.mem.slabReclaim (/proc/meminfo#SReclaimable)
guest.mem.available (/proc/meminfo#MemAvailable since Linux 3.14, emulated by VMTools for kernels 2.6.27+)

Common header file change not directly applicable to open-vm-tools.

Fix some bad derefs in primary NIC gathering code.

Found by user in https://github.com/vmware/open-vm-tools/issues/272

Debug code tries to access a struct field that may not have been initialized.
 - Pointer deref'd without a sanity check.

Common header file change not applicable to open-vm-tools.

lib/file: Add missing errno for FileLock_Lock()

FileLock_Lock() can return the errno to the caller through int *err.
Before this change, one case is missing: EAGAIN.  This change will fix it.

Maintain VMware Tools release history in vm_tools_version.h

Tracks TOOLS_VERSION_JACKHAMMER_UPDATE1 = 10.3.5.
Tracks TOOLS_VERSION_CHAINSAW_PATCH2 = 10.2.7.

Log reply from VMX when powerOps plugin fails to send RPC.

The powerOps plugin sends a "tools.os.statechange.status" RPC after
the power scripts are executed.  The reply from VMX for this RPC
is not currently logged.  The reply is very useful to debug
'toolsRunningStatus' issues in FSR workflows.  Modified the code
to log the reply.

Common header file change; not applicable to open-vm-tools

Calculating monitor work area: No bar exists if seamless maximizing

In Unbuntu 18.04, Redhat 7.4, 7.5, the work area size could not be calculated
based on _NET_WM_STRUT or _NET_WM_STRUT_PARTIAL.  These two properties could
not be retrived through the window manger.  In this fix, use _NET_WORKAREA to
get the work area, but this is only available with a single monitor.

Common header file change; not applicable to open-vm-tools

Back out previous change to powerOps.c

Log reply from VMX when powerOps plugin fails to send RPC.

The powerOps plugin sends a "tools.os.statechange.status" RPC after
the power scripts are executed.  The reply from VMX for this RPC is
not currently logged.  The reply is very useful to debug 'toolsRunningStatus'
issues in FSR workflows.  Modified the code to log the reply.

Changes to header files: Add support for Mac OS 10.15

Add the basic support for Mac OS 10.15; the hosted UI team will
decide when things become customer facing.

Common header file change not directly applicable to open-vm-tools

Common header file change; not applicable to open-vm-tools

Common header file change not directly applicable to open-vm-tools

Common header file change not applicable to open-vm-tools

Changes to common header files; not applicable to open-vm-tools

Common source file change not applicable to open-vm-tools

Common header file change; not applicable to open-vm-tools

Use ToolsCmd_FreeRPC() to free the memory instead of vm_free.

There exists a function ToolsCmd_FreeRPC that can be called to free
the memory allocated from the ToolsCmd_SendRPC function call.

At few places in the code, vm_free is used to free the memory.
Replaced those references with ToolsCmd_FreeRPC.

Changes to common header files; not applicable to open-vm-tools

OVT: update AUTHORS to include John Eismeier

Update AUTHORS to include John Eismeier for fix some spelling
https://github.com/vmware/open-vm-tools/pull/264

Changes to common source files; not directly applicable to open-vm-tools

Back out the previous change; missing a file.

Changes to common source files; not directly applicable to open-vm-tools

Add support for CRX pod and sys (version 1) VMs

These are special Linux 4 VMs; the CRX pod VMs are wrapped around
Kubernetes. Here we provide the basic VMX recognition and support
mechanisms. Later changes will add the support of the CRX pod VMs
to VIM/VMODL... and other pieces.

Properly free the memory when RpcChannel_Send() fails.

At few places in the code, when RpcChannel_Send() function fails,
the result (fourth argument to the function) is not freed which might
result in a memory leak.

Addressed few references by adding 'RpcChannel_Free(...)' calls
in the necessary error code paths.

For toolbox-cmd application, added a new function ToolsCmd_FreeRPC
which internally calls RpcChannel_Free function to free the memory
allocated from ToolsCmd_SendRPC calls. Modified toolboxcmd-shrink.c
to use the new function to free the memory.

Common header file change; not applicable to open-vm-tools

Hgfs Server: fix some spelling errors

Fix some spelling errors as mentioned on pull request
https://github.com/vmware/open-vm-tools/pull/264

Common header file change; not applicable to open-vm-tools

Common header file change; not directly applicable to open-vm-tools

Backout the previous change.

Common header file change; not directly applicable to open-vm-tools

Common header file change; not applicable to open-vm-tools.

Common header file changes related to Log Facility; not directly applicable
to open-vm-tools

Common header file change not applicable to open-vm-tools

Add Util_Data2Buffer() variant that supports custom separator

\0 means no separator at all.

Common header file change; not applicable to open-vm-tools.

Add the notification to toolsd about the guest log level change.

Consolidated the VIGOR APIs of guestLogEnabled and guestLogLevel, since
it is easier for the customers to use just one API to set both. Use
the "disable" enum value to disable the guest logging instead of
using a separate field and VIGOR API.

Now sending a new tools option to the toolsd whenever the guestLogLevel
changes.

Back out the previous socket timeout fix

Reverting commit 4453414

[tools] Cleanup RpcOut reply after send failure

There is a path in RpcOut that does not clear the reply message
after a failure.  This can cause the invoker to trigger a free()
failure.

Common header file change; not applicable to open-vm-tools.

[VMTools] [DnD] [Code Refactor] - part 1 - dndGuest/dndcp sides refactor

These code changes are based on following two principles:
1. No functional impact/change on DnD & Copy Paste feature for WS/Fusion.
2. The DnD base code is ready for Horizon View DnD feature target for
   an upcoming release.

Summary for this patch:
1. The dependency refactor to add a new folder dndGuestBase (lib\dndGuestBase)
   to extract the common code shared by WS/FS and View.
2. Add two sub folders to dndGuestBase (vm-inc and crt-inc) to contain
   the WF/FS or view specific header files. (for example,
   vm-inc/vmGuestDnDSrc.hh, crt-inc/crtGuestDnDSrc.hh....)
3. The header files start with 'crt' will not be used by WS/FS, they are
   added only for specifying the new folder structure.
4. Move WS/FS specific dndGuest/dndcp codes to WS/FS specific derived
   classes like VMGuestDnDCPMgr, VMGuestDnDMgr, VMCopyPasteDnDWrapper and so on.
5. Also have created some Horizon View specific codes on mkvchanserver in
   local environment to verify most of interfaces in the base classes are
   ready for Horizon View side DnD development.

Common header file change; not applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

Fixed socket timeout issue when we send multiple namespacetool commands.

When namespacetool commands are run without any delay, the second command
may fail because the previous socket connection was not closed.

Common header file change; not applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

Changes to common source files; not applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

[GHI over MKSControl] Improve the documentation of GHI channels.

Also improved the log messages. And add a DND channel.

Common header file change; not applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

Update the Tools-10.3.0 OSL.

Common header file change not applicable to open-vm-tools.

Changes to common header files; not applicable to open-vm-tools.

Common source file change not directly applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

Common header file change; not applicable to open-vm-tools.

Common source file change; not directly applicable to open-vm-tools.

Yet More SnowMotion Logging

Prior logging indicates an issue when reading back from disk, so
tweak the logging to report the count# (since SuperFgets doesn't log
null terminators) of bytes and add a log to Dictionary_WriteFile to log
the last 100 bytes of the buffer.

Fix the broken list in lib/include/guest_os_tables.h

The list wasn't sorted.

Changes to common header files; not applicable to open-vm-tools

GOS: Add support for Windows Server 2019

Add support for the upcoming Windows Server 2019. With this change it
is present but does not show up in a public menu. Making it appear in
a customer menu is something the hosted UI group does... when they are
ready.

Remove the new guest metrics feature switch, permanently enabling the
collection of new guest metrics for vROps..

Common header file change; not applicable to open-vm-tools.