Friday, March 11, 2016

VSphere | Advanced snapshot trobuleshooting - Part 2 - Example: Unable to consolidate because the file is locked

This is Part 2 of the short tutorial series:
vSphere | Advanced snapshot troubleshooting

Virtual Machine consolidation attempts result with bellow error:
Unable to access file since it is locked


Quick jump to:
Part 1 | Part 3


Warning / Disclaimer!!

The steps and procedures described in this article contain low level commands and/or information on editing configuration files directly on ESXi hosts, all of which should be done by professionals.
Further more, the examples here can only be used as a general guidelines on how to trobuleshoot the described problems, and do not provide the exact solution. I am not responsible for any damages done to your infrastructure by reproducing these steps. Proceed at your own risk!




VMware has a really nice article about it: Investigating virtual machine file locks on ESXi/ESX (10051) where they mention a number of possibilities. I must admit that only few those things helped me and only in rare occasions.

First as it is mentioned you can try to migrate the VM to another host/datastore which will release the lock. It is advisable to do this with a powered off VM, especially if the VM is large and/or it is under heavy load. After the migration is done, there are usually two outcomes:

First outcome is that there is still a consolidation warning, and you are able to consolidate. In that case the problem is solved. Nice!

Alternatively you may notice that the consolidation warnings are gone. Or are they? Lets check and see for ourselfs. Time to hit the the ESXi shell:

Login to the host with SSH where the VM is located. Don't forget to enable SSH for that particular host too.

Tip: vimcmd is your friend!

Go into the VM directory. First let's gather some info about our VM:
# vim-cmd vmsvc/getallvms | grep "CP DEV"
3463   CP DEV                                  [Datastore1] CP DEV/CP DEV.vmx                                                          windows7Server64Guest


Take note of the ID 3463.

Now go into the VM folder and list the VM files:
# ls /vmfs/volumes
drwxr-xr-t    1 root     root          2240 Jan 19 11:50 516c1a57-449b7efb-17ee-b8ac6f7f3c70
drwxr-xr-t    1 root     root          3220 Mar  9 11:45 4ac65a74-838fa7e6-2f8c-00265554a8d6
drwxr-xr-t    1 root     root          2240 Mar  9 15:22 516c1a57-449b7efb-17ee-b8ac6f7f3c70
lrwxr-xr-x    1 root     root            35 Mar 10 16:22 Datastore1 -> 4ac65a74-838fa7e6-2f8c-00265554a8d6
lrwxr-xr-x    1 root     root            35 Mar 10 16:22 v7000 10K SAS 2 -> 5114ce6c-2efe905e-81bf-d8d385a3f488
lrwxr-xr-x    1 root     root            35 Mar 10 16:22 v7000-XCP-Dev-Env -> 516c1a57-449b7efb-17ee-b8ac6f7f3c70

# cd /vmfs/volumes/4ac65a74-838fa7e6-2f8c-00265554a8d6/CP\ Dev-Env
/vmfs/volumes/4ac65a74-838fa7e6-2f8c-00265554a8d6/CP DEV # ls -la
total 431672576
drwxr-xr-x    1 root     root         50960 Mar  9 12:10 .
drwxr-xr-t    1 root     root          3220 Mar  9 11:45 ..
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000001-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000001-delta.vmdk
-rw-------    1 root     root           407 Mar  9 11:55 CP DEV-000001.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000002-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000002-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000002.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000003-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000003-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000003.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000004-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000004-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000004.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000005-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000005-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000005.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000006-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000006-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000006.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000007-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000007-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000007.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000008-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000008-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000008.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000009-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000009-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000009.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000010-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000010-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000010.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000011-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000011-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000011.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000012-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000012-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000012.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000013-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000013-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000013.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000014-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000014-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000014.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000015-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000015-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000015.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000016-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000016-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000016.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000017-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000017-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000017.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-000018-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000018-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000018.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000019-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:53 CP DEV-000019-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000019.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000020-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000020-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000020.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000021-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000021-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000021.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000022-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000022-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000022.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000023-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000023-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000023.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000024-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000024-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000024.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000025-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000025-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000025.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000026-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000026-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000026.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000027-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000027-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000027.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000028-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000028-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000028.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000029-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000029-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000029.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000030-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000030-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000030.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:54 CP DEV-000031-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:54 CP DEV-000031-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000031.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:55 CP DEV-000032-ctk.vmdk
-rw-------    1 root     root     1023619072 Mar  9 11:54 CP DEV-000032-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000032.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:55 CP DEV-000033-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:55 CP DEV-000033-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000033.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:55 CP DEV-000034-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:55 CP DEV-000034-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000034.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:55 CP DEV-000035-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:55 CP DEV-000035-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000035.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:55 CP DEV-000036-ctk.vmdk
-rw-------    1 root     root     117649408 Mar  9 11:55 CP DEV-000036-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000036.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:55 CP DEV-000037-ctk.vmdk
-rw-------    1 root     root        208896 Mar  9 11:55 CP DEV-000037-delta.vmdk
-rw-------    1 root     root           414 Mar  9 11:55 CP DEV-000037.vmdk
-rw-------    1 root     root       6554112 Mar  9 12:09 CP DEV-000038-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 12:11 CP DEV-000038-delta.vmdk
-rw-------    1 root     root           414 Mar  9 12:09 CP DEV-000038.vmdk
-rw-------    1 root     root            13 Mar  9 12:00 CP DEV-aux.xml
-rw-------    1 root     root       6554112 Mar  9 11:53 CP DEV-ctk.vmdk
-rw-------    1 root     root     8589934592 Mar  9 12:09 CP DEV-e2b4942d.vswp
-rw-------    1 root     root     107374182400 Mar  9 11:45 CP DEV-flat.vmdk
-rw-------    1 root     root          8684 Mar  9 12:09 CP DEV.nvram
-rw-------    1 root     root           576 Mar  9 11:55 CP DEV.vmdk
-rw-r--r--    1 root     root             0 Mar  9 12:00 CP DEV.vmsd
-rwxr-xr-x    1 root     root          3868 Mar  9 12:09 CP DEV.vmx
-rw-------    1 root     root             0 Mar  9 12:09 CP DEV.vmx.lck
-rw-r--r--    1 root     root           261 Mar  9 12:00 CP DEV.vmxf
-rwxr-xr-x    1 root     root          3867 Mar  9 12:09 CP DEV.vmx~
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000001-ctk.vmdk
-rw-------    1 root     root        413696 Mar  9 11:59 CP DEV_113-000001-delta.vmdk
-rw-------    1 root     root           419 Mar  9 12:00 CP DEV_113-000001.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000002-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000002-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000002.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000003-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000003-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000003.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000004-ctk.vmdk
-rw-------    1 root     root        413696 Mar  9 11:59 CP DEV_113-000004-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000004.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000005-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000005-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000005.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000006-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000006-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000006.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000007-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000007-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000007.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000008-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000008-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000008.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000009-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000009-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000009.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000010-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000010-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000010.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000011-ctk.vmdk
-rw-------    1 root     root        413696 Mar  9 11:59 CP DEV_113-000011-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000011.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000012-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000012-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000012.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000013-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000013-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000013.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000014-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000014-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000014.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000015-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000015-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000015.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000016-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000016-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000016.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000017-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000017-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000017.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000018-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000018-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000018.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000019-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000019-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000019.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000020-ctk.vmdk
-rw-------    1 root     root        413696 Mar  9 11:59 CP DEV_113-000020-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000020.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000021-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000021-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000021.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000022-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000022-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000022.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000023-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000023-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000023.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000024-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000024-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000024.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000025-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000025-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000025.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000026-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000026-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000026.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000027-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000027-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000027.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000028-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000028-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000028.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000029-ctk.vmdk
-rw-------    1 root     root        413696 Mar  9 11:59 CP DEV_113-000029-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000029.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000030-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000030-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000030.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000031-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000031-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000031.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000032-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000032-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000032.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000033-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000033-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000033.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000034-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000034-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000034.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-000035-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 11:59 CP DEV_113-000035-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000035.vmdk
-rw-------    1 root     root       6554112 Mar  9 12:00 CP DEV_113-000036-ctk.vmdk
-rw-------    1 root     root        413696 Mar  9 11:59 CP DEV_113-000036-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:00 CP DEV_113-000036.vmdk
-rw-------    1 root     root       6554112 Mar  9 12:09 CP DEV_113-000037-ctk.vmdk
-rw-------    1 root     root      17190912 Mar  9 12:11 CP DEV_113-000037-delta.vmdk
-rw-------    1 root     root           426 Mar  9 12:10 CP DEV_113-000037.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:59 CP DEV_113-ctk.vmdk
-rw-------    1 root     root     214748364800 Mar  9 11:58 CP DEV_113-flat.vmdk
-rw-------    1 root     root           584 Mar  9 12:00 CP DEV_113.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000001-ctk.vmdk
-rw-------    1 root     root        208896 Mar  9 11:57 CP DEV_38-000001-delta.vmdk
-rw-------    1 root     root           416 Mar  9 11:58 CP DEV_38-000001.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000002-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000002-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000002.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000003-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000003-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000003.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000004-ctk.vmdk
-rw-------    1 root     root        208896 Mar  9 11:57 CP DEV_38-000004-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000004.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000005-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000005-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000005.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000006-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000006-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000006.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000007-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000007-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000007.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000008-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000008-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000008.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000009-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000009-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000009.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000010-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000010-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000010.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000011-ctk.vmdk
-rw-------    1 root     root        208896 Mar  9 11:57 CP DEV_38-000011-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000011.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000012-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000012-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000012.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000013-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000013-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000013.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000014-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000014-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000014.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000015-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000015-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000015.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000016-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000016-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000016.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000017-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000017-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000017.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-000018-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000018-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000018.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000019-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:57 CP DEV_38-000019-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000019.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000020-ctk.vmdk
-rw-------    1 root     root        208896 Mar  9 11:58 CP DEV_38-000020-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000020.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000021-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000021-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000021.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000022-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000022-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000022.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000023-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000023-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000023.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000024-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000024-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000024.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000025-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000025-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000025.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000026-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000026-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000026.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000027-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000027-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000027.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000028-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000028-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000028.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000029-ctk.vmdk
-rw-------    1 root     root        208896 Mar  9 11:58 CP DEV_38-000029-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000029.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000030-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000030-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000030.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000031-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000031-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000031.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000032-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000032-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000032.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000033-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000033-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000033.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000034-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000034-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000034.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000035-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 11:58 CP DEV_38-000035-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000035.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:58 CP DEV_38-000036-ctk.vmdk
-rw-------    1 root     root        208896 Mar  9 11:58 CP DEV_38-000036-delta.vmdk
-rw-------    1 root     root           423 Mar  9 11:58 CP DEV_38-000036.vmdk
-rw-------    1 root     root       6554112 Mar  9 12:09 CP DEV_38-000037-ctk.vmdk
-rw-------    1 root     root      16986112 Mar  9 12:11 CP DEV_38-000037-delta.vmdk
-rw-------    1 root     root           423 Mar  9 12:10 CP DEV_38-000037.vmdk
-rw-------    1 root     root       6554112 Mar  9 11:57 CP DEV_38-ctk.vmdk
-rw-------    1 root     root     107374182400 Mar  9 11:55 CP DEV_38-flat.vmdk
-rw-------    1 root     root           582 Mar  9 11:58 CP DEV_38.vmdk
-rw-------    1 root     root      35125861 Mar  9 12:00 vmmcores-1.gz
-rw-------    1 root     root      41647416 Mar  9 12:00 vmware-10.log
-rw-------    1 root     root        602067 Mar  9 12:00 vmware-11.log
-rw-------    1 root     root      41300265 Mar  9 12:00 vmware-12.log
-rw-------    1 root     root      10308584 Mar  9 12:00 vmware-13.log
-rw-------    1 root     root        168185 Mar  9 12:00 vmware-8.log
-rw-------    1 root     root        199221 Mar  9 12:00 vmware-9.log
-rw-r--r--    1 root     root        275480 Mar  9 12:11 vmware.log
-rw-------    1 root     root     135266304 Mar  9 12:09 vmx-CP DEV-3803485229-1.vswp


Whohooo, look at all those delta files! But you are still unable to consolidate, because the hypervisor hasn't detected the snapshots. What to do now?

Things you can try:

1. Get a new snapshot - We can even use the shell for this. First take note of the VM ID from the `vim-cmd vmsvc/getallvms` command. In my case that is 3463.

Then take the snapshot:
# vim-cmd vmsvc/snapshot.create 3463 snap 777 snapdesc 0 0

List the snapshot:
# vim-cmd vmsvc/snapshot.get 3463
Get Snapshot:
|-ROOT
--Snapshot Name        : snap777
--Snapshot Id        : 1
--Snapshot Desciption  : snapdesc
--Snapshot Created On  : 3/9/2016 12:18:5
--Snapshot State       : powered off

Remove all of the snapshots to consolidate:
# vim-cmd vmsvc/snapshot.removeall 3463

The last command may take longer than expected so don't be afraid. The console must be running at all the time during this process. Don't disconnect or interrupt it anyhow or you risk bigger problems. You may also try to remove all the snapshots via the vSphere web client. If you feel that you want to monitor what is happening try and use some of the commands for monitor snapshot dentition at the beginning of this article.

Additional notes of "Things to attempt to solve the problem":


2. You may attempt to un-register the VM and then re-register it again. Right click on the VM within the vSphere Client and Remove it from Inventory. Than browse at the datastore where the VM is, right click at on the VM file and Add to Inventory. You can try registering the VM on another host, if you have one available. That will force the host to re-scan the VM and detect the snapshots. In any case then you may attempt to use the "Get new snapshot and delete all technique"

3. Try cloning the VM, however be advised that this is not that recommended as this will generate new ID. But if it solved the problem, then go for it.


In the next Part 3 we will go in-depth with solving an even more complex problem

No comments:

Post a Comment