Incorrect datagebruik VMWare ESXi virtual machines

[chronoz]

De meeste van mijn virtuele machines hebben een incorrect weergegeven disk-gebruik in VMWare. Linux geeft aan dat er maar 14GB in gebruik is, VMWare een veel hoger getal:

code:

Provisioned Storage: 162,00GB
Not-shared Storage: 107,42GB
Used Storage: 107,42GB

Ook de vmdk-file is maar liefst 107GB groot.

code:

[root@plesk01 ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      155G   14G  133G  10% /
/dev/sda1              99M   14M   80M  15% /boot
tmpfs                1006M     0 1006M   0% /dev/shm
tmpfs                1006M     0 1006M   0% /usr/local/psa/handlers/before-local
tmpfs                1006M     0 1006M   0% /usr/local/psa/handlers/before-queue
tmpfs                1006M     0 1006M   0% /usr/local/psa/handlers/before-remote
tmpfs                1006M   12K 1006M   1% /usr/local/psa/handlers/info
tmpfs                1006M     0 1006M   0% /usr/local/psa/handlers/spool
[root@plesk01 ~]# fdisk -l
Disk /dev/sda: 171.7 GB, 171798691840 bytes
255 heads, 63 sectors/track, 20886 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        1044     8281507+  8e  Linux LVM
/dev/sda3            1045        5221    33551752+  8e  Linux LVM
/dev/sda4            5222       20886   125829112+  8e  Linux LVM
[root@plesk01 ~]#

Hetzelfde probleem lijkt zich af te spelen op alle virtuele machines, maar dit verschil is verruit het grootste. dns1 gebruikt in Linux 2,7GB, in Vmware 7.5GB. DirectAdmin in Linux 10GB, in VMWare 40GB.

Veam heeft DirectAdmin ge-backupped met 40GB en de Plesk-server met 65GB. Gezien de beperkte data die daadwerkelijk in gebruik is, hoop ik dat jullie me kunnen adviseren hoe ik ervoor kan zorgen dat de storage efficiënter benut wordt voor zowel opslag als back-ups.

Er wordt gewoon gebruik gemaakt van thin-provisioning en er zijn geen snapshots.

[SpamLame]

VZIW wordt bij een backup niet de gebruikte data weggeschreven maar de deze ook opgeblazen naar wat geprovisioned is.
Ik heb dit ook gezien als je bv de datstore browsed en dan een VM kopieerd naar je lokale station.

Hoe ziet het er op VMFS nivo uit?

[Magic]

als je vmware tools geinstalleerd hebt dan kun je met vmware-toolbox de schijf "shrinken"

http://www.vmware.com/support/ws5/doc/ws_disk_shrink.html

[chronoz]

Dat lijkt alleen een optie bij de grafische OS'en te zijn en op mijn 1 Windows-XP VM staat deze optie "greyed out" met de volgende melding:
Shrink disk is disabled for this virtual machine. Shrinking is disabled for virtual disks not used in persistent mode or due to other factors. For more information, see the documentation for your VMWare product.

Ik ben al veel op internet op zoek geweest naar informatie en ze spreken veel over de volgende termen: reclaiming unused disk space, zeroing free disk space, svmotion, e.d.

Vannacht draai ik een nieuwe complete Veem back-up, hopelijk is de gebruikte disk-ruimte van de grootste VM niet meer 60GB. Ik snap niet eens hoe dit kan, de VM gebruikt maar 15GB en dan zou er bijvoorbeeld verwijderde of lege data ge-backuped worden, terwijl deduplication één van de functies van de software is.

[Magic]

Je hebt gelijk, ik was in de veronderstelling dat vmware-toolbox ook een CLI interface had.

[squaddie]

Het "probleem" van de meeste besturingssystemen is dat als een bestand wordt verwijderd uitsluitend de verwijzing naar het bestand wordt verwijderd, de undelete programmas gebruiken dit om bestanden te herstellen. Feitelijk doen deze programmas niets anders dan het opnieuw aanmaken van de verwijzing met de data zelf doen ze niets.

Voor het besturingssysteem is het bestand weg, echter voor VMFS welke deze informatie niet krijgt ziet het bestand nog op de schijf staan en zal als het OS iets wil wegschrijven extra ruimte vragen op de fysieke disk omdat hij geen ruimte meer heeft. Copy-on-writes zijn ook erg goed om thin disk op te blazen. Dit houd in dat als een bestand gewijzigd gaat worden er eerst een kopie van gemaakt wordt. Vervolgens wordt de wijziging in de kopie gemaakt en wordt de verwijzing van het orgineel naar de kopie gezet. Hoe kan je het VMFS duidelijk maken dat deze wel vrije ruimte heeft door de lege ruimte vol te schrijven met nullen. Met Windows kan je bijvoorbeeld sdelete gebruiken, voor Linux het scriptje op deze pagina.

Een gezegde die ik een keer op internet ben tegengekomen: "A thin disk is only thin on the first day you use it". Het is de realiteit bij de meeste besturingssystemen tenzij je zelf actief dit tegen gaat.

[ Voor 15% gewijzigd door squaddie op 19-04-2011 20:09 ]

[chronoz]

Ja, ik hoor al van mensen die VMWare gebruiken dat sommige elke week opnieuw de lege ruimte laten "zero"-en (sdelete, zerofree). Ik heb besloten om de grootste installatie te kopiëren naar een kleinere partitie. De thin-schijf van 160GB heb ik vervangen door een thin-schijf van 40GB, er was toch maar 10GB in gebruik en veel meer zal het niet snel worden. Daarbij is het uitbreiden van de schijf erg eenvoudig.

Exact dezelfde gegevens ge-backuped kostten nu 10GB eenmalig plus steeds ongeveer 100MB dagelijks incrementeel. Dat bespaart me 100GB eenmalig en volgens mij ook enorm wat dagelijks, maar dat gebruik herinner ik me niet meer.

Ben ook wel benieuwd of hetzelfde probleem speelt met het maken van thick-disk back-ups naar thin-disk snapshots met bijvoorbeeld, want nachtelijke back-ups waarvan 80% van de gebruikte back-up ruimte door unused-data bestaat, is alles behalve efficiënt.