Losse 'datastores' omzetten in 1 dikke raid met VMDKs

[michaelbar]

Hi,

Product: ESX Essentials Suite (for 3 Hypervisors)

Nou, ongetwijfeld begrijpt men al meteen waar het mij hier om gaat, namelijk een fout van een voorganger, waar helaas nu niet al te makkelijk meer vanaf te wijken valt, echter wel iets dat het liefst opgelost kan worden (op een dan wel liefst professionele en veilige manier).

Het probleem luidt simpelweg als volgt, we hebben 2 ESX bakken, die hebben beiden 6 a 8 disks, deze zijn niet in een HW of SW RAID opstelling geplaatst, en maken ieder een enkele datastore... dat wil zeggen dat zodra een disk failed, we 1 of meerdere VMs kwijt zijn... hoe dit is ontstaan op een ESX server vraag ik mij ook af. Overigens kan ik mij niet anders voorstellen dan dat heel ESX ook op een van die HDDs draait, en zodra die het begeeft zijn we de hele server (in ieder geval tijdelijk kwijt, nietwaar?).

Voordat ik heel moeilijk ga neuzen op internet over deze nogal specifieke situatie, wilde ik eens weten of er deskundige ESX lui hier waren die mij in beperkte (ofwel gedetailleerde) lijnen zouden kunnen vertellen hoe ik dit kan repareren.

1. Ik vermoed zelf dat ik machines moet verplaatsen (hoe weet ik niet). Overigens zou ik de machines via de zelfde manier ook over kunnen zetten op de 2e ESX, en dan de eerste ESX opnieuw installeren).
2. Vervolgens dien ik ongetwijfeld een oude DS te verwijderen (of meer).
3. Deze maak ik samen een nieuwe DS (RAID-1 -- maar liefst RAID-6).
4. Ik verplaats de machines wederom naar de nieuwe DS (RAID-6).
5. Ik verwijder de oude overblijvende DSen.
6. Ik voeg de oude disks aan de nieuwe DS toe (kan dit?).

Ik hoor graag hoe dit in jullie optiek klinkt en hoe ik dit het beste kan oplossen.

Alvorens ontzettend bedankt.

Mvg,

MB

[RedShift]

Draaien die ESXi servers in een cluster?

[IceTeaGX]

Dat kan even goed een RAID array zijn.
Wat voor een, zal je in de RAID utility van het systeem moeten bekijken.
Waarschijnlijk zal je daar de host voor moeten rebooten.

Of je weet welke schijven er in de hosts zitten en je kan een gokje wagen afgaande op de groottes ervan.
(2 * 2TB in RAID1, 5 * 500GB in RAID5, 6*500GB in RAID6, 8*500GB in RAID10, geeft allen 2TB usable space)

Heb je niets van shared storage? (SAN/NAS oid.)

[Question Mark]

Hoeveel VM''s wil je uiteindelijk op één datastore plaatsen? Vanwege exclusive writes zijn daar best practices voor.

Vergeet verder ook niet dat Raid 6 een behoorlijke performance penalty kent. AFhankelijk van de diskgrootte, apparatuur en benodige IOPS is Raid5 met een online spare wellicht een betere keuze.

[michaelbar]

Hi guys,

Nouja, deze dingen staan in Canada, en hebben geen iLo/iDrac, dus dat gaat leuk worden, niet onmogelijk, ik heb daar on-site wel iemand, maar die heeft nooit tijd... Ik zou de oude admin wel kunnen benaderen over de setup. Overigens neem ik aan dat er geen RAID utilities zijn die native draaien op ESX (en ik neem overigens aan dat ESX wel kan zien of er HW RAID controllers in zitten [bij Dell zou je dan iets in de trend van 'PERC...' nogwat zien], echter worden deze disks dus als ATA herkend -- uiteraard ligt dat er allemaal aan hoe de HW-RAID deze door emuleert -- vandaar dat ik dan ook denk ik maar met de oude admin in contact moet komen). Weet iemand overigens hoe ik dus kan checken in ESX (RAID Util van VMware oid.) voor de soort RAID config?

Er zit geen NAS/SAN, het zijn ook niet clustered machines (worden wel samen door een vCenter bak aagesproken (deze is echter ook virtueel op een van de bakken -- en ja ik weet hoe ik in de indiv hypervisors kom [de root accounts] voor evt. loskoppeling).

@IceTea, "Dat kan even goed een RAID array zijn.", dat moet dan een HW RAID zijn, toch?

Thx alvorens guys =]

PS: Hoeveelheid VMs op de Datastore is niet erg belangrijk, het zijn niet machines met veel IO.

[Verwijderd]

RAID 6 heeft een flinke write penalty inderdaad. Zou in de meeste situaties niet mijn voorkeur hebben voor een VMFS datastore.

TS: inventariseer eerst even wat je nu echt hebt, want uit de screenshot kan ik niet meer opmaken dan dat er SATA disks gebruikt worden. Of deze in RAID staan kan ik in dat plaatje niet zien.

[IceTeaGX]

Dat is dan een HW RAID; of single disk.
ESX heeft geen software RAID oplossing.

Als je een Dell optimized ESX installer gebruikt, zie je iets meer info: ik zie bijvoorbeeld een "Local DELL Disk" Maar of dit een array is van 1 schijf, of een RAID van welk niveau dan ook, kan je niet zien. (in mijn geval een RAID1 van 2 schijven)

Een hardware inventaris is inderdaad het beste begin.

[michaelbar]

Hi IceTea,

ESX biedt geen SW-RAID, is dat zo? Is een 'datastore' niet een SW-RAID? Al danwel een soort smart-RAID, zelfde als in een average Synology NAS komt.

Overigens, wederom, is er een SSH low level OpenBSD, of wat ESX ook native op draait RAID Config tool voor Dell/HP?

Thx.

[ Voor 54% gewijzigd door michaelbar op 04-10-2016 11:12 ]

[Question Mark]

michaelbar schreef op dinsdag 04 oktober 2016 @ 11:10:
Hi IceTea,

ESX biedt geen SW-RAID, is dat zo? Is een 'datastore' niet een SW-RAID? Al danwel een soort smart-RAID, zelfde als in een average Synology NAS komt.

Nee, een datastore is gewoon een volume/partitie/Filesystem op storage. Hoe en wat die storage er fysiek uitziet doet er niet toe.

[michaelbar]

Ok guys,

Thx, case closed voor nu vrees ik helaas, of toch niet?

Terug lezende besef ik dat ik in de war was, ik schreef op een gegeven moment 'Is een 'datastore' niet een SW-RAID?', wat zou inhouden dat er geen probleem was, want er was al sprake van redudantie in dat geval. Dus ik wist eignelijk wel dat dat geen SW-RAID was, echter evt. dacht ik wel dat dat het had kunnen zijn (dmv. een soort smart-RAID zoals in een hedendaagse NAS).

Ik ga de admin aanspreken om te vragen wat er op is gedaan mbt. de HW-RAID.

Intussen zie ik dat elke DS een andere ATA GUID heeft, dus ik ga er momenteel van uit dat het: of inderdaad individuele disks zijn, of dat het individuele virtual disks zijn op een HW-RAID.

Toch wederom nieuwschierig, hier aan de hand van zie je wat toch echt lijkt op echte SeagaTe disks... thans, 2 die zeker niet redudant zijn... die ATA disks twijfel ik nu ook aan, klopt mijn gedachten hier achter?



Tx again.

[IceTeaGX]

Nu zien we al iets meer:
Je hebt een HW RAID controller: Dell SAS 6/iR Integrated

Daarop zitten 6 logische volumes.
Een logisch volume kan een losse disk, of een RAID array zijn.
De 2 seagates kan je vrij zeker van zijn dat dit losse disks zijn. (nl deze 750GB schijven)
De anderen is nog onbekend. (kan een RAID0 van een single disk zijn, kan van meerdere disks zijn)

[rjong5]

Screenshot in de topicstart laat een datastore zien genaamd balrog_ds3.
TS zegt dat er 6 a 8 fysieke disks in de server zitten.

Hoeveel datastores heeft de server zelf en hoe groot zijn de disks, waarschijnlijk wel op de disks (front) te zien.

indd even hardware inventarisatie, hoeveel datastores heb je en hoeveel disks ? en komt de grootte van de disks overeen met de datastores ?

[DJSnels]

Die Dell radiocontroller is waarschijnlijk LSI gebaseerd. Upload even de MegaCli (of StorCli l) naar je datastore. Log in met SSH, chmod +x de MegaCli en voer deze uit:
/vmfs/volumes/DATASTORENAAM/MegaCli -AdpAllInfo -aALL

Dan weet je alles over je controller, logische volumes en disks.

Succes!

Edit: zie http://erikimh.com/megacli-cheatsheet/ voor meer commando's

[ Voor 11% gewijzigd door DJSnels op 04-10-2016 19:58 ]

[michaelbar]

Hi guys,

Nou, er is inderdaad zoals ik al vermoede, hier absoluut geen sprake van RAID, dwz. dat een fail, epicly proportional kan zijn.

Dus back to square one, wat kan ik doen deze VMs allen tegelijk te moven naar de andere ESX bak (terwijl ze het liefst up blijven). Dan de oude bakken her-configureren etc...

Thx.

[IceTeaGX]

Online moven gaat niet mogelijk zijn, tenzij je tijdelijk ergens shared storage vandaan kan halen (NFS share kan al voldoende zijn, je kan daarvoor zelfs een storage VM (freenas) maken, met de nodige risico's uiteraard. (maar daar heb je hopelijk backups voor, ... Right?)

Als je ze toch down brengt en manueel verplaatst, zoek dan even naar een methode om de copy via de console te doen (met SCP kon dit dacht ik)
De snelheid om items te kopiëren via de datastore browser is danig gelimiteerd.

Beste oplossing is een permanente, deftige shared storage oplossing.
Je kan ook kijken naar VSAN, maar dan heb je 3 hosts nodig om goed te zijn + extra licentie kosten.

[michaelbar]

Hi Ice,

VSAN is zeker een optie waar we in de toekomst heen willen, en dat alles ff down moet is niet heel erg (het zijn voornamelijk build machines en interne license servers, dus ik zal het wel een keer op een zaterdag doen (dan gaan de builds zondag door).

Iemand anders ideeen? Ik zou denken dat de Essentials Suite dusdanig mogelijkheden biedt voor het 'live migration' in de 'vmotion' trend... Maar als het niet anders is, so be it, dan weet ik het tenminste.

Thx again.

[Question Mark]

IceTeaGX schreef op woensdag 05 oktober 2016 @ 08:46:
Online moven gaat niet mogelijk zijn, tenzij je tijdelijk ergens shared storage vandaan kan halen

Migration with vMotion in Environments Without Shared Storage

In vSphere 5.1 and later, vMotion does not require environments with shared storage. This is useful for performing cross-cluster migrations, when the target cluster machines might not have access to the source cluster's storage. Processes that are working on the virtual machine continue to run during the migration with vMotion.

Lees wel deze even door:

Requirements and Limitations for vMotion Without Shared Storage

Controleer wel even goed welke versie Essentials je nu hebt. Er zit verschil tussen "Essentials" en "Essentials Plus", waarbij de eerste geen VMotion ondersteund.

Overigens zijn al dit soort zaken redelijk eenvoudig te vinden op de VMware site.

[ Voor 11% gewijzigd door Question Mark op 05-10-2016 10:19 ]

[Yarno]

Vrijwel maar 1 oplossing gezien de afstand, geen remote console, etc.

1. Vlieg naar Canada, koop daar een server met voldoende storage en capaciteit voor de hele omgeving (hoeft niet dezelfde capaciteit te hebben, de omgeving mag best even "traag" zijn)
2. Installeer VMware ESXi met trial licentie, installeer Vcenter met trial licentie.
3. Koppel de hele omgeving aan de trial Vcenter.
4. Move alle machines naar de nieuwe server met bijvoorbeeld Vmotion.
5. Test of alles is overgezet (erg belangrijk!).
6. Wipe alle oude servers (+ RAID) en installeer ESXi (met de juiste vendor tools, bijv. voor HP of Dell).
7. Herinstalleer Vcenter (ook met trial licentie), koppel hier alle servers aan (de 3 oude en de nieuwe).
8. Zet alle machines van de nieuwe server terug naar de 3 oude servers.
9. Verwijder de nieuwe server uit Vcenter, zet licenties terug en neem de nieuwe server weer terug mee naar huis of laat daar achter.
10. Eventueel toch kijken naar mogelijkheden voor remote console? (DRAC/iLo)

Succes!