VMWare ESXI - Een goede kennismaking

[chronoz]

Sinds vorige week draai ik dus VMWare ESXi op een server, maar ik heb gemerkt dat alles heel snel functioneert.

Ik ben een beetje bang dat ik nog niet genoeg kennis heb om alles in productie te gaan draaien, maar ik wil wel graag mijn servers binnenkort kunnen gebruiken. Ik heb al erg veel ervaring met CentOS/RHEL.

Het schijnt tegenwoordig ook mogelijk te zijn om ESXi vanaf een flash disk te draaien, maar dat lijkt me niet echt een slimme oplossingen voor servers. Je zult je productieserver-rack-kast maar open laten en iemand leent je USB flashdisk.

Inmiddels heb ik de Trainsignal VMWare vSphere trainingen al doorgenomen en het valt me op dat VMWare ESXi allemaal vrij eenvoudig werkt.

Het is alleen belangrijk dat de oplossing vanaf het begin af aan goed wordt opgezet en schaalbaar blijft. Ik ben bang dat ik nu fouten zou maken, waardoor ik over 2 jaar met de gebakken peren zit en vele weken tijd kwijt ben voor het oplossingen van mijn fouten.

Hoe is jullie ervaring gegaan vanaf fysieke Linux-servers naar virtualizatie dmv. ESXi? Zijn er dingen waar ik serieus rekening mee moet houden?

[MAX3400]

Google: "p2v linux vmware converter"

Meer dan genoeg info over te vinden.

[ajhaverkamp]

chronoz schreef op vrijdag 14 mei 2010 @ 12:22:
Het schijnt tegenwoordig ook mogelijk te zijn om ESXi vanaf een flash disk te draaien, maar dat lijkt me niet echt een slimme oplossingen voor servers. Je zult je productieserver-rack-kast maar open laten en iemand leent je USB flashdisk.

Daarom hebben servers (in ieder geval onze HP DL reeks) een USB poort op het moederbord zitten. Dus zonder de serverkast te openen, trek je die er niet uit. Je ziet het, daar is ook over nagedacht door de serverbouwers.

[MADG0BLIN]

Ik zou persoonlijk als ik productie ging draaien toch eerst wat meer ervaring op doen. Niet om vervelend te zijn, maar stel dat er wat gebeurt en je komt er niet uit dan heb je toch een klein probleem en zul je iemand extern moeten inhuren. Misschien wat cursussen trainingen doen? Zijn er tegenwoordig genoeg op het gebied van VMWare.

En daarnaast waarom niet vanaf usb of flash draaien? Hoef je ook geen fysieke disken te gebruiken als je boot vanaf shared storage. Bij de servers van HP die wij gebruiken zitten die netjes binnen in de kast. Iemand zal dan al fysieke toegang moeten hebben tot je serverrack, je server uit het rack halen, server open halen en dan de flash/usb stick eruit halen.

[Verwijderd]

Maar toch, 1 usb stickie?? draai je OS gewoon op een RAID 1 config, is wel zo veilig.

je moet serieus rekening houden met bv performance, je gaat waarschijnlijk consolideren, je wilt qua performance niet erop achteruit gaan.

Verder is het eigenlijk niet zo spannend, maak een keer fysieke testerserver, en migreer die naar de ESX omgeving, ook met veel data eens proberen. Een fileserver migreren met 2 TB aan data doe je ook niet ff in een half uurtje namelijk....

[MADG0BLIN]

Verwijderd schreef op vrijdag 14 mei 2010 @ 12:27:
Maar toch, 1 usb stickie?? draai je OS gewoon op een RAID 1 config, is wel zo veilig.

je moet serieus rekening houden met bv performance, je gaat waarschijnlijk consolideren, je wilt qua performance niet erop achteruit gaan.

Verder is het eigenlijk niet zo spannend, maak een keer fysieke testerserver, en migreer die naar de ESX omgeving, ook met veel data eens proberen. Een fileserver migreren met 2 TB aan data doe je ook niet ff in een half uurtje namelijk....

Daar heb je VMotion, HA en dat soort dingen voor. Tenzij je natuurlijk geen SAN of iets vergelijkbaars hebt en je lokaal gaat draaien vanaf je disken.

En ik heb persoonlijk nog nooit een USB/Flash disk kapot zien gaan in productie. Ook niet elke willekeurig USB stick werkt volgens mij, maar dat weet ik niet zeker, bij HP koop ik vaak degene die ervoor is aangewezen.

[Pingelmonster]

Verwijderd schreef op vrijdag 14 mei 2010 @ 12:27:
Maar toch, 1 usb stickie?? draai je OS gewoon op een RAID 1 config, is wel zo veilig.

ESXi wordt compleet in het geheugen geladen vanaf USB-stick, het is zonde om daar een hele RAID1-config voor te maken!

[citruspers]

Eigenlijk het gebruikelijke met virtualiseren. Meerdere systemen op een vaste schijf kunnen via een gigantische slowdown zorgen (omdat de kop dan de hele tijd heen en weer moet schieten). Een oplossing zou zijn 1 schijf per machine te doen, of een snelle SSD er in te zetten. Ik kan uit ervaring zeggen dat meerdere virtuele machines erg goed draaien op een intel 80GB.

Nadeel is wel dat ESXi geen TRIM ondersteunt, dus eens in de zoveel tijd zul je alles moeten formatteren en een image van het VMFS terug moeten zetten om slowdowns te voorkomen.

[Brains]

Het grootste struikelblok waar ik tegenaan liep is schaalbaarheid. Een enkele esxi box kan meerdere vm's draaien maar wat als er één hard moet gaan werken of er een zwaardere machine bij komt? Je komt dan al direct bij storage virutalisatie uit waardoor je makkelijker vm's onder kunt brengen op andere esxi servers. Alleen dan verleg je het single-point-of-failure naar het san.

Hier draait esxi vanaf (interne) usb-stick (aansluiting met 7 pinnen op het moederbord) evenals open-e. Een nadeel is dat esxi vrij streng is in het herkennen van raidcontrollers: alleen hardware raid. Onboard controllers worden niet of nauwelijks ondersteunt.

We gaan nu kijken naar XenServer. De gratis variant daarvan biedt meer features en "paid-expansion" zijn goedkoper en per server. Vooral live-motion/migration is een feature die mij erg handig lijkt.

[lordgandalf]

Brains schreef op vrijdag 14 mei 2010 @ 12:37:
Het grootste struikelblok waar ik tegenaan liep is schaalbaarheid. Een enkele esxi box kan meerdere vm's draaien maar wat als er één hard moet gaan werken of er een zwaardere machine bij komt? Je komt dan al direct bij storage virutalisatie uit waardoor je makkelijker vm's onder kunt brengen op andere esxi servers. Alleen dan verleg je het single-point-of-failure naar het san.

Hier draait esxi vanaf (interne) usb-stick (aansluiting met 7 pinnen op het moederbord) evenals open-e. Een nadeel is dat esxi vrij streng is in het herkennen van raidcontrollers: alleen hardware raid. Onboard controllers worden niet of nauwelijks ondersteunt.

We gaan nu kijken naar XenServer. De gratis variant daarvan biedt meer features en "paid-expansion" zijn goedkoper en per server. Vooral live-motion/migration is een feature die mij erg handig lijkt.

ESX is dan ook eigenlijk niet bedoelt om op 1 machine te draaien meestal draai je een cluster van machines met zomogelijk een SAN aansluiting waarbij men LUNS heeft op verschillende SAN machines.
En dat ESX picky is wat betreft raid controllers ben ik juist blij om.
Met de hardware raid controllers zijn de problemen vaak minder erg dan de halfbakke onboard chippies.

[citruspers]

Wat betreft flashdisks: ik heb tijdens het testen voor de gein eens de flash disk er uit getrokken, en de boel liep nog gewoon door. Is misschien het hele OS in RAM geladen? (zou een logische keuze zijn voor een server?)

[Dysmael]

Aangezien de data maar een paar MB is kan ik me ook niet anders voorstellen dan dat alles in het geheugen staat. Ontkoppel maar eens de HDD van een draaiend Windows systeem. Grote kans dat die zelfs een paar seconden door draait.

[citruspers]

Nou...een paar MB? laten we zeggen, 50-100 MB zo uit het blote hoofd. Dat is uiteraard vrij weinig op een server met 2+ GB RAM (minimum vereiste voor esxi)

[Mike2k]

citruspers schreef op vrijdag 14 mei 2010 @ 12:35:
Eigenlijk het gebruikelijke met virtualiseren. Meerdere systemen op een vaste schijf kunnen via een gigantische slowdown zorgen (omdat de kop dan de hele tijd heen en weer moet schieten). Een oplossing zou zijn 1 schijf per machine te doen, of een snelle SSD er in te zetten. Ik kan uit ervaring zeggen dat meerdere virtuele machines erg goed draaien op een intel 80GB.

Nadeel is wel dat ESXi geen TRIM ondersteunt, dus eens in de zoveel tijd zul je alles moeten formatteren en een image van het VMFS terug moeten zetten om slowdowns te voorkomen.

Wat is dat nou weer voor onzin ?
Voor het heen en weer schieten van de koppen hebben we toch gewoon NCQ? bestaat al jaren.1 schijf per machine ? Geen raid oplossing? Je gaat dus business kritieke servers laten draaien op 1 schijfje ?

Een image van het VMFS terug zetten ? Weet je eigenlijk wel wat VMFS is ?

[Verwijderd]

lordgandalf schreef op vrijdag 14 mei 2010 @ 13:08:
[...]


ESX is dan ook eigenlijk niet bedoelt om op 1 machine te draaien meestal draai je een cluster van machines met zomogelijk een SAN aansluiting waarbij men LUNS heeft op verschillende SAN machines.
En dat ESX picky is wat betreft raid controllers ben ik juist blij om.
Met de hardware raid controllers zijn de problemen vaak minder erg dan de halfbakke onboard chippies.

Precies. ESX (i) is een enterprise oplossing die gemaakt is om zo redundant uit te voeren. In productie omgevingen dient met deze altijd N+1 in te zetten. Het hangt natuurlijk van je restore tijden af maar normaal doe je het ook op shared storage. ESX is niet veeleisend met hardware. ESX heeft gewoon een HCL waar alle grote server namen opstaan (dus je hoeft niet met drivers aan te komen). Inderdaad zullen huis-tuin en keuken servers niet werken maar daar is het niet voor gemaakt:
http://www.vmware.com/resources/compatibility/

De mening dat een SAN een single point of failure is eigenlijk absurd. De enige point of failure ben je dan zelf (no offence) als je dit denkt. Een SAN is altijd redundant uitgevoerd waardoor uitval van meerdere componenten mogelijk is. Denk je echt dat "grote" bedrijven die alles op een SAN zetten daar geen rekening mee houden?

Ook de Xenserver opmerking is niet volledig correct. Ja, je krijgt meer features maar deze zijn vaak moeilijker te implementeren en vereisen nog steeds een SAN (dus kosten). Ook Xenserver heeft een HCL http://hcl.xensource.com/
Persoonlijk denk ik dat je niet verschilt per prijs. Je zult nog steeds een goed design moeten hebben gemaakt door iemand die Xenserver enterprise admin is of VCP. De 2e is een stuk meer te vinden.
zie http://citrixtraining.com...se_view.cfm/course_id:274
http://mylearn.vmware.com/portals/certification/

@citruxpers. ESX kan inderdaad zonder disk draaien maar niet voor altijd. Ik raad altijd een Raid1 aan gezien de slechte ervaringen met USB sticks (HP, pfff dat was een drama zeg)
http://h20000.www2.hp.com...nt.jsp?objectID=c01605187
http://communities.vmware.com/thread/181870

Advisory: USB Flash Device - USB Flash Media Key (Part Number 580385-B21) Should Not be Used as an Internal Boot Device for Operating Systems or Hypervisors on ProLiant BL/DL/ML G5/G6-Series Servers
http://h20000.www2.hp.com...948609&prodTypeId=3709945

Inmiddels heb ik de Trainsignal VMWare vSphere trainingen al doorgenomen en het valt me op dat VMWare ESXi allemaal vrij eenvoudig werkt.

Het is alleen belangrijk dat de oplossing vanaf het begin af aan goed wordt opgezet en schaalbaar blijft. Ik ben bang dat ik nu fouten zou maken, waardoor ik over 2 jaar met de gebakken peren zit en vele weken tijd kwijt ben voor het oplossingen van mijn fouten.

Hoe is jullie ervaring gegaan vanaf fysieke Linux-servers naar virtualizatie dmv. ESXi? Zijn er dingen waar ik serieus rekening mee moet houden?

Ik raad je aan om gewoon de install en configure training te doen (4 a 5 dagen). Je zult zien dat bijna al je vragen beantwoord worden. Tevens heb je genoeg tijd om eventueel een opzet met je leraar door te nemen.

Virtualisatie van Linux machines is geen probleem. Dezelfde regels als Windows VMs gelden. Ook fysiek naar virtueel is geen probleem als het maar een bekende enterprise Linux variant is (redhat/novell/oracle). Dit gebeurd meestal via de VMware Converter Bootcd die te downloaden is als je een ESX licentie hebt.

[PcDealer]

MADG0BLIN schreef op vrijdag 14 mei 2010 @ 12:31:
[...]

En ik heb persoonlijk nog nooit een USB/Flash disk kapot zien gaan in productie. Ook niet elke willekeurig USB stick werkt volgens mij, maar dat weet ik niet zeker, bij HP koop ik vaak degene die ervoor is aangewezen.

Ja, die kost iets van EUR 50,00 ex. Mij te duur. Ik gebruik gewoon een gemiddeld snelle Kingston
Tot vorig jaar (in 3.5i tijdperk) was er nog een HP part met 3.5 erop installed. Die was minder dan EUR 25,00 ex.

[analog_]

offtopic:
[quote]Verwijderd schreef op donderdag 20 mei 2010 @ 01:11:
[...][/quote]
Over die USB stick, het probleem is dus interferentie die problemen veroorzaakt, simpelste oplossing is de usb op een externe poort steken of een verlengkabel gebruiken binnen je server. Sowieso lijkt het mij vrij normaal dat je er vanuit moet gaan dat enkel de juiste mensen in je rack komen (lees: non-shared-omgeving). Installeren op hotswap disks is namelijk minstens even onveilig aangezien je die er ook uit kan trekken.

Het feit dat je maar één usb stick gebruikt kan je ook oplossen met twee sticks met beide een installatie erop die je via IPMI als boot volgorde veranderd. Daarnaast is er ook documentatie te vinden hoe je een TFTP boot doet (en vervolgens laat je hem vanzelf configureren met wat scripting). Op die manier kan je door enkel het mac adres te noteren en je machine aan te zetten je ESX cluster automatisch laten groeien.

[Verwijderd]

@Mr.SIS
Ik doelde puur op de USB sticks van HP intern (op de interne USB poort).
Deze raakte corrupt waarna de ESX server vreemde kuren gaf of vast sloeg.

Meerdere USB sticks gebruiken lijkt me niet raadzaam gezien de configuratie niet gelijk kan worden gehouden.
Je zou in vCenter meerdere disconnected servers hebben staan gezien elke USB stick een ander certificaat heeft. Anders zou je steeds USB sticks moeten clonen....

PXE boot wordt niet ondersteund anders dan voor installaties. Het zou een mooie optie zijn maar zover zijn ze helaas nog niet.
ESXi installation can be scripted. The script can start from a CD or over a PXE boot source, and can install the hypervisor on local or remote disks.

In 4.1 wordt iSCSI boot al wel ondersteund:
# ESX can boot from iSCSI targets (support for iBFT)

Zie:
http://virtualization.inf...re-4-1-features-leak.html