Storage oplossing voor VMWARE

[k995]

Omdat we hier een 20tal servers(een mengelmoes van oud, ouder en oudst met een stuf of 4 iet of wat nieuwe) draaien hebben die buiten een fileserver en 2 servers met DB's op niet veel te doen hebben . Was ik aan het kijken voor eens enkele server te virtualiseren en te consolideren op minder hardware en het beheer overal makkelijker te maken.

Ik heb hier nu op een server die amper gebruikt werd een proefopstelling gedaan:

Dell poweredge 2850 1 x 3GHZ xeon , 2GB ram , 3 x 15k 73GB Ultra320 SCSI schijven in RAID-5

Daarop draait de server die hij vroeger bevatte (waarop niks staat buiten een monitoringtool) en draaien er een 3 XP's op voor externe gebruikers via logmein op in te loggen(voor externen die heel sporadisch eens op het netwerk/intranet moeten zijn)

Image van die server gepakt, ESXi erop gezet (ging heel vlot), geconfigureerd en via VMWARE convertor de image er terug opgezet een uurtje later was de server terug in de lucht.

Daarnaast een 3 xp's gezet en dit draait allemaal perfect (nog ziiten spelen met de virtualcenter en er een MAC OSX test PC op gezet voor soms te testen omdat er hier enkele daaraan verslaafd zijn en dat dit niet zo vanzelfsprekend is in een windows omgeving)

Dit ziet er allemaal goed uit.

Nu de vraag: ik zou dit concept graag verderzetten naar een vergelijkbare omgeving moesten we hierin serieus verdergaan (dus een groot deel van de servers erin betrekken) . Nu zou ik dat eerst graag uittesten door een vergelijkbare omgeving op te zetten .

Dus 2 of meer esxi servers die verbonden zijn aan een datastore die de VM's bevat en waar je dingen als vmotion ed kan gebruiken. We hadden een tijdje geleden als eens een dergelijk project (zou waarschijnlijk een equallogic geworden zijn) maar dat is toen afgeschoten wegens te hoge kosten (autoindustrie, besparen besparen is her hier nu) dus zocht ik een low cost maar toch deftige oplossing.

Iets wat ik kan gebruiken om het concept volledig te testen en later gebruiken om in nood de fileserver (250-300 "lichte" gebruikers erop(al het zware staat op db servers enkel word,excel ed)) toch in de lucht kan houden zonder dat de performantie ineenzakt.

Heeft iemand hier ervaring mee? Er zijn wel NAS en SAN oplossing die goedkoop genoeg zijn, en iscsi ed ondersteunen echter vind ik nergens hoe die performance is voor zoiets.

[Verwijderd]

Voor VMotion en HA heb je al wat duurdere VMware-licenties nodig. Volgens mij (maar pin me er niet op vast) de Enterprise-versie en die kost je zo'n 3000 euro per 2 fysieke CPU's. Je hebt altijd n+1 hosts nodig om geen resources tekort te komen als 1 van je hosts down gaat. Als je VM's dus op 2 hosts zouden kunnen draaien, heb je in totaal 3 hosts nodig. Dat kost je dus alleen aan VMware-licenties dus al 9000 euro. Daar komen nog 3 identieke ESXi-compatible servers bij, kom je al op ongeveer 25000 ex. storage-oplossing.

Als ik naar de goedkoopste storage-oplossing ga kijken, dan kom ik op een iSCSI-oplossing. Om de boel een beetje soepel te laten lopen, zul je in je ESXi-servers extra NIC's moeten plaatsen (geoptimaliseerd voor iSCSI) om de bandbreedte naar je storage-oplossing te optimaliseren. Denk ook aan de nodige capaciteit in je netwerk-infrastructuur.

Zonder dan verder te kijken, ben ik bang (zeker in jouw branche) dat je het management op dit moment niet zover gaat krijgen om dit NU uit te laten voeren. (Tenzij jij ze ervan gaat overtuigen dat ze die, pak 'm beet, 35000 euro ex. BTW dit jaar nog terug gaan verdienen.)

[Mike2k]

even een kleine correctie.

ESXi is de uitgeklede versie van ESX.
Een van de beperkingen (daarom is het ook gratis) is dat het GEEN Vmotion, HA en DRS ondersteunt...

[ChaosZ0ne]

Fastex schreef op zaterdag 11 april 2009 @ 12:08:
even een kleine correctie.

ESXi is de uitgeklede versie van ESX.
Een van de beperkingen (daarom is het ook gratis) is dat het GEEN Vmotion, HA en DRS ondersteunt...

niet helemaal correct... ESXi is inderdaad gratis, maar niet meer uitgekleed oid, ESX is in functionaliteiten net zo uitgebreid als ESXi, echter heeft het een veel kleinere footprint. het ondersteund gewoon Vmotion, HA en DRS, echter zal je hier WEL een licentie voor nodig hebben... in de gratis versie zit dit namelijk niet.

[k995]

Verwijderd schreef op zaterdag 11 april 2009 @ 12:05:
Voor VMotion en HA heb je al wat duurdere VMware-licenties nodig. Volgens mij (maar pin me er niet op vast) de Enterprise-versie en die kost je zo'n 3000 euro per 2 fysieke CPU's. Je hebt altijd n+1 hosts nodig om geen resources tekort te komen als 1 van je hosts down gaat. Als je VM's dus op 2 hosts zouden kunnen draaien, heb je in totaal 3 hosts nodig. Dat kost je dus alleen aan VMware-licenties dus al 9000 euro. Daar komen nog 3 identieke ESXi-compatible servers bij, kom je al op ongeveer 25000 ex. storage-oplossing.

Als ik naar de goedkoopste storage-oplossing ga kijken, dan kom ik op een iSCSI-oplossing. Om de boel een beetje soepel te laten lopen, zul je in je ESXi-servers extra NIC's moeten plaatsen (geoptimaliseerd voor iSCSI) om de bandbreedte naar je storage-oplossing te optimaliseren. Denk ook aan de nodige capaciteit in je netwerk-infrastructuur.

Zonder dan verder te kijken, ben ik bang (zeker in jouw branche) dat je het management op dit moment niet zover gaat krijgen om dit NU uit te laten voeren. (Tenzij jij ze ervan gaat overtuigen dat ze die, pak 'm beet, 35000 euro ex. BTW dit jaar nog terug gaan verdienen.)

Ja had ik aan gedacht maar ik kan wel proeflicenties krijgen voor 60 dagen, genoeg omte bewijzen dat het kan en deftig werkt en het geld kan besparen op termijn . Tegen die tijd trekt de markt hopelijk weer aan en kunnen we ons budget uitgeven zoals gepland en niet delen schrappen . Zelfs al zou het niet erdoor geraken zou het nog steeds onze downtime verbeteren . Nu is nml nieuwe hardware halen en image terug zetten toch zeker enkele uren ,met meerdere esxi's zou dit naar een uur gaan of minder .

Echter heb ik nog geen idee voor low cost storage die toch wat performance en ruimte bied . Iets zoals een thecus die iscsi ondersteunt met 5-7 drives is perfect maar wat is de performance ?

[Verwijderd]

k995 schreef op zaterdag 11 april 2009 @ 14:24:
[...]

Ja had ik aan gedacht maar ik kan wel proeflicenties krijgen voor 60 dagen, genoeg omte bewijzen dat het kan en deftig werkt en het geld kan besparen op termijn . Tegen die tijd trekt de markt hopelijk weer aan en kunnen we ons budget uitgeven zoals gepland en niet delen schrappen . Zelfs al zou het niet erdoor geraken zou het nog steeds onze downtime verbeteren . Nu is nml nieuwe hardware halen en image terug zetten toch zeker enkele uren ,met meerdere esxi's zou dit naar een uur gaan of minder .

Echter heb ik nog geen idee voor low cost storage die toch wat performance en ruimte bied . Iets zoals een thecus die iscsi ondersteunt met 5-7 drives is perfect maar wat is de performance ?

Een servertje met Linux en Open-iSCSI erop zou, voor een proof-of-concept, al voldoende zijn. Je kunt dan volstaan met wat SATA-schijven. (Heb ik ooit eens mee gespeeld toen we met grote spoed meer ruimte op een database-server nodig hadden maar nog 2 weken moesten wachten op materialen om het ding aan het SAN te hangen. We hadden nog wel een HP DL320s liggen.)

[k995]

Verwijderd schreef op zaterdag 11 april 2009 @ 20:29:
[...]

Een servertje met Linux en Open-iSCSI erop zou, voor een proof-of-concept, al voldoende zijn. Je kunt dan volstaan met wat SATA-schijven. (Heb ik ooit eens mee gespeeld toen we met grote spoed meer ruimte op een database-server nodig hadden maar nog 2 weken moesten wachten op materialen om het ding aan het SAN te hangen. We hadden nog wel een HP DL320s liggen.)

En wat heb je toen samengesteld? DL320 met raid kaart en wat voor HDD's? Dan freenas erop of zoiets? Of heb je die eenmalig gebruikt voor 1 VM?

Ik zoch wel eigenlijk iets dat wat meer inzetbaar is ook na de test als backup VM moest er iets met een productie server gebeuren.

[Verwijderd]

k995 schreef op zondag 12 april 2009 @ 12:26:
[...]


En wat heb je toen samengesteld? DL320 met raid kaart en wat voor HDD's? Dan freenas erop of zoiets? Of heb je die eenmalig gebruikt voor 1 VM?

Ik zoch wel eigenlijk iets dat wat meer inzetbaar is ook na de test als backup VM moest er iets met een productie server gebeuren.

In zo'n DL320s zit standaard al een RAID-controller (SmartArray P400). We wilden die server gaan gebruiken als "dumpplek" voor grote hoeveelheden statische data (wordt hij nu ook voor gebruikt, Linux + Samba met Microsoft AD-authenticatie) en daarvoor is hij toen besteld met 4x 500GB SATA-disks. Wij hebben hem NIET gebruikt om virtual-machines op te zetten, maar WEL als iSCSI-target. Hiervoor hebben we Open-iSCSI gebruikt, wat je gewoon installeert onder Linux. We boden gewoon 1 LUN aan aan een database-server die krap in zijn local storage zat en pas enkele weken later aan het SAN gehangen kon worden (FC-kaart en EMC multipath-software moesten nog geleverd worden). Dat presteerde voor ons prima. Ik ben er echter van overtuigd, dat je voor de opslaan van meerdere VM's geen SATA-disks wil hebben, maar toch minimaal 10k SAS-disks.

Heb je een goede relatie met je leveranciers? Wat je eigenlijk zou willen is zo'n iSCSI-apparaat ter demo hebben voor 1 week. Dan kun je rustig kijken wat het ding kan en hoe hij presteert met X virtual machines erop.

Wat ik eigenlijk bedoelde, is dat je zo'n opstelling zou kunnen gebruiken als "proof-of-concept" voor het management. Als je ze live kan laten zien welke mogelijkheden VMware ESXi + shared storage en VMotion kan bieden, kun je verantwoorden dat je je tijd stopt in het verder uitwerken van zo'n oplossing. Pas dan zou ik gaan kijken naar een geschikte storage-oplossing. (Wat dan waarschijnlijk wel een kant-en-klare iSCSI-oplossing van een degelijke partij zal worden, gezien de kosten die komen kijken bij het opzetten van een SAN over fibre.)

Je zou dan eens kunnen kijken naar (HP is preferred bij ons) een Storageworks 2000i Modular Smart Array. Die kost je zonder disks en met 1 controller (en een 8-poorts Gb-switch + 4 kabels) minder dan 3400 euro ex. BTW. Dan heb je dus 2x 1Gb qua netwerk-capaciteit. (Gek genoeg is hij zonder de switch en de kabels duurder....) Met 2 controllers (en dus 4x 1Gbit qua netwerk-capaciteit) kost hij je 2000 euro meer.

Maar nogmaals: ik zou mijn leverancier om een demo vragen en bij voorkeur zo'n apparaat gewoon 1 week op proef in huis. Maar daar zou ik dus pas mee naar mijn leverancier gaan, als ik zeker weet dat het management achter de aanschaf van een dergelijk systeem zou staan.

[k995]

Verwijderd schreef op maandag 13 april 2009 @ 14:53:
[...]

In zo'n DL320s zit standaard al een RAID-controller (SmartArray P400). We wilden die server gaan gebruiken als "dumpplek" voor grote hoeveelheden statische data (wordt hij nu ook voor gebruikt, Linux + Samba met Microsoft AD-authenticatie) en daarvoor is hij toen besteld met 4x 500GB SATA-disks. Wij hebben hem NIET gebruikt om virtual-machines op te zetten, maar WEL als iSCSI-target. Hiervoor hebben we Open-iSCSI gebruikt, wat je gewoon installeert onder Linux. We boden gewoon 1 LUN aan aan een database-server die krap in zijn local storage zat en pas enkele weken later aan het SAN gehangen kon worden (FC-kaart en EMC multipath-software moesten nog geleverd worden). Dat presteerde voor ons prima. Ik ben er echter van overtuigd, dat je voor de opslaan van meerdere VM's geen SATA-disks wil hebben, maar toch minimaal 10k SAS-disks.

Ja was aan het denken om zelfs iets in elkaar te steken met sanmelody. Nu nog wat deftige hardware samenkrijgen.

Heb je een goede relatie met je leveranciers? Wat je eigenlijk zou willen is zo'n iSCSI-apparaat ter demo hebben voor 1 week. Dan kun je rustig kijken wat het ding kan en hoe hij presteert met X virtual machines erop.

Wat ik eigenlijk bedoelde, is dat je zo'n opstelling zou kunnen gebruiken als "proof-of-concept" voor het management. Als je ze live kan laten zien welke mogelijkheden VMware ESXi + shared storage en VMotion kan bieden, kun je verantwoorden dat je je tijd stopt in het verder uitwerken van zo'n oplossing. Pas dan zou ik gaan kijken naar een geschikte storage-oplossing. (Wat dan waarschijnlijk wel een kant-en-klare iSCSI-oplossing van een degelijke partij zal worden, gezien de kosten die komen kijken bij het opzetten van een SAN over fibre.)

Je zou dan eens kunnen kijken naar (HP is preferred bij ons) een Storageworks 2000i Modular Smart Array. Die kost je zonder disks en met 1 controller (en een 8-poorts Gb-switch + 4 kabels) minder dan 3400 euro ex. BTW. Dan heb je dus 2x 1Gb qua netwerk-capaciteit. (Gek genoeg is hij zonder de switch en de kabels duurder....) Met 2 controllers (en dus 4x 1Gbit qua netwerk-capaciteit) kost hij je 2000 euro meer.

Maar nogmaals: ik zou mijn leverancier om een demo vragen en bij voorkeur zo'n apparaat gewoon 1 week op proef in huis. Maar daar zou ik dus pas mee naar mijn leverancier gaan, als ik zeker weet dat het management achter de aanschaf van een dergelijk systeem zou staan.

Dat is dus het probleem, ik kan zo'n demo wel krijgen voor enkele weken of zelfs een maand, maar ik ben er 100% van overtuigd dat de aankoop pas over minstens een half jaar is en dus zou ik gewoon die leverancier misbruiken .

Spijtig gat er nergens zo een low budget oplossing bestaat. Zou toch iets zijn voor KMO's : 1-2servers met esxi gekoppeld aan een 1-2 deftige SAN('s) zodat je enkele VM met high avaiability kan opzetten.