iSCSI SAN oplossingen

[GdeKeijzer]

Wij zijn voor een klant aan het kijken naar een HA-oplossing voor een kleine omgeving.
Deze zal bestaan uit een cluster van 3 Hyper-V machines met 10-15 VM's daarop. Deze zullen op 2 draaien en de 3e zal voor test en fall-back worden ingezet.

Nu willen we dit geheel aan een SAN koppelen ivm Live/Quick migration van de VM's.

Omdat budget bij de klant laag is, maar we toch een HA-oplossing (nu even gericht op de SAN-kant) willen bieden is ons oog gevallen op de software van Starwind.
Hiermee kan je een relatief goedkope SAN oplossing bouwen op 'eigen' hardware en (zo vertelt de site) echte HA.

Ik had zelf dan bedacht om 2 x 2U machines te nemen met XEON, 8Gb geheugen, en snelle harddisken in RAID 10. Tussen de 2 machines een 10GB link (2 x mellanox kaart met kabel ertussen). Software erop, LUN aanmaken en het cluster via MPIO, 2 switches etc, uiteindelijk op 1Gbit aan te sluiten op dit SAN.
Dit alles is te realiseren voor nog onder de 10000 euro. Volledig HA (nogmaals, volgens de site en de techneut die ik sprak).
Bij de klant is HA een hogere prioriteit dan super high performance.

Is de door mij bedachte oplossing realistisch en wat zijn de ervaringen met een software matige iSCSI oplossing van dit merk?

Ik heb gezocht naar andere alternatieven, maar dan kom je gauw op het dubbele.
Denk aan storagedata, greenbytes, supernas etc

Ik praat overigens nog steeds alleen over de SAN oplossing.

Alvast dank.

[PeterPan]

Ik kan je niet direct helpen maar wil je dit toch even op het hart drukken:
HA is niet alleen een technische oplossing maar ook support en know how. Dan kom je (in Nederland) toch al snel weer uit bij gevestigde merken/oplossingen als NetApp, HP, Dell, EMC enz.
Tenzij jij/je bedrijf natuurlijk 24/7 'HA class' support kunnen geven op een zelf ontworpen oplossing.

€10.000 voor een dubbel uitgevoerde SAN met 24/7 support is volgens mij echt niet mogelijk. Mijn natte vinger wijst dan naar €50.000+

[Bl@ckbird]

Voor echte shared storage heb je idd. de gevestigde namen.
Bij VMware heb je de Virtual Storage Appliance. Het gebruikt lokale hard disks om data over te repliceren. Pricing weet ik niet, maar het is gericht op het MKB en je krijgt korting als je het aanschaft in combinatie met een Essentials Plus kit. Er worden dan ook maar maximaal 3 nodes ondersteund.

Het heeft niet de nifty features van een NetApp of EMC, maar voor dat soort merken betaal je dan ook voor.
Iets als FreeNAS is gratis, maar daar moet je zelf support voor regelen. Je zou ook naar Openfiler kunnen kijken. Daar leveren ze ook support bij. Geen ervaring mee, though... Wat betreft support heb ik meer vertrouwen in VMware dan in Openfiler.

[Powermage]

Volgens mij moet je zoiets ook redelijk kunnen redden met een nexenta oplossing, dit gebruiken wij.
buiten dat je HA kan heb je ook zat opties om binnen de financiële perken toch een redelijke snelheid te halen.

Ahead-IT levert een complete 'out of the box' oplossing wat je zoekt voor ongeveer 20K
dit houd in dat je storage en vmware nodes en licenties compleet krijgt in een HA setup, alleen je switches missen nog.

[firefly112]

Zelf heb ik een maand met Starwind gewerkt heb hier nooit problemen mee ondervonden. Dit was voor een klant we hadden toen 2 servers en 1 SAN bestelt. alleen door problemen bij de grens werd de SAN 1 maand later geleverd. om toch al bezig te kunnen gaan met de servers hadden we een oude server van de klant gebruikt als SAN. met de software van Starwind. het was super makkelijk om te configureren en heb er ook nooit problemen mee gehad. het is alleen wel dat toen we met de " echte " SAN gingen werken het voor ons gevoel allemaal wel net ietsje sneller was. dat mocht op zich ook wel voor het prijs verschil. Wij werkte tevens ook met Hyper-v en Failover cluster.

[ Voor 66% gewijzigd door firefly112 op 02-11-2011 12:28 ]

[PeterPan]

Bl@ckbird schreef op woensdag 02 november 2011 @ 11:20:
Bij VMware heb je de Virtual Storage Appliance. Het gebruikt lokale hard disks om data over te repliceren. Pricing weet ik niet, maar het is gericht op het MKB en je krijgt korting als je het aanschaft in combinatie met een Essentials Plus kit. Er worden dan ook maar maximaal 3 nodes ondersteund.

Dat is idd wel een goede suggestie. Dell heeft ook min of meer kant en klare VMware/HyperV + SAN oplossing op basis van EqualLogic SAN maar prijzen gaan ver boven het genoemde budget (alhoewel in die Dell oplossing ook al de hosts bij in zitten).

[locke960]

Als je toch aan StarWind denkt, waarom dan niet "StarWind Native SAN for Hyper-V" gebruiken ?

Dat integreert de opslag op de hyper-V machines zelf en maakt de totaaloplossing eenvoudiger.
Het bespaarde geld kun je gebruiken om de Hyper-V machines zwaarder uit te voeren zodat je er maar 2 nodig hebt.

[GdeKeijzer]

locke960 schreef op woensdag 02 november 2011 @ 13:09:
Als je toch aan StarWind denkt, waarom dan niet "StarWind Native SAN for Hyper-V" gebruiken ?

Dat integreert de opslag op de hyper-V machines zelf en maakt de totaaloplossing eenvoudiger.
Het bespaarde geld kun je gebruiken om de Hyper-V machines zwaarder uit te voeren zodat je er maar 2 nodig hebt.

Heb ik naar gekeken en licentie is 20% goedkoper dan een 'normale' versie.

Je kan deze echter alleen maar op 2 machines neerzetten. En in ons plaatje gaan we al uit van 3 Hyper-V's

Ondertussen heb ik een andere leverancier gevonden, Terra, deze heeft interessante producten.

Houd jullie op de hoogte

[Question Mark]

DutchBoy2000 schreef op woensdag 02 november 2011 @ 00:36:
Bij de klant is HA een hogere prioriteit dan super high performance.

Kun je de term HA eens defineren?

Mag er bv. 1 enkel willekeurig component uitvallen, of mag een compleet datacenter uitvallen zonder dat dit downtime opleverd? Moet de backup ook redudant gemaakt worden? Etc.

[GdeKeijzer]

Ik heb mij oplossing in 3 blokken opgedeeld.

Netwerk:
- Redundant firewall (Zyxel USG1000)
- Meerdere switches tbv iSCSI en netwerk (o.a. MPIO)

Server:
- 3 Hyper-V servers in cluster
- op 2 draaien de VM's en op de 3e is voor failover en testen
- 1 (fysieke) DC voor beheer van het cluster
- Dit alles als blades in casing met redundant (2-4) PSU's en meerdere netwerkpoorten

iSCSI (SAN):
(ten bevoeve van de VHD's die via CSV worden beheerd)
- SAN met 2 controllers en harddisken in RAID10


Backup (ok, toch vierde blok)
- De VM's worden gebackupped vanaf de Hyper-V's naar een grote storagebak en data wordt via offsite-backup (ahsay) geregeld.

[SpamLame]

Het ligt er maar aan hoe HA je wilt gaan en je budget is niet ruim, maar bij mij haalt je voorstel het niet.

-Je Hyper V cluster kan als SPoF gezien worden
-Je ene Datacenter is een SPoF
-Indien alle Hyper V servers in 1 Blade chassis dan is ook die SPoF
-Indien
-Wat jij SAN noemt is een Storage Array en hoewel deze 2 controllers heeft is het apparaat ansich weer een SPoF

Wat jij nu als HA bestempeld, komt op mij over als enkel en alleen afvangen van blade failure.

[locke960]

DutchBoy2000 schreef op woensdag 02 november 2011 @ 15:28:
[...]

Heb ik naar gekeken en licentie is 20% goedkoper dan een 'normale' versie.

Je kan deze echter alleen maar op 2 machines neerzetten. En in ons plaatje gaan we al uit van 3 Hyper-V's

Ik stelde dit voor omdat ik me afvraag of dat aantal van 3 perse nodig is. Je huidige taakomschrijving "test en fallback" komt me niet als overtuigende rede voor.
fallback kun je opvangen door de 2 machines zwaarder uit te voeren. test klinkt wat vaag. Het ding zit in de productie cluster, dus cluster zaken kun je niet testen. En als het gaat om VM's waarbinnen getest wordt dan kun je die net zo goed op de hetzelfde productie cluster draaien.
Dus waarom perse 3 ?

Op deze manier kun je de hele zaak op 2 stevige traditionele servers draaien. Dat lijkt me precies wat je nodig hebt om het budget laag te houden.

[CAPSLOCK2000]

Je laat die twee machines nu zelf zorgen voor synchronisatie.
Je zou ze ook allebei zelfstandig kunnen draaien zonder onderlinge link.
De VM's geeft je op allebei een (even grote) LUN en die knoop je met software-raid-1 aan elkaar.
Het voordeel is dat je de twee storage-kisten van elkaar kan isoleren zodat als er een omvalt de andere niet mee wordt getrokken.

[Question Mark]

DutchBoy2000 schreef op woensdag 02 november 2011 @ 16:27:
Ik heb mij oplossing in 3 blokken opgedeeld.

Ik begrijp hoe je het oplost, ik ben alleen benieuwd welke eisen er gesteld worden aan "HA". En dat punt heb je nu nog steeds niet verteld. Je schetst enkel je oplossing

[nasdude]

CAPSLOCK2000 schreef op woensdag 02 november 2011 @ 17:46:
Je laat die twee machines nu zelf zorgen voor synchronisatie.
Je zou ze ook allebei zelfstandig kunnen draaien zonder onderlinge link.
De VM's geeft je op allebei een (even grote) LUN en die knoop je met software-raid-1 aan elkaar.
Het voordeel is dat je de twee storage-kisten van elkaar kan isoleren zodat als er een omvalt de andere niet mee wordt getrokken.

interresante theorie!

voor de goede order, dat ik snap wat jij bedoelt:

je hebt:
fileserver1
fileserver2
welke je inricht met iscsi software

vervolgens heb je een v-server met een virtual guest, op die guest maakt je 2 schijven aan van exact dezelfde grote, vervolgens installeer je een guest-os en stel je in het guest os in, dat disk 1 naar disk 2 repliceert? wat dus de data op beide san's actueel houdt. (zou performance niet een probleem kunnen worden)


bedoel je het op deze manier of anders?

[CAPSLOCK2000]

Dat is precies wat ik bedoel. De VM ziet twee schijven en daarop maak je een software-raid1 aan. Dat kost niks aan performance, RAID1 is (bijna) gratis.
Aan de fileserverkant heb je niks ingewikkelds nodig, alleen twee simpele snelle iscsi-dozen.
Die fileservers en het netwerk moeten natuurlijk wel lekker snel zijn. Het geld dat je uitspaart aan ingewikkeldere dingen kun je uitgeven aan 10gbit ethernet en snelle machines.

[Ethirty]

Ik vraag me altijd af hoe bedrijven denken dat ze het liefst voor nop super redundant uitgerust worden.

Wat zijn de eisen voor dat bedrijf omtrent downtime? Wat willen ze uitgeven om dat te beperken? Waarom wil je per se een HA storage cluster bieden als er eigenlijk geen geld is? Als het mis gaat klopt de klant als eerste bij jou op de deur en dan mag je uitleggen dat je eigenlijk een oplossing heb neergezet waar je niet 100% achter stond maar vanwege budget wel voor gekozen hebt...

10-15 servers is niet veel ofzo, dus je zou ook een active-passive oplossing kunnen bedenken (Veeam replication) waar je elke paar uur een snapshot van je guests maakt naar budget storage (bijv QNAP). Met een beetje rap reageren zou een klant daarmee niet meer dan een uur of 4 offline hoeven zijn.

[Droezel]

Je kan ook even kijken naar DoubleTake HA ( http://www.visionsolution...vailability-Overview.aspx ), wij gebruiken het om 12 servers te repliceren naar een tweede datacenter. Daar staat één enkele server met specs voorzien om alle 12 servers tegelijk tegen een aanvaardbare performance op te starten. DoubleTake repliceert 10 viruele en 2 fysieke servers naar de backup server. Bij uitval van één of meerdere (zelfs alle) servers is het gewoon een kwestie van op de "play" knop te duwen voor failover, en je bent weer online binnen enkele minuten.

De licentiekosten zijn wel te doen als je enkel virtuele machines wil voorzien van HA. Het zal iets meer kosten dan 10000 maar het bied je meer HA voor minder kosten dan een SAN.

[VisionMaster]

Ethirty schreef op donderdag 10 november 2011 @ 16:14:
Ik vraag me altijd af hoe bedrijven denken dat ze het liefst voor nop super redundant uitgerust worden.

Wat zijn de eisen voor dat bedrijf omtrent downtime? Wat willen ze uitgeven om dat te beperken? Waarom wil je per se een HA storage cluster bieden als er eigenlijk geen geld is? Als het mis gaat klopt de klant als eerste bij jou op de deur en dan mag je uitleggen dat je eigenlijk een oplossing heb neergezet waar je niet 100% achter stond maar vanwege budget wel voor gekozen hebt...

10-15 servers is niet veel ofzo, dus je zou ook een active-passive oplossing kunnen bedenken (Veeam replication) waar je elke paar uur een snapshot van je guests maakt naar budget storage (bijv QNAP). Met een beetje rap reageren zou een klant daarmee niet meer dan een uur of 4 offline hoeven zijn.

Le simpel: Iedereen wil alles, voor niks. Mijn eerste gedachte met deze interessante thread was al snel: HA+low-budget=DIY-houtje-touwtje

Was er nog een motivatie gegeven voor Hyper-V trouwens? Daar werd al direct vanuit gegaan, maar de rest van de details is nogal arbitrair, dus ik stel de vraag dus vanuit dat perspectief.

Ook als je alleen Windows systemen virtueel hebt te draaien zou ik toch nog objectief shoppen voor licentie details met Hyper-V, VMWare oplossingen en zelfs anderen zoals Red Hat Enterprise Virtualization. Gegeven wat je budget echt is, kan het nog wel eens nuttig zijn om te zien welke features je niet houtje-touwtje hoeft op te lossen.

Ik zou de problemen in je infra oplossen en niet de magie naar je VMs toe trekken. Te veel gelul op een verkeerd niveau IMHO.

Wel eens gedacht aan Gluster (recent gekocht door Red Hat)? Of een andere cluster-ed file system oplossing? Gluster al een tijd en is over een tijd ook nog bij Red Hat te licenseren met support. Je kan dan een clustered file system maken dat native Gluster, NFS of CIFS aanbiedt. In het cluster file system gebruik je de mirror-ing optie tussen de dozen. Dan zijn ze alle twee hot-fail over. Met de native Gluster lijkt het dan het meeste nog op NFSv4.1, dus boeit het niet welke doos online is en je bytes levert. In het slechtste geval reconnect je met die dozen en je VMs gaan weer door.

Maar goed... genoeg shiny oplossingen te bedenken die je wellicht minder hoofdpijn kunnen bezorgen, gegeven dat er helder wordt wat je precies nodig hebt en binnen welke kaders je het moet oplossen.

En we hebben het nog niet eens gehad over security en systeem integratie details. Maar ja

[Verwijderd]

Interesante gedachte met GlusterFS

En dan tevens de virtualisatie software op dezelfde storage servers? waarbij de virtualisatielaag geen hot failover heeft?

[VisionMaster]

Verwijderd schreef op woensdag 23 november 2011 @ 17:15:
Interesante gedachte met GlusterFS

En dan tevens de virtualisatie software op dezelfde storage servers? waarbij de virtualisatielaag geen hot failover heeft?

Ik snap nu even niet of je met virtualisatie software bedoelt de hypervisor of de VM zelf. Het idee is dat je virtualisatie oplossing niet regelt dat de storage laag een hot failover kan regelen voor je. Dus als je bedoelt de hyervisors, nee, die zijn onderdeel van het base-OS van de hosts IMHO. En de VMs leven qua data op het GlusterFS. Dat het GlusterFS een distributed file system is moet de virtualisatie laag niks mee doen. Die ziet maar 1 glimmende mount point aan de horizon, en that's it.

[paulhekje]

bij een klant moet ik een zelfde soort omgeving neerzetten. 10-15 virtuele servers, lage belasting. beperkte eisen wat betreft beschikbaarheid. Om niet al te kwetsbaar te worden gekozen voor 2 DL380 met wat SAS schijven. + VMware Essentials Plus + StorMagic SvSAN.
SvSAN is een virtual storage appliance, net als VMware VSA. Om split brain te voorkomen draait er een service
van StorMagic op de vCenter server (fysiek, gecombineerd met backup en andere management taken)

Een VSA is een stuk minder SPOF dan een disk shelf met 2 controllers.

want:
- backplane is geen spof
- diskcontroller is geen spof

alleen netwerk is spof, maar dit is met lage kosten eenvoudig op te lossen (kan zelfs met cross-cable)

edit:
want: ...

[ Voor 16% gewijzigd door paulhekje op 24-11-2011 15:38 ]

[SpamLame]

Want?

[Ethirty]

paulhekje schreef op donderdag 24 november 2011 @ 14:15:
Een VSA is een stuk minder SPOF dan een disk shelf met 2 controllers.

want:
- backplane is geen spof
- diskcontroller is geen spof

alleen netwerk is spof, maar dit is met lage kosten eenvoudig op te lossen (kan zelfs met cross-cable)

edit:
want: ...

Want?
Diskcontroller heb je er 2 van, op 1 controller werkt een disk shelf prima. Backplane van bijv een MSA kan je niet eens vervangen, dan wordt de hele behuizing vervangen. En als dat al moet prik je voedingen, controllers en disks zo over in je nieuwe behuizing. Bij je VSA kan je eerst je hypervisor en VSA weer in de lucht proberen te krijgen voor je verder kan met het opstarten van je netwerk.

Mijn gevoel zegt dat een VSA gevoeliger is voor software bugs dan traditionele firmware (want VSA is ook weer afhankelijk van de hypervisor). Als je software je bitjes verkeerde wegschrijft ben je veel verder van huis.

Daarnaast kost VSA mirroring (network raid, of hoe iedere fabrikant het ook wil noemen) sowieso de helft van je disk capaciteit terwijl je met een 2e hardware controller alleen maar meer performance krijgt zonder op capaciteit in te leveren.

In door mij recent neergezette HP P2000 G3 dual controller units zit totaal 4GB aan flash backed write cache. Een losse HP controller voor in een DL380 komt maximaal tot 1GB aan FBWC.

[paulhekje]

Een P2000 van 12.000 euro is natuurlijk niet te vergelijken met een VSA die minder dan 2000 kost (2TB, exclusief disken).
Een iets logischer vergelijking zou een MSA 2300 kunnen zijn.

[Ethirty]

De P2000 is de opvolger van de MSA2000 serie en prijzen starten rond de 5k ex disks. Veel goedkopere A-merk starterskits zijn er denk ik niet veel.

Voor 12k koop je volgens mij de fibrechannel versie met 24 disks.

Daarnaast ging het me vooral om de stelling dat een VSA 'minder spof' is dan een purpose built array met 2 controllers.

[ Voor 22% gewijzigd door Ethirty op 24-11-2011 18:13 ]

[wagenveld]

Interessant, ik heb een PE2950 met 6x300GB SAS die nu dienst doet als ESX (3.0) host, maar ik speel met de gedachte om m als iSCSI storage in te zetten voor een aantal R210 servers voor onze test omgeving. Stel ik knoop 3 Hyper V hosts in een cluster via 1Gbit naar iSCSI, kan ik daar wat performance van verwachten? Note het draait nu lokaal op een aantal R210 servers met 250GB SATA schijfjes in software RAID - traag als het spul door de trechter.
Dacht aan de iSCSI target software van MS, evt op Storage Server:
http://www.microsoft.com/download/en/details.aspx?id=19867

[Ethirty]

Ligt uiteraard ook aan de controller in de PE2950 en de hoeveelheid cache daarop en aan de switch die het iSCSI verkeer moet afhandelen, maar allicht dat 6x SAS vele malen sneller is dan SATA in software RAID. Zeker als het ook nog eens gaat om 10k of 15k schijven.

[VisionMaster]

wagenveld schreef op donderdag 24 november 2011 @ 18:27:
Interessant, ik heb een PE2950 met 6x300GB SAS die nu dienst doet als ESX (3.0) host, maar ik speel met de gedachte om m als iSCSI storage in te zetten voor een aantal R210 servers voor onze test omgeving. Stel ik knoop 3 Hyper V hosts in een cluster via 1Gbit naar iSCSI, kan ik daar wat performance van verwachten? Note het draait nu lokaal op een aantal R210 servers met 250GB SATA schijfjes in software RAID - traag als het spul door de trechter.
Dacht aan de iSCSI target software van MS, evt op Storage Server:
http://www.microsoft.com/download/en/details.aspx?id=19867

Verwacht je geen hoge load op je iSCSI targets? Met 1GbE wel aardig te doen denk ik, maar toch.

[erwinb]

Check oof eens NetApp, hierboven ook al genoemd als A merk.
daar is voor onder de 10.000 euro een HA filer te koop.