shared storage voor storage pool; SAN vs zelfbouw

[voort4444]

Ben vorige week blij gemaakt door de directie; we mogen een nieuwe server aanschaffen om een paar huidige servers te gaan virtualiseren. Dat zal in eerste instantie een xen server met local storage worden; daarmee gaat ons bedrijf naar 2 xenservers met ieder 4 10Krpm SAS disken, dus 8 totaal.
een stap verder zou zijn om die 2 xenservers in te zetten als serverpool met shared storage.
HP en andere fabrikanten hebben daar hele mooie, maar vooral dure en compleet dubbel uitgevoerde oplossingen (SAN's) voor.

Ik vraag me alleen af, als je het niet persé dubbel uitgevoerd hoeft te hebben, omdat je je risico op SoP anders wil afdekken, je nu echt voor zo'n oplossing moet gaan.(lees €20.000).

Ik bedoel, ik zou op basis van onderdelen van Supermicro en storgae server kunnen maken, waar 8-16 SAS disken in kunnen (raid5, 6 of ZFS) voor ongeveer €2000, en om over iscsi eea te serveren met bv Freenas/openfiler en evt een quadnic-pci-e kaart. (de 8 SAS disken hebben we dan al)

OS klinkt dan misschien wel DIY, maar het geheel hangt in een goed voor de buitenwereld afgeschermde omgeving.

Op beide xenserver zouden 4-7 VM's moeten gaan draaien. Dat zal in eerste instantie per server 4 spindels zijn(raid 5), maar dan zou shared storage met 8 spindels toch sneller moeten zijn?

[TrailBlazer]

wie gaat de support garanderen als er iets met je zelfklus oplossing misgaat. Het kan prima werken hoor dat beweer ik niet als je enkel support van een leverancier wil hebben kan dat wel moeilijker worden.

[jep]

Mijn advies is ook; Doe het goed of doe het niet. Met knutselstorage (hoe leuk ZFS ook is) ga je een keer spijt krijgen. Bij dit soort setups kun je maar beter zorgen dat je een goede oplossing met support hebt.

[Jazzy]

Dan sluit ik me daar ook maar bij aan.

Of je alles dubbel uitvoert hangt af van je eisen, als je geen formele SLA hebt komt het er uiteindelijk op neer hoe lang de boel er helemaal uit mag liggen. Bij een A-merk oplossing sluit je een support contract af waardoor je bij een storing bijvoorbeeld maximaal een werkdag down bent, of korter naar mate je een duurder contract neemt.

Als je die zelfbouw optie zou overwegen dan zijn de eisen bij jullie niet zo heel erg strikt, waarom zou je bij een A-merk dan opeens naar volledig redundant oplossingen kijken? Zelf ben ik helaas geen storage specialist maar ik heb het vermoeden dat je prima uit de voeten kunt met iedere entry-level storagedoos met iSCSI ondersteuning.

Ten slotte, ik maak uit je bericht op dat virtualisatie ook (mijn of meer) nieuw voor jullie is. Waarom kies je dan voor Xen en niet voor één van de twee marktleiders op dit gebied?

[voort4444]

Ik vraag me dan af waar je aan moet denken wat er mis kan gaan;
hardware begeeft het?; disks zijn van HP, voor zover binnen garantie; nieuwe disk(s), vervangen en array laten rebuilden
mobo&chassis(redundant PSU); supermicro (zit volgens mij wel goed met garantie etc)
SAS kaarten& cpu; Intel (idem)
Support of OS: buiten opzetten van nic bonding en vlans, wat misschien even puzzelen is, zie ik buiten snelste setup met fault tolerance van minimaal 1 disk geen probleem.
Stopt de gehele storagebak ermee; dan kan er (tegen gereduceerde perfomance) verder gewerkt worden via onderstaande.

Backup: VM's worden volledig gebackupped met quromsoft alike (naar een qnap onsite), die qnap heeft ook een iscsi target waar een volledige kopie van alle vm's op staat en middels backup ook gewoon bij te werken is naar vm, vlak voor evt storing. Verder worden de backups ook offsite gerepliceerd.

Op zich is Citrix xenserver niet heel nieuw voor me en kunnen we daarmee met de onbetaalde versie prima doen wat we willen (HA& loadbalancing zijn op zich geen issue bij ons en moet er geschoven worden met een VM, dan kan dat met shared storage prima handmatig).
Ik heb in mn kantoor een klein testlabje staan: 2x een e6600 CPU in server pool met iscsi shared storage op een DL380g3 (6 scsi disks) en nu nog over 100Mbit ), voor proof of concept en oefenpool voor evt zaken die we tegen komen en eerst veilig willen proberen voordat we live eea uitvoeren Gbit netwerk komt eraan).
Bovendien wordt onze huidige xenserver dusdanig belast, met 7 VM's (DC w2k8r2, 4 Terminalsservers(w2k332bit) en 2 vm's die nagenoeg idle zijn) en dat performed voor ons prima op een dual e5630, 36GB RAM en 4x300GB SFF SAS local storage (raid 5) dat ik hier eigenlijk goed tevreden over ben.

[ralpje]

voort4444 schreef op maandag 12 maart 2012 @ 11:36:
mobo&chassis(redundant PSU); supermicro (zit volgens mij wel goed met garantie etc)
SAS kaarten& cpu; Intel (idem).

De garantie zal prima zijn, maar wat is de responstijd? Leuk dat je je defecte mobo op kan sturen en dan een nieuwe of gerepareerde terug krijgt, maar dan zit je dus wel een week of 3, 4 zonder.
Bij 'groot merk' is het simpelweg onderdeel van je supportcontract dat ze binnen x-uur op de stoep staan met een vervangend onderdeel.

[Verwijderd]

DIY betekent dan meteen dat je opsturen en wachten op return moet kunnen opvangen. Je zal voor alle onderdelen dan een reserve onderdeel 'op de plank' moeten hebben liggen zodat je direct kan vervangen als dat nodig is.

Dat _kan_ je een hoop geld schelen. Het _kan_ je ook heel veel hoofdpijn opleveren.

Als je denkt dat je alle problemen kan voorzien en opvangen, dan ga je voor de DIY oplossing.

[voort4444]

op de HP apparatuur die we momenteel bezitten hebben voor de servers een 24/7 4 uur responstijd, dat wil niet zeggen dat we; als we vrijdagmiddag 17.01 uur een storing hebben, we om 21.01 nieuw spul hebben staan; dat kan rustig betekenen dat er voor die tijd wordt gezegd; we gaan kijken of en waar we het op voorraad hebben staan, om vervolgens maandag nog te kunnen horen dat het beste nog een halve week zou kunnen duren, toch?
Veel verder wil de directie niet gaan qua SLA...
Op de plank hebben liggen van onderdelen voorzie ik dan een kleine €1500

Maar buiten deze vraagtekens, zou de snelheid dan opzich toch prima moeten zijn? Ik bedoel er zijn ook bedrijven die die risico voor lief nemen die vanaf qnap met 8 sata schijven (of de meer upmarketvarianten) werken en verglijkbare belastingen hebben (zeg 70 werknemers, voornamelijk office gebruiken op TS-en en een mailserver hebben draaien)?

[Bl@ckbird]

Naast hardware replacement zorgt de leverancier van je SAN ook voor software updates voor nieuwe features en bij software bugs. Daarnaast kan je supportcases aanmelden bij configuratie issues. Knutsel je zelf wat in elkaar, dan ben je aangewezen op je eigen kennis en support fora op internet. Support desks van SAN leveranciers hebben vaak ook wat achtergrond kennis van 3rd party zaken, zoals virtualisatie software. (Citrix Xen, MS Hyper-V of VMWare ESXi / vSphere)

Verder kan je de data van een SAN deduppen, zodat dit niet de volledige ruimte vraagt op de hard disks.
Je kan ook denken aan de mogelijkheid om snapshots van je data te nemen, of backup oplossingen. (Ook tussen SAN arrays of tussen SAN array en tape.)

Ik stel voor dat je je eerst verdiept in een fatsoenlijk NAS / SAN en dan pas bepaalt of je dit nodig hebt, of dat je dit zelf gaat doen. Hoewel ik dat laatste niet aanraadt. Is je data weg, dan betekent dit vaak het failiet van het bedrijf. Kijk ook hoe je wil backuppen, etc.

[ZeRoC00L]

zelfbouw in PNS ?
Zou toch eens beleid over moeten komen......

[Rolfie]

ZeRoC00L schreef op maandag 12 maart 2012 @ 20:13:
zelfbouw in PNS ?
Zou toch eens beleid over moeten komen......

Zeker voor een zelf bouw SAN.

Hoe denkt de directie trouwens over jouw advies voor zelf bouw, als je zelf bouw SAN het begeeft?

Een zelf bouw NAS/SAN is leuk voor thuis, en voor anderen kleine bezig heden. Maar wil je zekerheid, doe het dan niet.
of bied je leiding gevende 2 advies, 1 zelfbouw, en 1 merk leverancier. Laat hem de keuze maken, en de verantwoordelijkheid dragen.

[ Voor 29% gewijzigd door Rolfie op 12-03-2012 20:52 ]

[Ethirty]

Kijk eens naar de P2000 G3 van HP. Zeker de SAS variant kan je voor minder dan 10k hebben draaien, inclusief 2 controllers en een setje disks.

[voort4444]

ok, ik ga nog een keer kijken naar de kant-en-klare oplossingen en daar de mogelijkheden van afwegen.

Moet me wel van het hart, dat er gezegd wordt dat het raar is dat ik deze vraag hier stel, maar dat ik in de replies teruglees, dat er niet echt gekeken is naar mn vragen en omschrijvingen;
Ik vraag naar ervaring over performance en beschrijf een groot deel van mn backup om te laten zien dat we echt wel data-loss proberen te voorkomen en dat we echt niet alles kwijt zijn als er een keer een probleem is; in plaats daarvan wordt er grotendeels gesproken over de risico's.
Tuurlijk, die zijn er.

We hebben inmiddels wel een bestelling gedaan voor onze tweede citrix xenserver, maar voordat ik die ga configureren en de zaak P2v, ga ik eerst zelf maar eens kijken wat ik voor performance kan halen uit 4 6G 10krpm SFF SAS schijven, met verschillende instellingen onder freenas en openfiler.

[Question Mark]

Ik denk dat de eerste stap is om even een periode te meten hoeveel IOP's de huidige machines gebruiken (dus de huidige virtuele en de huidige fysieke systemen). Aangezien je van plan bent om straks alle systemen vanaf 1 storagepool te draaien, zal deze de som van alle IOP's moeten kunnen leveren.

Als je weet hoeveel IOP's je benodigt bent, kun je daar naartoe werken.

[roeleboel]

Nog iets om in het achterhoofd te houden bij zelfbouw:
je gaat voor een aantal weken met vakantie naar verweggiestan, en net als je uit het vliegtuig stapt waar je net 18 uur hebt opgezeten knalt de boel er uit.

Wie gaat/kan dat repareren bij zelfbouw?
(of neem je nooit meer dan een halve dag vakantie voor de rest van je carrière?)

[Paul]

voort4444 schreef op dinsdag 13 maart 2012 @ 11:53:
...om te laten zien dat we echt wel data-loss proberen te voorkomen en dat we echt niet alles kwijt zijn als er een keer een probleem is; in plaats daarvan wordt er grotendeels gesproken over de risico's.

Dat komt omdat je aan de ene kant rekent met euro's ('een SAN kost € 20.000') en aan de andere kant alleen de euro's noemt die er maar zijdelings mee te maken hebben en aan beide kanten van de vergelijking hetzelfde zijn (want ook een SAN kan afbranden).

Hoeveel mensen kunnen niet werken wanneer je shared storage het begeeft? Doe dat maal het aantal uur dat het je kost om het te fixen, en dat maal € 70,- (of net voor hoeveel je werkgever jullie verhuurt aan de klant).

Met 10 man 4 uur stilzitten komt dan al op € 2800,-. Als je SAN door de leverancier binnen 4 uur gefixt is en jij 3 dagen bezig bent met een configuratie-issue omdat jouw zelfbouw-apparaat veel (VEEEEEL) minder goed getest is dan dan de diskarray die zichzelf al lang en breed bewezen heeft is dat met 10 man 20 uur (3 * 8 - 4) dus € 14000 dat je kwijt bent. Van dat geld heb je ook een (entry level) SAN...

[voort4444]

dan nog:
De back up is on- en offsite geregeld (in huidige storage of storage ove iscsi, maakt niet uit)
Een instap p2000 g3 begint bij €6000, dan nog je SLA erbij en de config, dan zit zo je aan €10000.

Daar kan je bijwijze van spreke, 2 instap DL380' G7, singlu cpu met genoeg ram en plaats voor 16disks voor neerzetten en configureren onder freenas/openfiler (2 identieke os-usb sticks klaar hebben liggen), al zou de ene dan kuren krijgen (config-wise), dan kan je de andere binnen 10 minuten voorzien van disks in juiste volgorde en een USB stick met werkend image van het OS, dan zit het personeel minder lang stil dan op de SLA respons te moeten wachten. De geavanceerde mogelijkheden van een A-merk SAN zijn prima en handig, ik zeg ook niet dat het anders is, maar dat hebben we allemaal niet nodig; een iscsi target wat snelheid levert en enige vorm van terugval mogelijkheden is voldoende.

Ik ben gelukkig niet alleen en mn collega kan ook dit oopvangen tijdens mijn afwezigheid

[Jazzy]

Het klinkt alsof je je keuze gemaakt hebt.

[voort4444]

ik mn keuze nog niet gemaakt hoor. Maar heb gewoon het probleem van de middle-man tussen directie en mogelijkheden. Als ik "redelijk ongelimiteerd" uit mocht geven, dan was het een no-brainer geweest en had ik wel voor een A-merk SAN gegaan. Ik probeer een middenweg te zoeken en als we daar wel performance in kunnen halen door bv voor zelfbouw of een met disken gevulde DL380 G7 te gaan met een OS dat we wel naar behoren en snelheid ISCSI kunnen laten serveren, dan zou ik toch gek zijn om meer uit te geven dan nodig is, ookal zijn de mogelijkheden van een A-merk SAN misschien meer eindeloos, maar overkill voor ons.

Desondanks wil ik wel kijken of ik niet iets over het hoofd zie en of ervaring is met een dergelijke hoeveelheid spindels en wat men daar voor performance over haalt.

[Jazzy]

Maar een A-merk server met schijven en een iSCSI target is toch een A-merk oplossing? Dan heb je één punt van support, van firmware updates voor je disks tot en met drivers en dat tot in lengte van dagen. Lijkt mij een prima oplossing die bovendien in lijn ligt met wat men je hier aanraadt: geen zelfbouw.

Je vraag over performance verbaast me een beetje, voor zover ik lees weet je nog niet hoeveel IOPs je nodig hebt en heb je ook nog niet aangegeven met welke disks in welke opstelling je die wilt halen.

Tenslotte, Microsoft heeft tegenwoordig ook een fraai iSCSI target dus je hoeft nog niet eens te keizen voor een afwijkend operatingsystem. Dat levert je een mooi beheervoordeel op omdat je de server gewoon in je normale monitoring en updatecyclus kunt hangen. Blijft de boel mooi gezond.

[Gé Brander]

Je kan ook eens kijken naar de producten van QNAP. Prima storage apparatuur voor prima prijs.

[Question Mark]

voort4444 schreef op dinsdag 13 maart 2012 @ 12:46:
Desondanks wil ik wel kijken of ik niet iets over het hoofd zie en of ervaring is met een dergelijke hoeveelheid spindels en wat men daar voor performance over haalt.

Meet eerst nu eens wat je nodig bent aan performance en werk daar naartoe.

Op deze site kun je gegevens van je disken invoeren, gewenst raidlevel en de verhouding read/writes. De uitkomst is dan bij benadering de hoeveelheid IOPS die deze diskconfig kan leveren. (Afhankelijk van de Raid-controller en de hoeveelheid cache kan die hoeveelheid IOP's nog toenemen).

Houdt deze uitkomst naast je gemeten benodigde hoeveelheid en je kunt een aardige indicatie geven of je de gewenste performance gaat halen.

[voort4444]

uitgegaan van de tool in bovenstaande link en 8 2,5" SAS disks in raid 5 read/write:50/50 kom ik uit op 443 IOPS (en met 75/25 op 633 IOPS) wat het gemiddeld zou moeten kunnen leveren, terwijl ik op onderstaande gevirtualiseerde DC op een 4-schijfs raid array kom ik al op een max in de perfmon van 653 (let wel local storage).

Wat het moet gaan hosten: een domaincontroller w2k8r2 met een database programma , mailserver w2k3 32 bits, 80 mailboxen en 4 terminal servers (w2k3 32bit), met wat ik in de perfmon zie kom ik gemiddeld bij elkaar op 315 IOPS met als kanttekening: de DC, en 4 terminal servers draaien nu al al gevirtualiseerd op 1 host met 4 schijven 10Krpm SAS in raid 5, naar tevredenheid.
De vervangende server moet de mailserver en de webserver gaan hosten in eerste instantie en misschien nog 1 of 2 terminal servers.
Kwa performance zie ik "van 2x local storage 4 disks in raid 5" naar "shared storage 8 disks in raid5" niet zo donker in.

En thnx voor die link!

[Paul]

Question Mark schreef op dinsdag 13 maart 2012 @ 12:54:
... je gemeten benodigde hoeveelheid ...

Daar moet ik vaak bij met name verkopers wel om lachen (of huilen)...

Wij zijn ook nog niet zo lang bezig met SANs, en in de aanloopfase bel je dus naar de verkoop- (of zelfs technische) afdeling met de vraag:
"Wij willen graag een bepaalde opstelling gaan maken, welke diskarray bevelen jullie aan?"

Antwoord:
"Start Perfmon eens en kijk eens hoeveel IOPS het doet?"

Timetravel much?

Dus dan moet je gokken aan de hand van wat je al hebt, en hoe dat verhoudt met de nieuwe situatie. In dit geval wat minder een issue, aangezien bestaande servers gevirtualiseerd gaan worden. Als je nu 4 virtuele servers goed draait op 4 schijven kun je 8 virtuele servers op 8 schijven wel aandurven maar het is natuurlijk maar de vraag of die webserver en mailserver evenveel IOPS doen als een DC of een TS.

Vergeet ook je hot spares niet, met meer schijven is de kans op overlijden natuurlijk veel groter dan mij minder schijven

[Question Mark]

Paul schreef op dinsdag 13 maart 2012 @ 14:10:
[...]
Dus dan moet je gokken aan de hand van wat je al hebt, en hoe dat verhoudt met de nieuwe situatie.

Je hebt natuurlijk gokken en onderbouwd gokken. Deels hebt je wel gelijk hoor, maar alles wat je kunt meten is een relatieve zekerheid. Zeker in het geval van TS is een groot deel van de benodigde performance vooraf al te bepalen.

Paul schreef op dinsdag 13 maart 2012 @ 14:10:
[...]
Vergeet ook je hot spares niet, met meer schijven is de kans op overlijden natuurlijk veel groter dan mij minder schijven

Terechte opmerking

[voort4444]

check&check

[StarWing]

Je kan ook een aantal extra disken voorzien per server, evt 2 arrays en dan daarboven software draaien die de boel in sync houd tussen beide servers.
Zo staat de data ook dubbel en kan er een server/array wegvallen.

Geen kost van een SAN, maar toch alle storage beschikbaar op beide servers.

Ik weet dat oa HP zulke software heeft.

[ Voor 3% gewijzigd door StarWing op 13-03-2012 16:11 ]

[nilisvw]

Ik ben mezelf ook aan het orienteren op dit gebied.
Wat misschien ook interessant kan zijn voor jou is het gebruik van bijvoorbeeld Open-E dss v6.
Hiermee kun je 2 HP (of andere) servers omtoveren tot een 2 "SANs' met failover.
De 2 HP servers repliceren dan met elkaar. Ook kun je hierbij support aanschaffen en het eerste jaar zit het erbij. Deze optie is ook nog vrij betaalbaar in ons geval iig.

Daarnaast heb je ook nog software zoals van Starwind of Datacore welke wat meer functionaliteiten hebben, maar daardoor ook wat duurder zijn in aanschaf.

[Jodel]

Een paar jaar geleden liep ik tegen hetzelfde probleem aan, en ik dacht de oplossing te hebben gevonden in budget Netgear ReadyNAS'sen (met iSCSI) voor de storage, en HP DL180's (volgens mij) voor cpu+ram. De Netgears ondersteunden LACP waardoor ze 2Gbit ter beschikking hebben.

De eerste 2 jaar draaide het prima, totdat de directie het tijd vond om een nieuw administratiesysteem, een nieuw CRM pakket en Microsoft TFS te gaan gebruiken. We hadden nog wat ruimte beschikbaar op de storage, en ze dachten dat dat er wel bij op kon als we een beetje CPU+ram bij zouden zetten. Er geen rekening mee gehouden dat het allemaal zware pakketten (voor namelijk MSSQL databases)

Huidige situatie: de Netgears trekken het niet meer, alle pakketten zijn traag (waaronder nu ook Exchange), en men wil niet investeren in nieuwe hardware omdat we 4 jaar geleden ook al een paar duizend euro (max 4000 euro) hebben uitgegeven.

Om bovenstaande te voorkomen kun je beter kiezen voor een fatsoenlijke oplossing, en daar valt een zelfbouw storagesysteem nou eenmaal niet onder.

[SpamLame]

Jodel schreef op woensdag 14 maart 2012 @ 17:27:
We hadden nog wat ruimte beschikbaar op de storage, en ze dachten dat dat er wel bij op kon als we een beetje CPU+ram bij zouden zetten.

We hadden niet alleen naar GB maar ook naar IOPS en latency,dat wordt vaker vergeten en kan op met een A merk oplossing fout gaan.
Ze hebben daar geen kennis van.

[ Voor 8% gewijzigd door SpamLame op 14-03-2012 19:09 ]

[Verwijderd]

kijk anders even naar een Synology san . das best leuk spul voor een goede prijs.

net een 15 TB san gebouwd voor minder dan 5000 euro. en de performance is best goed.
netjes met een dubbele voeding , goed uitbreidbaar en makkelijk te bedienen.

zelfbouw zou ik afraden.

[voort4444]

Milkman, kan je wat cijfers geven over het aantal IOPS dat het beestje wat je hebt gebouwd haalt?

[Rolfie]

Verwijderd schreef op woensdag 14 maart 2012 @ 22:08:
kijk anders even naar een Synology san . das best leuk spul voor een goede prijs.

net een 15 TB san gebouwd voor minder dan 5000 euro. en de performance is best goed.
netjes met een dubbele voeding , goed uitbreidbaar en makkelijk te bedienen.

zelfbouw zou ik afraden.

Wat is jouw definitie van "en de performance is best goed"?
best goed voor een aantal virtuele domain controllers / servers? of best goed voor een zware Exchange server?
Ik kan ook een best goed SAN maken van 15TB dat best goed voor mij is. Maar om daar bv SQL op te draaien, das een heel ander verhaal.

[Verwijderd]

mja dat blijft natuurlijk altijd moeilijk.

ik ben hem nog aan het optuigen en wat aan het spelen met de verschillende mogelijkheden dus ik heb weinig data.

met wat syntetische tests met een ISCSI lun en dat doet hij nu beter dan onze huidige productie netapp. maar ja die wordt best zwaar belast en deze is nog helemaal leeg. dus het is niet representatief allemaal.

mijn gevoel zegt dat het prima is voor gebruikers fileserving, webserverving, simpele vmware hosts
etc etc maar als je een super zware sql server er op wilt gaan draaien dat je dan tegen data bottlenecks gaat aanlopen