SAN Oplossing

[Aapje!]

Wij zijn al enige tijd aan het zoeken naar een goede, betaalbare SAN voor onze shared omgevingen.

We hebben op dit moment een Dell Equalogic die vol begint te raken. Hierdoor zijn we op zoek naar uitbreiding, echter ons budget is niet meer zoveel als het was bij de aanschaf van de Dell.

Hierdoor zijn we terecht gekomen bij StorageData. Op het moment zijn we een test aan het draaien met 8x2TB in raid 50 of raid 10. Uiteindelijk word dit raid 10 ivm performance winst mbt raid 50. Echter wij merken dat het SAN een goede 25-30 servers niet aankan. Het gaat hier om: TS, Exchange, SQL, Fileserver etc..

Als we in de avond een test draaien qua overdracht red ik op alle blades een nette snelheid van 110MB's op iedere NIC. Op het moment dat klanten gaan inloggen rond 8.30 zakt het in elkaar en word het niet werkbaar.

Het aantal iops +- dat deze san zou moeten geven is: 8x125/4 (raid50) of /2 (raid10). Dit zullen nooit genoeg iops zijn voor deze omgevingen.

Stel we zouden +- 12-13k te besteden hebben, en support en betrouwbaarheid zijn voor ons een belangrijk issue. Wat voor SAN zouden jullie dan nog meer aanraden?

Eisen:
+- 8-10TB opslag
25-30 servers moeten erop gehost kunnen worden tijdens pieken!!
Blijvende goede performance
Connectie dmv iscsi.

Ik heb op dit moment een vraag bij StorageData neergelegd wat ze kunnen leveren... echter willen we toch wat verder kijken dan de buren.

Wellicht zijn er mede beheerders die recentelijk in hetzelfde schuitje zaten en een leuke aanschaf hebben kunnen doen.

[Hero of Time]

Heb je ook al je situatie aan Dell voorgelegd? Misschien kan je nog wat aan je instellingen of je EQL finetunen om betere performance uit te halen.

Overigens valt dit meer onder Opslagtechnologie dan onder NOS, dus ik verplaats je topic naar het juiste forum.

[Aapje!]

De Dell is niet uit te breiden meer, dit hebben we al gecontroleerd. We moeten dus een nieuwe SAN aanschaffen. Dell heeft niets wat ons qua performance en bucks kan leveren dus zijn we opzoek naar alternatieven.

[Q]

Bereken eerst eens hoeveel IOPS je nodig denkt te hebben met een blik op de toekomst. Met 75 IOPS per server piek belasting zit je aan 2200 IOPS, wat never ever lukt idd met die 2TB schijven.

http://www.wmarow.com/strcalc/

Je wilt zoveel mogelijk snelle spindels hebben, dus 10K RPM schijven minimaal. Voor dat budget heb je nooit een SAN met SSD caching denk ik, wat wel jammer is.

Nooit mee gewerkt maar die nieuwe 3PAR hardware van HP lijkt me wel heel leuk, weet niet of dat in de prijsklasse valt.

Zelf heb ik wat ervaring met HP P2000 G3 iscsi en dat is wel OK spul en zou binnen je budget vallen met disks, gok ik (wel renew nemen, niet 'new' als je renew accepteerd). Zit dual controller in met ieder 2 GB RAM dus je hebt wel wat caching. Ik weet niet hoe dat zich verhoud tot de Equalogic. De P2000 ondersteund officieel (denk aan de toekomst) geen SSD. Mocht je ooit meer disks nodig hebben en zit je chassis vol, dan hang je er een extra D2700 disk chassis aan met SAS.

Overdrachtsnelheid is totaal niet van belang, het gaat duidelijk om random iops.

Wat misschien nog spannender is, maar wat ik niet in het plaatje zie, is een 2e san voor failover....

[ Voor 28% gewijzigd door Q op 23-05-2013 21:38 ]

[Verwijderd]

Tja jammer is dat je per se iscsi wilt, dell heeft hele snelle DAS san's. MD3220 bijvoorbeeld.
Met SSD caching is dat ding een monster.
Is ook nog uit te breiden naar max 192 disks met extra cabinets, dus hoeveel heb je nodig.
Enige nadeel is dat je met een sas switch (ibm model werkt perfect) moet werken als je meer dan 4 hosts eraan wilt knopen.
Probleem is eerder denk ik dat je teveel verschillende soorten machines wilt op een storagebak, je bottelneck is je iscsi.

Maar wat jij wilt met jouw budget, ik wens je succes:)

[ Voor 27% gewijzigd door Verwijderd op 23-05-2013 22:09 ]

[ItsValium]

Ga voor een hybride oplossing, SSD's als first line naar de VM's toe en reguliere of SAS disks voor de bulk. ZFS is hiervoor uitermate geschikt. Kijk eens naar Nexenta en andere ...

Voor 10k kan je heel wat performance krijgen, met de nodige support indien je bij de juiste leverancier aankoopt.

[Verwijderd]

Jup greenbytes heeft ook heel betaalbare zfs sans met ssd caching.
zelfs hardwarematige inline dedup.

[ Voor 3% gewijzigd door Verwijderd op 23-05-2013 22:09 ]

[Aapje!]

Beeld van mijn directeur (welke directeur denkt zo niet haha)

Weinig uitgeven, veel krijgen.

Ik gaf hem ook al aan dat we voor minder geld zelf ook wat kunnen maken... juiste controllers vinden etc.. hij wil echter een all-in ergens afnemen inclusief support. Volgens mij heeft hij slechte ervaringen opgedaan vroeger.

Het doel achter de 2e nas is om in totaal 4 blades te voorzien van storage. Dus dat zijn dan:

2x SAN
4x Blade

We hebben het nu stabiel draaien, ook tijdens piekuren, echter uitbreiden met het huidige product is bijna geen optie.. Hij zit vol =)..

Maar als ik kijk naar 7200rpm schijven: 24 schijven: ieder 100 iops: in raid 10 komt uit op 1200IOPS hier. Totaal bedrag dan inclusief support 24/7 voor 2 jaar komt dan rond de 14k. Ik ben zelf ook bang dat de 1200iops niet genoeg zijn.. Maar ssd's zijn voor ons geen must.. we hebben nu een paar hier in raid ter test, echter merken we te weinig verschil op de standaard gang van zaken.

Dell echter is niet betaalbaar... 450e per disk (10k rpm) en dan beginnend bij 9500 (12 disk totaal) voor het cabinet.

Even gekeken naar het aantal average iops naar het test san die 28 servers totaal draagt op het moment

Blade1: 187 iops
Blade2: 140 iops
Blade3: nog niet aangesloten ivm performance issues voorheen.
Blade4: 174 iops

De maximum iops liggen echter veel hoger (dit komt door de ochtenden (8.30 en avond 17.00) tijdens het inloggen / uitloggen enorm veel gebruikers op hetzelfde moment.

[ Voor 15% gewijzigd door Aapje! op 24-05-2013 16:05 ]

[Q]

Verwijderd schreef op donderdag 23 mei 2013 @ 22:01:
Tja jammer is dat je per se iscsi wilt, dell heeft hele snelle DAS san's. MD3220 bijvoorbeeld.

Wat is er mis met iSCSI? Het gaat toch om IOPS en niet om bandbreedte. Misschien dat iSCSI iets meer latency heeft dan SAS of FC, maar ik denk dat het protocol snel zat is tov die draaiende platters.

Ik zou zeker kijken, vanwege het budget, naar HP RENEW. Het is hardware die al eens is gebruikt, maar door HP getest is en met de volledige garantie weer wordt verkocht.

Dat kan echt zoveel geld schelen. Het risico is wel dat je met apparatuur zit waar al wat levensduur op zit. Maar je moet zoiezo iets doen met failover / backups. En als het echt zo mission critical is dat de boel niet plat mag gaan, dan moet je er ook maar voor betalen.

[ Voor 35% gewijzigd door Q op 24-05-2013 23:08 ]

[ralpje]

Ik zal niet spammen, maar wij doen tegenwoordig alle omgevingen op een product wat we resellen. Connectie op iSCSI, 4,2TB out-of-the-box, ruim afdoende iops door caching in zowel RAM als op SSD en voor een prijs waar je niets vergelijkbaars voor koopt.
Is een beetje preken voor eigen parochie, maar toch.... De vraag is alleen of het past bij jullie omgeving, dat durf ik zo niet te zeggen.
Weet je zeker dat de iops echt het probleem zijn, en dat je niet tegen een beperking in rekencapaciteit van de je switch(es) aanloopt ofzo?

[Verwijderd]

iSCSI betekent dat je filesystem niet centraal wordt beheerd maar decentraal. Dat heeft vooral nadelen. Je clients zullen waarschijnlijk geen ZFS, Btrfs or ReFS draaien maar een legacy filesystem. Al sla je alle iSCSI-images op op een centrale ZFS server, dan nog kan je client filesystem corrupt of consistent raken.

Met een echte NAS heb je dat probleem niet; met NAS-protocollen zoals CIFS (Samba) en NFS zorg je ervoor dat je één centraal filesystem hebt zoals ZFS en daarmee dus geen extra risico's loopt op client-niveau.

[Aapje!]

Switches lijken het probleem niet te zijn... heb namelijk op dit moment het test san aangesloten via de 4 gb nics rechtstreeks op de blades op een interne ip. Als ik alle nics tegelijk aanroep haal ik op alles 110mb write/read. Switches zijn niet je van het buiten het blade chasis echter dat is iets waar aan gewerkt word, maar niet problemen op dit moment levert. Ik zie gewoon dat de iops tijdens piektijden veeeeel te hoog liggen voor onze huidige san.

[Q]

Verwijderd schreef op vrijdag 24 mei 2013 @ 23:16:
iSCSI betekent dat je filesystem niet centraal wordt beheerd maar decentraal. Dat heeft vooral nadelen. Je clients zullen waarschijnlijk geen ZFS, Btrfs or ReFS draaien maar een legacy filesystem. Al sla je alle iSCSI-images op op een centrale ZFS server, dan nog kan je client filesystem corrupt of consistent raken.

Met een echte NAS heb je dat probleem niet; met NAS-protocollen zoals CIFS (Samba) en NFS zorg je ervoor dat je één centraal filesystem hebt zoals ZFS en daarmee dus geen extra risico's loopt op client-niveau.

Het principe wat je hier beschrijft klopt volgens mij. Dat het niet heel veel meer is dan een papieren / theoretisch risico, klopt volgens mij ook. Het principe wat je schetst geldt voor iSCSI, SAS en FC, voor ieder SAN concept.