Snelle en veilige storage voor Hyper-V nodig, hoe?

[DennusB]

Hi Tweakers,

Ik open dit topic even omdat ik wel wat waardevolle input kan gebruiken
Een tijd terug zijn we op werk begonnen met het opzetten van een Hyper-V clustered omgeving voor het draaien van wat VM's. Als storage is toen gekozen voor een Synology RS2414 met 10 schijven en 2 SSD's in een SSD cache opstelling.
Dit werkte vrij prima en gaf voldoende performance voor de paar virtuals die in beheer waren op het Hyper-V platform. Maar er komen een hele zwik VM's bij, ondertussen is het al gegroeid tot 35 virtuals verspreid over 3 Hypervisors (96GB RAM per stuk), dus de performance begon wat kuren te vertonen.

We liepen ten eerste tegen een heel serieus issue aan met de Synology waardoor het root volume telkens vol liep en de Synology liet crashen, Synology support is meerdere keren ingelogd geweest maar kan de root-cause niet vinden en dus niet uitsluiten dat het nogmaals gebeurt. Daarnaast is het aantal IOPS op de Synology niet genoeg, we hebben overdag merkbare vertraging in de storage.

Dus we zoeken een andere storage oplossing. Ja, we kunnen een SAN van 30k aanschaffen, maar eigenlijk doen we het liever iets goedkoper.
Ik heb uiteraard al goed nagedacht en ben gekomen op de volgende mogelijke oplossingen :

- Synology houden en volstampen met enterprise-grade SSD's om de througput te verhogen en access time te verlagen
- Nieuwe storage server aanschaffen met 32GB RAM en er ZFS-on-Linux op zetten met SSD cache
- Nieuwe storage server(s) aanschaffen en Micrososft Storage Spaces opzetten, eventueel in clustered vorm

De POC met ZFS draait ondertussen en ziet er vrij veelbelovend uit, een stuk beter dan de Synology in ieder geval.
Ik ben ook goed in Storage Spaces gedoken en ook dat ziet er heel erg tof uit. Nadeel, we moeten een losse disk enclosure hebben en die met SAS kabels aan de servers connecten : maakt het duurder.

Zoals gezegd, de POC met ZFS draait en dat ziet er goed uit. Maar een POC met Storage Spaces is misschien ook wel aan te raden.
Wat zijn de ervaringen hier met shared storage voor VM's? Iemand goede of juist slechte ervaringen met 1 van bovengenoemde oplossingen? Of juist nog hele andere ideeën om dit aan te pakken?

Ik hoor het graag

Extra informatie : Het gaat om ongeveer 6TB data!

[Dysmael]

Netapp E2700 series met SAS aansluiten op je servers en dan als DAS (CSV op je Hyper-V hosts gebruiken) benaderen.

[DennusB]

RolfLobker schreef op zondag 10 januari 2016 @ 14:10:
Netapp E2700 series met SAS aansluiten op je servers en dan als DAS (CSV op je Hyper-V hosts gebruiken) benaderen.

Dus zonder fileserver er tussen bedoel je? Dat is inderdaad ook nog een goede optie.
Neem ik ook even mee in de overweging.

Wat betreft Storage Spaces, het is echt niet mogelijk toch om 2 identieke servers op te hangen en die zonder disk enclosure te laten repliceren?

[Bigs]

RolfLobker schreef op zondag 10 januari 2016 @ 14:10:
Netapp E2700 series met SAS aansluiten op je servers en dan als DAS (CSV op je Hyper-V hosts gebruiken) benaderen.

Idd.. die SAN-achtige SAS oplossingen zijn ideaal: betaalbaar, hoge prestaties en hoge beschikbaarheid door dubbele controllers. Andere opties zijn bv. Dell MD serie of de instap IBM Storwize modellen. ZFS zou ik absoluut niet aan beginnen en wordt ook niet officieel ondersteund door Microsoft lijkt me. Dat een standaard Synology alles boven een hobbyload niet trekt verbaast me ook niet.

[Dysmael]

Kan maar dan heb je de opslag dubbel nodig. Nogal zonde.
Dus geen ' file server' inderdaad. Scheelt je ook enorm aan overhead.

3 hypervisors zijn perfect aan te sluiten op een E2700. Daar ziten 4 SAS aansluiten op dus je kan nog uitbreiden met een vierde bak die je bijvoorbeeld voor backups gebruikt.

Fantastische hoge performance en ontzettend simpel in te richten. SAS aansluiten, volume maken en LUN koppellen.

Je drie hypervisors delen dan dezelfde LUN d.m.v. Clustered file services.

[ Voor 5% gewijzigd door Dysmael op 10-01-2016 14:27 ]

[Dysmael]

En als je wil uitbreiden later kan je eenvoudige een extra shelf aansluiten.

Wil je later meer redunantie (HA) dan kan je de volumes via fiber laten spiegelen naar een tweede SAN die je bv aan de andere kant van je pand plaatst. Maar ik denk dat je eerder zal willen kiezen een back-upserver die je met SAS aansluit, voorziet van genoeg storage en een Ultrium-6 tapestreamer. Vervolgens backuppen mbv Veeam @ 400MB/s

[DennusB]

RolfLobker schreef op zondag 10 januari 2016 @ 14:26:
Kan maar dan heb je de opslag dubbel nodig. Nogal zonde.
Dus geen ' file server' inderdaad. Scheelt je ook enorm aan overhead.

3 hypervisors zijn perfect aan te sluiten op een E2700. Daar ziten 4 SAS aansluiten op dus je kan nog uitbreiden met een vierde bak die je bijvoorbeeld voor backups gebruikt.

Fantastische hoge performance en ontzettend simpel in te richten. SAS aansluiten, volume maken en LUN koppellen.

Je drie hypervisors delen dan dezelfde LUN d.m.v. Clustered file services.

Dank voor het aanstippen van deze optie, erg interessant. Wat ik wel even moet uitzoeken is of de huidige hypervisors wel mogelijkheden hebben om aan te sluiten op bijv een E2700.
Heb je ook nog aanbevelingen als het aankomt op disks voor in bijvoorbeeld zo'n E2700?

[Dysmael]

Aansluiten van hypervisor is een kwestie van;
> SAS kaart in je server plaatsen
> Evt drivers installeren
> Op de E2700 een volume maken, identifier van servers koppelen aan LUN
> Hypervisor laten scannen naar storage
> CSV maken

Schijven naar gelang behoefte via Netapp. Kan SAS/S-ATA, 10K/15K, SSD.
Ligt maar net aan de wens. Is capaciteit belangrijker dan performance dan kan je voor s-ata gaan maar gezien het doel (veel Vm's draaien) denk ik dat je uitkomt op SAS 15K x24 stuks.

Je kan ook een aantal SSD's opnemen voor caching maar dan ben je op het punt benaderd waarop je moet kijken naar wat je met de VM's doet. Kan me voorstellen dat je andere wensen hebt als je veel databases draait t.a.v. een aantal fileserver VM's, domain controller, remote desktopomgeving en een aantal eenvoudige applicaties.

[Dysmael]

Qua kosten mag je uitgaan van 15K voor een E2700 met 24x 600 GB SAS en 3 SAS-controllers.
Heb je 9 TB netto tot je beschikking. Uitbreidingen zijn redelijk prijzig dus als 9TB voor de komende drie jaar niet voldoende is ben je wellicht beter af door nu voor 24x 1,2 TB SAS te gaan. Investering gaat dan ergens tussen de 20K/20K uitkomen.

Back-up niet meegerekend. Hoe maak je nu je back-ups?

[DennusB]

RolfLobker schreef op zondag 10 januari 2016 @ 14:43:
Aansluiten van hypervisor is een kwestie van;
> SAS kaart in je server plaatsen
> Evt drivers installeren
> Op de E2700 een volume maken, identifier van servers koppelen aan LUN
> Hypervisor laten scannen naar storage
> CSV maken

Schijven naar gelang behoefte via Netapp. Kan SAS/S-ATA, 10K/15K, SSD.
Ligt maar net aan de wens. Is capaciteit belangrijker dan performance dan kan je voor s-ata gaan maar gezien het doel (veel Vm's draaien) denk ik dat je uitkomt op SAS 15K x24 stuks.

Je kan ook een aantal SSD's opnemen voor caching maar dan ben je op het punt benaderd waarop je moet kijken naar wat je met de VM's doet. Kan me voorstellen dat je andere wensen hebt als je veel databases draait t.a.v. een aantal fileserver VM's, domain controller, remote desktopomgeving en een aantal eenvoudige applicaties.

RolfLobker schreef op zondag 10 januari 2016 @ 14:54:
Qua kosten mag je uitgaan van 15K voor een E2700 met 24x 600 GB SAS en 3 SAS-controllers.
Heb je 9 TB netto tot je beschikking. Uitbreidingen zijn redelijk prijzig dus als 9TB voor de komende drie jaar niet voldoende is ben je wellicht beter af door nu voor 24x 1,2 TB SAS te gaan. Investering gaat dan ergens tussen de 20K/20K uitkomen.

Back-up niet meegerekend. Hoe maak je nu je back-ups?

Nogmaals enorm bedankt voor je super waardevolle input, heel erg blij mee.
Om wat inzicht te geven over het soort VM's : Een Terminal Server, meerdere SQL Server Machines en vooral een hele berg server met IIS (gaat voornamelijk om Dev & Test omgevingen).

Back-ups worden momenteel gedaan door Altaro (aangeschafte software backup) die doormiddel van VSS een backup trekt en die wegschrijft naar een losse Synology (die dus geen ISCSI luns doorgeeft aan de hypervisors).
Met 9TB moeten we wel even vooruit kunnen, maar het blijft een forse investering..

[HyperBart]

Alhoewel kant-en-klare SAN/NAS oplossingen vaak prima waar aanbieden vind ik de prijzen vaak nogal overroepen voor het tastbare wat je terugkrijgt. Support en consoorten kosten ook geld, en als je dat volledige plaatje bekijkt komt het qua prijs wel uit. MAAR ik vraag me soms af waarom storage nog altijd zo gespecialiseerd en non-commodity moet zijn.

Je kan ook opteren voor een Scale Out File Server, dan heb je echt iets wat prima horizontaal en verticaal kan scalen:



Geen budget om op dit moment een dubbele SOFS-server voor je JBOD's te zetten? Geen probleem, begin met eentje. Enclosures bijknopen en je hebt meer storage. Welke hardware je wil draaien? Kies je zelf, wel opletten met eventuele HCL's die MS oplegt, dat kan wel tricky zijn en heb ik nog niet verder uitgezocht, maar het lijkt me dat Dell of HP wel de nodige hardware kunnen aanleveren...

Je hebt je virtualisatieplatform al vastgelegd (voor zover dat eigenlijk nog uitmaakt vandaag de dag) en je bent een MS-shop, dwz dat de kennis en affiniteit met MS en Windows producten al wat hoger ligt, waarom dan daar niet voor gaan? Ik weet dat als ik vandaag de dag naar een KMO klant zou moeten gaan ik een reference architecture zou opstellen op basis van SOFS van MS, wel redundant uitgerust, dat wel.

[DennusB]

HyperBart schreef op zondag 10 januari 2016 @ 15:31:
Alhoewel kant-en-klare SAN/NAS oplossingen vaak prima waar aanbieden vind ik de prijzen vaak nogal overroepen voor het tastbare wat je terugkrijgt. Support en consoorten kosten ook geld, en als je dat volledige plaatje bekijkt komt het qua prijs wel uit. MAAR ik vraag me soms af waarom storage nog altijd zo gespecialiseerd en non-commodity moet zijn.

Je kan ook opteren voor een Scale Out File Server, dan heb je echt iets wat prima horizontaal en verticaal kan scalen:

[afbeelding]

Geen budget om op dit moment een dubbele SOFS-server voor je JBOD's te zetten? Geen probleem, begin met eentje. Enclosures bijknopen en je hebt meer storage. Welke hardware je wil draaien? Kies je zelf, wel opletten met eventuele HCL's die MS oplegt, dat kan wel tricky zijn en heb ik nog niet verder uitgezocht, maar het lijkt me dat Dell of HP wel de nodige hardware kunnen aanleveren...

Je hebt je virtualisatieplatform al vastgelegd (voor zover dat eigenlijk nog uitmaakt vandaag de dag) en je bent een MS-shop, dwz dat de kennis en affiniteit met MS en Windows producten al wat hoger ligt, waarom dan daar niet voor gaan? Ik weet dat als ik vandaag de dag naar een KMO klant zou moeten gaan ik een reference architecture zou opstellen op basis van SOFS van MS, wel redundant uitgerust, dat wel.

Ook hele waardevolle input, dat haakt volgens mij goed aan mij de Storage Spaces aanpak. Het nadeel is, is dat we nog steeds een disk enclosure moeten kopen (die volgens mij ook vrij aan de prijs zijn), dan nog 2 servers moeten kopen en het daarna nog steeds door 1Gbit lijntjes over SMB 3 aan moeten bieden bij de hypervisors. Gaat dat geen bottleneck vormen?

[HyperBart]

Wie heeft er gezegd dat je met 1Gbit nog aan de slag moet?

Mooie whitepaper van Dell:

https://www.google.be/url...v.111396085,d.d24&cad=rja

Je MOET niet onmiddellijk met een enclosure aan de slag, je kan ook single server met voldoende disk space aan de slag, maar naar uitbreidingen toe is het wel leuk dat je een chassis hebt waar je dan 2 SOFS controllers op kan hangen ja, die meerprijs is het mij wel waard.

[ Voor 25% gewijzigd door HyperBart op 10-01-2016 15:36 ]

[DennusB]

HyperBart schreef op zondag 10 januari 2016 @ 15:34:
Wie heeft er gezegd dat je met 1Gbit nog aan de slag moet?

Mooie whitepaper van Dell:

https://www.google.be/url...v.111396085,d.d24&cad=rja

Haha, daar heb je zeker een punt. Idd een mooie whitepaper, morgen maar eens rustig doorlezen!

HyperBart schreef op zondag 10 januari 2016 @ 15:34:
Je MOET niet onmiddellijk met een enclosure aan de slag, je kan ook single server met voldoende disk space aan de slag, maar naar uitbreidingen toe is het wel leuk dat je een chassis hebt waar je dan 2 SOFS controllers op kan hangen ja, die meerprijs is het mij wel waard.

Ja, dat bedacht ik me ook al. Natuurlijk kan je prima beginnen met een flinke Dell server met 8 (of meer) schijven, Server 2012 R2 en Storage Spaces, maar echt uitbreiden is er dan niet meer bij. Thanks voor je info!

[ Voor 32% gewijzigd door DennusB op 10-01-2016 15:38 ]

[HyperBart]

En je bent niet gelimiteerd tot 1Gbit, daarvoor heb je MPIO natuurlijk om meerdere paadjes tegelijk te betreden.

[DennusB]

HyperBart schreef op zondag 10 januari 2016 @ 15:38:
En je bent niet gelimiteerd tot 1Gbit, daarvoor heb je MPIO natuurlijk om meerdere paadjes tegelijk te betreden.

Eens, maar dan moet je je storage bak ook met flink wat pootjes aan het netwerk hangen. Dat mag eigenlijk de bottleneck niet zijn, dus als je 3 touwtjes per hypervisor naar je storage switch trekt moet je storage bak eigenlijk met 3x3 pootjes op je storage switch..

[HyperBart]

2 x 1Gbit lijkt me qua buikgevoel al voldoende te zijn voor jouw setup
ik ga vaak voor 4 x 1Gbit omwille van redundantie. 3 lijntjes vind ik maar een raar getal, het kan hoor, maar ik doe het liever altijd dubbel gelijk.

Laten we even uitgaan van 2 x 1Gbit per HV, en je hebt 3 Hyper-V hosts neem ik aan?
6 x 1Gbit dus

Je storage nodes met 4 x 1Gbit en 2 nodes
8 x 1Gbit

Met een 2 x 24 poort switchen van Dell lijk je toch al een eindje te komen dan, niet?

Dat is de budget oplossing, maar vandaag de dag zou ik eerder kijken naar 10Gbit just for future proof, maar je hebt het nog niet nodig, het versimpelt je bekabeling wel want je legt de complexiteit in je software. Software Defined Storage en Converged Networking.

[ Voor 7% gewijzigd door HyperBart op 10-01-2016 15:47 ]

[Dysmael]

En wat kost een goede storage switch, in stack uiteraard?

Als een Netapp te duur is zijn er alternatieven in de vorm van goedkopere DAS systemen. Het concept met SAS aansluiten van een enclosure vol schijven is echter perfect. Vorige week nog een iSCSI SAN vervangen voor een Netapp met SAS. Eenvoudiger qua opzet en vele malen sneller. Zit je ook niet met Gbit / LACP / MPIO / 10Ge modules.

Als er wat met de hardware aan de hand is wil je niet zelf gaan troubleshooten en vervangende hardware zoeken. Dat laat je voor een kleine meerprijs mooi aan de leverancier over. NetApp autosupport geeft gelijk en automatisch een melding door naar Netapp als er wat loos is en bij bv uitval van een schijf wordt de volgende dag een nieuwe aangeboden in een pakket.

[DennusB]

HyperBart schreef op zondag 10 januari 2016 @ 15:46:
2 x 1Gbit lijkt me qua buikgevoel al voldoende te zijn voor jouw setup
ik ga vaak voor 4 x 1Gbit omwille van redundantie. 3 lijntjes vind ik maar een raar getal, het kan hoor, maar ik doe het liever altijd dubbel gelijk.

Laten we even uitgaan van 2 x 1Gbit per HV, en je hebt 3 Hyper-V hosts neem ik aan?
6 x 1Gbit dus

Je storage nodes met 4 x 1Gbit en 2 nodes
8 x 1Gbit

Met een 2 x 24 poort switchen van Dell lijk je toch al een eindje te komen dan, niet?

Dat is de budget oplossing, maar vandaag de dag zou ik eerder kijken naar 10Gbit just for future proof, maar je hebt het nog niet nodig, het versimpelt je bekabeling wel want je legt de complexiteit in je software. Software Defined Storage en Converged Networking.

Thanks !
3 was als voorbeeld, normaal doe ik inderdaad ook gewoon 4. Het gaat nu om 3 hypervisors, binnen nu en 6 maanden worden dat er 7.
Dus 7x4 pootjes voor de hypervisors. Als ik dan zou beginnen met 1 Storage Spaces machine (ik ga er niet vanuit dat ze het direct dubbel willen gaan doen) dan kost dat me nog een keer 4 pootjes.

Totaal 32 netwerk pootjes voor storage, dat is prima te doen inderdaad!

Just in case zit ik even bij Dell te shoppen, als ik daar nou een R515 pak met 32GB RAM, en een 12x 3.5" Hot Sway set-up, dan kan ik in theorie 12x 2TB "Near Line SAS 6Gbps, 3.5-in, 7.2K RPM Hard Drive (Hot Plug)" er in doen en configuren in Storage Spaces. Dat zou toch in theorie voldoende performance moeten leveren? Of moet je toch gelijk over naar 10 of 15K schijven?

RolfLobker schreef op zondag 10 januari 2016 @ 15:49:
En wat kost een goede storage switch, in stack uiteraard?

Als een Netapp te duur is zijn er alternatieven in de vorm van goedkopere DAS systemen. Het concept met SAS aansluiten van een enclosure vol schijven is echter perfect. Vorige week nog een iSCSI SAN vervangen voor een Netapp met SAS. Eenvoudiger qua opzet en vele malen sneller. Zit je ook niet met Gbit / LACP / MPIO / 10Ge modules.

Als er wat met de hardware aan de hand is wil je niet zelf gaan troubleshooten en vervangende hardware zoeken. Dat laat je voor een kleine meerprijs mooi aan de leverancier over. NetApp autosupport geeft gelijk en automatisch een melding door naar Netapp als er wat loos is en bij bv uitval van een schijf wordt de volgende dag een nieuwe aangeboden in een pakket.

Ik heb Netapp nog steeds als optie staan he Het is duur, maar ik zeg niet dat het daardoor afvalt. Wel moet ik in ogenschouw nemen dat het "maar" een intern platform is met voornamelijk Dev/Test machines, daarnaast draaien er wel een X-aantal bedrijfskritische machines, maar de vraag is in hoeverre we de zekerheid daarvan af willen kopen. Nogmaals, super bedankt voor je advies. Ik waardeer het zeer!

[ Voor 28% gewijzigd door DennusB op 10-01-2016 15:52 ]

[Farg0]

Heb je een zicht hoeveel IOPS je storage moet gaan afleveren aan de VM's ? Je kan zoveel disken kopen als je wilt, zolang deze niet je gevraagde IOPS kunnen leveren blijft de boel traag.

[HyperBart]

DennusB schreef op zondag 10 januari 2016 @ 15:50:
[...]


Thanks !
3 was als voorbeeld, normaal doe ik inderdaad ook gewoon 4. Het gaat nu om 3 hypervisors, binnen nu en 6 maanden worden dat er 7.
Dus 7x4 pootjes voor de hypervisors. Als ik dan zou beginnen met 1 Storage Spaces machine (ik ga er niet vanuit dat ze het direct dubbel willen gaan doen) dan kost dat me nog een keer 4 pootjes.

Totaal 32 netwerk pootjes voor storage, dat is prima te doen inderdaad!

Ruim onder de 48 die je in totaal nog hebt ter beschikking.

Just in case zit ik even bij Dell te shoppen, als ik daar nou een R515 pak met 32GB RAM, en een 12x 3.5" Hot Sway set-up, dan kan ik in theorie 12x 2TB "Near Line SAS 6Gbps, 3.5-in, 7.2K RPM Hard Drive (Hot Plug)" er in doen en configuren in Storage Spaces. Dat zou toch in theorie voldoende performance moeten leveren? Of moet je toch gelijk over naar 10 of 15K schijven?

Je doet er mee wat je wil natuurlijk, maar kijk wel een beetje naar wat de validated setups zijn van MS en Dell of neem even contact op met Dell Solutions rechtstreeks om dit soort dingen uit te laten klaren voor je.
Kwestie dat je nu al een commodity oplossing neemt ipv een SAN van een vendor (waar ik op zich niet tegen ben) dat je toch al 100% validated designs volgt.

En zou je dan ook eens niet kijken naar SSD's? Dat levert je met tiering en pinning van bepaalde disks en of resources toch al een flinke performantiewinst op...

[...]


Ik heb Netapp nog steeds als optie staan he Het is duur, maar ik zeg niet dat het daardoor afvalt. Wel moet ik in ogenschouw nemen dat het "maar" een intern platform is met voornamelijk Dev/Test machines, daarnaast draaien er wel een X-aantal bedrijfskritische machines, maar de vraag is in hoeverre we de zekerheid daarvan af willen kopen. Nogmaals, super bedankt voor je advies. Ik waardeer het zeer!

[DennusB]

Farg0 schreef op zondag 10 januari 2016 @ 15:57:
Heb je een zicht hoeveel IOPS je storage moet gaan afleveren aan de VM's ? Je kan zoveel disken kopen als je wilt, zolang deze niet je gevraagde IOPS kunnen leveren blijft de boel traag.

Dat is iets wat ik inderdaad even goed moet berekenen.

HyperBart schreef op zondag 10 januari 2016 @ 15:58:

[...]

Je doet er mee wat je wil natuurlijk, maar kijk wel een beetje naar wat de validated setups zijn van MS en Dell of neem even contact op met Dell Solutions rechtstreeks om dit soort dingen uit te laten klaren voor je.
Kwestie dat je nu al een commodity oplossing neemt ipv een SAN van een vendor (waar ik op zich niet tegen ben) dat je toch al 100% validated designs volgt.

En zou je dan ook eens niet kijken naar SSD's? Dat levert je met tiering en pinning van bepaalde disks en of resources toch al een flinke performantiewinst op...


[...]

Ik zal ze eens contacten. Kijken wat daar uit komt! Feit is en blijft dat het een omgeving is die niet een godsvermogen (ja dat is relatief.. maar goed) moet gaan kosten en nog beheerbaar blijft ook. Dus dat moet ik wel in m'n achterhoofd houden, elke beheerder die er op zit moet er wat mij betreft mee overweg kunnen.

SSD's hebben we een tijdje terug ook al naar gekeken ja, grote kans dat we die mixen met "normale" disks, inderdaad om de performance wat op te krikken, desnoods voor specifieke applicaties die het vereisen.

[redfoxert]

Niet om het even maar waarom laat je dit soort dingen niet extern hosten door een gespecialiseerd bedrijf in een datacenter? Ja ik werk toevallig voor zo'n bedrijf

Maar over die Dell storage die je zelf had bekeken ... een NL-SAS disk is gewoon een SATA disk met overeenkomstig IOPS patroon. Als je daar 80-100 IOPS uit haalt per spindel (disk) dan mag je in je handjes klappen. Met 12 disken kom je dan op maximaal 1200 IOPS, voor al je VM's. Das niet heel erg veel. NL-SAS zou ik alleen gebruiken voor "dooie" data die wel online moet staan just in case. Wat hier boven gezegd wordt met storage tiering en pinning op daarvoor bestemde disken (SSD/SAS/NL-SAS) is in veel gevallen de beste oplossing.

[DennusB]

redfoxert schreef op zondag 10 januari 2016 @ 17:09:
Niet om het even maar waarom laat je dit soort dingen niet extern hosten door een gespecialiseerd bedrijf in een datacenter? Ja ik werk toevallig voor zo'n bedrijf

Doodsimpel : Dat hebben we gedaan en dat beviel niet altijd even goed. We willen zelf de touwtjes in handen hebben, hebben de ruimte (meerdere DC plekken) en de kennis, dus dan doen we het liever zelf

Maar over die Dell storage die je zelf had bekeken ... een NL-SAS disk is gewoon een SATA disk met overeenkomstig IOPS patroon. Als je daar 80-100 IOPS uit haalt per spindel (disk) dan mag je in je handjes klappen. Met 12 disken kom je dan op maximaal 1200 IOPS, voor al je VM's. Das niet heel erg veel. NL-SAS zou ik alleen gebruiken voor "dooie" data die wel online moet staan just in case. Wat hier boven gezegd wordt met storage tiering en pinning op daarvoor bestemde disken (SSD/SAS/NL-SAS) is in veel gevallen de beste oplossing.

Dank voor je informatie Zo had ik er nog niet geheel naar gekeken ook (morgen moet ik er echt even goed induiken), maar de optie met tiering en pinning klinkt ook als een relatief goede oplossing.

[HyperBart]

Ik vind eigenlijk dat het kiezen voor SSD's zelfs niet ter discussie staat, ik was specifiek nog niet op de de opmerking over NL-SAS ingegaan, maar wat hierboven ook aangegeven wordt: echt performant is het niet, het is meer een opslag-component dan iets waarvan je je IO actief wil laten komen. Met een kleine sloot aan SSD's geraak je echt al een heel eind, ik zou er niet over twijfelen. De bang for the bucks met SSD's ligt zo hoog zelfs in enterprise markten en al helemaal met de factor van tiering er bij dat het een volmondig YES zou moeten zijn...

DennusB schreef op zondag 10 januari 2016 @ 17:14:
[...]

Doodsimpel : Dat hebben we gedaan en dat beviel niet altijd even goed. We willen zelf de touwtjes in handen hebben, hebben de ruimte (meerdere DC plekken) en de kennis, dus dan doen we het liever zelf

Dat zijn in mijn ogen prima en valide redenen om het niet te outsourcen, blijft alleen nog prijs over om het draaiende te houden OPEX-wise aan FTE's die je er voor nodig hebt. Als die verhouding nog altijd beter ligt dan de prijs die je betaalt om het door de collega hierboven te doen, dan zijn we snel uitgepraat.

[DennusB]

HyperBart schreef op zondag 10 januari 2016 @ 17:20:
Ik vind eigenlijk dat het kiezen voor SSD's zelfs niet ter discussie staat, ik was specifiek nog niet op de de opmerking over NL-SAS ingegaan, maar wat hierboven ook aangegeven wordt: echt performant is het niet, het is meer een opslag-component dan iets waarvan je je IO actief wil laten komen. Met een kleine sloot aan SSD's geraak je echt al een heel eind, ik zou er niet over twijfelen. De bang for the bucks met SSD's ligt zo hoog zelfs in enterprise markten en al helemaal met de factor van tiering er bij dat het een volmondig YES zou moeten zijn...


[...]


Dat zijn in mijn ogen prima en valide redenen om het niet te outsourcen, blijft alleen nog prijs over om het draaiende te houden OPEX-wise aan FTE's die je er voor nodig hebt. Als die verhouding nog altijd beter ligt dan de prijs die je betaalt om het door de collega hierboven te doen, dan zijn we snel uitgepraat.

Die SSD's staan hoog op de lijst inderdaad

Wat betreft de FTE's, de beheerders zitten er toch al. Dus er hoeven niet perse extra mensen te komen om dit te beheren Dat scheelt!

[Paul]

Je verwacht binnen nu en 6 maanden op 7 hypervisors te zitten (100 VM's?) en een SAN is te duur? Dat snap ik dus echt niet hè

Bel een paar storage vendors (e-Storage, i3 groep, er zijn er vast meer) en vraag een paar offertes aan... Een IBM Storwize v3700 met 10 GE en een paar switches met (minimaal) 2x 10 GE-poorten kosten nou ook weer niet zoveel, en dan heb je alles in één en een gespecialiseerd bedrijf dat je kunt bellen als er iets mis gaat... Vergeet ook de licentiekosten van je Windows-cluster of het support op het (voor je bedrijf) onbekende Linux niet.

Zo'n v3700 kan Easy-tieren (automatisch hot blocks op SSD zetten en cold blocks langzamere storage), snapshots maken (integratie met je backup pakket), heeft een berg cache, etc etc, allemaal vanuit een erg simpele GUI. Je kunt er zelfs je Synology "onder" hangen en de storage daarvan via de v3700 aanbieden (zet wat SSD's in de v3700 en je kunt Easy-tier aanzetten op de Synology-storage).

Je wil een vrij serieuze berg aan IOPS hebben. ZFS gaat die niet zomaar leveren, dat doet namelijk niet aan "SSD Caching" zoals jij hoopt. ZFS kan een L2ARC gebruiken, dat is een read-cache voor blokjes die vaker worden opgevraagd, of de ZIL op een SLOG zetten, wat alleen zin heeft als je veel synced writes hebt. Nu zul je die wel redelijk wat hebben maar dan nog is dat stukje maar een paar GB maximaal. L2ARC is een langzame uitbreiding op de read-cache in het geheugen en dus niet bedoeld als opslag.

Een echt SAN (zoals bijvoorbeeld de v3700, zelf gebruiken we het grotere broertje, de v7000) kan dat wel; die kan honderden gigabytes aan data adaptief op een SSD zetten als blijkt dat het vaker wordt gelezen. Zo'n apparaat zal ook waar mogelijk alle spindels gebruiken die het heeft, terwijl ZFS per vdev slechts zoveel IOPS kan leveren als de langzaamste device in die VDEV. Om dan toch wat IOPS te krijgen moet je kleine vdevs gaan maken waardoor je weer behoorlijk wat parity-overhead hebt.

Hoe het met Storage Spaces zit weet ik niet, dat ken ik niet

[Bigs]

Paul schreef op zondag 10 januari 2016 @ 20:01:
[..]

Zo'n v3700 kan Easy-tieren (automatisch hot blocks op SSD zetten en cold blocks langzamere storage), snapshots maken (integratie met je backup pakket), heeft een berg cache, etc etc, allemaal vanuit een erg simpele GUI. Je kunt er zelfs je Synology "onder" hangen en de storage daarvan via de v3700 aanbieden (zet wat SSD's in de v3700 en je kunt Easy-tier aanzetten op de Synology-storage).

[..]

Kleine correctie.. external virtualization wordt op de v3700 alleen ondersteund voor migratie van data, niet voor langdurige virtualisatie zoals de v7000 dat wel doet (geweldige functie trouwens). Verder wel een enorme bang voor je buck, wij hebben een FC uitvoering met 20 spindles en 2 SSD's (ex HS) en dat draait echt fantastisch (60 VM's met een flinke schrijfbelasting).

[DennusB]

Bigs schreef op zondag 10 januari 2016 @ 21:48:
[...]


Kleine correctie.. external virtualization wordt op de v3700 alleen ondersteund voor migratie van data, niet voor langdurige virtualisatie zoals de v7000 dat wel doet (geweldige functie trouwens). Verder wel een enorme bang voor je buck, wij hebben een FC uitvoering met 20 spindles en 2 SSD's (ex HS) en dat draait echt fantastisch (60 VM's met een flinke schrijfbelasting).

Wat bedoel je precies met "external virtualization"? Dat storage via via aanbieden?

[Bigs]

DennusB schreef op zondag 10 januari 2016 @ 22:15:
[...]

Wat bedoel je precies met "external virtualization"? Dat storage via via aanbieden?

Inderdaad.. hoe dat bij de v3700 werkt: Je hangt de v3700 aan je bestaande iSCSI targets, dan presenteert de v3700 die LUNs direct aan je hypervisors (dus je hypervisors verbinden alleen nog maar naar de v3700). Daarna laat je de v3700 op de achtergrond de data van het externe iSCSI target migreren naar zijn interne storage. Je hoeft daarvoor op je hypervisor niets meer te doen, dus je hebt een pijnloze migratie.

De midrange modellen zoals de Storwize v7000 gaan wat verder; daar kan je achterliggende target permanent als 'MDisk' dienen in je storage pool zodat bijvoorbeeld je oude FC target kan voorzien van SSD tiering en dat via iSCSI aan je nieuwe hypervisors toewijst, ik noem maar wat. Ook handig: als je de RAID arrays van je oude SAN als individuele MDisks aan je Storwize toewijst en ze daar samen in een pool gooit heeft je ouderwetse SAN ineens alle voordelen van een modern virtualized SAN. Voor jouw situatie is dat echter niet zo relevant, die Synology kun je beter z.s.m. de deur uit doen maar stel je hebt er 2 of 3 dan zou je dus een Storwize data kunnen laten stripen over die units zodat je er wat meer prestaties uit haalt. Mooi spul.

[Paul]

Ah, my bad, wij hebben zoals ik al zei de v7000 (en SVC)

De software op die familie is in staat om storage van een willekeurige andere leverancier (over iSCSI of Fiber channel) te gebruiken (net als een Windows-server dat doet) en die storage weer aan te bieden aan de hosts die aan de v7000 of SVC hangen. Dit is meteen het hele bestaansrecht van de SVC (Officieel SAN Volume Controller, maar Storage Virtualization Controller is ook een hele goede uitleg ) want die heeft (op mogelijk een een paar SSD's na) helemaal geen interne storage.

Voor migraties is dat helemaal fantastisch, je beperkt je downtime (je hebt altijd downtime want je trekt de storage onder een machine vandaan als je de oude storage uitfaseert. Als je in VMware Storage vMotion kunt doen of de Hyper-V tegenhanger daarvan dan hoeft zelfs dat niet, want dan kun je het volume dat je verwijderd leegmigreren) tot de tijd die een reboot kost + 5 minuten. Ook easy tier toevoegen aan iets dat dit zelf niet kan is erg fijn, je kunt volumes migreren naar snellere of langzamere storage, je kunt volumes volledig transparant mirroren (met de SVC en in een latere firmware ook met de v7000 zelfs active/active naar andere datacentra) etc.

[DennusB]

Super bedankt voor de heldere informatie guys! We hebben nu een mooi beeld van de optie's die we kunnen implementeren Ik ga alles eens rustig uitzoeken en het hier intern bespreken!