1GbE iSCSI snelheid

[Keiichi]

Ik ben aan het kijken om een server icm een iSCSI nas in te richten.

Momenteel heb ik een server met een vrije stevige raid configuratie, die met in ieder geval 300Mbytes/sec kan schrijven/lezen (sequentieel).
Bij de meeste entry NAS'en word die beperkt tot 1gbit, wat neerkomt op een maximum lees/schrijfsnelheid van grofweg 100Mbytes/sec.

Maar ik vraag me af hoeveel impact de mindere snelheid in praktijk zal hebben? De huidige server draait o.a. domain controller, SQL server, mailserver, etc. Het aantal gebruikers is rond de 50.

Port aggregation zal waarschijnlijk geen effect hebben totdat er extra servers bijkomen. (echte round robin balancing kom ik nergens tegen, niet bij vmware en ook niet bij de cisco switches die we hebben)

Zal een effectieve maximale bandbreedte van 1gbit groot effect hebben in de praktijk of valt in het in de praktijk weinig verschil te merken?

[TheGhostInc]

Je kunt bij diverse OS-en wel achterhalen wat er precies aan schijfactiviteit is. Monitor dit een weekje en je weet of je uberhaupt weleens in de buurt komt van 300MB/sec.

Daarnaast weet ik niet zeker of je nu bedoelt dat je de RAID wil gaan vervangen door een entry-level NAS. Want dan is het wel zaak om te kijken hoeveel performance die NAS levert. Het is niet voor niets een entry-level NAS, dus die kan in jullie setup ook wel eens minder dan 100MB/s opleveren. Stel je hebt RAID 5/6 en je controller houd er bij 35MB/s mee op, dan ben je ook klaar.
Daarnaast begin je allemaal enge begrippen de discussie in te gooien (round robin/port aggregation) en heb je het over extra servers. Zonder fatsoenlijke uitleg/beschrijving van de situatie, mogelijke oplossingen en misschien ook iets van budget kunnen we niks zeggen. €5K uitgeven aan een NAS om er daarna achter te komen dat wanneer je een server erbij hangt je performance instort schiet ook niet op.

[Keiichi]

Die begrippen die ik rontstrooi zijn optie voor extra bandbreedte, maar zijn het toch weer niet helemaal

Het zal geen entry-level NAS worden. Eentje waar een oog op valt is bv TS-859U-RP (of een soortgelijke)
Maar tergelijk zit ik ook aan eventuele toekomstige uitbreiding te denken, omdat ik niet iets weg wil zetten wat dan als geheel weer vervangen mag gaan worden.

Een high-end NAS zou naar mijn idee overkill zijn (Al zou ik er graag genoeg iets mee willen doen)

[Rolfie]

Momenteel heb ik een server met een vrije stevige raid configuratie, die met in ieder geval 300Mbytes/sec kan schrijven/lezen (sequentieel).

Het is mooi dat je een RAID opstelling heb die zo snel kan. Maar is dit ook gemeten? of is dit volgens de specificaties?
Wat heb je nu ook precies voor opstelling?

Maar ik vraag me af hoeveel impact de mindere snelheid in praktijk zal hebben? De huidige server draait o.a. domain controller, SQL server, mailserver, etc. Het aantal gebruikers is rond de 50.

Maar als ik het goed lees, heb je maar 1 server, waarbij deze DC, SQL en Exchange draait?
Als je daarmee 300Mbytes/sec vol trekt dan heb je een behoorlijke omgeving staan.

Wat doet je server nu precies, en wat wil je in de toekomst bereiken? Ga je naar meerdere servers toe? Wat is de verwachte bandbreedte van die servers?
Waarom zou je een NAS willen gaan gebruiken?
Heb je ook werkelijk meer nodig dan 300Mbyte/Sec?

[Bl@ckbird]

Leesvoer:
http://datacenteroverlord...-all-about-the-iops-baby/

[Keiichi]

Bl@ckbird schreef op dinsdag 04 oktober 2011 @ 22:50:
Leesvoer:
http://datacenteroverlord...-all-about-the-iops-baby/

Is idd ook interresant leesvoer.

Even een vraag zonder zelf opzoek werk te doen: Is er onder linux een goede tool waarmee ik gedurende dat ik goed beeld kan krijgen wat de IO vraag geweest is? (Kan ik iostat hier zonder prob voor inzetten?)

[M2M]

Bl@ckbird schreef op dinsdag 04 oktober 2011 @ 22:50:
Leesvoer:
http://datacenteroverlord...-all-about-the-iops-baby/

Hij zit er met de getalletjes een beetje naast... 50 MB/s voor een 7200 RPM schijf is een beetje weinig. En 5000 IOPS voor een SSD ook. Een beetje SSD doet 10x dat, zeker een server model.

Maar voor de rest heeft hij helemaal gelijk

[erwinb]

@M2M;
5000 IOPS voor een SSD ook. Een beetje SSD doet 10x dat, zeker een server model.
Als je naar Enterprise oplossingen kijk, dan hou je rekening met zo'n 5000 lees IO's of 3500 schrijf IO's. 50.000 IO's op een SSD disk kan gewoon niet.

@Keiichi, over Enterprise NAS,
Ik zou zeker ook even kijken naar NetApp. Zij leveren allerhande NAS systemen. deze beginnen bij 6 disken intern, tot meer dan 2400 disken.
Zeker voor een SQL en exchange omgeving is een netapp mooi, je kan namelijk ook eenvoudig backup's maken middels snapshot technologie.
Je zou ervoor kunnen kiezen de storage niet via een switch aan te sluiten, maar b.v. direct, en dan de load via die twee adapters verdelen, één voor SQL en één voor Exchange.

[ Voor 15% gewijzigd door erwinb op 05-10-2011 20:22 ]

[Keiichi]

erwinb schreef op woensdag 05 oktober 2011 @ 20:17:
@M2M;
5000 IOPS voor een SSD ook. Een beetje SSD doet 10x dat, zeker een server model.
Als je naar Enterprise oplossingen kijk, dan hou je rekening met zo'n 5000 lees IO's of 3500 schrijf IO's. 50.000 IO's op een SSD disk kan gewoon niet.

Enterprise NAS,
Ik zou zeker ook even kijken naar NetApp. Zij leveren allerhande NAS systemen. deze beginnen bij 6 disken intern, tot meer dan 2400 disken.
Zeker voor een SQL en exchange omgeving is een netapp mooi, je kan namelijk ook eenvoudig backup's maken middels snapshot technologie.

Ik ga het budgettechnisch nog lastig krijgen om een fatsoenlijk omgeving voor te stellen. Er heerst helaas een 'er is niets kapot, dus verander niets'-mentaliteit icm 'alles is te duur'-mentaliteit

Ik probeer tergelijk met alles ook een goede offsite backup te krijgen. Momenteel geen tapedrive en alles word online gebackupped.

[erwinb]

Nog een leuke opte met NetApp,
SnapMirror, hiermee kan de gewijzigde datablocken van de filer versturen naar een tweede NAS systeem. Vaak kan je in een dergelijke oplossing ook de backup van een aantal andere systemen regelen middels "OSSV", waarbij je b.v. een tweede server of werkplek kan backuppen neer een netapp.

[Keiichi]

erwinb schreef op woensdag 05 oktober 2011 @ 20:25:
Nog een leuke opte met NetApp,
SnapMirror, hiermee kan de gewijzigde datablocken van de filer versturen naar een tweede NAS systeem. Vaak kan je in een dergelijke oplossing ook de backup van een aantal andere systemen regelen middels "OSSV", waarbij je b.v. een tweede server of werkplek kan backuppen neer een netapp.

Ik ga wellicht wat offtopic van m'n eigen topic, maar hoe geschikt zou dit zijn voor offsite backups via een WAN link?

[erwinb]

Ik ben een redelijke NetApp fan.
Ik zou zeggen, zeer geschikt. Bij NetApp worden alleen de aangepaste datablocken gerepliceerd naar de offsite location.
Bij een SnapShot, van b.v. een Exchange server, maak je initieel een volledige copy van de database naar de offsite locatie, daarna alleen nog maar de datablocken die worden aangepast. (ook is dit hele gebeuren gededupliceerd).
Totaal beschik je per database over 250 snapshots. Dus tijdens de kantoortijden kan de 8 x per dag een snapshot maken. doe je dit 5 dagen in de week, is dat nog maar 40 van de mogelijke 250 snapshots.
Alle snapshots zijn dan ook nog eens applicatie consistent.

Wan verbindingen zijn vandaag de dag stabiel en redelijk snel. voor 50 man is een wan verbinding van vermoedelijk 5 á 10 MBit voldoende voor alle backups die je wil.

[Keiichi]

Sinds vanochtend heb ik wat monitoring aanstaan.

Die laat mij een piek van 3000iops gemiddeld over een tijdsblok van 10 minuten.

Is dit door een midrange iSCSI nas te halen?

[FireDrunk]

3000 iops gemiddeld? Das best veel voor 50 gebruikers naar mijn idee. Als het 90% reads van 4k zijn en 10% writes van 4k, gaat het over ruim 10MB/s lezen en 2MB/s schrijven... Das flink. Is het ding niet aan het swappen?

[erwinb]

Keiichi schreef op donderdag 06 oktober 2011 @ 14:27:
Sinds vanochtend heb ik wat monitoring aanstaan.

Die laat mij een piek van 3000iops gemiddeld over een tijdsblok van 10 minuten.

Is dit door een midrange iSCSI nas te halen?

weet je ook de verhouding read en write?
algemeen, een 15Krpm SAS disk kan ongeveer 180 IO's afhandelen. 3000 IO's is dan een disk of 16 nodig, das best veel. NetApp heeft de FAS2050, daar gaan er 20 in, maar dat systeem ondersteund geen Ontap , het OS ven netapp. Ontap 7 is 32 bits met een aantal beperkingen.
De FAS2040 zou dan een goede keuze zijn met een externe shelf van 24 disken. Deze filer zal totaal zo'n 20.000 IO's kunnen afhandelen, klaar voor de toekomst.

Maar nog even over die 3000 IO's, hoeveel disken zitten er nu in deze server?

[FireDrunk]

erwinb schreef op vrijdag 07 oktober 2011 @ 00:01:
weet je ook de verhouding read en write?
algemeen, een 15Krpm SAS disk kan ongeveer 180 IO's afhandelen. 3000 IO's is dan een disk of 16 nodig, das best veel. NetApp heeft de FAS2050, daar gaan er 20 in, maar dat systeem ondersteund geen Ontap , het OS ven netapp. Ontap 7 is 32 bits met een aantal beperkingen.
De FAS2040 zou dan een goede keuze zijn met een externe shelf van 24 disken. Deze filer zal totaal zo'n 20.000 IO's kunnen afhandelen, klaar voor de toekomst.

Maar nog even over die 3000 IO's, hoeveel disken zitten er nu in deze server?

offtopic:
Een filer die maar 20000 IO's kan verstoken, is snel versleten

[Keiichi]

Het aantal iops was lezen en het was bovendien een piek (over een duur van 5 minuten). Er zitten trouwens maar 4 schijven in de server. Als ik jullie zo hoor, vraag ik me af of ik dan geen foutje in mijn stats heb zitten.

[FireDrunk]

Dat denk ik wel... Waarmee meet je alles?

[Keiichi]

FireDrunk schreef op vrijdag 07 oktober 2011 @ 09:42:
Dat denk ik wel... Waarmee meet je alles?

Ik heb munin voor algehele server monitoring.

Als ik iostat bekijk, dan tijdens een vrij simpele test

code:

dd if=16g.null of=/dev/zero bs=1k

geeft ie ook tegen de 3000 tps aan. Mag ik dat vergelijken met iops of zijn dat eigenlijk 2 totaal verschillende zaken?

[FireDrunk]

tps? welke kolom is dat?
Kun je een screenshotje van iostat posten?

Ik gebruik zelf altijd iostat -x 1

[Keiichi]

Iostat ziet er zo uit:

code:

root@server01:~# iostat -x 1 | grep sda2
sda2              2.81    45.90 20.41 50.14   591.44   768.35    19.27     0.29    4.14   0.47   3.30
sda2              0.00    10.00 2942.00  8.00 753152.00   144.00   255.35     1.41    0.48   0.32  94.00
sda2              0.00     0.00 2880.00 25.00 737280.00   200.00   253.87     1.34    0.46   0.30  88.00
sda2              0.00     5.00 2701.00  2.00 690696.00    56.00   255.55     1.46    0.54   0.34  92.00
sda2              0.00     2.00 2960.00 10.00 757760.00    96.00   255.17     1.50    0.51   0.32  96.00
sda2              0.00     7.00 2849.00 10.00 729096.00   136.00   255.07     1.41    0.49   0.31  89.00
sda2              0.00    10.00 2811.00  8.00 718872.00   144.00   255.06     1.50    0.53   0.33  93.00

(Voor de leesbaarheid even grep gebruikt om al het niet relevante weg te halen)