Advies bij testen/reviewen Dell PowerVault MD3000i iSCSI SAN

[Femme]

Recentelijk hebben we van Dell een testexemplaar van de PowerVault MD3000i ontvangen. Dit is een iSCSI SAN-apparaat met redundant sas raid-controllers, vijftien sas drive bays, 2x GbE per controller en een ethernet management poort per controller. Het apparaat heeft verder per controller een sas uitgang om PowerVault MD1000 sas enclosures op aan te sluiten. Er is geen ingaangde sas-poort om 'm op een sas-controller aan te kunnen sluiten.







Dit is mijn eerste kennismaking met iSCSI en SAN's. Ik ken wel wat theorie maar heb er in de praktijk nooit mee gewerkt. Ik zie het niet zitten om een halfgare test af te leveren van het apparaat waar niemand wat aan heeft. De MD3000i begint bij 7000 euro en is dus enkel interessant voor pro's die wel enig kennisniveau van dit soort apparaten hebben.

Ik heb gisteren wat zitten stoeien met de configuratie van het apparaat. Ik heb hem nu werkende met één gigabit verbinding naar de testclient. Dit is mijn standaard configuratie voor storage benchmarks bestaande uit een single Opteron 248 2,2GHz met 2GB RAM, nForce Pro 2200 mobo, 2x Broadcom BC5721 en een Windows XP-installatie. Deze configuratie wil ik graag zo houden. De eerste gigabit poort van raidcontroller 0 hangt via een crossoverkabel aan één van de gigabit poorten van het testsysteem. Ik hier de Windows iSCSI initiator op geïnstalleerd en dit werkt, weliswaar zonder gebruik te maken van enige beveiligingsfeature.

Het liefst blijf ik deze Windows XP-installatie gebruiken ivm alle geïnstalleerde software. Het apparaat doet niets anders dan het afvuren van I/O's en het is twijfelachtig of dit onder Windows Server 2003 enige andere uitwerking heeft dan onder XP.

De MD3000i is geleverd met zeven Cheetah 15K.5 147GB schijven en één Atlas 10K V. Helaas zijn de andere drive bays gevuld met fillers waardoor ik deze niet kan volstoppen met mijn Raptors WD740ADFD waar ik er 18 stuks van heb voor testdoeleinden. Ik ga nog proberen om lege bays of meer harde schijven te regelen. Het liefst test ik met de Raptors omdat ik dan de testresultaten kan vergelijken met andere controllers die ook met de Raptors zijn getest.

Gisteren heb ik de eerste run gedraaid op een virtual disk met zes 15K.5's in raid 5. Dit leverde vrij aardige prestaties op. In een simpele ATTO test deed het array 115MB/s lezen en 73MB/s schrijven maximaal. Op kleine block sizes waren de prestaties wel beroerd. De cpu-belasting ging met de simeple ATTO str-test wel meteen naar het plafond (de hele tijd 100 procent). Ik overweeg er daarom een tweede Opteron 248 bij te zetten. RankDisk produceert namelijk ook veel cpu-belasting en ik wil niet dat die twee elkaar in de weg zitten.

In de IOMeter fileserver presteerde de MD3000i erg goed. In mijn RankDisk simulaties van server I/O traces presteerde het apparaat ongeveer gelijk aan een ICP Vortex ICP5085BR sas raid-controller met Fujitsu 15K schijven. Dit lijkt me een goede prestatie, gezien het feit dat je van een iSCSI SAN niet kunt verwachten dat hij dezelfde prestaties heeft als DAS raid met een gelijke diskconfiguratie. Een PCI-X of PCIe controller beschikt immers over veel meer I/O bandbreedte.



Mijn vraag is onder andere wat een realistisch scenario is om dit apparaat te testen. Is het realistisch om de Windows iSCSI initiator te gebruiken met een standaard gigabit ethernet controller of moet ik op zoek naar iets anders dat minder cpu-belasting veroorzaakt.

Een focus in eerste instantie op een prestatievergelijking met DAS raid omdat ik hiervoor de juiste spullen heb en je sowieso weinig van dat soort prestatievergelijking ziet.

Wordt er in de praktijk veel gebruikgemaakt van adapter teaming om meer bandbreedte tussen een server en een SAN te krijgen? Hoe zou ik dit het beste werkend kunnen maken met de Windows iSCSI initiator?

Verder zou ik ook nog kunnen overwegen om de tests op twee hosts in parallel te draaien om zo meer belasting op de MD3000i te veroorzaken. De tests die nu worden gedaan zijn overigens getraced op file-, database-, backup- en streaming media-servers die al veel clients te verwerken kregen, dus er is al sprake van een hoge I/O concurrency.

[Jazzy]

Je moet je afvragen van je met de test wilt bereiken denk ik. Als het geen vergelijkende test gaat worden tussen meerdere iSCSI SAN-oplossingen dan maakt de methode ook niet zo gek veel uit. Vergelijken met DAS is aardig maar je moet het in principe zo zien, je schijven zijn de traagste factor en zo lang de iSCSI infrastructuur niet trager is dan de schijven zal het in performance vrijwel niets uitmaken. Maar goed, ik heb minder kennis dan jij als het om storage gaat dus misschien sla ik de plank wel mis.

De meeste toepassingen die ik zie of ingericht heb zijn relatief kleine Windows Server 2003 omgevingen waarbij gebruik wordt gemaakt van de Microsoft iSCSI Initiator. Bijvoorbeeld 4 DL360's met VMware Server onder Server 2003 waarbij de virtuele server op een LUN staan van een iSCSI target, in dat geval een Proliant DL380 baseline storage server met een iSCSI feature pack.

In deze opstelling hebben we gekozen voor 3 GBit adapters op de storageserver en ook 3 NICs de andere servers. Daartussen zit een Cisco Gb switch met 3 VLANs. Redundancy of load balancing regel je vervolgens op de iSCSI Initiator, daar maak je een tweede en derde connectie en kun je kiezen voor verschillende algoritmes zoals round-robin, failover, etc.

In deze specifieke situatie staat het netwerk uit zijn/haar neus te eten.Hoewel er 8 virtuele servers draaien met een complete KA omgeving voor 100 gebruikers is de netwerkbelasting minimaal, die komt nooit boven een paar procent.

Edit: je zou kunnen kijken of je er 1 of 2 vergelijkbare producten tegenover kunt zetten, bijvoorbeeld een vergelijkbare HP MSA en als outsider een goedkopere soho oplossing. Als 'pro' zijnde lijkt dat me een stuk interessanter om te lezen.

[ Voor 7% gewijzigd door Jazzy op 05-12-2007 10:43 ]

[paulhekje]

natuurlijk moet je voor een goed performance geen standaard gigabit kaartjes gebruiken maar in plaats daarvan een goede serverkaart. CPU load moet dan minimaal zijn.

Belangrijkste vraag: wat is nu het doel van het testen?
bijvoorbeeld: advies in welke situatie wel niet in zetten (fileserver/sql/...)

als je een vergelijkende test wil doen: dan kan je snel doen met een soho oplossing zoals OpenFiler of FreeNas.

[Grolsch]

Ook zul je jumbo frames aanmoeten zetten om een betere performance te halen over ethernet.

zie http://searchstorage.tech...3,sid5_gci1005323,00.html

[Tomsworld]

Je zou ook kunnen een vergelijking doen met een normale server met dezelfde disks in en idd freenas/openfiler of anders iets commerciels zoals http://www.open-e.com/

Ook een vraag is wat je wil testen, boot from san, dan moet je een kaart hebben met iscsi offload, zo'n kaarten kunnen ook een performance boost geven.

Kan het apperaat nog andere dingen dan iscsi, nfs, smb ?

[jvanhambelgium]

De beste performantie ga je halen indien je een dedicated "iSCSI" HBA adapter gaat steken (met embedded iSCSI initiator in hardware/microcode) tov een "gewone gigabit ethernet card" met de iSCSI stack in het host OS.

Die krengen zijn helaas DUUR (> 1000 euro voor een QLogic) maar de performantie zal een stuk schelen denk ik (alhoewel ik nog niet expliciet gezocht heb naar vergelijkende tests/review)

[Femme]

Een uitgebreide beoordeling van de mogelijkheden van de MD3000i lijkt me vooralsnog lastig omdat ik niet over voldoende kennis en ervaring beschik. Ik zou wel eventueel kunnen kijken of er in de crew of onder de users iemand is die ervaring heeft met SAN's en eens een avondje met de MD3000i zou willen stoeien.

De review zal is waarschijnlijk meer richting een prestatievergelijking gaan en een bespreking van de featuers van de MD3000i bevatten.

De vergelijking met een software iSCSI-oplossing, zoals Open-E en OpenFiler lijkt me ook interessant.

paulhekje schreef op woensdag 05 december 2007 @ 13:01:
natuurlijk moet je voor een goed performance geen standaard gigabit kaartjes gebruiken maar in plaats daarvan een goede serverkaart. CPU load moet dan minimaal zijn.

De Broadcom BC5721 is een PCI-X gigabit ethernet controller die zeer veel gebruikt is op servermoederborden. IOMeter veroorzaakt ongeveer 50 procent processorbelasting op een Single Opteron 248 bij 75MB/s sequentieel schrijven.

Vreemdgenoeg kan ik geen instelling voor jumbo frames in de driver vinden terwijl ik me meen te herinneren dit in het verleden wel bij Broadcom-controllers te hebben gezien.

Ik heb iig nog een Intel dual port gigabit adapter liggen waarmee ik kan testen.

jvanhambelgium schreef op woensdag 05 december 2007 @ 15:07:
De beste performantie ga je halen indien je een dedicated "iSCSI" HBA adapter gaat steken (met embedded iSCSI initiator in hardware/microcode) tov een "gewone gigabit ethernet card" met de iSCSI stack in het host OS.

Die krengen zijn helaas DUUR (> 1000 euro voor een QLogic) maar de performantie zal een stuk schelen denk ik (alhoewel ik nog niet expliciet gezocht heb naar vergelijkende tests/review)

Het is zeker interessant om iSCSI adapters te testen en de prestaties te vergelijken met onboard controllers. Gezien de prijs van deze adapters vraag ik me echter af wat er in de praktijk het meest gebruikt: domme gigabit controller met software iSCSI initiator of hardwarematige iSCSI-acceleratie?

[Saab]

Ik mag er van uitgaan dat als men 7000 euro investeert in zo'n SAN dat met dan ook wel iets investeert in een iSCSI connectie. Zou je dit soort apparatuur dan ook misschien niet beter met een netwerk OS kunnen testen?

[ Voor 26% gewijzigd door Saab op 06-12-2007 01:47 ]

[jvanhambelgium]

Voor de performantie van zo'n QLogic kan je mischien dit eens lezen ... het heeft precies wel z'n voordelen...

http://www.qlogic.com/Sit...%20hbas/SN0130907-00A.pdf

[Femme]

Saab schreef op donderdag 06 december 2007 @ 01:45:
Zou je dit soort apparatuur dan ook misschien niet beter met een netwerk OS kunnen testen?

Ik draai alleen I/O benchmarks op het testplatform. Zolang de onderliggende architectuur qua driver model en dergelijke gelijk is bij Windows XP en Windows Server 2003 maakt het niet zoveel uit welk platform er gebruikt wordt. Het storport driver model is bijvoorbeeld niet beschikbaar voor Windows XP 32-bit.

Ik zou voor dit soort doeleinden een Windows Server 2003 installatie kunnen opzetten.

De traces zijn overigens wel gemaakt op een Windows Server 2003-systeem.

[nextware]

In ons netwerk maken wij gebruik van een Equallogic iSCSI-SAN. Iedere server heeft een Qlogic HBA-connector om naar de SAN te connecten.

Nu hebben we in testen uitgevonden dat een terminal server geboot vanaf die SAN langzamer is dan een interne SATA-schijf. Maar dat kan ook worden veroorzaakt door het feit dat de kaartjes uit 2005 komen en er geen firmware update meer beschikbaar is.

Dus wellicht is een vergelijkingstest tussen deze Dell PowerVault en een interne HD ook wel interessant ?

[ Voor 5% gewijzigd door nextware op 06-12-2007 15:50 ]

[Tomsworld]

Femme,

Ik weet niet hoe jij je testen, draait crosslink kabel of switch, in dat laatste geval moet je switch ook jumbo frames ondersteunen.

[Femme]

nextware schreef op donderdag 06 december 2007 @ 15:50:
In ons netwerk maken wij gebruik van een Equallogic iSCSI-SAN. Iedere server heeft een Qlogic HBA-connector om naar de SAN te connecten.

Nu hebben we in testen uitgevonden dat een terminal server geboot vanaf die SAN langzamer is dan een interne SATA-schijf. Maar dat kan ook worden veroorzaakt door het feit dat de kaartjes uit 2005 komen en er geen firmware update meer beschikbaar is.

Dus wellicht is een vergelijkingstest tussen deze Dell PowerVault en een interne HD ook wel interessant ?

Prestaties vergelijken met interne harde schijven of interne raid-controllers (direct attached storage) zal in ieder geval mogelijk zijn omdat dezelfde benchmarks gebruikt worden. De MD3000i doet het in de huidige testopstelling (Windows iSCSI initiator, Broadcom-controller, single gigabit crosslink en zes Cheetah 15K.5's) al behoorlijk goed gezien de beperkte bandbreedte ten opzichte van een interne raid-controller.

Tomsworld schreef op donderdag 06 december 2007 @ 18:00:
Femme,

Ik weet niet hoe jij je testen, draait crosslink kabel of switch, in dat laatste geval moet je switch ook jumbo frames ondersteunen.

Momenteel gebruik ik een enkele gigabit crosslink.

Voor een goede vergelijking moet ik eigenlijk een trunk van twee gigabit links werkend zien te krijgen. Dit scheelt meteen enorm in bandbreedte en is een configuratie die zo te zien in de praktijk veel gebruikt wordt. Morgen ga ik eens kijken wat er mogelijk is met de Intel dual port server adapter.

[SambalBij]

Die twee gigabit links trunken scheelt wel in bandbreedte, maar mogelijk ook in CPU belasting. En dan waarschijnlijk niet in positieve zin. Als je met één NIC de CPU al tot de 50% vol trekt...
Het zou denk ik zoals al gezegd het mooiste zijn als je een iSCSI HBA te pakken kunt krijgen (Zou Dell je die niet ook kunnen lenen?)
Dan kun je ook meteen mooi het verschil in performance en belasting laten zien tussen een koppeling met normale NIC's en die HBA, iets wat denk ik voor mensen die een dergelijke setup moeten gaan bouwen best interessant is. Leveren die dure QLogic kaarten waar voor hun geld of niet?

[ Voor 14% gewijzigd door SambalBij op 07-12-2007 00:16 ]

[paulhekje]

die 50% cpu komt waarschijnlijk door je niet correcte netwerkaansluiting. Beste configuratie is via een switch die jumboframes èn flow control tegelijk ondersteunt.
Met gebruik van een goede serverkaart en server OS moet je deze opties ook instellen in je driver van de nic.

(meeste HP procurve switches ondersteunen dit niet, Cisco wel)

[ Voor 10% gewijzigd door paulhekje op 07-12-2007 08:03 ]

[Femme]

Ik ga in ieder geval Windows Server 2003 op de host installeren. De Dell host driver (die ik nog niet gebruik) heeft storport nodig.

De onboard controller haalt op dit moment wel gewoon een doorvoer van 113MB/s. Dit lijkt me niet slecht. Alleen de cpu-belasting is aan de hoge kant.

[MoBi]

Ik denk niet dat het veel hoger dan 113 MB per sec gaat worden omdat die met een enkele gbit kaart zo'n beetje het plafond is. Ook van je gigabit kaart. Je zal idd moeten kijken of je een hogere doorvoer door een trunk kunt krijgen.
Let er ook op dat san's worden gebouwd om heel veel io's van verschillende servers te verwerken. Dus als je meerdere computers tegelijk de test kan laten doen kun je dat wel vergelijken met de snelheid die je haalt met 1 pc.

[axis]

Op deze blog entry staat ook nog het een en ander uitgelegd, door een user die zijn windows doosje aan een Sun server met de iSCSI target hangt. Je moet op de windows doos in het registry een simpele setting veranderen in je registry, iets met TCP ACK's, weet ook niet precies hier het zit. Bovenstaande user ging daarmee van 10MB/s naar 100MB/s..

Edit: En je kunt trouwens wel adapters teamen om een 2gbps link te creeren, maar je komt standaard niet boven de 1gbps uit tussen 2 hosts (zie: [WS 2003] Teaming 2 Broadcom NIC). Als je dat wel wilt moet je met multipath aan de slag, om te zorgen dat je over 2 connecties verbindt. Weet er ook niet zoveel vanaf, behalve dat dat ook weer redelijk complex is, en dat er ook weer meerdere multipath-protocollen zijn..

[ Voor 34% gewijzigd door axis op 11-12-2007 17:34 ]

[alt-92]

axis schreef op dinsdag 11 december 2007 @ 17:30:
Je moet op de windows doos in het registry een simpele setting veranderen in je registry, iets met TCP ACK's, weet ook niet precies hier het zit. Bovenstaande user ging daarmee van 10MB/s naar 100MB/s..

TCP_NODELAY maar dan voor Windows

[KoeKk]

paulhekje schreef op vrijdag 07 december 2007 @ 08:01:
(meeste HP procurve switches ondersteunen dit niet, Cisco wel)

Dit is onzin de Procurve 2810-24, een low end managed Gigabit switch, ondersteund zowel flow control als jumbo frames. Is overigens stukken goedkoper dan een vergelijkbare Cisco

Overigens betwijfel ik het of het creeren van Trunks erg veel verschil zal maken, normaal werkt dit op basis van Mac adres, dus van een client naar een (Getrunkte) server gaat altijd over 1 lijntje en dus 1 gigabit. Pas met meerere clients ga je het voordeel halen uit getrunkte aansluitingen. Of een client die zelf ook getrunkt is.

[Verwijderd]

Iemand ervaring met het gebruik van MS Virtual Server in combinatie met de Dell MD3000i op basis van iSCSI?

[DJ]

Trunken heeft weinig tot geen effect. Dit omdat het iSCSI protocol MultiPathing ondersteund. Het iSCSI protocol stuurt vanuit de initiator een Send-Targets commando uit naar de target. Deze antwoord met bijrvoorbeeld 3 IP adressen voor één LUN (als je een iSCSI SAN hebt bijvoorbeeld met 3 GigaBit kaarten erin). De initiator en de target zorgen er vervolgens voor dat de load verdeeld wordt over de beschikbare bandbreedte . . .

Voor zover ik weet is het dan overigens wel zo dat elke TCP sessie (iSCSI gaat over TCP) maar maximaal 1GigaBit kan hebben aangezien die van IP adres naar IP adres gaat . . .

Het trunken van GigaBit kaarten in bijvoorbeeld HP Servers is niet zo moeilijk als je een Switch hebt die dat ondersteund (802.3ad). Het trunken van GigaBit kaarten in een iSCSI SAN heb ik nog niet gedaan en ik weet ook niet of dat kan . . .

[Femme]

Het was me al duidelijk geworden dat trunken niet mogelijk is. Ik wil daarom met meerdere hosts gaan testen maar dan moet ik wel eerst wat meer schijven krijgen van Dell. Een configuratie van zes schijven en twee hosts die hem plat gaan stampen vind ik niet echt san-waardig.

Zie http://femme.tweakblogs.n...t-md3000i-benchmarks.html voor foto's en voorlopige benches.

[Bierkameel]

Ik heb hier ook een MD3000 draaien voor een SQL 2005 server maar ik gebruik het iSCSI gedeelte niet.
Hier zit hij rechtstreeks aangesloten op de SAS controller van de server.

Performance is overigens wel goed, ik moet het ding maar eens gaan testen.

[Femme]

Ik heb hier de MD3000i en die heeft alleen ethernet en uitgaande sas-poorten om extra MD1000-doosjes aan te koppelen. Een verbinding tussen host en MD3000i dmv sas is niet mogelijk.

[jep]

Femme, je hebt zeker geen mogelijkheid op een Linux machine te testen he?

http://www.linuxinsight.com/how_fast_is_your_disk.html

Da's een tool waarmee op diverse forums wordt getest. Bijvoorbeeld op Xen en VMware community forums.

Je krijgt zo'n output. In ons geval met een Equallogic machine met SATA (!)

Results: 857 seeks/second, 1.17 ms random access time

Hij is nu al behoorlijk live, want eerst waren de waarden nog veel beter, maar ik ben wel benieuwd wat een MD3000i hier tegenover zou zetten.

[ Voor 4% gewijzigd door jep op 21-12-2007 13:01 ]

[Verwijderd]

wat ik me afvraag, heeft men enige ervaring met het gebruik van virtuele servers i.c.m. de MD3000i? ben erg benieuwd of dat de MD3000i het geschikte apparaat hiervoor is.

[Verwijderd]

KoeKk schreef op woensdag 12 december 2007 @ 08:11:
[...]

Dit is onzin de Procurve 2810-24, een low end managed Gigabit switch, ondersteund zowel flow control als jumbo frames. Is overigens stukken goedkoper dan een vergelijkbare Cisco

Overigens betwijfel ik het of het creeren van Trunks erg veel verschil zal maken, normaal werkt dit op basis van Mac adres, dus van een client naar een (Getrunkte) server gaat altijd over 1 lijntje en dus 1 gigabit. Pas met meerere clients ga je het voordeel halen uit getrunkte aansluitingen. Of een client die zelf ook getrunkt is.

Geen onzin, die switch kan niet beide tegelijk aan. Dus of jumbo of flow control.

[KoeKk]

Verwijderd schreef op zondag 23 december 2007 @ 10:18:
[...]


Geen onzin, die switch kan niet beide tegelijk aan. Dus of jumbo of flow control.

Dan heb ik verkeerd gegeken , de 2900 series kan het overigens wel:

Uit de T12.06 Release notes:

Clarifications

The following clarifications apply to series 2900 switch documentation as of the T.12.00 release.
■ Enabling Jumbo Frames and Flow Control
The 2900 series switches support simultaneous use of Jumbo Frames and Flow Control, and the switch allows flow control and jumbo packet capability to co-exist on a port. (The earlier version of the Management and Configuration Guide incorrectly stated that these features could not be
enabled at the same time.)