[iSCSI] IBM DS300 Performance.

[Verwijderd]

Wij hebben onlangs 2 IBM DS300 Storages (DUAL controller) aangeschaft en de software Veritas Storage Foundation.

We hebben hier een SAN mee opgezet:

- 2 vestigingen.
- beide vestigingen een DS300 met een clusternode en een AD-controller.
- vestigingen zijn verbonden via 10Gbit glasvezel (1 op 1, niet via provider ofzo)
- Uiteinden verbonden met 2 3COM 3870 switches met 10GB module met 3CXENPAK92
- Op de switches is een VLAN geconfigureerd waarover de 2 cluster-nodes communiceren met de DS300 storages.
- Allebei de clusternodes hebben 2 IBM DUAL port Gbit server-adapters.
- Fysiek wordt er in de DS300 gemirrord en gestriped. (RAID 10)
- De schijven worden in windows zichtbaar door de iSCSI connector.
- Door Veritas Storage Foundation worden de 2 DS300's volledig gemirrord.

Ik hoop dat het een beetje duidelijk is zo.

Het probleem is de performance. Elk component is snel zat voor een goede performance:
De clusternodes zijn Dual Xeons 3.4Ghz
De backbone is 10Gbit (theoretisch 1,25Gbyte / sec)
De Servers hebben dualport Gbit nics (theoretisch 250Mbyte / sec)

Maar toch wordt er een ontzettende slechte performance neer gezet.
Bij het 1 op 1 kopieeren van een file. Duurt het net zolang op een logical disk die op 1 schijf staat als op een logical disk die gestriped wordt over 6 schijven. Ergens is er iets gigantisch traag. Bij het kopieren van een file kun je zien dat er maar 22MB / sec dataverkeer over de netwerkverbinding naar de storage gaat.

Wat we tot nu toe geprobeerd hebben is eigenlijk alleen andere nics en diverse disk configuraties.

De vraag ligt inmiddels al bij IBM, maar ik denk ik gooi ook hier even een balletje op. Ik ben hier niet tot het detail in thuis (daarvoor hebben we iemand in gehuurd) dus ik hoop dat ik eventuele vragen kan beantwoorden...

[ Voor 5% gewijzigd door Verwijderd op 22-05-2006 15:15 ]

[real-doc]

Even iets heel stoms he, wat je ongetwijfeld al gechecked hebt. Waar komt de file vandaan die je naar je SAN kopieert? Kan dat de bottleneck niet zijn?

[Verwijderd]

real-doc schreef op maandag 22 mei 2006 @ 19:26:
Even iets heel stoms he, wat je ongetwijfeld al gechecked hebt. Waar komt de file vandaan die je naar je SAN kopieert? Kan dat de bottleneck niet zijn?

Nee helaas, dat kan de bottleneck niet zijn.... verschillende manier geprobeerd:
van een disk weer naar de zelfde disk.
van de ene disk naar de andere disk.
van een andere server naar een van de disks.
van een aantal desktops naar een van de disks.

maar het komt er gewoon steeds op neer dat de schijf uit mijn laptop nog sneller is....

[Verwijderd]

Nog iemand met een suggestie misschien?

We hebben in middels de softwarematige iSCSI initiator vervangen door HBA's van QLogic (op advies van IBM), maar dit heeft het (hoe vreemd ook) alleen nog maar verder vertraagd. Dus het probleem ligt waarschijnlijk ergens anders.

We hebben verschillende servers geprobeerd.
Diverse diskconfiguratie. (raid 5, raid 10, raid 50, raid 0, raid 1.... alles getest. geen 1 config is snel!)
Rechtstreeks verbonden aan het storage i.p.v. via een VLAN van de 3870 switch, maar dat helpt niks. (conclusie is dus dat het probleem niet in het netwerk zit)

Heeft iemand misschien nog een suggestie? Koop je voor meer dan 40.000 euri aan hardware en dan is het trager dan een desktop schijf.

[ Voor 30% gewijzigd door Verwijderd op 31-05-2006 08:50 ]

[WhizzCat]

Zijn al je drivers etc. up to date? Dat wil nog wel eens helpen.

Verder heb ik ook gfi waar je probleem zit. Iets in de hardware lijkt me stug aangezien dat in principe allemaal netjes werkt, alleen traag dus. Ik zou toch eens goed naar de software kijken. Staat caching aan, lopen er geen rare processen etc.

[Rolfie]

Staat de battery cache aan op het SAN? We hebben bij een IBM SAN wel eens vaker performance problemen gehad. De battery was toen defect.

[DeBolle]

Drie vragen schieten mij te binnen:
- ondersteunen de switches jumbo packets en staat dat end-to-end aan?
- is er een mismatch van de ethernet poorten (auto, duplex, vast op 1 of 10Gbit)?
- wordt ook gebruik gemaakt van security in de initiator (CHAP/MSCHAP)?

De performance die jij merkt lijkt mij namelijk veel op een mismatch tussen de ethernet poorten van de componenten. Als de kaart van de storage op auto staat moet de switch misschien op non-auto staan of vice versa.
Als je Windows gebruikt kun je overigens afhankelijk van de soort data winst behalen door NTFS te tunen met fsutil.
Wat is overigens exact de rol van de Veritas replicatie dinges en hoe is dat opgezet?
Als je een extendend cluster gebruikt, waarbij op twee locaties een node staat die met beide DS300 moet communiceren, kan het zijn dat alles op synchrone mirroring staat ingesteld? In dat geval moet elke schrijfactie via Veritas namelijk twee keer over de lijn wat met iSCSI veel latency met zich meebrengt.
Een write I/O gaat dan van node A naar storage A, via Veritas gemirrord naar storage B. Als ik het goed begrijp zit Veritas dan 'tussen' de I/O handler van de node en de storage. Veritas schrijft de I/O nu naar beide storagedozen, waarna de ACK volgt.
Ik ken de DS300 niet uit ervaring, kunnen deze dozen onderling alleen mirroren met behulp van software?

edit: even nagezocht wat de DS300 eigenlijk is en wat 'ie kan in de redbooks op http://www.redbooks.ibm.c...impl/java/html/wwhelp.htm
Er staat een waarschuwing in dat tests met copy of xcopy niet het potentieel van de DS300 laten zien omdat 'ie getuned is op serverworkload. Tsja.
In htezelfde redbook kun je de recommended configurations misschien vergelijken met jouw config en daar aanknopingspunten vinden. Een van de recommended options is het verdelen van de load over meerdere kleine arrays ipv een single array voor alle LUN's.
Houd rekening met het verschil tussen bandbreedte en performance: iSCSI over 1Gb ethernet heeft een bandbreedte van ongeveer 80MB/sec (80% van wirespeed) en met synchrone mirroring blijft daar qua performance niet veel van over. Gecombineerd met een entry level storage box als de DS300 zou 50MB/sec gewoon een prima performance zijn. Je zit op minder dan de helft nu echter.

[ Voor 27% gewijzigd door DeBolle op 26-05-2006 16:18 . Reden: aanvulling ]

[Verwijderd]

Het lijkt er op dat het probleem zich rond de DS300 concentreert en niet op de overige punten. Wat je zou kunnen doen is een nul-meting met een ander Device. Dan kan je tenminste het ea uitsluiten. Wij hebben goede ervaringen met een Netapp.

Deze opstelling zou net "iets" sneller moeten zijn dan jullie huidige configuratie met een MSA 500

[ZeRoC00L]

Wat zegt je leverancier van dit spul ? Mag toch aannemen dat zij wel enige nazorg/ondersteuning leveren.

[Verwijderd]

Verwijderd schreef op maandag 29 mei 2006 @ 17:30:
Het lijkt er op dat het probleem zich rond de DS300 concentreert en niet op de overige punten. Wat je zou kunnen doen is een nul-meting met een ander Device. Dan kan je tenminste het ea uitsluiten. Wij hebben goede ervaringen met een Netapp.

Deze opstelling zou net "iets" sneller moeten zijn dan jullie huidige configuratie met een MSA 500

Allereerst sorry voor mijn late reactie!

Wij hebben onlangs getest met een NETAPP en die blijkt inderdaad 30% sneller dan de MSA500 inderdaad.... loopt lekker....
Daarmee hebben we in ieder geval bewezen dat het aan de configuratie van de storage zelf moet liggen...

we hebben ook getest door een server rechtstreeks aan de storage te hangen.... probleem blijft daarmee gelijk, dus het ligt niet aan de switch/VLAN configuratie.

IBM zegt dat het niet aan de hardware van de DS300's ligt. IBM weigert min of meer ook enige medewerking te verlenen en blijft volhouden dat het aan de config ligt. (maar met exact dezelfde config werkt een NETAPP wel perfect... hmmm.... ) (beetje vreemd dat je niet een beetje support kunt verwachten als je voor bijna 20.000 euro aan apparatuur koopt bij ze)

we hebben ons consult bedrijf een deadline gegeven wanneer het moet werken.... zo niet dan gaat alles terug naar de leverancier en stappen we over op een andere oplossing (waarschijnlijk NETAPP of HP)

[ Voor 6% gewijzigd door Verwijderd op 31-05-2006 08:47 ]