[advies gevraagd] snel netwerk tussen Werkstation en opslag

[rudinie]

Ik zou graag wat inzicht krijgen in een oplossing voor het volgende:
Tot voor kort heb ik altijd een raid 5 of 6 areca kaart in mijn windows werkstation gehad waar ik een projectenmap op deelde die ik als network disk "map" op zowel mijn werkstation zelf als alle rendernodes.
Hiermee kreeg ik het voordeel dat ik snel lokaal werk op mijn werkstation en alle rendernodes hebben vanwege dezelfde mapped drive letter gewoon identiek toegang tot de bronbestanden tijdens het renderen.

Probleem dat zich hiermee voordoet is dat het werkstation ook regelmatig ingezet wordt als rendernode, aangezien het de snelste pc is die ik heb staan. Als het werkstation crasht ligt alles op zijn gat. Bovendien groeit de renderfarm nu boven de 10 connecties limiet van de non-server versies van windows.

Nu heb ik net een nieuw werkstation aangeschaft zonder raid oplossing erin omdat ik idealiter een externe storage wil opzetten op basis van iets dergelijks als een synology rs3412xs zodat het goed kan groeien als de behoefte toeneemt. Mijn idee was om via gigabit lan en link aggregation een snelle verbinding met de Nas op te zetten maar nu lees ik online dat link aggregation de doorvoersnelheid van een enkele verbinding niet verhoogd.
Een kort testje leert me dat het overzetten van grote bestanden via mijn huidige netwerk (gigabit lan) van mijn oude werkstation naar mijn nieuwe op ruim 110 MB/s gaat wat acceptabel schijnt te zijn voor gigabit lan.
Echter het openen en saven van (grote 3D) files via het netwerk levert me een dusdanige vertraging op dat ik nu denk andere oplossingen te moeten gaan zoeken.

Ik wil dus graag voor minimaal 1 werkstation een zeer snelle verbinding naar de NAS en voor de rendernodes is gigabit lan genoeg. 10GB ethernet kaarten zouden volgens nieuws: Intel brengt goedkope 10-gigabit-netwerkcontroller uit intussen goedkoop op de markt moeten zijn maar in de pricewatch staat ie nog op 499 euro.
In de synology zou optioneel een 10GB kaart kunnen maar de prijs ervan weet ik niet en ik vraag me af of je dan daarmee met 1 werkstation rechtstreeks een verbinding kunt maken of dat een 10GB switch dan toch noodzakelijk is.

Of misschien denk ik wel helemaal in de verkeerde richting en zijn er andere mogelijkheden met bijvoorbeeld fiberchannel of infiniband. Femme kondigde laatst aan daar een artikel voor aan het schrijven te zijn maar ik ben ongeduldig.

Hopelijk kan iemand hier wat licht schijnen. Bij voorbaat alvast bedankt.

[Powermage]

Volgens mij kan je wanneer je windows gebruikt kiezen voor Multi Path IO via ISCSI via de microsoft initiator, het kan even lastig zijn om op te zetten maar kan de moeite zijn want die verdeeld volgens mij bij 1 actie al het verkeer.

Daarnaast heb je natuurlijk 10GB Ethernet, je kan er van voor kiezen om gewoon de kaarten direct te koppelen ipv een switch er tussen (let wel op dat je dezelfde aansluit techniek hebt voor jer 10gb kaarten)
voor goedkope 10gb kaarten moet je eens wat meer zoeken op ebay oid, daar vind je er vaak genoeg.

Alternatief heb je inderdaad infiniband, geen idee of de synology dit ondersteund, maar die kan je ook nog eens bekijken, in iedergeval heb je daar ook de mogelijkheid over om die ip gebaseerd te gebruiken voor zover ik weet.

[ Voor 6% gewijzigd door Powermage op 20-11-2012 10:56 ]

[hans_lenze]

Als een combinatie van Server 2012 en Windows 8 mogelijk is, werkt SMB multichannel perfect. Windows 7 en andere clients verbinden over 1 kanaal en nieuwe clients verbinden over alle beschikbare kanalen.

Zie http://blogs.technet.com/...ver-2012-and-smb-3-0.aspx voor meer informatie over SMB multichannel.

Door dan gebruik te maken van meerdere gigabit verbindingen, meerdere 10Gbit verbindingen of een ander protocol als Infiniband of Mellanox haal je een hoge snelheid. Demo's tijdens TechEd halen 80Gb/s.

[rudinie]

Bedankt voor jullie reacties.
Windows 2012 server en Windows 8 zijn in principe wel mogelijk maar ik heb geen ervaring met Windows 2012. Daar zou ik dan eens flink in moeten gaan duiken hetgeen ook flink tijd en dus geld kost.
Ben ebay al flink aan het afstruinen op zoek naar iets beter betaalbare 10GB kaarten maar ik kom vooral veel CX4 en SFP tegen.
Als ik voor een synology kant en klaar oplossing zou willen gaan dan ben ik beperkt tot deze add-on netwerkkaarten:
http://www.synology.com/s...how.php?q_id=440&lang=nld
Moeilijke afwegingen vind ik, vooral door mijn gebrek aan kennis op dit gebied.
Nogmaals bedankt voor jullie input.

[Powermage]

Je kan overigens ook als t goed is infiniband over IP gebruiken, die kaarten werken binnen de normale OS versie's en hebben gewoon meer bandbreedte.

[rudinie]

Ik heb zojuist de knoop doorgehakt en gekozen voor een synology RS3413xs (http://www.synology.com/p...?product_name=RS3413xs%2B)
Daarbij twee intel X540-T2 kaarten, 1 voor in de synology en 1 voor in het werkstation.
Twee 180GB intel ssd's erin voor de "hot-data" en vooralsnog eerst 4x 3TB hdd's om in raid 5 te zetten.
Dit alles zal ik halverwege komende week binnen krijgen naar verwachting en ik zal de bevindingen even posten hier.
Ik vraag me af of de (peer to peer) connectie tussen werkstation en de synology ook met Link aggregation zal gaan werken of dat daarvoor een managed 10GB switch nodig is. (die dingen zijn nog erg prijzig)
Ik heb voor deze "kant en klaar" oplossing gekozen mede door mijn gebrek aan kennis en vooral tijd om de hele boel zelf op te tuigen en omdat deze synology producten in de toekomst erg goed uit te breiden lijken te zijn met extra hdd-cabinetten.

[Powermage]

Waarom zou je link aggegration op 10GB ethernet proberen? je hebt een verbinding van 1000mbytes per seconde beschikbaar, die ga je met die config niet echt vol krijgen met deze config.

[rudinie]

Nou, als ik het goed lees moet een sequential read met twee ssd's in raid 0 toch wel over of in de buurt van de 1000 MB/s komen en ik neem aan dat er behoorlijk wat overhead in de 10GB ethernet zit.

[FatalError]

Er zit vrij weinig overhead op ethernet. Bij grote paketten zal je toch wel 95% van het theoretisch maximum kunnen halen.
Verder is link-aggregation tussen 1 pc en 1 NAS vrij onzinnig. Kleine kans dat je daar snelheidswinst mee gaat halen.

[pablo_p]

Het standaard gedrag bij link aggegation is dat er per 'flow' een van de interfaces in de interface group wordt gebruikt. Het bundelen van meerdere interfaces heeft dus geen effect op het openen van een bestand, ook niet met het gelijktijdig schrijven van een ander bestand (want dan gaat de bulk data de andere kant op). Link aggregation heeft zin als je meerdere bestanden tegelijkertijd opent (en niet sequentieel), maar dat had je al gelezen.

Link aggregation vereist niet een tussenliggende switch, het kan ook gewoon van systeem<->systeem.

Maar ik zou je 2e poort op de NAs bewaren om een andere workstation ook op 10 Gbit aan te kunnen sluiten. De Gbit poorten op de NAS kan je met link aggregation aansluiten op een switch zodat die minder last van elkaar hebben.
Het is de verwachting dat 10GBaseT switches nu snel goedkoper gaan worden, het loont wel om het nog even uit te zingen met losse 10G aansluitingen.

En wees bewust dat de meeste 10 Gbit SFP+ sloten geen SFP+ module met RJ45 (gewone ethernet CAT6 aansluiting) leveren. De reden is dat 10GBaseT meer stroom vraagt dan de sloten standaard leveren. Een enkele 10Gbit aansluiting van de NAS naar een Gbit switch met SFP+ 'uplink' poorten zal bij de meeste switches niet mogelijk zijn.

[jvanhambelgium]

rudinie schreef op vrijdag 23 november 2012 @ 15:40:
Nou, als ik het goed lees moet een sequential read met twee ssd's in raid 0 toch wel over of in de buurt van de 1000 MB/s komen en ik neem aan dat er behoorlijk wat overhead in de 10GB ethernet zit.

Ik denk dat je enigzins teleurgesteld gaat zijn ;-)
Dus je gaat die 2xSSD in de NAS stoppen samen met de andere disken en zo het boeltje inrichten ?
Ik gok dat je bij het openen van 1 megabestand op je NAS (SSD's) + 10Gbit link naar 1 werkstation ergens rond de 2 Gbits gaat belanden "real world" performance zonder specifiek tuning (op kernel/tcp-stack niveau)

Maar ik ben benieuwd naar de resultaten...wie weet...

Weet dat de performance-graphjes op de Synology site voor deze producten zijn gemaakt met de hele NAS vol SSD's. De cijfers zijn best indrukwekkend, maar wat wil je als je alles vol SSD's steeks en die NAS ook nog eens 32GB RAM (cache) heeft ...

[ Voor 14% gewijzigd door jvanhambelgium op 24-11-2012 18:01 ]

[rudinie]

Klopt zeker dat de cijfers op de site van Synology een ideaal scenario schetsen.
Kijk alleen al naar de switch: H3C switch S5820X, die kost in zijn eentje al 4 keer zoveel als de nas in totaal.
Ik ben ook erg benieuwd naar de real world performance. Ik zal het hier posten als ik zover ben.

[rudinie]

Zoals beloofd bij deze wat eerste resultaten van mijn setup.
Ik heb vooralsnog 4 HDD's in raid 5 geplaatst, Seagate Barracuda's van 3TB en 2 180GB intel 330 serie ssd's voor de cache.
Er is nu 1 enkele cat6 kabel van 15 meter aangesloten, en de rest van het netwerk gaat gewoon via gigabit lan.
Een eerste snelle test met het kopieren van een qt-animiatie van ongeveer 5GB ging de eerste keer met zo'n 250 MB/s, de tweede keer ging het iets sneller en kwam de snelheid op zo'n 370 MB/s.
Er is vast nog veel meer te tweaken om die snelheid nog wat op te voeren maar ik ben al best tevreden met deze cijfers. Het gevoel van de vertraging is in ieder geval compleet verdwenen, Het reageert allemaal supersnel.
Als iemand tips heeft om het allemaal nog wat sneller te maken dan het al is hoor ik het natuurlijk graag, maar ik denk eerlijk gezegd dat er niet bijster veel snelheid te winnen valt door mijn keuze voor relatief eenvoudige harde schijven en ssd's.

[jvanhambelgium]

Die 370MBytes/sec de 2e keer kwam zeker doordat er nog wat data ergens in een cache hing ;-)
250MBytes/sec is dus inderdaad een dikke 2Gbits/sec wat denk ik een mooie richtwaarde is.

[rudinie]

Ik heb zojuist even een Ram-disk-je aangemaakt op mijn werkstation om de Nas goed te kunnen testen en de write snelheid van de ssd's in raid 0 in mijn werkstation niet de limiterende factor te laten zijn.
Daarmee komen de waardes consistent boven de 300 MB/s uit, met uitschieters tot bijna 400 MB/s.

Wat zou nu de meest voor de hand liggende bottleneck zijn?

[jvanhambelgium]

Met zo'n snelheden moet je ook echt gaan nadenken over TCP/IP tuning...

TCP/IP over 10Gbits is echt niet "zo standaard" als je *echt* hoge snelheden wil.

Hoe doe je de file copy ?
Windows SMB ? SMBv2 ? NFS (over UDP/TCP) ? iSCSI block based ?

[rudinie]

Ik had een drive gemapped op een gesharede map op de synology en dat via ip-adres. (\\169.254.etc)
Daar staat verder de jumboframe uit, MTU op 1500, full Duplex
Ik heb de windows bestandsservice aanstaan, dus ik neem aan dat dat gewoon Samba is.
NFS staat uit.
Van TCP/IP tuning weet ik helemaal niets. (nog)
Tips zijn meer dan welkom.

[rudinie]

Holy*##$&^ , ik heb zojuist even JumboFrame aangezet, MTU 9000 en op de werkstation kant ook en nu gaat ie zonder die ramdisk al met bijn 400MB/s.
Nice!
Wist niet dat daar zoveel mee te winnen was. Ik zal die ramdisk weer eens proberen.

[jvanhambelgium]

Jumbo Frames is inderdaad handig en in principe geen probleem zeker niet als je gewoon met een directe kabel tussen NAS <-> Client zit...

400Mbytes is zeker al niet slecht, mischien dat je met je ramdisk wel naar de 5xx MBytes kan springen, maar dan gaat het ook wel ophouden ;-)

[Powermage]

Mja, kijk eens naar een lange filetransfer of test en dan de CPU belasting van je Synology, die kan nu best een limiterende factor aan het worden zijn.

[rudinie]

Powermage schreef op woensdag 28 november 2012 @ 16:32:
Mja, kijk eens naar een lange filetransfer of test en dan de CPU belasting van je Synology, die kan nu best een limiterende factor aan het worden zijn.

Net een snel testje gedaan, ik zie de cpu nog niet boven de 6% uitkomen en ram niet boven de 20%.
Lijkt me zo op het eerste oog dat het daar niet aan mag liggen, maar bedankt voor de goede tip.

[jwpmzijl]

Laat ik mijn ervaring met 10 Gb. ethernet ook even hier dumpen

Ik heb 2x Dell R620 servers met Xeon E5-2600 proc in beheer. Beide zijn met elkaar verbonden via 2 intel T540-T2 kaarten. Deze servers vormen een Hyper-V cluster waarbij de cluster communicatie over de 10 gigabit lijnen loopt (direct via Cat6 aan elkaar verbonden zonder switch). Als ik een live migration uitvoer van enkele forse VM's dan komt de belasting van de 10 gigabit verbinding niet boven de 60% uit. Dus lang niet alle bandbreedte wordt gebruikt maar een VM met 8 Gb. memory migreren duurt nog geen minuut dus mij hoor je niet klagen. Ik gebruik nog geen jumboframes over deze verbinding dus daar valt wellicht nog wat te winnen.

De 2de poort van de T540-T2 is verbonden met de backup server. Deze backupserver is een Dell R515 met een goedkoop Dell software raid kaartje (6x 2 Tb. SATA schijven in RAID 5) en een instap AMD processor. Als ik vanaf de Dell R620 servers een backup naar de R515 maak dan schiet de belasting van de processor op de R515 naar 100% en de de 10 Gigabit verbinding wordt voor 20 % benut.

Wat ik hiermee wil aangeven is dat bij 10 Gigabit Ethernet de netwerkkaart niet de bottleneck zal zijn. Je moet serieuze hardware neerzetten om tegen de beperkingen van 10 Gb aan te lopen.

---

Overigens zit ook ik te wachten op betaalbare 10 Gigabit switches. Ik bedoel point to point is leuk maar wil je meer dan 3 PC's met elkaar verbinden dan moet je gaan werken met een soort ring topologie en handmatig de routingtabellen bijhouden. Handig is anders

De "goedkoopste" 10 gigabit switch met UTP poort is voor zover ik weet de Dell 8024. De prijs van dit beest wordt op dit moment door Dell niet meer getoond op de website maar de laatste keer dat ik keek mocht je voor dit alles bijna 10 mille neertellen.

[rudinie]

Er is een goedkopere 10GB switch. Van Netgear: http://www.netgear.com/ab...leases/2011/20110808.aspx
Of zijn deze "uplinks to servers" niet bruikbaar als zodanig maar enkel als "interlinks"?

[ Voor 29% gewijzigd door rudinie op 01-12-2012 08:37 ]

[jwpmzijl]

Ok, switches met zg uplink ports zijn inderdaad ook mogelijk. Je moet echter goed opletten want bij diverse switches zijn deze uplink poorten inderdaad enkel bedoeld voor interlinks met andere switches. Ik ben niet bekend met andere merken maar voor de Dell powerconnect 6224 is een module beschikbaar met 2x 10 GBe UTP poorten. Maar dan ben je ook ruim 4 mille kwijt voor switch en module, al kun je op marktplaats deze switch voor minder dan de helft aanschaffen .

Voorlopig kan ik nog wachten op 10 gigabit switches, het duurt nog wel een jaar voordat er bij ons behoefte is om het cluster uit te breiden. Tegen die tijd zal 10 Gigabit nog niet mainstream zijn, maar hopelijk zijn er wel meer opties.

[ Voor 3% gewijzigd door jwpmzijl op 01-12-2012 09:30 ]

[Bl@ckbird]

Voor 10GE uplinks is de 500 serie van Cisco eventueel ook een optie. Switches met meer dan 4 10GE poorten zijn nog best prijzig, idd.

[jwpmzijl]

Wellicht voor de TS niet meer van belang maar voor de mensen die via de search hier komen. Gisteren heeft Netgear een nieuwe zeer betaalbare lijn van 10Gbe switches gelanceerd