Sneller dan gigabit...

[Verwijderd]

Probleem: gigabit is te min voor mij. Ik gebruik diverse fileserver die actief gebruikt worden, en de 70MB/s die ik daarvan haal voldoet gewoon niet meer. Ik wil dus sneller. En ja ik gebruik al PCI-express NICs, maar al haal ik 100MB/s dan is het toch net niet; mijn fileserver haalt meer dan 400MB/s sequential en dat is dus min of meer verloren performance.

Nu zijn er nog niet veel alternatieven, 10GbE copper spec (10000BaseT?) is nog niet 'klaar' voor zover ik begrepen heb en dus is Fibre of agregation (dat is meerdere NICs gebruiken en zodoende de bandbreedte verdubbelen, of ben ik in de war?) dus de enige oplossing op dit moment.

Wat betreft fibre valt op NT niet zoveel te vinden. Wat raden jullie aan, waar moet ik aan denken qua kosten? In principe wil ik het dan via een crosslink doen, dus zonder switch. Dan heeft mijn main PC dus 10Gbps naar de main fileserver en de andere PCs moeten het stellen met slechts 1Gbps.

Zie ik wat over het hoofd? Hebben jullie tips? Of ben ik een verwend nest en moet ik wachten op copper 10GbE?

[Wortelsoep]

Professionelere switches ondersteunen in ieder geval trunking, dat is tot 4 poorten koppelen zodat er een 4Gbit-verbinding ontstaat. Dat lijkt mij de makkelijkste oplossing.
Wat je misschien ook kan doen, is een extra crosslink naar de main PC leggen, naast de huidige verbinding (ik neem aan dat die naar een switch loopt?). Dan heeft de main PC een dedicated lijntje naar de fileserver toe.

[Verwijderd]

fibre channel? gaat je wel doekoes kosten

[Verwijderd]

Wilko schreef op donderdag 26 oktober 2006 @ 18:43:
Professionelere switches ondersteunen in ieder geval trunking, dat is tot 4 poorten koppelen zodat er een 4Gbit-verbinding ontstaat. Dat lijkt mij de makkelijkste oplossing.

Kan ik dat ook zonder switch doen? Dus gewoon twee extra NICs en die 'samenvoegen' tot 1 NIC die 2Gbps doen zeg maar. Kan dat in zowel Windows/FreeBSD? En daarnaast beide computers een normale gigabit link naar de switch. Maar dat iig de verbinding tussen mijn main workstation en de main fileserver op meer dan 1Gbps loopt. Maarja eigenlijk wil ik wel 300MB/s ofzo kunnen halen.

Verwijderd schreef op donderdag 26 oktober 2006 @ 18:43:
fibre channel? gaat je wel doekoes kosten

Fileservers hebben ook wat "doekoes" gekost.

Maar waar moet ik aan denken? 220 euro per NIC is nog wel te doen, daarboven wordt het me te prijzig. Maar 10GbE is wel ...

[ Voor 20% gewijzigd door Verwijderd op 26-10-2006 18:47 ]

[Verwijderd]

Zou ik mogen vragen waar je de fileserver voor gebruikt? want 70 MB/sec klinkt meer dan netjes in mijn oren

[Kluk-Kluk]

Ik denk dat Cisco de oplossing voor je probleem heeft. Zij leveren switches/routers en en NIC's met 10 Gbe.

Ik denk alleen niet dat het binnen je budget gaat vallen. Die dingen zijn redelijk onbetaalbaar, zelfs gebruikt! (Maar dat is maar een idee natuurlijk!)

[djluc]

Is het een zakelijk nut met een bijbehorend budget of is het "heeeel erg leuk voor thuis?

[Widow]

Ik heb een beetje op Ebay zitten rondkijken, het bestaat wel maar ik denk dat je beter gewoon een PSP kan kopen zodat je wat te doen hebt tijdens het binnenhalen van gegevens..

Deze veiling bijvoorbeeld: linkje

[Verwijderd]

Verwijderd schreef op donderdag 26 oktober 2006 @ 18:49:
Zou ik mogen vragen waar je de fileservers voor gebruikt? want 70 MB/sec klinkt meer dan netjes in mijn oren

In totaal 14TB storage (verdeeld over de fileservers), het wordt gebruikt als een backend voor veel dingen, waaronder number crunching, videobewerking en mijn persoonlijke opslag. Alles redundant (RAID5 en RAID6; en in mijn geval ook nog nightly backups naar een backup fileserver).

djluc schreef op donderdag 26 oktober 2006 @ 18:59:
Is het een zakelijk nut met een bijbehorend budget of is het "heeeel erg leuk voor thuis?

De 'professionele' kant heeft aan gigabit genoeg; maar aangezien de fileservers veel meer kunnen, wil ik ook meer. Dus daarom leek me een investering van zeg 600 euro in 10GbE wel het overwegen waard. Daarbij moet je wel weten dat ik storage/RAID freak ben.

En dan denk ik: ben ik dan de enige? Gigabit kan amper genoeg bandbreedte leveren voor een enkele desktopschijf; dus stel ik nu zulke hoge eisen?

Even heel iets anders: een eSATA 3GB/s link, is dat mogelijk? Denk niet dat je daarmee PCs kunt koppelen.

[Kluk-Kluk]

Verwijderd schreef op donderdag 26 oktober 2006 @ 19:14:
....knip...

De 'professionele' kant heeft aan gigabit genoeg; maar aangezien de fileservers veel meer kunnen, wil ik ook meer. Dus daarom leek me een investering van zeg 600 euro in 10GbE wel het overwegen waard. Daarbij moet je wel weten dat ik storage/RAID freak ben.

En dan denk ik: ben ik dan de enige? Gigabit kan amper genoeg bandbreedte leveren voor een enkele desktopschijf; dus stel ik nu zulke hoge eisen?

Om te beginnen, Nee je bent niet de enige, alleen de oplossingen die ik heb gezien passen niet echt in mijn budget, je hebt het hier wel over "hard-core" netwerken.

Op de markt voor particulieren is hier vrijwel niks te vinden, dan moet je gelijk naar profi apparatuur en licenses. En dat kost ontzettend veel geld.

Voor mij persoonlijk is het niet de moeite. (Als het dat voor jouw wel is, steek je licht dan eens op bij 3Com of Cisco, zij kunnen je er alles over vertellen!)

[ Voor 16% gewijzigd door Kluk-Kluk op 26-10-2006 19:30 ]

[Verwijderd]

Om even direct op je vraag te antwoorden: Zoals al eerder beschreven, trunk een paar gbit lijnen en het gaat weer wat sneller.

Je kan ook kijken naar SAN oplossingen, koop deze wel 2e hands (anders is het niet te betalen als particulier). Dit zorgt er voor dat je een aparte kaart in je pc krijgt (HBA), deze verbind met 2gb/s (of 4, 10, etc) naar de SAN. Als je dan goeie drivers en instellingen hebt, dan kan je hoge snelheden trekken naar de harde schijven, en je kan ze benaderen alsof het lokale schijven zijn. Op mijn werk trok ik "voor de herinstallatie van mn testbak" ongeveer 140MB/s, nou slechts 55MB/s (jammergenoeg), dit met 8x 36gb 10k rpm schijven. Misschien zijn er wel kleinere versies van SAN die genoeg snelheid leveren, en nog betaalbaar zijn (2e hands), dat moet je zelf uitzoeken .

Misschien is het een oplossing voor je snelheid probleem, misschien ook niet.

[hellbringer]

Kan ik dat ook zonder switch doen? Dus gewoon twee extra NICs en die 'samenvoegen' tot 1 NIC die 2Gbps doen zeg maar. Kan dat in zowel Windows/FreeBSD?

Ja! dat kan (in Windows gegarandeerd, zowel als XP als 2003, kan me niet voorstellen dat het in FreeBSD niet zou kunnen, maar heb weinig ervaring met *BSD om daar een oordeel over te geven )

Pics:



Hoewel ik nooit de performance heb kunnen meten zou dit moeten werken (d8 ik)
Kaarten van van HP & Intel kun je in een "team" laten werken d..m.v. driver/tool: http://www.cisco.com/univercd/illus/1/98/113298.jpg
http://www.brianmadden.com/content/content.asp?id=584
http://www.intel.com/supp...dapter/1000/linux/ans.htm

[ Voor 12% gewijzigd door hellbringer op 26-10-2006 21:41 ]

[PerfectPC]

Verwijderd schreef op donderdag 26 oktober 2006 @ 18:46:
Maar waar moet ik aan denken? 220 euro per NIC is nog wel te doen, daarboven wordt het me te prijzig. Maar 10GbE is wel ...

daarboven wordt het te prijzig, maar ge zijt wel aan't uitkijken naar 10GE nic's van enkele 1000'en eurootjes?

[OruBLMsFrl]

Als je een trunk van 4 gigabit lijntjes maakt met server kaarten die niet (of over een zeer high-end) switch lopen, dan zou je toch wel boven de 70 MB/s per kabel moeten komen. Totaal zou je dan dus in ieder geval 280 MB/s, maar waarschijnlijk wel 350 MB/s kunnen halen. Let alleen op de trunking zelf, als drivers dit in software implementeren en het is niet al te brilliant gedaan schuift je CPU belasting opeens flink op
Iets als http://www.intel.com/netw...t_quad_server_adapter.htm lijkt me wel wat voor je

[Bl@ckbird]

De eerste switch die dan in aanmerking zou komen is de WS-C3750G-16TD-S.

Deze heeft:
- 16 10/100/1000 poortjes (RJ45)
- 1 10Gbps XENPAK poort (Hier komt de XENPAK module dus nog overheen.)
- Backplane van 32 Gbps.

Volgens deze doc ondersteund de 3750 de volgende XENPAKs:
- XENPAK-10GB-ER
- C3-XENPAK10GB-LR

Zie ook:
http://www.cisco.com/en/U...heet09186a008007cd00.html

Als je met EtherChannel connecties gaat bundelen heb je aan een WS-C2960G-24TC-L genoeg.
Je kunt dan 4 Gigabit links bundelen. ( Is 4 gieg full duplex.)

[FatalError]

Je zegt dat je 70MByte/s haalt. Blijkbaar is er nog iets niet goed getuned, want met gigabit moet je toch wel bijna 120MByte/s kunnen halen.

Als je gaat trunken en je hebt maar 1 client, dan blijf je maximaal 1 Gbit/s halen, pas bij meerdere downloads kom je boven de 1 Gbit/s.

[ Voor 33% gewijzigd door FatalError op 27-10-2006 00:25 ]

[Verwijderd]

Verwijderd schreef op donderdag 26 oktober 2006 @ 19:36:
Om even direct op je vraag te antwoorden: Zoals al eerder beschreven, trunk een paar gbit lijnen en het gaat weer wat sneller.

Maar ik wil het dus zonder switch doen. Dus link aggregation direct van BSD fileserver naar Windows workstation. Werkt het alleen onder BSD dan kan ik ook een BSD workstation als primary inrichten.

hellbringer schreef op donderdag 26 oktober 2006 @ 21:32:
Ja! dat kan (in Windows gegarandeerd, zowel als XP als 2003, kan me niet voorstellen dat het in FreeBSD niet zou kunnen, maar heb weinig ervaring met *BSD om daar een oordeel over te geven )

Pics:
[afbeelding]
[afbeelding]

Ik zie hier dat ze gebridged worden, maar dat is wat anders, toch? Maar misschien dat link aggregation via deze techniek werkt, zou kunnen. Maar ik moet eerst onderzoeken of FreeBSD dit ondersteunt.

Bas van der Doorn schreef op donderdag 26 oktober 2006 @ 21:57:
Als je een trunk van 4 gigabit lijntjes maakt met server kaarten die niet (of over een zeer high-end) switch lopen, dan zou je toch wel boven de 70 MB/s per kabel moeten komen. Totaal zou je dan dus in ieder geval 280 MB/s, maar waarschijnlijk wel 350 MB/s kunnen halen. Let alleen op de trunking zelf, als drivers dit in software implementeren en het is niet al te brilliant gedaan schuift je CPU belasting opeens flink op
Iets als http://www.intel.com/netw...t_quad_server_adapter.htm lijkt me wel wat voor je

350MB/s doe ik het voor.
Maar ik heb ook wel TCP/IP Offloading (TOE) nodig, want anders wordt mijn CPU bottleneck met dit soort snelheden.

Bl@ckbird schreef op vrijdag 27 oktober 2006 @ 00:08:
De eerste switch die dan in aanmerking zou komen

Maar ik ben dus niet op zoek naar een switch; maar naar adapters. En die adapters dan rechtstreeks met elkaar verbinden; crosslink dus zeg maar.

FatalError schreef op vrijdag 27 oktober 2006 @ 00:24:
Je zegt dat je 70MByte/s haalt. Blijkbaar is er nog iets niet goed getuned, want met gigabit moet je toch wel bijna 120MByte/s kunnen halen.

Theoretisch 125MB/s ruwe bandbreedte ja, maar we weten allemaal dat je dat nooit haalt. Daar zijn diverse redenen voor:

- bus bottlenecks (bij PCI zeker het geval)
- latencies/congestion
- CPU bottleneck (TCP/IP offload kan hierbij helpen, maar die adapters kosten wat)
- timings
- bekabeling
- theorie is theorie, praktijk is praktijk.

Kijk eens naar deze high-end 10 Gigabit adapter:
http://www.chelsio.com/products/T210-CX.php

Deze kost veel doekoes, maar de fabrikant zelf geeft aan een throughput van 850MB/s te hebben behaald, terwijl theoretisch 1250MB/s mogelijk moet zijn met 10Gigabit. Dus zelfs deze high-end veel-doekoes kaart gaat tot 68% van de theoretische bandbreedte. Dus als je gaat FTP'en moet je denken aan 650MB/s. Daarnaast, kijk eens naar CPU utilization: 50%, en dat zal geen lullig P4 processortje zijn maar een dual/quad CPU opstelling. En dan heeft deze kaart nog wel support voor full TOE offloading, waardoor de CPU dus ontlast wordt van de TCP/IP doorvoer.

[ Voor 10% gewijzigd door Verwijderd op 27-10-2006 01:24 ]

[raymonvdm]

Wow

Maar ik denk dat je voor het budget het best kan proberen 2 quad (Intel Server) gbit kaartjes te koppelen aan elkaar en dan met Port Channeling / ChannelBonding (het is maar net hoe ze het noemen) de 4 gbit linkjes te koppelen en kijken wat ie doet. Weten wij het hier ook gelijk

[Fish]

sja 10gbase valt best mee zo te zien

bijv http://www.ciao-shopping....cure_Fiber_FX_NIC__294056

(ex glas kabeltje)

[Verwijderd]

fish schreef op vrijdag 27 oktober 2006 @ 20:13:
sja 10gbase valt best mee zo te zien

bijv http://www.ciao-shopping....cure_Fiber_FX_NIC__294056

(ex glas kabeltje)

Die is 100Megabit, toch?

[Mark Lor]

hellbringer schreef op donderdag 26 oktober 2006 @ 21:32:
[...]

Ja! dat kan (in Windows gegarandeerd, zowel als XP als 2003, kan me niet voorstellen dat het in FreeBSD niet zou kunnen, maar heb weinig ervaring met *BSD om daar een oordeel over te geven )

Dat is bridgen, zorg ervoor dat het netwerk van nic een bij het netwerk van nic2 kan. Wil je het gebruiken om te truncen krijg je dus een lekker loop in je netwerk.

[BHQ]

Heeft de TS al met window sizes gespeeld?

[Verwijderd]

Yapser schreef op vrijdag 27 oktober 2006 @ 22:27:
Heeft de TS al met window sizes gespeeld?

Je bedoelt jumbo frame, ofwel MTU? Die staat op 7k ja.
Maar de snelheid van gigabit klopt opzich wel; het is puur dat een gigabit niet genoeg is voor mijn.. wensen.

Maar ik kijk nog wel even rond, ik heb gezien dat in de maand september dit jaar de officiele 10GBaseT-standaard is afgesloten, en er dus waarschijnlijk sinds vorige maand fabrikanten als Intel/Realtek/Broadcom bezig zijn met entry-level server chips op basis van deze standaard. De vraag is hoelang dat gaat duren, ik hoop nog dit jaar een commercieel product te zien in de prijsklasse van 100 tot 250 euro, een 10GbE PCI-Express x4 kaart met support voor TOE (hetgeen zeker nodig zal zijn).

Misschien heb ik dus gewoon wat geduld nodig, misschien duurt het ook nog wel een jaar.. Iemand met iets meer zicht hierop?

[ Voor 63% gewijzigd door Verwijderd op 27-10-2006 23:35 ]

[AK47]

Verwijderd schreef op vrijdag 27 oktober 2006 @ 01:20:Theoretisch 125MB/s ruwe bandbreedte ja, maar we weten allemaal dat je dat nooit haalt. Daar zijn diverse redenen voor:

- bus bottlenecks (bij PCI zeker het geval)
- latencies/congestion
- CPU bottleneck (TCP/IP offload kan hierbij helpen, maar die adapters kosten wat)
- timings
- bekabeling
- theorie is theorie, praktijk is praktijk.

Kijk eens naar deze high-end 10 Gigabit adapter:
http://www.chelsio.com/products/T210-CX.php

Deze kost veel doekoes, maar de fabrikant zelf geeft aan een throughput van 850MB/s te hebben behaald, terwijl theoretisch 1250MB/s mogelijk moet zijn met 10Gigabit. Dus zelfs deze high-end veel-doekoes kaart gaat tot 68% van de theoretische bandbreedte. Dus als je gaat FTP'en moet je denken aan 650MB/s. Daarnaast, kijk eens naar CPU utilization: 50%, en dat zal geen lullig P4 processortje zijn maar een dual/quad CPU opstelling. En dan heeft deze kaart nog wel support voor full TOE offloading, waardoor de CPU dus ontlast wordt van de TCP/IP doorvoer.

Over gigabit kun je wel veel meer halen dan 70 MB/s. Met een fileserver van mij heb ik met wat tests ~115 MB/s gehaald, dit ging over fiber (hoewel koper dat moet kunnen halen met cat5e/cat6).

Gebruikte systeem was een dual opteron 246 + 2 GB + Areca 1120 + Intel Pro 1000MT (1000BASE-SX). CPU gebruik was daarbij wel aanzienlijk (60% over 2 CPU's). Het is wel haalbaar, dus je moet eigenlijk eerst eens zien dat je die ene gigabit vol kunt krijgen . Snelheden zijn ook afhankelijk over welk protocol je het heen pompt (FTP is sneller dan Samba/windows share bijv.).

Wil je meer dan 1 gigabit (en kun je het ook daadwerkelijk halen?). Ga dan eens kijken naar een 2 gigabit link, dit kun je doen over gigabit koper of fiber. Voor fiber kan ik je deze kaartjes (ebay) aanraden. Een 2 gigabit link kun je realiseren door middel van trunking (hardware gebasseerd - moeten je netwerkkkaarten dan ondersteunen) of load balancing (softwarelijk). In beide gevallen moet er wel met meer dan 1 connectie gewerkt worden wil er meer dan 1 gigabit gehaald worden .

[Fish]

Verwijderd schreef op vrijdag 27 oktober 2006 @ 22:10:
[...]

Die is 100Megabit, toch?

euh ja had via google wat gezocht naar die 10gbase .. vaag ...

[BHQ]

Verwijderd schreef op vrijdag 27 oktober 2006 @ 23:31:
[...]
Je bedoelt jumbo frame, ofwel MTU? Die staat op 7k ja.

Nope, receive window size. Was ooit een tooltje voor, kan het niet meer vinden