2x dubbele netwerkkaarten bundelen tot 4gbit

[Avvd]

in een servertje zitten 2 geintegreerde netwerkaarten en er zit nog één netwerkkaart met een dubbele aansluiting op.

geintegreerde netwerkkaarten:
HP NC373i 1gbit

losse netwerkaart:
intel pro/1000pt dual port

nu krijg ik het wel voor elkaar om de hp en intel kaarten ieder samen te teamen zodat ik nu 2x 2gbit heb. Helaas krijg je een mooie loop als je dit allebei op je switchen aansluit dus daarom zou ik graag deze 2 teams ook weer willen koppelen zodat ik 4gbit aan bandbreedte tot mijn beschikking heb. Weet iemand of dit mogelijk is? Ik maak gebruik van windows server 2008 enterprise.

[DJSmiley]

1. Ondersteunt je switch wel trunking? (als je tenminste optimaal dit wilt benutten)
2. Is de doorvoer van je server wel daadwerkelijk 200Mb/sec? (dan moet je al aardige schijfjes hebben, en niet teveel tegelijk doen mbt zoektijden). Ik betwijfel dat... maw: haal je de 2gbit al dat dat ook de bottleneck is?

Maar goed, een 2e intel dual-nic zou moeten werken imho.. trunken met verschillende kaarten onderling gaat niet altijd

[ Voor 16% gewijzigd door DJSmiley op 30-01-2009 20:03 ]

[Avvd]

DJSmiley schreef op vrijdag 30 januari 2009 @ 20:04:
1. Ondersteunt je switch wel trunking? (als je tenminste optimaal dit wilt benutten)
2. Is de doorvoer van je server wel daadwerkelijk 200Mb/sec? (dan moet je al aardige schijfjes hebben, en niet teveel tegelijk doen mbt zoektijden). Ik betwijfel dat... maw: haal je de 2gbit al dat dat ook de bottleneck is?

Maar goed, een 2e intel dual-nic zou moeten werken imho.. trunken met verschillende kaarten onderling gaat niet altijd

de switch ondersteund het (nortel). De doorvoer is ook niet zo'n probleem. op de server zitten 2 4gbit hba kaarten die gekoppeld zijn aan een san. ik haal +/- 500MB/s voor de doorvoer en de 2gbit is dus echt een bottleneck.

[FireDrunk]

is het niet handiger om 2 ip-adressen aan te nemen, en via 2 wegen te luisteren? of is het echt een 1-op-1 verbinding?

Edit: dit omdat trunken natuurlijk ook wat overhead met zich meebrengt, en dubbel trunken al helemaal zwaar word neem ik aan... Ook al heb je een dure switch, ik weet niet of dat ding een dubbele trunk van 4gbit aankan... Als daar dan ook nog acces-lists overheen moeten, word het wel heel zwaar...

[ Voor 56% gewijzigd door FireDrunk op 30-01-2009 20:50 ]

[Avvd]

het valt helaas allemaal in hetzelfde subnet dus het is onmogelijk om 2 ip adressen aan te nemen omdat je dan een leuke loop krijgt.

[kalizec]

Wellicht is het geen optie, of is het te duur, maar als je vier adapters moet gaan teamen om voldoende bandbreedte te hebben, is het dan onderhand niet handig om over te stappen op 10Gbit kaarten?

[FireDrunk]

Kan je niet in de switch alle 4 de poorten in de trunk stoppen?

[Avvd]

het zijn wel slechts gbit switchten die met een link van 20gbit aan elkaar zijn gekoppeld ik wil daarom in iedere netwerkpoort in één switch doen om zo een goede verdeling te krijgen.

[FireDrunk]

huh? ik vat het niet... je wil jou trunk verdelen over 4 switches?
Hoe kan je nou een link maken van 4gbit met 4 switches

[Avvd]

de switches zitten in een stack dus min of meer is het één switch (hij gedraagt zich als één switch)

[ Voor 21% gewijzigd door Avvd op 30-01-2009 21:02 ]

[FireDrunk]

Ik bedoel dat je in de software de 4 poorten van alle 4 de switches in de zelfde "Virtuele Trunk" stopt...
Op 3Com is het zo dat je een fysieke poort aan een Virtuele poort (de trunk) toekent
en hoeveel je er dan instopt maakt niet uit...
Ik weet niet of je met die nortel switches die in een stack zitten ook de poorten van fysiek andere switches in 1 trunk kan stoppen... Maar bij 3com kan dat volgens mij niet...

[Avvd]

ik zou het even moeten uitzoekn hoe het bij nortel exact zit maar ik dacht dat het kon. tot nu toe had ik daar nog geen gebruik van gemaakt met de 2 netwerkkaarten. die had ik gewoon op de server in een team gezet en deze dan in 2 verschillende switches in de stack gestopt en dat werkte opzich best goed.

[Bylie]

Bij nortel is het normaal geen enkel probleem om een MLT (Multi Link Trunk) te maken over verschillende fysieke switches binnen een stack. Alleen vraag ik me af of je uiteindelijk ook wel 4Gb/s gaat kunnen halen als je enkel verkeer tussen de SAN en de server gaat creëeren aangezien (en ik kan het hier mis hebben, don't sue me ) ik altijd dacht dat een individuele sessie altijd over enkel 1 fysiek pad loopt (1Gb/s in dit geval dus) en teaming/trunking enkel nut heeft als er veel sessies overheen lopen (de loadbalancing methode src/dst MAC hash, src/dst IP hash, ... kan dan het beste zijn werk doen) zodat de links optimaal benut kunnen worden.

Misschien is deze link ook toepasselijk aangezien hier ook methodes en best practices gegeven worden om trunks icm iSCSI optimaal te gebruiken.

[ Voor 17% gewijzigd door Bylie op 30-01-2009 21:23 ]

[Avvd]

er zijn op de san verschillende datastores aangemaakt. Op deze server zijn er 7 gekoppeld van ongeveer 80gb gemiddeld.

[Bylie]

Meerdere sessies waarschijnlijk dus , zou in theorie dus mooi moeten kunnen balancen over de 4 NIC's. Volgende probleem is dan inderdaad de 2 teams die je al hebt nog eens kunnen bundelen. Mijn ervaring met Windows op dit gebied is niet zo groot dus ik heb geen idee of dit gaat. Is het misschien, zoals iemand anders al aangaf, ook niet mogelijk om de Windows server twee IP's te geven (per NIC team 1), op deze manier kan je misschien in de iSCSI software aangeven welke LUN over welk IP/NIC team moet gaan. Zo zou je in theorie de LUN's manueel kunnen balancen over je twee NIC teams?

[Verwijderd]

Bylie schreef op vrijdag 30 januari 2009 @ 21:21:
Bij nortel is het normaal geen enkel probleem om een MLT (Multi Link Trunk) te maken over verschillende fysieke switches binnen een stack. Alleen vraag ik me af of je uiteindelijk ook wel 4Gb/s gaat kunnen halen als je enkel verkeer tussen de SAN en de server gaat creëeren aangezien (en ik kan het hier mis hebben, don't sue me ) ik altijd dacht dat een individuele sessie altijd over enkel 1 fysiek pad loopt (1Gb/s in dit geval dus) en teaming/trunking enkel nut heeft als er veel sessies overheen lopen (de loadbalancing methode src/dst MAC hash, src/dst IP hash, ... kan dan het beste zijn werk doen) zodat de links optimaal benut kunnen worden.

Misschien is deze link ook toepasselijk aangezien hier ook methodes en best practices gegeven worden om trunks icm iSCSI optimaal te gebruiken.

Volgens mij hangt dat af van de manier van teamen.

In principe kun je gewoon 4 NICs in 1 team zetten, dus ja het kan. 2 teams gaan teamen lijkt me een beetje vreemd (werd gesuggereerd nl.)
Als je dit doet voor iSCSI, dat team je niet, daar gebruik je mpio voor..?

[Avvd]

ik maak overigens geen gebruik van iSCSI maar van fibelchannel schijven icm een hp eva san (mpio). De mogelijkheden zijn ongeveer hetzelfde. Aan dat laatste heb ik inderdaad niet gedacht maar misschien dat iets in die software zit.

ik probeer het nu voor elkaar te krijgen met de hardware die ik heb in de server. 2 hp(Broadcom) kaarten en 2 intel pt kaarten. als je een manier hebt om deze 4 samen in één team te zetten dan hoor ik het graag want hp werkt natuurlijk weer niet graag samen met intel

[ Voor 37% gewijzigd door Avvd op 30-01-2009 21:42 ]

[Bylie]

Blueone schreef op vrijdag 30 januari 2009 @ 21:39:
ik maak overigens geen gebruik van iSCSI maar van fibelchannel schijven icm een hp eva san (mpio). De mogelijkheden zijn ongeveer hetzelfde. Aan dat laatste heb ik inderdaad niet gedacht maar misschien dat iets in die software zit.

ik probeer het nu voor elkaar te krijgen met de hardware die ik heb in de server. 2 hp(Broadcom) kaarten en 2 intel pt kaarten. als je een manier hebt om deze 4 samen in één team te zetten dan hoor ik het graag want hp werkt natuurlijk weer niet graag samen met intel

Mja meestal ben je op gebied van teaming overgeleverd aan de software van de NIC fabrikanten en ik vrees dat wanneer je inderdaad 2 verschillende merken hebt het moeilijk wordt om deze te teamen met de Intel of Broadcom software. Dit is alleszins mijn (beperkte) ervaring toch met teaming op Windows.

[Avvd]

dit maakt mijn "probleem" iets duidelijker:
dit is een testje van 3 pc's met een gbit netwerkkaart aangesloten op de nortel stack.

dit is de load van het hp team van netwerkkaarten op de server:

Dit is overigens maar naar één datastore op de san. dus 3 pc's die dezelfde netwerkshare benaderen.

[ Voor 16% gewijzigd door Avvd op 30-01-2009 22:28 ]

[Bylie]

Die 2Gb/s zit inderdaad redelijk vol . Kun je voor de volledigheid een schetsje maken (ASCII will do) van de setup want ik denk dat ik nog ergens iets mis.

[Dronium]

Simpelste oplossing is het vervangen van je Dual Intel-nic door een Dual HP-nic, dan kun je de teaming regelen met de HP software. Anders zul je opzoek moeten naar 3th party software die nic's van verschillende fabrikanten kan bundelen.

[Avvd]

mja de servers zitten in een cluster en aangezien die kaarten weer 300euro per stuk kosten ben je in totaal weer 600 euro kwijt. Toch net iets te veel om "even" uit te geven.

[_Arthur]

Blueone schreef op zaterdag 31 januari 2009 @ 14:46:
mja de servers zitten in een cluster en aangezien die kaarten weer 300euro per stuk kosten ben je in totaal weer 600 euro kwijt. Toch net iets te veel om "even" uit te geven.

Tenzij je tevreden bent met 2 maal een 2ports trunk, zal je dit toch moeten doen.

Gaat je niet lukken om 2 verschillende merken NIC's tot 1 grote trunk te bundelen.

[DukeBox]

Blueone schreef op vrijdag 30 januari 2009 @ 20:59:
...ik wil daarom in iedere netwerkpoort in één switch doen om zo een goede verdeling te krijgen.

Houd er rekening me dat nortel trunks over alle switches samenvoegt op basis van een broadcast model over de stack's. Jouw 'verdeling' levert dus eigenlijk een ver viervoudiging van het verkeer over de backbone op.
Doe je een trunk in 1 switch dan heb je daar geen last van.
Maar om weer op je vraag terug te komen,
Je HP NIC's zijn niet toevallig Intel OEM's ? In dat geval kun je de intel driver gebruiken en ook trunks maken met je onboard kaarten (let wel op dat ze dezelfde offload capabilities hebben, die worden namelijk uitgeschakeld als een van de kaarten iets niet ondersteund.).
Een nadere optie is nog 2 trunks en over die 2 trunks smart failover configureren.. peer2peer haal je dan nog 2gbit maar met 2 of meer dus wel.
Je kan natuurlijk ook (mits er ruimte is) er een intel dual nic bijplaatsen van het zelfde type.

[Bylie]

DukeBox schreef op zaterdag 31 januari 2009 @ 14:57:
[...]

Houd er rekening me dat nortel trunks over alle switches samenvoegt op basis van een broadcast model over de stack's. Jouw 'verdeling' levert dus eigenlijk een ver viervoudiging van het verkeer over de backbone op.
Doe je een trunk in 1 switch dan heb je daar geen last van.

Dit kan een nadeel zijn idd alhoewel ik denk dat de meeste switches wel backplane throughput genoeg hebben om hier geen problemen van te ondervinden. Vanuit faulttolerance standpunt vind ik een MLT over verschillende switches van een stack zelfs aan te raden aangezien een uitval van een switch in de stack dan enkel verminderde bandbreedte betekend ipv volledige linkverlies. Zo hebben wij voor de storage LAN (alles over iSCSI bij ons) een dedicated stack van 2 Nortel 5510's waarover we telkens trunks maken van 4 links (2 links per 5510) om op die manier een uitval van 1 5510 op te kunnen vangen. Dat dit intern via broadcasting opgelost werd wist ik niet maar lijkt me wel logisch inderdaad, op dat gebied is een SMLT slimmer dacht ik aangezien deze zo min mogelijk verkeer over de IST laat gaan.

[DukeBox]

Bylie schreef op zaterdag 31 januari 2009 @ 15:41:
Dit kan een nadeel zijn idd alhoewel ik denk dat de meeste switches wel backplane throughput genoeg hebben om hier geen problemen van te ondervinden.

Meestal wel.. maar als je nog meer van dat soort trunks hebt
Daarnaast kan met gebruik van jumbo frames je latency iets omhoog gaan (denk niet dat het merkbaar is, missschien een 10e ms) aangezien je met 4 switches (4x8k) over de buffersize gaat per poort (16k) en er gefragmenteed moet worden op de backplane, ik weet niet hoe de huidige generatie daar mee omgaat, dus misschien hebben ze het al opgelost (werk al een jaar niet meer met nortel).

[ Voor 22% gewijzigd door DukeBox op 31-01-2009 16:35 ]

[Verwijderd]

Blueone schreef op vrijdag 30 januari 2009 @ 21:39:
ik maak overigens geen gebruik van iSCSI maar van fibelchannel schijven icm een hp eva san (mpio). De mogelijkheden zijn ongeveer hetzelfde. Aan dat laatste heb ik inderdaad niet gedacht maar misschien dat iets in die software zit.

ik probeer het nu voor elkaar te krijgen met de hardware die ik heb in de server. 2 hp(Broadcom) kaarten en 2 intel pt kaarten. als je een manier hebt om deze 4 samen in één team te zetten dan hoor ik het graag want hp werkt natuurlijk weer niet graag samen met intel

De BASP software van Broadcom kan dit gewoon volgens mij? Die kan iig een team bouwen tussen de broadcoms en de intels..alleen 4 NICs teamen heb ik alleen met HP software gedaan (4x 100Mbit HP NICS)dus dat kan ik even niet garanderen.

Ik weet niet of de ProSet van intel ook de broadcoms kan teamen..dacht van niet..

[DukeBox]

Verwijderd schreef op zaterdag 31 januari 2009 @ 18:42:
Ik weet niet of de ProSet van intel ook de broadcoms kan teamen..dacht van niet..

Het kan niet, en je wilt het niet
Net als BASP, je levert heel wat performance (lees: offload) in wanneer je mixed hardware gaat gebruiken.
Zeker als je kijkt wat een intel dual MT kaart kost (70€) is dat de moeite niet waard.
Wat ook een flinke performance killer is is dat je dan geen interrupt moderation meer hebt..
Met BASP heb ik overigens ook nooit meer dan 1Gbit peer2peer kunnen halen, met intel links tot 40Gbit (4x10Gbit) zonder problemen tot 93% vol weten te trekken.

[ Voor 13% gewijzigd door DukeBox op 31-01-2009 18:54 ]

[Avvd]

die hp kaarten zijn oem broadcom kaarten. nu werkt het erg mooi met de failover van de 2 gbit. Als er één switch uitvalt schakelt hij gewoon terug naar 1gbit. De switchtes hebben dack ik een backplane van 20 of 30gbit dus dan moet niet zo'n probleem zijn. Volgende week heb komt er toevallig nog een nortel specialist langs die een andere switch komt in configureren (ben zelf niet heel bekend met de details). Eens aan hem vragen hoe je precies een trunk maakt op een stack. Heb je dan overigens ook iets van een stukje software nodig op je server zodat hij begrijpt dat ze bij elkaar horen en dat je geen loop krijgt. het zijn overigens 4 nortel 5530 switches in een stack

[ Voor 4% gewijzigd door Avvd op 31-01-2009 19:21 ]

[DukeBox]

Heb je dan overigens ook iets van een stukje software nodig op je server zodat hij begrijpt dat ze bij elkaar horen en dat je geen loop krijgt.

Ja, zoals de eerder genoemde BASP van Broadcom of Intel Proset van.... jawel, Intel
Echt andere merken zijn er niet echt (niet mainstream tenminste).

[ Voor 3% gewijzigd door DukeBox op 31-01-2009 19:20 ]

[Avvd]

ik had even niet in de gaten dat er al 2 pagina's waren en ik bedoel een stukje software als je je trunk op je swich maakt inplaats van op de server.

[ Voor 44% gewijzigd door Avvd op 31-01-2009 19:27 ]

[Avvd]