NAS te traag, shared DAS, SAN, SAS systemen? hoe wat en waar

[Flaat]

Beste Tweakers

ik heb een klein bedrijf met 4 workstations waar simulaties en werkzaamheden aan grote files op worden gedaan (sorry kan er verder niet meer over zeggen). We hebben nu een NAS op een 1gbe netwerk systeem maar dit begint te langzaam te worden door de 1gbe bottleneck.
Ik heb zelf wat onderzoek gedaan naar de opties om sneller te worden maar kom er niet uit.
Een 10gbe netwerk is momenteel nog erg duur door de switches en de kaarten die nodig zijn per systeem, ik denk te duur.

Het probleem waar we nu tegenaan lopen is dat de workstations eigenlijk ongeveer 1/3 van de storage op de nas nodig hebben om werk te doen. Het kan dus erg lang duren om een taak vanaf de nas te trekken en het kost extra geld om technisch gezien onnodige storage op de workstations te hebben

Ik heb zelf geen ervaring en kennis over high speed networked storage en zou graag wat tips krijgen over waar te beginnen.

Ik zie het zo voor me

1 centrale storage server waar 4 workstations met op z'n minst sata 6gbps equivalent (liefst hoger) data op kunnen gebruiken. De storage server heeft een network pool die shared is waar alle workstations tegelijk bij kunnen. Niet nodig om een bepaalde set data op 2 workstations tegelijk open te hebben maar wel een mooie extra.

Dit hoeft dus niet over ethernet en hoeft ook niet van buitenaf beschikbaar te zijn met hoge snelheden, verder hoeft het ook niet makkelijk uitbreidbaar te zijn naar meer dan 4 workstations.

De vraag is dus, hoe doe je dit, en hoe doe je zo goedkoop mogelijk qua infrastructuur.

PS: ik weet er geen drol van, en begon letterlijk te zoeken bij usb en thunderbolt systemen die totaal niet gemaakt zijn voor dit soort dingen.

[The_Vice]

Even commentaar vanaf de zijlijn; heb je al uitgerekend wat de wachttijd je nu kost?
Wellicht maakt dat de schijnbaar dure investering dragelijker.

[Rolfie]

Misschien gewoon data lokaal bewaren?
En zijn de disken niet de limitatie in plaat van de netwerk kaart?

Ik denk dat je eerst eens wat meer informatie moet geven, want momenteel kunnen we er niet zoveel mee. We kunnen dingen roepen, maar zonder meer informatie is er eigenlijk helemaal niets nuttigs te zeggen.
Wat bijvoorbeeld nuttige informatie is:

• Hoe benader je de storage? Share, Block device?
• Hoeveel storage heb je nodig?
• Redudantie nodig op je storage?
• Hoeveel IO nodig?
• Moet de data gelijktijdig benaderd worden?
• Wat voor een OS gebruik je momenteel op je clients?
• Wat het mag kosten? 100 euro, 1000 euro, 5000 euro?

[.Maarten]

Voor 4 pc's zou ik toch gewoon snelle opslag in de pc's zelf drukken. Veel sneller dan netwerk.

Misschien is Het mogelijk om netwerkkaarten te koppelen? Als de nas en switch dat ondersteund zodat je meerdere gigabit links hebt?

[Umbrah]

Hai. Big data achtergrond hier, en voldoende HPC ervaring. De eerste vraag die er bij mij opkomt is: "wat doe je wat zo veel capaciteit nodig heeft (bandbreedte) dat je met 4 workstations al een bottleneck voelt". Daar wil je niks over zeggen, dus je zult het moeten doen met halfbakken antwoorden. Als het echt een probleem was en het was een bedrijf met iets wat goed in de markt lag, dan had je al lang een consultant á €95/uur ingehuurd om je te helpen (als in: de vraag, wat kost de wachttijd je?)

Storage en dus bandbreedte is al genoemd, maar ook latency zeg je erg weinig over. De hoeveelheid IOPS zijn voor big data wel goed om te weten eigenlijk. En hoe latency-kritiek is het?

Los van wat je doet, een mechanische harddisk is doorgaans al beperkend voordat een enkele 1gbit verbinding een beperking wordt. Klinkt lullig, maar een koud, hard, feit.

Vergelijkingen met S-ATA 6gbit is denk ik nogal rottig omdat je doorgaans S-ATA niet als limiet zult ervaren, tenzij je een behoorlijk stevige enterprise array (en dan heb je het al snel richting >€5k) aan mecha-disks of SSD's gebruikt. SSD is per megabyte nogal duur, en gezien je ook niks hebt verteld over wat er nu staat, tja, weinig om vanuit te gaan (behalve dat je alles duur vind, dus een mecha-disk ga ik maar van uit).

Rolfie stelt de juiste vragen, en daar wil ik bovenop gooien: wat kost dit je op het moment, en je toch proberen te motiveren te vertellen wat je aan het doen bent.

Grote file is een zeer ruim begrip, sommige mensen vinden 2GB al groot.

Mijn advies: besteed dit uit.

Doe dat, of geef meer informatie zodat we beter kunnen nadenken, en dan nog: dit is een nogal niet GOT-niveau vraagstuk... er is weinig vooronderzoek gedaan, en je vragen zijn erg algemeen. Als je een compleet verkeerd advies wilt horen:

* Dikke bak met vette Core i7 met FreeNAS en 32gig RAM er op, en een gigantische lading disks in een ZFS array, en een 10gbit link naar een switch met een stevige hoeveelheid 1gbit poorten er naast.

[Flaat]

Bedankt voor alle uitgebreide antwoorden
Ik begrijp de irritatie over de summiere informatie.

Veel van de vragen over iops en latency ga ik nog uitzoeken, maar ik heb er wel een idee over. Latency vergelijkbaar met lokale opslag of in elk geval zo dichtbij mogelijk. Meer dan 5 meter fysieke afstand wordt het niet.

Het is ook niet dat ik hier vraag om een perfecte setup voor deze array. Ik zoek vooral meer tips voor leesmateriaal over systemen die hier geschikt voor zijn. Tevens helpen de vragen die hier gesteld worden helpen mij enorm met het definiëren van wat er nog uitgezocht moet worden.

Nogmaals ik weet hier niet veel over en ik merkte bij het zoeken dat de informatie (vooral over shared DAS via SAS) niet geschreven is voor iemand die er geen kennis van heeft. Normaal kom ik er op een bepaald moment wel uit maar hier moet ik hulp bij vragen, of dat uitbesteed wordt of verder uitgevogeld moet ik nog bezien.

Umbrah schreef op zondag 18 oktober 2015 @ 22:19:

Los van wat je doet, een mechanische harddisk is doorgaans al beperkend voordat een enkele 1gbit verbinding een beperking wordt. Klinkt lullig, maar een koud, hard, feit.

Vergelijkingen met S-ATA 6gbit is denk ik nogal rottig omdat je doorgaans S-ATA niet als limiet zult ervaren, tenzij je een behoorlijk stevige enterprise array (en dan heb je het al snel richting >€5k) aan mecha-disks of SSD's gebruikt. SSD is per megabyte nogal duur, en gezien je ook niks hebt verteld over wat er nu staat, tja, weinig om vanuit te gaan (behalve dat je alles duur vind, dus een mecha-disk ga ik maar van uit).

Bedankt voor je uitgebreide en eerlijke antwoord

Een mechanische harde schijf leest tegenwoordig veel sneller dan 125mb/s dus is een 1gbit netwerk wel degelijk een limitatie. Sata 6gb is dus een target dat op z'n minst behaald moet worden. We gebruiken ssd's en het hoeft allemaal niet supercheap, maar elke stap richting een goedkoper systeem is een nuttige.

.Maarten schreef op zondag 18 oktober 2015 @ 22:08:
Voor 4 pc's zou ik toch gewoon snelle opslag in de pc's zelf drukken. Veel sneller dan netwerk.

Misschien is Het mogelijk om netwerkkaarten te koppelen? Als de nas en switch dat ondersteund zodat je meerdere gigabit links hebt?

Dat is dus niet helemaal waar, een shared DAS met 12gbps sas is gewoon sneller dan lokaal en scheelt significant aan totale harde schijf kosten. Het kan zijn dat blijkt dat het systeem dat daar nodig voor is veel te duur is en daarmee het niet waard maar dat probeer ik uit te zoeken. Zal kijken naar het koppelen van gbit lijnen als optie.

Rolfie schreef op zondag 18 oktober 2015 @ 22:07:
Misschien gewoon data lokaal bewaren?
En zijn de disken niet de limitatie in plaat van de netwerk kaart?

Ik denk dat je eerst eens wat meer informatie moet geven, want momenteel kunnen we er niet zoveel mee. We kunnen dingen roepen, maar zonder meer informatie is er eigenlijk helemaal niets nuttigs te zeggen.
Wat bijvoorbeeld nuttige informatie is:

• Hoe benader je de storage? Share, Block device?
• Hoeveel storage heb je nodig?
• Redudantie nodig op je storage?
• Hoeveel IO nodig?
• Moet de data gelijktijdig benaderd worden?
• Wat voor een OS gebruik je momenteel op je clients?
• Wat het mag kosten? 100 euro, 1000 euro, 5000 euro?

• Hoe benader je de storage? Share, Block device? Geen idee, ga ik uitzoeken
• Hoeveel storage heb je nodig? Rond de 30tb
• Redudantie nodig op je storage? 2 drive failure
• Hoeveel IO nodig? Geen idee, ga ik uitzoeken
• Moet de data gelijktijdig benaderd worden? Niet per se, zou een mooie extra zijn
• Wat voor een OS gebruik je momenteel op je clients? Linux
• Wat het mag kosten? 100 euro, 1000 euro, 5000 euro? systeem rond de 1500 a 2000 zonder schijven zou mooi zijn

Links naar leesvoer en systemen en standaarden die hiervoor geschikt zijn is zeer welkom.

[Wim-Bart]

Zolang je Standaard HDD oplossing zonder bijvoorbeeld flashcache in een NAS gebruikt krijg je 1Gbps niet vol. Grote bottleneck is je filesystem in combinatie met de disks. Je kan je netwerk bottleneck, als je die al hebt oplossen door op je storage 2 of meer adapters te teamen. In jouw geval zal 2 kaarten voldoende zijn. Verdere optimalisaties kan je krijgen door meer spindles (platters en disks) te nemen Raid 10 met 8 disks is 2x zo snel als raid 10 met 4 disks. Snelheid van RAID 5 of 6 is gelijk aan traagste disk in de set. Je zou bijvoorbeeld naar RAID 50 of 60 kunnen. RAID 50 van 4xRAID 5 in stripe is 4 x zo snel als raid 5.Toevoegen SSD fastcache zal het allemaal nog veel sneller zijn.

De vraag is hoe ver je wil gaan. Maar als ik lees dat je 30 TB wilt hebben zou ik budget toch even wat bijstellen.

[Q]

Flaat schreef op zondag 18 oktober 2015 @ 23:41:
Bedankt voor alle uitgebreide antwoorden
Ik begrijp de irritatie over de summiere informatie.

• Wat voor een OS gebruik je momenteel op je clients? Linux


Links naar leesvoer en systemen en standaarden die hiervoor geschikt zijn is zeer welkom.

Mooi.

Probleem opgelost, eindelijk iemand die wat aan de informatie over bonding heeft in mijn signature.

http://bit.ly/K728Sk

Als servers en clients allemaal linux zijn, dan gaat dit werken.

Als je in al je workstations een 2-poorts PCIe netwerk adapter stopt en wat kabels trekt naar een managed switch ga je er uitkomen. Het resultaat is dat een werkstation dan 2 Gigabit kan trekken ~ 200+ MB/s.

Het is wel zo dat de workstations die bandbreedte delen met elkaar. Je kunt trucs uit halen, je server heeft 4 poorten waarbij je dan 2 keer een bond maakt van 2 poorten. De werkstations verdeel je dan over de interfaces. De Server heeft dan 400MB/s beschikbaar. Clients kunnen max 200 MB/s halen.

[ Voor 37% gewijzigd door Q op 21-10-2015 22:26 ]

[rikadoo]

zoals Q al zegt,

4x een quad netwerk kaart (pricewatch: HP NC375T PCI Express Quad Port Gigabit Server Adapter) Zoiets is ook goedkoper te krijgen via ebay. Bonding.

Wat voor NAS systeem heb je nu? Linux PC? Zou je daar ook een Quad port kaart in kunnen doen en dan een geschikte netwerkswitch die bonding ondersteund. Dan kom je al een heel eind volgens mij.

[Flaat]

Q schreef op woensdag 21 oktober 2015 @ 21:44:
[...]


Mooi.

Probleem opgelost, eindelijk iemand die wat aan de informatie over bonding heeft in mijn signature.

http://bit.ly/K728Sk

Als servers en clients allemaal linux zijn, dan gaat dit werken.

Als je in al je workstations een 2-poorts PCIe netwerk adapter stopt en wat kabels trekt naar een managed switch ga je er uitkomen. Het resultaat is dat een werkstation dan 2 Gigabit kan trekken ~ 200+ MB/s.

Het is wel zo dat de workstations die bandbreedte delen met elkaar. Je kunt trucs uit halen, je server heeft 4 poorten waarbij je dan 2 keer een bond maakt van 2 poorten. De werkstations verdeel je dan over de interfaces. De Server heeft dan 400MB/s beschikbaar. Clients kunnen max 200 MB/s halen.

Kijk dit waren het soort denkrichtingen waar ik naar opzoek was!

Dit zou zeer goedkoop gedaan kunnen worden aangezien alle workstation moederborden 2 netwerkpoorten hebben en dus alleen de Rockstor draaiende server een nieuwe kaart nodig heeft. Managed switch met genoeg poorten hebben we al.

De server heeft al 2 onboard netwerk poorten, als ik een quad nick kaart koop en 2 keer een bond maak van 3 poorten en die verdeel over 2 poorten naar de workstations kan ik 600MB/s vanuit de server en 200MB/s naar de workstations trekken? Of spelen onboard poorten en poorten op een pcie kaart niet lekker samen?

Ik ga ieg even klussen en dit testen, bedankt voor de tip!

[Q]

Je bent nog niet klaar.

Alle werkstations hebben 3 netwerk kaarten nodig. Twee voor de bonding en 1 voor je 'gewone' netwerk. Want je kunt niet internetten over je bond interface. Je kunt alleen communiceren met andere apparaten die ook een bond hebben met het zelfde aantal netwerk kaarten in de bond.

Dus grofweg heb je straks twee netwerken: een regulier netwerk voor internet etc. En een netwerk voor de storage. Een extra netwerk poortje kost misschien 25 euro dus dat is niet zo'n issue. Maar je heb straks dus 3 kabels uit ieder werktation steken.

Nog een tip: je kunt een managed switch kopen met veel poorten en met VLANs aan de slag. Wat je ook kunt doen is twee losse 'domme' switches gebruiken waarbij interface 1 van alle machines op switch 1 zit, en interface 2 op de 2e switch. Met 2 x een 8-poorts switch ben je er al.

Hou het in eerste instantie even simpel. en gebruik op je server gewoon ook 2 interfaces. De werkstations moeten de 2GB dan delen, maar zorg er eerst maar voor dat het werkt.

In 2e instanties kun je op de server dan 1 of 2 extra bonds maken met 2 interfaces, dus ook 2 extra IP-netwerken waar je dan je werkstations over verdeeld.

[Verwijderd]

Moet je echt die bestanden helemaal hebben voor je de simulaties/bewerkingen uit te kunnen voeren? De goedkoopste oplossing is anders om een deel te bewerken en op de achtergrond de data transfers te doen terwijl je een al rekent.

Maar ik heb makkelijk praten mijn probleem is bijna perfect paralliseerbaar. (rekentijd schaalt ook mooi met CPU cores)

[dehardstyler]

Q schreef op woensdag 21 oktober 2015 @ 21:44:
[...]


Mooi.

Probleem opgelost, eindelijk iemand die wat aan de informatie over bonding heeft in mijn signature.

http://bit.ly/K728Sk

Als servers en clients allemaal linux zijn, dan gaat dit werken.

Als je in al je workstations een 2-poorts PCIe netwerk adapter stopt en wat kabels trekt naar een managed switch ga je er uitkomen. Het resultaat is dat een werkstation dan 2 Gigabit kan trekken ~ 200+ MB/s.

Het is wel zo dat de workstations die bandbreedte delen met elkaar. Je kunt trucs uit halen, je server heeft 4 poorten waarbij je dan 2 keer een bond maakt van 2 poorten. De werkstations verdeel je dan over de interfaces. De Server heeft dan 400MB/s beschikbaar. Clients kunnen max 200 MB/s halen.

Dit werkt ook op Windows denk ik, of niet?

[rikadoo]

dehardstyler schreef op donderdag 22 oktober 2015 @ 12:11:
[...]


Dit werkt ook op Windows denk ik, of niet?

Alleen de Windows Server editities ondersteunen dit geloof ik, Windows 7, 8(.1), en 10 niet.

[Q]

dehardstyler schreef op donderdag 22 oktober 2015 @ 12:11:
[...]


Dit werkt ook op Windows denk ik, of niet?

Nee dit werkt niet onder windows, voor zover ik weet. Of vendors moeten round-robin load balancing in hun eigen drivers hebben gestopt. Maar daar kan ik geen bewijs voor vinden.

[ Voor 6% gewijzigd door Q op 22-10-2015 13:14 ]

[dehardstyler]

Q schreef op donderdag 22 oktober 2015 @ 13:13:
[...]


Nee dit werkt niet onder windows, voor zover ik weet. Of vendors moeten round-robin load balancing in hun eigen drivers hebben gestopt. Maar daar kan ik geen bewijs voor vinden.

Is dit niet waar het over gaat: http://support.gizmopower...eaming-link-aggregagation

Puur uit interesse, lijkt me leuk om te proberen

[Verwijderd]

Umbrah schreef op zondag 18 oktober 2015 @ 22:19:
* Dikke bak met vette Core i7 met FreeNAS en 32gig RAM er op, en een gigantische lading disks in een ZFS array, en een 10gbit link naar een switch met een stevige hoeveelheid 1gbit poorten er naast.

Afhankelijk van wat hij wil kan dat ook best goed advies zijn ;-) Voor mij werkte het in ieder geval prima (Alleen dan met dikke vette Xeon en 64GB RAM) ;-)

Veel data wil niet altijd zeggen Big Data!

[Q]

dehardstyler schreef op donderdag 22 oktober 2015 @ 13:32:
[...]


Is dit niet waar het over gaat: http://support.gizmopower...eaming-link-aggregagation

Puur uit interesse, lijkt me leuk om te proberen

Nee, dit is niet het zelfde concept. Dit is hoe regulier bonding werkt, waarbij clients over de fysieke interfaces worden verdeeld.

Clients kunnen individueel nooit sneller dan 1 Gb/s. Maar de server kan, doordat je meerdere interfaces gebruikt, dus veel meer clients tegelijk op 1 Gb/s bedienen. De server kan dan totaal best 2 Gb ( 2 interfaces ) of 4 Gb/s ( 4 interfaces) aan - mits de storage het bij kan benen - maar de clients gaan niet harder en dat is juis wat je wel wilt.

[ Voor 12% gewijzigd door Q op 22-10-2015 14:14 ]

[dehardstyler]

Q schreef op donderdag 22 oktober 2015 @ 14:05:
[...]


Nee, dit is niet het zelfde concept. Dit is hoe regulier bonding werkt, waarbij clients over de fysieke interfaces worden verdeeld.

Clients kunnen individueel nooit sneller dan 1 Gb/s. Maar de server kan, doordat je meerdere interfaces gebruikt, dus veel meer clients tegelijk op 1 Gb/s bedienen. De server kan dan totaal best 2 Gb ( 2 interfaces ) of 4 Gb/s ( 4 interfaces) aan - mits de storage het bij kan benen - maar de clients gaan niet harder en dat is juis wat je wel wilt.

Ahh vandaar. Thanks voor de uitleg!!

[BitJager]

Je kan niet zomaar interface bijduwen in die storage server en denk dat je een 1 op 1 winst hebt, dat al helemaal niet met Quad 1Gb/s PCIe kaarten. De kans is zeer groot dat de PCIe bus van die "storageserver" verzadigt zal zijn wat al gevolg heeft dat uw setup nooit volledig tot zijn recht kan komen. Vragen die ik me stel.

a) Welke type disks gebruik je nu
b) hoe zijn die verbonden
c) hardware controller met eigen cpu & memory of build-in controller die eigenlijk eerder een software oplossing is
d) het moederbord is dat een echt server mobo ja of neen
e) zit er ECC RAM in dat ding, vrij belangrijk als je zoveel interfaces en disks in één doos wilt stoppen. Eigenlijk mag je pas het woord "server" in de mond nemen zodra er ECC ram is.
f) CPU type? aantal cores... ?

In uw situatie zou ik een entry level enterprise oplossing voorstellen met een SSD & SAS Tier.

Je mag me altijd een PM sturen.

[ Voor 10% gewijzigd door BitJager op 22-10-2015 15:56 ]

[S0epkip]

Q schreef op woensdag 21 oktober 2015 @ 21:44:
[...]


Mooi.

Probleem opgelost, eindelijk iemand die wat aan de informatie over bonding heeft in mijn signature.

http://bit.ly/K728Sk

Power usage about 200 Watt idle

Niks voor mij dus
Voor de TS: power usage kost natuurlijk ook geld. Hoe zwaar weegt dit mee in de selectie?

[Q]

FilipV. schreef op donderdag 22 oktober 2015 @ 15:53:
Je kan niet zomaar interface bijduwen in die storage server en denk dat je een 1 op 1 winst hebt, dat al helemaal niet met Quad 1Gb/s PCIe kaarten. De kans is zeer groot dat de PCIe bus van die "storageserver" verzadigt zal zijn wat al gevolg heeft dat uw setup nooit volledig tot zijn recht kan komen.

Hier klopt helaas niets van.

Als je de link naar mijn tests volgt dan kun je zien dat ik met quad-poort kaarten 450 MB/s haal. Sterker nog, met 5 interfaces ga ik over de 500MB/s heen.

PCIe heeft zat bandbreedte beschikbaar voor dit soort zaken.

Het werkt dus wel, zo lang je maar overal het zelfde aantal interfaces gebruikt.

Vragen die ik me stel.

Acquisitie

Het lijkt allemaal om sequentiele doorvoer te gaan. Met meerdere clients wil je dan wel een vlotte array met pittig wat disks want anders kan de server de clients niet bijbenen.

S0epkip schreef op donderdag 22 oktober 2015 @ 16:00:
[...]


Power usage about 200 Watt idle

Niks voor mij dus
Voor de TS: power usage kost natuurlijk ook geld. Hoe zwaar weegt dit mee in de selectie?

Stroom kosten zijn 2 euro per watt, dus 400 per jaar. Dat is kruimels voor een bedrijf.
Mijn server staat meestal gewoon uit.

[ Voor 20% gewijzigd door Q op 22-10-2015 23:12 ]

[BitJager]

Hier klopt helaas niets van.

Als je de link naar mijn tests volgt dan kun je zien dat ik met quad-poort kaarten 450 MB/s haal. Sterker nog, met 5 interfaces ga ik over de 500MB/s heen.

PCIe heeft zat bandbreedte beschikbaar voor dit soort zaken.

Het werkt dus wel, zo lang je maar overal het zelfde aantal interfaces gebruikt.

Beste,

Met jouw mobo is dat idd geen issue.

[ Voor 11% gewijzigd door BitJager op 23-10-2015 09:11 ]

[_-= Erikje =-_]

Niet internetten over een bond, pardon?

Je kan onder linux prima per packet round robin doen over een bond (mode=0, default value).
Wat er aan de andere kant staat maakt niet direct uit. Bij wat traditionelere setups (denk aan LACP etc) kun je tot maximaal 1 Gbit per stream. Ga je zaken als iSCSI gebruiken (met dan wel een clustered filesystem) kun je net zo veel kaarten gebruiken als je wilt. Let wel, linux doet standaard per packet, maar het is meer afhankelijk van hoe je switch loadbalancing doet binnen etherchannels

Mocht je naar snellere oplossingen willen kijken zou je eens kunnen kijken naar Melanox, dat is 10/40 gbit voor een redelijke prijs.

[maratropa]

Of wat oudere infiniband dualport kaarten (mellanox) scoren op ebay? (of bedoelde erikje dat?)Ff een netwerkje met windows clients maken schijnt lastiger te zijn, maar met Linux zijn de mogelijkheden wat groter dacht ik (om tot een full speed oplossing te komen)

Zo las ik over gasten in de vs die zo low budget CFD simulatie pc's aan elkaar knopen

[ Voor 3% gewijzigd door maratropa op 23-10-2015 10:40 ]

[Q]

_-= Erikje =-_ schreef op vrijdag 23 oktober 2015 @ 10:17:
Niet internetten over een bond, pardon?

Je kan onder linux prima per packet round robin doen over een bond (mode=0, default value).
Wat er aan de andere kant staat maakt niet direct uit. Bij wat traditionelere setups (denk aan LACP etc) kun je tot maximaal 1 Gbit per stream. Ga je zaken als iSCSI gebruiken (met dan wel een clustered filesystem) kun je net zo veel kaarten gebruiken als je wilt. Let wel, linux doet standaard per packet, maar het is meer afhankelijk van hoe je switch loadbalancing doet binnen etherchannels

Mocht je naar snellere oplossingen willen kijken zou je eens kunnen kijken naar Melanox, dat is 10/40 gbit voor een redelijke prijs.

Mijn ervaring is dat het wel degenlijk uitmaakt wat er aan de andere kant zit als je round-robin toepast.

Als je Linux round-robin goed implementeert met verschillende VLANs/switches dan werkt internet alleen als je router ook deel uit maakt van de verschillende VLANs/switches en mee doet in de bonding.

Anders heb je simpelweg packet-loss omdat de router de helft van de pakketten niet ziet als je router maar een enkele interface heeft.

Bonding met meerdere interfaces werkt op zich ook op een enkele switch en dan gaat internetten wel goed, maar de kans is groot dat je dan de gewenste performance niet haalt.

Mijn probleem is dat ik geen ervaring heb met Cisco apparatuur en hoe die om gaat met etherchannels en hoe dit samen zou kunnen werken met een bond.

Het doel is altijd om met een single TCP-sessie meer dan gigabit te halen met bonding. LACP valt hiervoor af. Ik ben benieuwd hoe round-robin bonding zou werken in combinatie met een cisco switch en een router met maar 1 gigabit poort.

Ik denk niet dat het gaat werken met een reguliere huis-tuin-en-keuken internet router maar ik laat me graag anders vertellen, leer ik ook wat.

Toevallig heb ik deze week wat oude Mellanox infiniband kaartjes besteld om eens mee te spelen. Ik denk zelf dat voor de TS dan misschien beter gewoon naar een 10Gb/s ethernet setup kan kijken, scheelt een hoop geknutsel.

[ Voor 30% gewijzigd door Q op 23-10-2015 11:02 ]

[_-= Erikje =-_]

Q schreef op vrijdag 23 oktober 2015 @ 10:49:
[...]


Mijn ervaring is dat het wel degenlijk uitmaakt wat er aan de andere kant zit als je round-robin toepast.

Als je Linux round-robin goed implementeert met verschillende VLANs/switches dan werkt internet alleen als je router ook deel uit maakt van de verschillende VLANs/switches en mee doet in de bonding.

Anders heb je simpelweg packet-loss omdat de router de helft van de pakketten niet ziet als je router maar een enkele interface heeft.

Bonding met meerdere interfaces werkt op zich ook op een enkele switch en dan gaat internetten wel goed, maar de kans is groot dat je dan de gewenste performance niet haalt.

Mijn probleem is dat ik geen ervaring heb met Cisco apparatuur en hoe die om gaat met etherchannels en hoe dit samen zou kunnen werken met een bond.

Het doel is altijd om met een single TCP-sessie meer dan gigabit te halen met bonding. LACP valt hiervoor af. Ik ben benieuwd hoe round-robin bonding zou werken in combinatie met een cisco switch en een router met maar 1 gigabit poort.

Ik denk niet dat het gaat werken met een reguliere huis-tuin-en-keuken internet router maar ik laat me graag anders vertellen, leer ik ook wat.

Toevallig heb ik deze week wat oude Mellanox infiniband kaartjes besteld om eens mee te spelen. Ik denk zelf dat voor de TS dan misschien beter gewoon naar een 10Gb/s ethernet setup kan kijken, scheelt een hoop geknutsel.

Router is layer3, die komt hier (nog) niet bij kijken. Op laag 2 is het alleen tussen de host en de switch die daaraan hangt. Standaard bij Cisco is loadbalancing in een etherchannel op basis van src/dst mac. Aangezien die niet verandere gaat 1 stream altijd over 1 port. als je dat veranderd naar per packet kan ook Cisco netjes 2 interfaces ten volle benutten binnen 1 etherchannel. Ook met vlans kun je nog gaan bonden (maar dan zit je wel op laag 3, niet op laag 2), issue hier is laag 1/2 bandwidth
Mellanox is leuk speelgoed en zou hier best wat voordeel kunnen bieden, anders nog smerige oplossingen als IP over Fiberchannel (tenzij het block storage is, dan gewoon lekker alles naar iSCSI zetten)

[Q]

Bedankt voor de uitleg, maar toch mis ik hoe je nog in staat kunt zijn om met andere devices die geen bonding hebben kunt communiceren zonder er een router oid tussen te plaatsen.

Dat laatste zou trouwens wel werken, dan kun je puur uit met je bonding interfaces en hoef je geen apart 'regulier' netwerk aan te leggen maar dan wordt het natuurlijk echt een setup waarvan ik denk: koop gewoon 10Gbe.

Het hele linux bonding verhaal werkt op basis van het principe dat de interfaces in de bond allemaal het zelfde mac-adres gebruiken. Een gewone switch kan daar niet goed tegen. Die wordt gek: die ziet het zelfde mac adres telkens op 4 verschillende poorten. Mijn ervaring is dat het wel werkt, maar de snelheid is niet goed, het schaalt niet met de interfaces.

Dat los je op door er voor te zorgen dat iedere interface in een eigen layer 2 domein zit (VLAN of fysieke switch) en dan gaat de performance wel omhoog. Dan ziet iedere 'virtuele' switch het mac-adres maar 1x en op 1 poort. Dus dat gaat dan goed. Reguliere apparaten missen dan echter de helft of meer van het verkeer, die kunnen daar niet mee omgaan.

Je truck met vlans bonden op 1 interface meende ik ooit getest te hebben maar ik kreeg het nooit werkende, maar in een VM lijkt het goed te gaan. Je neemt 1 switch poort met de 4 tagged vlans die je voor bonding gebruikt en maakt onder linux met vconfig en ifenslave op de enkele gigabit dus ook 4 vlan interfaces aan en die stop je dan in 1 bond.

Op deze manier zou je router prima kunnen routeren tussen internet, de bonding workstations en bijvoorbeeld reguliere laptops enzo.

Maar ik vind het wel een beetje een frankenstein oplossing.

Edit: misschien denk ik veel te moeilijk. Als je cisco switch etherchannel en round-robin support hoef je niet met vlan-per-bond-interface te werken en kan een machine die bonding doet gewoon met andere devices communiceren die niet aan bonding doen. Klopt dat?

Kwestie van een cisco switch kopen dus

[ Voor 18% gewijzigd door Q op 23-10-2015 13:48 ]

[_-= Erikje =-_]

ja maar al zou dat niet zo zijn weet je switch alsnog wel mac op welke poort zit, je denkt idd te moeilijk :-)

[Q]

Het gaat echter niet werken als je niet met etherchannel werkt en dus met vlans moet knoeien zoals ik deed.

Als een device niet lid is van alle vlans ziet het device niet al het verkeer.

Als je niet met vlans werkt gaat het wel goed maar is performance niet optimaal vanwege het mac adres 'spoofen'. En het liefste zet je ook jumbo frames aan.

En helaas: HP 'trunk' kan niet wat etherchannel kan met rr zover ik weet.

[ Voor 42% gewijzigd door Q op 23-10-2015 15:30 ]

[_-= Erikje =-_]

aah, maar meerdere vlans != bonding en ja je kan dan wat smerigs proberen maar dan krijg je idd connectivity issue

[ijdod]

Q schreef op donderdag 22 oktober 2015 @ 13:13:
[...]


Nee dit werkt niet onder windows, voor zover ik weet. Of vendors moeten round-robin load balancing in hun eigen drivers hebben gestopt. Maar daar kan ik geen bewijs voor vinden.

Klein aandachtspuntje voor deze bonding oplossing: er zijn switches die MAC-adressen als globally unique beschouwen (en niet geheel onterecht), en dus over de pis gaan van deze oplossing. Precies deze oplossing heb ik om die reden fout zien gaan.

Het is een creatieve oplossing, ik heb hem al een paar keer toegepast zien worden (meestal met succes), maar als netwerker is dit niet iets waar ik warme fuzzy feelings van krijg. Wat het gebruik van link aggregatie in deze context betreft: normaal gesproken is round-robin onwenselijk ivm het hoge risico op out-of-order paketten. Je komt dit op switches dan ook zelden tegen; het is doorgaans een hash op basis van flow gegevens (dus een mac, ip, poort of combinatie daarvan, enz). Ik zou eerlijk gezegd geen switch kennen die het met round robin doet; hoewel ik zeker niet uitsluit dat ze bestaan.

In de context van het gestelde probleem vraag ik me af of dit nog steeds goed gaat in het geval van een many-to-one oplossing, juist door dit issue. Point-to-point is makkelijker, wat dat betreft.

[ Voor 31% gewijzigd door ijdod op 23-10-2015 17:58 ]

[Q]

Ondanks het risico op out-of-order pakketten zie ik toch mega goede performance (dus 450 MB/s over 4 x gigabit) die redelijk mooi mee schaalt.

De hele truc met Linux bonding en round-robin zie ik als iets wat leuk is voor thuis of voor een kleine werk omgeving waar op de centen gelet moet worden. Een goedkope manier om toch sneller dan gigabit te halen.

Ik zou deze oplossing zeker niet inzetten als het echt serieus moet voor de lange termijn. Trek dan de knip en ga voor 10Gbe apparatuur, doet een keer pijn maar je bespaart je waarschijnlijk daarna een hoop gedoe.