Win10 & LACP: 2 NICs geraken niet voorbij gigabit...

[freeco]

Recent las ik ergens dat Win10 terug NIC teaming ondersteunt. Dat was aanvankelijk niet het geval (denk ik).
Alle belangrijke data heb ik centraal op een Synology DS414 staan, dus een snelle verbinding is altijd handig.
De NAS staat al jaren met Dynamic Link Aggregation geconfigureerd en verbonden met 2 kabels met m'n Netgear GS724T. Die heeft de 2 gebruikte poorten ook in een LACP LAG staan.
Ik ging er van uit dat connectiviteit naar 2 of meer toestellen dan voorbij de 1Gbps kon getild worden, maar 1 toestel uiteraard nog beperkt zou blijven tot gigabit.
Ik heb overal CAT6 in huis liggen trouwens, maar voor gigabit mag eigenlijk minder...

Om m'n desktop eens voorbij die gigabitdrempel te lichten probeerde ik eens een Intel Gigabit CT Desktop NIC in te pluggen, en die te teamen met m'n onboard Intel I211 via de Intel PROSet Adapter Config Util.
Ik maakte voor deze 2 NICs ook een Dynamic Link Aggregation teaming op, zette de onboard NIC als primair en de oude NIC als 2de.
Op de switch maakte ik natuurlijk ook een LACP LAG voor de 2 poorten.

Als ik een snelheidstest doe door een grote file van en naar de NAS te kopieren, geraak ik echter nog altijd niet voorbij 985mbps up/down.
Via HWiNFO64 zie ik dat tijdens de transfer de upload via de ene NIC gaat, en de download via de andere NIC. De full duplex wordt dus gewoon uitgesplitst, meer niet...

Heeft iemand een idee wat ik mogelijk verkeerd instel?


(Terzijde: ik heb ook nog een 2.5Gbit kaartje op komst, gebaseerd op een Realtek RTL8125 chip. Misschien werkt die beter dan die oldie Intel Gigabit CT die eigenlijk niet meer ondersteund wordt onder Win10.)

[Tijntje]

Die kopieer actie is maar 1 enkele stream, die is gelimiteerd tot 1 Gbit.
Meerdere streams zouden voorbij die 1 Gbit moeten komen.
Let wel dat ook je HDD of SSD dat moet kunnen bijbenen.

[c-nan]

Doe eens ipv 1 grote file, 4 grote files tegelijk.

[DukeBox]

SMB multi channel kan dat overigens wel met 1 file stream. Middels een aanpassing van samba.smb.conf kan je dat ook op je synology aanzetten.

[ Voor 3% gewijzigd door DukeBox op 09-05-2020 20:02 ]

[Masimo]

Loop je niet gewoon tegen de maximale transfersnelheid van de drives in je Syno aan?

[ Voor 8% gewijzigd door Masimo op 09-05-2020 21:02 ]

[gastje01]

DukeBox schreef op zaterdag 9 mei 2020 @ 19:41:
SMB multi channel kan dat overigens wel met 1 file stream. Middels een aanpassing van samba.smb.conf kan je dat ook op je synology aanzetten.

Uit interesse; kleven daar nog andere nadelen aan omdat Synology dit niet standaard ondersteunt?

[DukeBox]

gastje01 schreef op zaterdag 9 mei 2020 @ 21:12:
Uit interesse; kleven daar nog andere nadelen aan omdat Synology dit niet standaard ondersteunt?

Dat je het mogelijk bij een opdate weer moet aanzetten. Verder is het beta voor de gebruikte samba versie maar er zijn niet echt issues bekend.

[freeco]

Tijntje schreef op zaterdag 9 mei 2020 @ 19:25:
Die kopieer actie is maar 1 enkele stream, die is gelimiteerd tot 1 Gbit.
Meerdere streams zouden voorbij die 1 Gbit moeten komen.
Let wel dat ook je HDD of SSD dat moet kunnen bijbenen.

Als ik 2 copy's van ruim 10GB in parallel start, krijgen die elk maar zo'n 55MB/s.
Ik heb 3x WD Red 4TB disks in RAID5. Die kunnen volgens de specs 150MB/s sequentieel lezen, en gezien RAID5 zou dat 300MB/s moeten worden (als ik raid-calculator.com mag geloven: Speed gain 2x read speed, no write speed gain). Hoe dan ook verwacht ik toch dat ze meer dan 115MB/s zouden moeten kunnen halen.

DukeBox schreef op zaterdag 9 mei 2020 @ 19:41:
SMB multi channel kan dat overigens wel met 1 file stream. Middels een aanpassing van samba.smb.conf kan je dat ook op je synology aanzetten.

Ik heb nu SMBv2, SMBv2 large MTU en SMBv3 enabled staan in de File Services settings. Met Win10 1909 zouden ze dus SMBv3 moeten spreken.
Dus langs client kant hoef ik niks te veranderen dan? En in DSM zit het niet in de GUI ingebakken? Jammer...
Nu, ik ben geen vreemde met SSH, maar goed.
Ik heb hier 2 howto's gevonden. Ik zal ze eens bekijken:
https://forum.level1techs...g-smb-multichannel/138719
https://blog.azureinfra.c...-synology-and-windows-10/

[Tijntje]

freeco schreef op zondag 10 mei 2020 @ 14:13:
[...]

Als ik 2 copy's van ruim 10GB in parallel start, krijgen die elk maar zo'n 55MB/s.
Ik heb 3x WD Red 4TB disks in RAID5. Die kunnen volgens de specs 150MB/s sequentieel lezen, en gezien RAID5 zou dat 300MB/s moeten worden (als ik raid-calculator.com mag geloven: Speed gain 2x read speed, no write speed gain). Hoe dan ook verwacht ik toch dat ze meer dan 115MB/s zouden moeten kunnen halen.


[...]

Ik heb nu SMBv2, SMBv2 large MTU en SMBv3 enabled staan in de File Services settings. Met Win10 1909 zouden ze dus SMBv3 moeten spreken.
Dus langs client kant hoef ik niks te veranderen dan? En in DSM zit het niet in de GUI ingebakken? Jammer...
Nu, ik ben geen vreemde met SSH, maar goed.
Ik heb hier 2 howto's gevonden. Ik zal ze eens bekijken:
https://forum.level1techs...g-smb-multichannel/138719
https://blog.azureinfra.c...-synology-and-windows-10/

Die stream komt nog steeds van dezelfde orgin, er zijn verschillende Load Balancing modes.
Zie ook: https://docs.microsoft.co...ming/nic-teaming-settings
http://vjourneyman.com/link-aggregation-misconception


Nu zou je het kunnen testen door een kopieer actie van 2 verschillende systemen te starten

[freeco]

hmm, dus…
de port LAGs & NIC teamings terug afbreken, en gewoon op de NAS SMB Multi Channel enablen in /etc/samba.smb.conf…
Correct?

Dus in feite moet je hiervoor dan niet eens een managed switch hebben. Met een goedkopere unmanaged switch zou dit ook gewoon moeten werken. Misschien als ik ooit eens een 10Gbit switch koop, dat het zo nog wel de prijs kan drukken.

[DukeBox]

freeco schreef op maandag 11 mei 2020 @ 14:10:
Dus in feite moet je hiervoor dan niet eens een managed switch hebben. Met een goedkopere unmanaged switch zou dit ook gewoon moeten werken..

Ja precies. Sterker nog, je kan ook niet gelijke verbindingen gebruiken zoals via WiFi bij schalen. Of meerdere langzame naar 1 snelle (10x 1Gbit naar 1x 10Gbit), dat is met LACP e.d. niet mogelijk (sterker nog, als je flow control gebruikt zou je dan alleen maar last hebben van pauze frames).

[ Voor 9% gewijzigd door DukeBox op 11-05-2020 14:42 ]

[freeco]

Het was er nog niet van gekomen, maar ik heb net even m'n LAG op de switch en NIC bonding in DSM afgebroken, en smb.conf aangepast.
Wisselend resultaat, met een sequentiële copy van een 18GB file...
Read is merkbaar sneller: de gerapporteerde snelheden schommelden tussen 120-225MB/s, dus duidelijk sneller dan de ~110MB/s die ik tot nu toe haalde.
Write is minder positief... Het fluctueert ook, maar duidelijk trager tussen 80-120MB/s. Dat terwijl ik eerder toch ook gewoon tegen de 110MB/s aanliep.

Ik doe de test nog even opnieuw als ik mijn 2.5 Gbit NIC in huis heb (gaat op 1gbit werken, weet ik wel), om die oldie Intel Gigabit CT Desktop NIC te vervangen. Eens zien of het niet gewoon aan zo'n ouwe chip ligt dat die write speed wat inzakt.

[DukeBox]

freeco schreef op maandag 18 mei 2020 @ 21:43:
Write is minder positief... Het fluctueert ook, maar duidelijk trager tussen 80-120MB/s. Dat terwijl ik eerder toch ook gewoon tegen de 110MB/s aanliep.

Ik vermoed eerder dat je dan tegen geheugen en CPU beperkingen aanloopt van die MV78230.

[freeco]

of gewoon tegen de spindle speed...
Nu moeten die 3 5400rpm disks data van uit multipath schrijven. Dus in feite is het niet meer puur sequentieel , maar van de 2 NICs in parallel.

Ik denk dat ik de smb.conf voorlopig terug op standaard zet. Liefst dan toch de constante 110MB/s up/down.
Om andere redenen ben ik toch al eens aan het uitkijken naar een nieuwe NAS (DS420+ misschien?), met 4 disks in RAID10 deze keer. Dat zou me 4x read en 2x write speed moeten geven. Ik kan SMB multipathing daar nog eens mee uittesten.
De ouwe zet ik dan gewoon in als extra backup, met een enkele connectie.

[Raven]

freeco schreef op zaterdag 9 mei 2020 @ 19:20:
Recent las ik ergens dat Win10 terug NIC teaming ondersteunt. Dat was aanvankelijk niet het geval (denk ik).

Het wisselt per Win10 versie, het kan werken, maar een (functie)update later niet meer... zie Win10 + Intel NIC --> geen VLAN/Teaming/ANS* voor wat leesvoer, @ehtweak .

[GeleFles]

Let ook op hoe je switch de lacp load balancing doet.
sommige switches doen dit (standaard) op basis van mac adres of ip adres, waardoor een stream tussen 2 systemen maximaal 1 link per port-channel kan gebruiken.

edit:
zie bijvoorbeeld https://howdoesinternetwork.com/2018/lacp-link-aggregation en dan het kopje over LACP load balancing.

[ Voor 23% gewijzigd door GeleFles op 19-05-2020 12:58 ]

[ehtweak]

@freeco @Raven
FYI:

Bij mijn huidige configuratie (AMD 7 3700x, MSI X570-A PRO mb, met een dual Intel 2P i350-t NIC) werkt het in ieder geval wel.
met deze driver:
https://downloadcenter.in...-Windows-10?product=36773

Hier een instructie van hoe/wat:
https://www.intel.com/con...-o/ethernet-products.html
met de PowerShell instructies.

Windows versie: Version 10.0.18363 Build 18363

[ Voor 5% gewijzigd door ehtweak op 19-05-2020 15:23 ]