10GbE naar 1GbE benodigde packet buffer berekenen

[ruudboon]

Ik loop tegen wat problemen aan op het moment dat ik van een pc met een 10GbE interface video (NDI) wil streamen naar een pc met een 1GbE interface die ook verbonden is met de switch. De video stream is c.a. 150mbit. De andere kant op gaat prima.
De problemen ontstaan volgen mij omdat de packet buffer van mijn switch te laag is. Ik wil daarom kijken naar een andere 10gbit multiswitch (1, 2.5, 5, 10gbit) maar wil weten welke buffer ik eigenlijk nodig heb.
Daarom heb ik de volgende berekening bedacht waar ik uit ga van 10 pc's van 1 gbit die een 10gbit verbindingen leeg slurpen. Uiteindelijk wil ik het nooit zo zwaar belasten maar het geeft misschien wel wat richting.

De video server staat bv op 25 fps. Dus elke 40ms een nieuwe frame naar de switch. We willen zoveel mogelijk streams sturen. Op 1gbit kunnen we in 40ms 40mbit sturen.
Terwijl we uploaden naar de switch zal de client al downloaden. 40mbit op de 10gbe zal 4ms kosten. In 4ms zal de 1gbe connectie 4mbit downloaden. Dan heb je 36mbit=4.5mb nodig aan buffer. Voor een volle 10gbe met 10 1gbe clients kom je op 45mb buffer.

Geen idee of je dit zo kan bereken dus graag jullie feedback.

[mash_man02]

Heb je hier dan te maken met real time playback ? En als dat zo is, waarom zou je dan je server op een 10Gb poort faciliteren, volgens jou gedachte zou de switch namelijk geen buffer issues moeten hebben als je de server op de zelfde speed gebruikt.

Betreft het udp verkeer waardoor er geen retransmisions aangevraagd kunnen worden ?

Op een professionele switch kun je output drops gewoon zichtbaar maken wat gebruik je nu dan precies en heb je hier al naar gekeken ?

[ Voor 3% gewijzigd door mash_man02 op 17-01-2021 14:07 ]

[ruudboon]

Het gaat inderdaad om realtime playback en het NDI is tcp verkeer.
De 10gbit heb ik nodig omdat er meer bronnen naar de server sturen waardoor ik over de 1gbit kom. Alleen een beetje verkeer terug het netwerk op geeft wat problemen.
Ik ga even kijken of ik iets in de stats kan vinden mbt tot de drops.

Het klopt inderdaad dat er geen problemen zijn als ik dezelfde verbinding op 1gb forceer.

[Ben(V)]

Bufferen helpt natuurlijk niets, als die buffer vol is doet het niets meer.
En een 10Gbp switch heeft natuurlijk voldoende capaciteit om die snelheid aan te kunnen.

Het probleem moet ergens anders liggen.
Vermoedelijk moet je het zoeken in de driver setting van de 10Gb card.
Experimenteer eens met de xon/xoff settings van die card.

Welke merk/type switch heb je en welke 10Gbps card gebruik je?

[ruudboon]

@Ben(V) Bufferen helpt volgens mij wel als de totale throughput maar onder de snelheid blijft van de te ontvangen port. Het zijn eigenlijk kleine piekjes van data die dan iets langzamer aan de client gegeven moeten worden.

Ik heb testen gedraaid met de Mikrotik CRS328-4C-20S-4S+RM en de Netgear XS708Ev2 op een netwerk interface met Aquantia AQC107 chipset.

Ik ga even testen met xon/xoff

Zie ook deze post

[Ben(V)]

Ok even populair uitgelegd:

Als je met 10Gbps aanvoert en je neemt met 1 Gbps af dan kunnen er enkel problemen ontstaan als je meer aanvoert dan afvoert.
Maar daar zijn de protocollen voor die dan de aanvoer stop zetten als de afvoer het niet bij kan houden.
Je hebt enkel een buffer nodig voor de bytes die binnenkomen tussen het moment dat de switch beslist dat het te hard gaat en het moment dat verzendende bron dat commando ontvangt.

En normaal gesproken zal een switch echt wel voldoende buffer hebben om dat op te vangen.
Nu durf ik natuurlijk niet m'n hand in het vuur te steken dat Netgear z'n zaakjes goed ontworpen heeft maar dat zou op zich nooit een probleem moeten zijn en bij professioneel spul is dat zeker nooit het geval.

PS.
Jouw berekeningen gaan mank, je kunt niet zomaar 25fps omrekenen naar bytes, dat is afhankelijk van de resolutie.
Bij een 1080p resolutie zal bij 25fps een enkel frame bestaan uit 6,48Mbyte en die netgear switch van je heeft een framebuffer van 8 Mbyte die hij voor alle poorten gebruikt, dus hij zou net iets meer dan 1 frame kunnen bufferen.

Het is ook niet van belang want het gaat gewoon om de stream van 150Mps zoals je zegt en dat is een belasting van helemaal niets, ook niet voor een 1Gbps poort.

Wel is het zo dat als je een netwerkpoort tot het max belast het verkeer de andere kant op ook dichtslibt, maar je komt niet eens in de buurt van de maximale belasting.
Misschien dat de ontvangende PC de bottleneck is.

[jadjong]

Is het niet dat de switch op zijn bek gaat door multicast en dat je dat even goed moet configureren? IMGP V2/V3.

Hoeveel mbit ontvangt die PC met de stream aan/uit?

[vincedd]

Zijn het sfp's? ander moet je 10Gbit--> 10 Gbit of 1Gbit-> 1 Gbit. met sfp's werk 10Gbit-->1Gbit niet

[Kabouterplop01]

De berekening klopt niet; iig is die niet op de switch van toepassing. want alle ports zijn 10GBit.
de bottleneck ontstaat eerder op de 10GBit server dan op de switch.
kun je eens testen met iperf wat je throughput is? (ik gok dat de GBit link wordt volgetrokken)

[Frogmen]

Zou het niet zo kunnen zijn dat je upload te hoog is voor de netwerkkaart en daarmee de download beinvloed.
Wat gebeurt er als er geen upload is? Voer die rustig op en je weet op een gegeven moment de threshold. Zal me niet verbazen als je uiteindelijk een tweede netwerkkaart moet installeren.

[DJSmiley]

Heb je de gelegenheid om het met een 'echte' switch te proberen?

Mikrotik en Netgear is toch een beetje het instapsegment. En met een aantal modellen van Mikrotik heb ik niet altijd even goed ervaringen. De ccr2004 is bv op papier leuk, maar in de praktijk een instabiel k*ding.
(Loopt bv ook een aardig topic over).

Over het algemeen prima spul (Zowel mikrotik als netgear) maar niet te vergelijken met enterprise spul wat alles switched over asic's en dikkere buffers heeft.

Zelf heb ik in het verleden hetzelfde issue gehad: 1 van onze uplinks was 10Gbit, terwijl veel klantpoorten 1Gbit waren. Sinds we van 2x1 naar 1x10G gingen hadden we dit soort ellende. Uiteindelijk bleek dat de switch van die partij te weinig buffers had (Was geloof ik een Foundry Fastiron). Sinds die vervangen is door een nieuwere Brocade (7450 dacht ik) geen problemen meer.

Het verschijnsel waar je vermoedelijk last van hebt heet microbursts.

https://www.arista.com/as...-ixnetwork-microburst.pdf
https://support.huawei.com/enterprise/en/doc/EDOC1100086962
https://fmad.io/blog-microburst.html
https://xenanetworks.com/whitepaper/microburst/

[ Voor 9% gewijzigd door DJSmiley op 18-01-2021 12:47 ]

[Guru Evi]

Eigenlijk wil je zo min mogelijk buffers, buffers vertragen het pakket en zorgen dat TCP ECN minder goed loopt (buffer bloat). Een switch zou 8-16kB aan buffers per poort voor gig tot ~100k per poort voor 10G mogen hebben.

Als je pakket buffers laag lopen (hoe weet je dat überhaupt met een switch zoals deze?) op een LAN heb je een probleem met de kabels of een enorm baggere switch (backplane zou 2x de som van de poort snelheden moeten zijn).

Wat jij doet (video) kun je over WiFi zonder probleem. Als je echt meerdere real-time video streams stuurt, zou ik eerder eens zien naar het CPU gebruik op de switch als je denkt dat de switch een probleem vormt (PPS). Meestal ge je bij Microtik en andere extreem-budget switches een probleem zien dat ze minder dan 100k pakketten per seconde kunnen verwerken. Als je dan geen gebruik maakt van TCP delayed ACK en een pakketje per frame gebruikt, dan kun je snel aan die limieten komen.

Zelfde probleem met NIC.

[ Voor 22% gewijzigd door Guru Evi op 19-01-2021 01:28 ]

[mash_man02]

Als dit blijkt het probleem te zijn zou ik daar ook eens met de leverancier van de software over gaan praten, real time flow's en micro bursts zijn wel totaal elkaars tegenpolen.

Je zou met wirehark middels de i/0 graph functie op de server kunnen kijken hoe de pakket distributie uitgaand is. Als dit extreem piekend is kan ok mij er wel iets bij voorstellen.

Professionele switches kunnen hier meestal wel wat beter mee omgaan.De producten waar ik veel mee werken ondersteunen (uiteraard met grenzen) buffer herinrichtingsfuncties om in ieder geval beter om te kunnen gaan met microbursts voor specifieke toepassingen.

[ Voor 55% gewijzigd door mash_man02 op 19-01-2021 08:18 ]

[ruudboon]

Bedankt voor alle tips! Ik was de afgelopen dagen op productie en heb na het weekend eindelijk tijd om wat dingen te testen. Ik ga de opstelling even nabouwen en kijken of ik iets meer kan zien op de switch en in Wireshark.

Ik ben er bijna zeker van dat het Microbursts die mij problemen geven. Over een seconde gezien stuur ik misschien 0,5 Gb maar in werkelijkheid zijn het kleine bursts van 10gbit.

Zal de de resultaten posten. Of dm even als je via zoom live mee wilt denken.
Helaas heb ik niet de ruimte om een "echte" switch te kopen.

[Kabouterplop01]

Is die switch configureerbaar? Ik zat me te bedenken dat cut-through ipv store-and-forward hier mogelijk iets in kan betekenen. (Op mijn oude Netgear switch aan te passen in het menu)

[jadjong]

Geen efficiënt ethernet of andere energiebesparende dingen die pakketjes opsparen en ze dan pas doorsturen?