10gbit, CAT6a vs direct attached SFP+

[Keiichi]

Voor een kleine setup (2 servers) zit ik tussen 2 adapters te 'twijfelen'

- pricewatch: Intel X520-DA2
- pricewatch: Intel Ethernet Converged Network Adapter X540-T2

Het prijsverschil wil ik hierbij in het midden laten. De X520 zou dan met een direct attached SFP+ twinax kabel aangesloten worden, de X540 met CAT6a utp.

Ik zit na te gaan welke verschillen tussen de mediums zitten. Wat ik gelezen heb is de twinax kabel, fors zuiniger dan UTP (http://etherealmind.com/d...ry-6-10-gigabit-ethernet/) . Het andere verschil zou zijn dat de twinax kabels tov utp kabels minder latency 'veroorzaken'.

Ik vertrouw er wel op dat de stroommeting wel klopt, maar ik vraag me hoeveel effect het minder latency verhaal heeft. Heeft iemand hier ervaring mee of kan er iets over zeggen?

[FatalError]

Een (passieve) DA SFP kabel is inderdaad een stukje zuiniger. Per link zal dat misschien wel 5-7 watt schelen. Qua latency zal het vrijwel niks uit maken.

[pablo_p]

Twinax heeft een latency van 0.1 us, Cat6a zit op 1 us. Dit is factor 10, maar voor veel dingen zal een applicatiestack al snel meer latency geven, in de orden van 1 ms (=1000us). Oftwel: theoretisch is de latency van Twinax 10x zo laag, voor de meeste applicaties zal het niet uitmaken.

Het kan zijn het het met storage verkeer voordeel heeft als het verkeer bestaat uit veel kleine stukjes data die uit geheugen geserveerd kunnen worden. Als het echt pompen wordt dan heft Windowing de latency bijna geheel op. Maar ik ken de storage protocollen daarvoor niet goed genoeg, wat daarin de verschillen zijn van latency gevoelighied in de orden us voor FCoE, iSCSI of NFS. 1us tov de access time van 10 ms van een harddisk of 10us van een SSD is ook beperkt. Meetal gaan de problemen met latency van storage vaak over ms, niet over microseconden.

Het stroomverbruikverschil is zoals FatalError aangaf rond de 6-10 Watt meer dan met Cat6a (1-3 Watt per poort voor TwinAx, 6 Watt per poort voor RJ45). Met de vuistregel: "iedere 1 Watt continu verbruik kost op jaarbasis 2 euro", kom je dus op een meerprijs van 15 euro per jaar. Daarmee kan je je kosten calculatie maken. Als je switches gaat gebruiken, zijn RJ45 switches flink goedkoper per poort dan SFP+ poorten, dan weegt stroomverbuik zeker in alle gevallen niet op tegen de meerprijs van de switch.


Interessante links:
Cisco over 10 Gbit (versus 1 Gbit, maar toch ook voor 10G interessant)
Netgear over latency van verschillende technologieën

[Leon T]

Het zit hem vooral in de lengte van de bekabeling. UTP kan tot 100 meter, TwinAx gaat tot om en nabij de 15 meter.
Stroomverbruik hangt af van de lengte van de bekabeling en de chipsets die je gebruikt. Als je bijvoorbeeld met 10G UTP werkt en Cisco switches, dan verbruikt de Nexus 2232TM-E al aanzienlijk minder dan een "oude" Nexus 2232. Andersom ook: de langere TwinAx cables zijn ook powered en verbruiken meer dan de korte.

Al met al, pak de goedkoopste oplossing die binnen je lengtes past. Ga je niet blindstaren op die latency- dat zijn getallen waar je pas met supercomputing moet naar gaan kijken. Belangrijk voor TwinAx is wel dat je kabels pakt die gecertificeerd zijn door je NIC vendor!

[Bl@ckbird]

Voor een normale server maakt dat verschil in latency niet zoveel uit. Het is niet zo dat je iets van high frequency trading doet, waarbij latency letterlijk geld is. Voor slechts 2 servers is het verschil in energie verbruik ook niet groot. (Anders dan dat je een heel datacenter bekabelt.)

Je moet even kijken hoe je nu en in de toekomst severs, uplinks en storage appliances wil aansluiten. Een switch met 10GBASE-T poorten heeft vaak maar een beperkt aantal uplinks waarbij je glas / twinax kan gebruiken. Of men heeft een switch met SFP+ poorten en men komt met 10GBASE-T poorten aan zetten.

Langere Twinax kabels zijn actieve kabels en waren niet altijd compatible met Catalyst switches. Een IOS update verhelpt dit. Nexus is geen probleem voor actieve kabels (7 meter en langer).

X520-DA2 / X540-T2 zijn Converged Network Adapters. Ze doen FCoE (ethernet en fiber channel over één lijntje.) Twinax kabels kan je direct op een Nexus 5000 aansluiten. Voor 10GBASE-T poorten heb je een extra Nexus 2000 nodig die je als FEX op een Nexus 5000 aansluit. Zonder Nexus 5000 is een Nexus 2000 een dom stuk ijzer. Hier zie je welke Nexus 2000 FEX's ook FCoE supporten.

Het goedkoopste voor zo'n kleine omgeving is om NFS of iSCSI te gebruiken. Een standaard 10 Gbps switch is dan voldoende. Goedkoopste optie bij Cisco is dan een SG500XG-8F8T-K9, maar dit is een Small Business switch, welke je niet kan opnemen in een groter netwerkmanagement pakket. Een stap hoger is de N3K-C3524P-10G met 24 SFP+ poorten, of de N3K-C3064TQ-32T met 32 10GBASE-T poorten. (Standaard switches zonder FCoE.)

Je kan ook de uplink poorten gebruiken van een 2960X switch. (2 SFP+ poorten, meer als je een stack draait.) Een 3650-48 poorts switch heeft 4 SFP+ poorten. Nexus switches hebben veel grotere buffers dan Catalyst switches en beter geschikt voor storage verkeer. Maar voor een kleine setup kan een Catalyst switch ook prima voldoen.

[ik222]

Een ander voordeel van de 520 is natuurlijk ook dat daar zo te zien ook gewoon singlemode optics in kunnen waardoor je ook grotere afstanden (10km bijvoorbeeld) zou kunnen overbruggen. Ook kan je met (singlemode of multimode) optics + losse fibers bijvoorbeeld makkelijk via een meet me room patchen.

[CyBeR]

Bl@ckbird schreef op maandag 08 september 2014 @ 14:20:
[..]

Leuk Cisco-salesverhaal maar ik zie de relevantie met wat TS vraagt niet?

[Bl@ckbird]

Voorkomen van fuckups, want ik heb het te vaak fout zien gaan.

Leon T schreef op zondag 07 september 2014 @ 23:57:
Stroomverbruik hangt af van de lengte van de bekabeling en de chipsets die je gebruikt. Als je bijvoorbeeld met 10G UTP werkt en Cisco switches, dan verbruikt de Nexus 2232TM-E al aanzienlijk minder dan een "oude" Nexus 2232. Andersom ook: de langere TwinAx cables zijn ook powered en verbruiken meer dan de korte.

Want dit gaat dus niet werken, (N2k zonder N5k) of is niet nodig. (N2k aan een N5k voor 10GBASE-T poorten voor slechts 2 servers) Gebruik je geen FCoE, dan kan je beter naar een standaard 10G netwerkadapter kijken met een standaard 10GE switch. (Of dat nou Nexus of Brocade smaakje is.) Daarnaast zit je nog met compatibiliteit issues met Twinax kabels en de switch.

[Keiichi]

Ik vind alle antwoorden en informatie wel relevant, ik heb tot op heden nog geen 10gbit aparatuur nog in m'n handen gehad.
Ik denk dat ik hiermee wel een keuze kan maken Denk dat ik voor stukje compatabiliteit ga en met RJ45 ga. Nu zijn het 2 servers die ik aan elkaar knopen, volgende stap is nog meer er aan hangen en dan denk ik met RJ45 beter afte zijn.

[_-= Erikje =-_]

Netgear heeft een relatief goedkope 10G Base-T switch tegenwoordig (+- 1200 euro), daar kan qua poortprijs nog weinig tegenop. Wel wil ik daarbij zeggen dat uiteraard dingen als buffers enz het eerst is waarop bezuinigd worden.

Heeft de Nexus serie van Cisco inmiddels local forwarding of word nog steeds alles uit de FEX naar een 5k serie getrokken? (dan heb je dus wel 10G Base-T connectivity, maar haast altijd overboekt)

[pablo_p]

@Keiichi.
Er is een algemeen compatibiliteitsprobleem tussen 10G T en 10 G SFP. Dat komt door het stroomgebruik. Het stroomgebruik is echt een fysieke beperking, geen marketing/productpropositie beperking (waar Cisco ook niet vies van is). De standaard SFP+ poorten leveren 3-4 Watt maximaal. 10G T vraagt 4-7 Watt. Dit betekent dat er (voorlopig) geen mogelijkheid is om met een RJ45 kabel naar een SFP+ slot te gaan, het moet een native 10G-T poort zijn. Veel Gigabit switches hebben tegenwoordig 10G SFP+ 'uplinks' (die je zeker in een stack goed kan gebruiken als reguliere 10G access-poorten), daar kan je dus met 10G T niets mee.


Om terug te komen met de vragen die (verrassend) nog missen in dit topic:
- wat is de omgeving waarin je 10G wilt gebruiken? Kleine server omgeving? Thuisomgeving? 'Serieus' Datacenter?
- wat zijn de (voorzichtige) toekomstplannen, wil je dit uitbreiden en hoeveel servers gaan er over naar 10G?

Ik heb meegewerkt aan het ontwerp van een DC dat schaalde naar 4000 10G poorten. Ik was daarin een voorstander van ondersteuning van zowel SFP+ als 10G T. Ik merkte bij mijn collega's veel weerstand tegen 10G T. Je hebt dus naast technische beperkingen ook weerstand bij veel specialisten die niet altijd het fijne weten, maar wel hard roepen.

Nieuwe servers zullen standaard of voor een minimale meerprijs 10G T op het moederbord hebben, Intel is dat hard aan het pushen en dan gaat de rest wel mee. Ik verwacht dat 10G T de standaard gaat worden voor het meeste 10G over 5 tot 10 jaar, maar dat 10G T de eerste 2-4 jaar nog beperkter is dan SFP+.

@Erikje. De FEX is initieel gepositioneerd als een remote line-card. Als je het vergelijkt met de 'standaard' chassis switch, de Cisco 6000-6500, dan heeft het destijds wel een aantal jaren geduurd voor dCEF in de linecards kwam. dCEF vereiste andere line-cards (en eerst ook nog add-on modules), ik vermoed dat er alleen op nieuw te introduceren (en natuurlijk duurde) FEX-en local switching ondersteund zal worden. Maar ik ken de interne techniek van de FEX-en niet zo goed als de 6500. (Moet ik ook maar eens wat meer over gaan lezen)

[CyBeR]

pablo_p schreef op dinsdag 09 september 2014 @ 10:30:
Ik merkte bij mijn collega's veel weerstand tegen 10G T. De hebt dus naast technische beperkingen ook weerstand bij veel specialisten die niet altijd het fijne weten, maar wel hard roepen.

Nieuwe servers zullen standaard of voor een minimale meerprijs 10G T op het moederbord hebben, Intel is dat hard aan het pushen en dan gaat de rest wel mee. Ik verwacht dat 10G T de standaard gaat worden voor het meeste 10G over 5 tot 10 jaar, maar dat 10G T de eerste 2-4 jaar nog beperkter is dan SFP+.

Waarom was dat? Net als dat GbE vroeger alleen over fiber ging en nu op laptops te vinden is, gaat 10GbE ook gewoon steeds normaler worden. En als dat gebeurt worden de kosten (en het energieverbruik) steeds lager. IMO alleen maar voordelen dus.

[_-= Erikje =-_]

pablo_p schreef op dinsdag 09 september 2014 @ 10:30:
@Keiichi.
@Erikje. De FEX is initieel gepositioneerd als een remote line-card. Als je het vergelijkt met de 'standaard' chassis switch, de Cisco 6000-6500, dan heeft het destijds wel een aantal jaren geduurd voor dCEF in de linecards kwam. dCEF vereiste andere line-cards (en eerst ook nog add-on modules), ik vermoed dat er alleen op nieuw te introduceren (en natuurlijk duurde) FEX-en local switching ondersteund zal worden. Maar ik ken de interne techniek van de FEX-en niet zo goed als de 6500. (Moet ik ook maar eens wat meer over gaan lezen)

ja, 24/32/48x 10G over een 20/40G uplink trekken is niet helemaal linerate

[Bl@ckbird]

Zodra 10GE op het moederbord van een server zit, zonder dat je een extra netwerkkaart nodig hebt, gaat het hard met 10GE. Virtualisatie zorgt ervoor dat 10GE op een server ook echt gebruikt wordt. 10GE naar de desktop gaat nog een tijd duren.

Van 10Mbps naar 100Mbps ging vrij vlot. Van 100Mbps naar gigabit duurde al wat langer. We dachten dat alles gigabit zou worden, maar Cisco heeft recent een 2960-Plus geïntroduceerd met (weer) 10/100Mbps access poorten. (Wat vooral bij VDI gebruikt wordt.) 10GE als access poort gaat pas denk ik spelen als de wireless AC Wave II geïntroduceerd wordt. Dit heeft een theoretische throughput van 3.5Gbps. Het meest logische zou zijn om hier 10GE-T voor te gebruiken.

Het remote linecard idee kan ook met een 6500/6800, maar dan heet het instant access. (Wat overigens ook geen local switching support.)

SFP+ met RJ 45 poort is idd. niet beschikbaar. Er is wel een X2-10GB-T module, maar gaat helaas volgend jaar End-of-Sale. Deze formfactor is wat groter en kan wat meer vermogen aan. Ook handig voor long-range optics waarbij dit ook speelt.

[_-= Erikje =-_]

Bl@ckbird schreef op dinsdag 09 september 2014 @ 21:17:
Zodra 10GE op het moederbord van een server zit, zonder dat je een extra netwerkkaart nodig hebt, gaat het hard met 10GE. Virtualisatie zorgt ervoor dat 10GE op een server ook echt gebruikt wordt. 10GE naar de desktop gaat nog een tijd duren.

Nieuwe X10 serie van supermicro bv is er met 2 of 4x 10G Base-T, dan gaat het best hard.