Input/CRC errors Nexus5K

[wallywally]

Beste medetweakers...

Sinds kort ervaar ik op een Nexus 5K switch interface errors op een darkfiber link richting een datacenter en ik kan m'n vinger er maar niet opleggen wat er precies gebeurt. Beide kanten zijn een Nexus 5K, met gewoon een dark fiber er tussen, niets speciaals. Er lopen voornamelijk backups over die lijn.

Het zijn Input/CRC errors (RX), deze lopen identiek aan elkaar op.

Ik zal even aangeven wat ik al geprobeerd heb;
-SFP's aan beide kanten vervangen.
-Aan de kantoorkant 2 verschillende fibers geprobeerd.
-Beide kanten op 10Gb Full Duplex gezet
-Een spareswitch ingezet (met identieke config erop) met álleen die fiber en wat kantoorswitches erop (backups systemen eraf dus), nog steeds errors.
-Andere poort gebruikt op de datacenter switch, dit gaf nog meer error's
-Fibers opgepoetst aan de kantoor kant.

In het beginsel na het poetsen lijkt het een beetje beter te gaan. Dan krijg ik weinig errors terug. Eerst 1. Na een minuut 2, en na een paar minuten beginnen zeg weer hard te stijgen, met 4 per minuut, later met 10 per minuut enzovoort. Ze gaan dus steeds harder stijgen. Nu zit ik al op 170 errors na 16 minuten terwijl ik in de eerste 2 minuten slechts 4 errors krijg, alles op RX;

code:

  RX
    7089928 unicast packets  343541 multicast packets  48734 broadcast packets
    7482373 input packets  5156475464 bytes
    3079551 jumbo packets  0 storm suppression packets
    0 runts  0 giants 170 CRC  0 no buffer
    170 input error  0 short frame  0 overrun   0 underrun  0 ignored

Verder, zijn dit de SFP diagnostics;

code:

    transceiver is present
    type is 10Gbase-LR
    name is CISCO-EXCELIGHT
    part number is SPP5101LR-C1
    revision is A
    serial number is ECL13410338
    nominal bitrate is 10300 MBit/sec
    Link length supported for 9/125um fiber is 10 km
    cisco id is --
    cisco extended id number is 4

           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                Current              Alarms                  Warnings
                Measurement     High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   28.52 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.26 V         3.63 V      2.97 V      3.46 V        3.13 V
  Current       47.36 mA      102.00 mA    22.00 mA    95.19 mA      26.39 mA
  Tx Power       -1.49 dBm       3.49 dBm  -12.21 dBm    0.49 dBm     -8.21 dBm
  Rx Power      -17.95 dBm  -    3.49 dBm  -18.53 dBm    0.49 dBm    -14.43 dBm
  ----------------------------------------------------------------------------

Deze zijn niet veranderd na het oppoetsen van de fibers.


Nu lijk ik nog 2 mogelijkheden te hebben;
1. De fibers op laten poetsen en door laten meten in het datacenter
2. De gehele darkfiber laten doormeten

Nu vraag ik me dus af of ik iets over het hoofd zie waardoor de errors zouden kunnen komen. Normaliter is de regel; CRC = laag1/laag2. Ik heb vrijwel alles uitgesloten zoals je ziet hierboven.

Wat wel opvalt is dat de load in de grafieken op max 1.2Gbps uit komt terwijl het een 10Gbps link is (maargoed, dit is een gemiddelde), en in principe wordt er hard gepompt met backups. De systemen erachter (servers/storage) zitten ook allemaal aangesloten op 10Gbps links op de Nexus.

Any help appreciated.

Edit;

Saillant detail; aan de andere kant (datacenter switch) krijg ik géén errors en zijn de lichtwaarden beter;

code:

           SFP Detail Diagnostics Information (internal calibration)
  ----------------------------------------------------------------------------
                                     Alarms                  Warnings
                                High        Low         High          Low
  ----------------------------------------------------------------------------
  Temperature   32.77 C        75.00 C     -5.00 C     70.00 C        0.00 C
  Voltage        3.30 V         3.63 V      2.97 V      3.46 V        3.13 V
  Current       49.78 mA  --  102.00 mA    22.00 mA    95.19 mA      26.39 mA
  Tx Power       -3.03 dBm --    3.49 dBm  -12.21 dBm    0.49 dBm     -8.21 dBm
  Rx Power       -6.07 dBm --    3.49 dBm  -18.53 dBm    0.49 dBm    -14.43 dBm
  ----------------------------------------------------------------------------

[ Voor 12% gewijzigd door wallywally op 06-03-2017 07:24 ]

[Equator]

Wat is de lengte van de dark fiber? Als dat meer is dan de lengte die de LR tranceivers aan kunnen, dan kan dat wellicht ook deze meldingen geven. Maar dat zou niet zomaar mogen gebeuren.
Vraag ook even na bij de leverancier van de DF. Misschien dat zij wat ideeën hebben of misschien wat onderhoud hebben gehad op wat patches..

[wallywally]

Equator schreef op maandag 6 maart 2017 @ 07:51:
Wat is de lengte van de dark fiber? Als dat meer is dan de lengte die de LR tranceivers aan kunnen, dan kan dat wellicht ook deze meldingen geven. Maar dat zou niet zomaar mogen gebeuren.
Vraag ook even na bij de leverancier van de DF. Misschien dat zij wat ideeën hebben of misschien wat onderhoud hebben gehad op wat patches..

Goeie vraag, ik denk een 5km ongeveer. De error's zijn pas sinds kort, daarvoor was het nooit een issue, dus er is iets gebeurt waardoor het niet meer goed functioneert. We hebben niet heel veel last ervan maar het hoort niet. En ik heb niet graag dingen in m'n netwerk die "niet horen".

Ik hoop hier eigenlijk op reacties kom te kijken of ik iets over het hoofd zie, of mensen die me wat kunnen vertellen over die lichtwaarden bijv. Het lijkt me dat de RX van -17.95dBm wat aan de zwakke kant is. Als ik de leverancier ga bellen gaat meteen de factuur tikken, snap je. Graag wil ik eerst écht álles uitgesloten hebben wat mogelijk het probleem veroorzaakt, maar ik loop nu tegen die limiet aan lijkt het. Dus ik heb bijna geen keuze meer om idd met de leverancier en/of het datacenter te gaan troubleshooten.

Maar misschien zie ik wat over het hoofd, vandaar het topic

Bedankt voor je reactie.

[ViperXL75]

Goeiemorgen,

Ik zie dat je zo goed als alles acties heb uitgevoerd wat ik zou kunnen bedenken.
Maar heb je ook even de fiber nagelopen (of na laten lopen) om te checken of er geen scherpe bochten erin zitten?
Waarschijnlijk weet je het al, maar wou toch voor de zekerheid roepen "fibers haten scherpe bochten".

Verder is het meestal zo dat er 2 fibers gebruikt worden. Soms lukt het om de 2 poorten met elkaar te wisselen.
Zoja, kan je altijd dat doen en kijken of het probleem opeens verhuisd.
Bijvoorbeeld, als je nu alleen op de 5K op kantoor de errors ziet, zal je dan merken dat de errors dan opeens verhuizen naar de 5K die je aan de andere kant heb staan.

Hopelijk heb je er wat aan.

Groeten,

[wallywally]

ViperXL75 schreef op maandag 6 maart 2017 @ 08:37:
Goeiemorgen,

Ik zie dat je zo goed als alles acties heb uitgevoerd wat ik zou kunnen bedenken.
Maar heb je ook even de fiber nagelopen (of na laten lopen) om te checken of er geen scherpe bochten erin zitten?
Waarschijnlijk weet je het al, maar wou toch voor de zekerheid roepen "fibers haten scherpe bochten".

Verder is het meestal zo dat er 2 fibers gebruikt worden. Soms lukt het om de 2 poorten met elkaar te wisselen.
Zoja, kan je altijd dat doen en kijken of het probleem opeens verhuisd.
Bijvoorbeeld, als je nu alleen op de 5K op kantoor de errors ziet, zal je dan merken dat de errors dan opeens verhuizen naar de 5K die je aan de andere kant heb staan.

Hopelijk heb je er wat aan.

Groeten,

Thx, die fiber wisselen kan nog wel eens wat op gaan leveren ja.

[ik222]

Aan de signaalwaardes zie ik duidelijk dat een van de twee vezels in het paar smerig is of ergens een slechte las of patch heeft. Namelijk de vezel die TX is vanaf het datacenter naar de RX van kantoor, daar zit je op bijna -18dBm wat echt te veel te laag is en inderrdaad makkelijk voor CRC errors kan zorgen. Bij -18dBm zit je echt op het absolute randje tussen nog net een link hebben (met waarschijnlijk errors) en helemaal geen link.

De andere vezel is wel prima omdat je daar -6dBm binnen krijgt aan de ontvangende kant. Kortom dit is echt duidelijk een probleem met de fysieke vezel infra.

[ Voor 12% gewijzigd door ik222 op 06-03-2017 15:57 ]

[PerfectPC]

ik222 schreef op maandag 6 maart 2017 @ 15:55:
Aan de signaalwaardes zie ik duidelijk dat een van de twee vezels in het paar smerig is of ergens een slechte las of patch heeft. Namelijk de vezel die TX is vanaf het datacenter naar de RX van kantoor, daar zit je op bijna -18dBm wat echt te veel te laag is en inderrdaad makkelijk voor CRC errors kan zorgen. Bij -18dBm zit je echt op het absolute randje tussen nog net een link hebben (met waarschijnlijk errors) en helemaal geen link.

De andere vezel is wel prima omdat je daar -6dBm binnen krijgt aan de ontvangende kant. Kortom dit is echt duidelijk een probleem met de fysieke vezel infra.

hier sluit ik me bij aan. aan de leverancier van de DF vragen om opnieuw te testen en een rapport af te leveren, ze zullen dan zelf wel vaststellen dat er iets niet snor zit en gaan zoeken waar de kink (allicht letterlijk) in de kabel zit.

[Dafjedavid]

PerfectPC schreef op maandag 6 maart 2017 @ 16:40:
[...]

hier sluit ik me bij aan. aan de leverancier van de DF vragen om opnieuw te testen en een rapport af te leveren, ze zullen dan zelf wel vaststellen dat er iets niet snor zit en gaan zoeken waar de kink (allicht letterlijk) in de kabel zit.

Jup! Lijkt erop dat er ergens iets is beschadigd op je dark fiber.
Kan natuurlijk "zomaar" gebeuren dat men bij graafwerkzaamheden iets heeft beschadigd.
Na laten meten en waar nodig laten repareren zou mijn advies zijn.

[brederodekater]

Het kan ook zijn dat de CRC-errors verderop, vóór de darkfiber, al geïntroduceerd worden. Omdat Nexus 5k switches cut-through zijn, zullen dit soort pakketjes gewoon geforward worden... dit omdat deze switches al beginnen met forwarden uit de uitgaande interface voordat het hele pakketje is binnengekomen op de binnenkomende interface, voordat de CRC gechecked kan worden.

Ik zou dus ook even kijken op de switch aan de andere kant van de dark fiber, om te zien of je een andere interface kunt vinden met hetzelfde patroon aan errors.

[Gravit0n]

Sowieso even alle fibers (laten) poetsen inderdaad, anders wordt het een ticket voor je leverancier.

Je hebt alle apparatuur in ieder geval al uitgesloten.

[wallywally]

ik222 schreef op maandag 6 maart 2017 @ 15:55:
Aan de signaalwaardes zie ik duidelijk dat een van de twee vezels in het paar smerig is of ergens een slechte las of patch heeft. Namelijk de vezel die TX is vanaf het datacenter naar de RX van kantoor, daar zit je op bijna -18dBm wat echt te veel te laag is en inderrdaad makkelijk voor CRC errors kan zorgen. Bij -18dBm zit je echt op het absolute randje tussen nog net een link hebben (met waarschijnlijk errors) en helemaal geen link.

De andere vezel is wel prima omdat je daar -6dBm binnen krijgt aan de ontvangende kant. Kortom dit is echt duidelijk een probleem met de fysieke vezel infra.

Bedankt voor de bevestiging, dit dacht ik dus ook. Voorlopig gaat eerst het DC nu kijken en doormeten. Als laatst zullen we de DF leverancier gaan aansturen.

[wallywally]

ik222 schreef op maandag 6 maart 2017 @ 15:55:
Aan de signaalwaardes zie ik duidelijk dat een van de twee vezels in het paar smerig is of ergens een slechte las of patch heeft. Namelijk de vezel die TX is vanaf het datacenter naar de RX van kantoor, daar zit je op bijna -18dBm wat echt te veel te laag is en inderrdaad makkelijk voor CRC errors kan zorgen. Bij -18dBm zit je echt op het absolute randje tussen nog net een link hebben (met waarschijnlijk errors) en helemaal geen link.

De andere vezel is wel prima omdat je daar -6dBm binnen krijgt aan de ontvangende kant. Kortom dit is echt duidelijk een probleem met de fysieke vezel infra.

Ja, kabel in DC was kapot

[ik222]

wallywally schreef op donderdag 9 maart 2017 @ 10:25:
[...]


Ja, kabel in DC was kapot

Mooi dat het opgelost is