Fibre optic connectie tussen Procurve 5412 switches

[Saab]

Gisteravond hebben we hier een reorganisatie van ons netwerk doorgevoert.

We hebben nu twee HP Procurve switches 5412 in gebruik.

1 is nu in gebruik voor onze servers, ILO cards en KVM switches(KVM over ethernet)

2 is een client switch voor onze werkstations en printers.

Nu hadden we in eerste instantie tussen de switches een fibre optic cable gehangen en dat leek ook goed te werken. Gisteravond getest en vanmorgen leek het ook goed te gaan.

Echter rond 10:30 kregen we problemen met servers die hun connecties verloren.

De ICT manager, die niet aanwezig was, beweert nu dat je niet zomaar een Fibre optic verbinding tussen de twee switches kunt opzetten, maar dat die geconfigureert moeten worden. Ik kan daar helaas niets over vinden. Ik heb de manual van HP bekeken, uiteraard op Got gezocht en op google. Maar kom dus niets tegen wat duidt op iets qua configuratie. HP zegt dat het plug en play zou moeten zijn, en daar leek het in eerste instantie ook op.

Iemand die daar iets zinnigs over kan roepen? Gaat hier om een 10Gbit verbinding, die in eerste instantie ook de enige verbinding was tussen de twee switches. Nu loopt de verbinding tussen 2 1Gbit poorten.

[TrailBlazer]

als er iets geconfigureerd moet worden dan werkt het wel of niet. Het is niet zo dat het dan op eens niet meer gaat werken natuurlijk. Je kan niet zoveel configureren aan een simpele links tussen twee switches. Wat voor fibers heb je gebruikt.

[Kabouterplop01]

En wat voor GBICs /Xenpacks heb je gebruikt?
Zie je wat in de logging va je switches, zie je errors op je interfaces?
Wat is de afstand tussen je switches?

[ Voor 14% gewijzigd door Kabouterplop01 op 24-11-2007 14:23 ]

[Saab]

Kabel is een SC-P kabel, lengte ongeveer 3 meter. Kabel gebruikte we voordien altijd op de Cisco switches.

Het is een X2 SC (J8436a) module. Ik zie op de poort L4( de fibre optic) excessive broadcasts zodra ik de kabel er in steek maar dat zie ik ook op de poort waar ik de normale uplink tussen de switches insteek. En die excessive broadcast zie ik kortstondig.

Ik heb zelf het gevoel dat er ergens met de overige bekabeling iets niet goed gaat. Ik probeer het uit te leggen.

Mijn voorganger had er veel plezier in zelf kabeltjes te knijpen. Echter vond hij kleurcodering maar onzin, hij zorgde ervoor dat aan allebei de kanten de kleurtjes aan de zelfde kant zaten.

Voorheen hadden we Cisco 3500 series swiches, die onderling verbonden waren met fibre optic verbindingen. Uiteraard was alles verder 100Mbit. Nu hebben we de Procurves, die 1000Mbit zijn.

Alle kabels tussen de servers en switches en tussen switch en patchpoorten zijn vervangen waar nodig door normale kabels(geen self made meer). Maar elders in het pand zijn er toch nog wel een paar werkstations die zo'n selfmade kabel hebben. En gisteren had ik al enkele werkstations die geen verbinding kregen met zo'n kabel. Ik kan me voorstellen, is slechts een theorie, dat dit nog steeds problemen veroorzaakt, de kabels die nog niet vervangen zijn bedoel ik uiteraard.

Ik moet er even bij vermelden dat ons netwerk gewoon zwaar underperformt, ondanks dat we gewoon fatsoenlijke switches en HP servers hebben.

Ik ben op dit moment aan het testen, en update hier later

[Kabouterplop01]

Die excessive broadcast is waarschijnlijk het aantal mac adressen die over de verbinding heen en weer worden geflood. misschien kun je troubleshooten met MDI(X)/ autosense settings per port. (wel een KL... werkje)
en alle pc's en switches zoveel mogelijk fixed instellen (geen autoneg), dan zie je snel genoeg of er fouten in de hardware zit. brakke kabel geeft geen link. Kijk naar collissions bij Full Duplex; dat hoort uiteraard niet etc

[ Voor 34% gewijzigd door Kabouterplop01 op 24-11-2007 16:25 ]

[Saab]

Ik ga komende week alle netwerkkabels controleren. Ik zie op een aantal switch poorten idd excesssive congestion dus er valt nog een hoop te doen..

Maar in eerste instantie de vraag of een 10Gb link tussen switches geconfigureert dient te worden kan ik negatief beantwoorden?

Ik kan daar gewoon niets over vinden, en ik snap dat je daar waarschijnlijk wel iets aan kunt finetunen, maar als ik in de procurve manager kijk zie ik gewoon geen opties om die poort te configureren.

Overigens die brakke kabels, 1 zo'n kabel 'werkt' op mijn werkstation, dc7700 met 1Gb netwerk, maar weigert iets te doen op mijn IBM laptop met 1Gb netwerkkaart. Uit ervaring weet ik dat sommige kaartjes gevoeliger zijn dan andere

Bedankt zover voor de antwoorden

[ Voor 18% gewijzigd door Saab op 24-11-2007 17:10 . Reden: Brakke kabels ]

[Kabouterplop01]

Ik heb geen flauw idee van de hp bakken;ik "gebruik" alleen 10gig verbinding met dwdm apparatuur.
misschien meer mogelijkheden via telnet naar de switches, of via console.
misschien zit het em in de fiber soort
misschien kun je dit alleen gebruiken met singlemode fiber oid en omdat het een korte lengte is moeten er dempers tussen als het laser gbics/xenpacks zijn

[ Voor 36% gewijzigd door Kabouterplop01 op 24-11-2007 19:13 ]

[CyBeR]

Saab schreef op zaterdag 24 november 2007 @ 17:08:
Ik ga komende week alle netwerkkabels controleren. Ik zie op een aantal switch poorten idd excesssive congestion dus er valt nog een hoop te doen..

Maar in eerste instantie de vraag of een 10Gb link tussen switches geconfigureert dient te worden kan ik negatief beantwoorden?

Op zich valt er redelijk weinig te configureren wat niet al standaard goed is ingesteld.

Enige wat ik me kan bedenken zo even: heb je het goede soort kabel gebruikt? Dat je die eerder in gebruik had voor gigE zegt niet direct dat 'ie ook geschikt is voor 10gigE..

Qua excessive broadcasts-- als je die fiber erin drukt op 't moment dat je switches ook met 2x gigE verbonden zijn krijg je een loopje. Heb je die 2x gigE wel netjes in een aggregated link gepropt? Zet anders je fiberpoorten even samen met twee PC'tjes (elk aan een andere kant) in een ander VLAN en kijk dan hoe en wat.

[ Voor 19% gewijzigd door CyBeR op 24-11-2007 19:18 ]

[gerhald]

mischien de fiber smerig heb je ze al gepoetst aan beide kanten ?

en heb je spanning tree aanstaan ?

en wat nou als je de fiber er tussen uithaald en tijdelijk utp tussen doet of de servers bij op de andere sw doet ?

[Saab]

Nee, fibers niet gepoetst nee...Maar zijn nooit los geweest denk ik dus kunnen niet vuil zijn denk ik.

Het werkte in eerste instantie prima. Donderdagavond hebben we alle kabels gereoganiseerd. Dwz, alle server nics een eigen kleur, hetzelfde voor de Ilo connecties en voor de KVM connecties.

Alle werkstations en telephones(geen VOIP, op een eigen patch panel) opnieuw gepatcht.

Daarna tussen de twee Procurve switches, dit is een HP chassis met in elk 96 poorten met PoE) de fiber optic gelegt. Uiteraard daarna getest, met een aantal werkstations en alles leek goed te werken.

Tot vrijdagmorgen 10:37(event viewer Windows servers) dat ik op vrijwel alle servers zie dat the networklink down gaat. Tot die tijd was er dus een fibre optic verbinding tussen de twee switches, voor de rest absoluut geen link dus spanning tree zou geen probleem moeten zijn.

Mijn collega's raakte een beetje in paniek en besloten de Fibre te vervangen door de verbinding tussen de twee UTP poorten op de switches.

Ander gek geval, ik krijg geen fatsoenlijke link vanaf de tweede distribution switch naar een Cisco 3550 op een 1000Gb module(zo'n insteek module). Soms werkt het, soms ook niet. Uiteraard kabel vervangen. Uplink vanaf een normale Gbit poort op de Procurve switch

[Dennizz]

Ben zelf niet zo heel veel bezig met HP procurve's maar wel redelijk veel met switching op foundry en cisco (network engineer), maar de eerder genoemde suggestie van STP (Spanning tree) vind ik wel aannemelijk klinken.

Indien je geen vlan's gebruikt kun je zonder configuratie enkelvoudinge verbindingen leggen tussen switches. Dit zou probleemloos moeten werken. Als je echter tussen 2 switches meer dan 1 verbinding hebt, ontstaat er een loop. Door deze loop zal broadcast verkeer wat via de ene link binnenkomt weer teruggestuurd worden via de 2e link. Hierdoor loopt op een gegeven moment de switch vol waardoor je allerlei rare problemen in je netwerk kunt krijgen. Vaak zie je ook een "kerstboom" aan lampjes op je switches.

Een loop kan ook ontstaan als je bijvoorbeeld 3 switches hebt waar je tussen switch 1&2, 2&3, 3&1 een link hebt. Controlleer dit dus goed en sluit uit dat dit een probleem is. Tevens zou je via de console of webui kunnen zoeken naar de spanning-tree optie en deze enablen. Gezien je redelijk simpele netwerktopologie zou dit in ieder geval geen problemen mogen veroorzaken.

edit; sorry zie net dat je dat dus al gecontrolleerd hebt. Zie je in de switches zelf een eventlog of iets dergelijks waar interessante meldingen uit komen ? Komt de uptime van de switch(es) overeen met het tijdstip van de crash of draaien deze al langer ? (oftewel rebooten ze).


Betreft:
Ander gek geval, ik krijg geen fatsoenlijke link vanaf de tweede distribution switch naar een Cisco 3550 op een 1000Gb module(zo'n insteek module). Soms werkt het, soms ook niet. Uiteraard kabel vervangen. Uplink vanaf een normale Gbit poort op de Procurve switch

Waar kan ik zo'n snelle module kopen ? Staan de port setting aan beide kanten op auto ? Gbit links ondersteunen bij mijn weten geen geforceerde instellingen volgens de ietf standaard. Staat aan bijde kanten mdi/mdix aan ? wellicht helpt het om dat aan 1 kant te disablen

[ Voor 27% gewijzigd door Dennizz op 25-11-2007 02:08 ]

[Saab]

Er is absoluut geen loop tussen de twee switches, dubbelgecheckt.

Hmm, typo van mij, moet een 1000Mbit module zijn uiteraard...Stomme is dat die uplink in eerste instantie werkte, maar gisteren toen ik nog even wat verder testte hield het voor gezien.

De HP Procurve herstartte niet, alleen op het moment dat je de 1Gb of de 10Gb fibre erin steekt beginnen alle poorten op de eerste switch te knipperen(rood) als een kerstboom. Daarna stabiliseert het zich.

Morgen weten we meer en laat ik het hier weten uiteraard.

Wist trouwens niet dat die Procurve zo stervensduur zijn, ik geloof een 8000 euro per stuk? Chassis met 4x24 poorten elk, en zo'n 10Gb st module er in.

[TrailBlazer]

Zijn wel redelijk normale prijzen hoor voor proffesioneel spul. Een cisco 10GB Xenpack (insteekmodule) kost 4000 dollar zonder korting.

[bazkar]

10 Gbit is gewoon DUUR.

Meestal hoef je inderdaad geen drol te configgen aan een fiberverbinding mits je kabel het protocol van je xenpaks/gbics ondersteunt.

Selfmade kabels is gewoon not-done (zeker niet als de kleurcombinaties niet goed zijn) in een kantooromgeving.

Je ziet de netwerklink op de servers down gaan zeg je. Dat heeft dus in principe niets te maken met de fibre, of ik begin raar te worden. Als een server meldt dat zijn netwerkverbinding down gaat, wil dat dus zeggen dat er iets mis is met de koperpoorten op de switch zou ik zeggen.

Als de fiber eruitgejast wordt, dan draaien alle servers vrolijk door zou ik denken.

[Saab]

Je hebt helemaal gelijk. Mijn vraag was meer een hypothese. Vanavond ga ik die fibre er weer tussen hangen. Spanning control, ivm de tweede uplink, aan en dan uitgebreid testen.