Onstabiel netwerk

[Flying]

Momenteel zitten mijn collega en ik op een locatie om netwerkproblemen op te lossen. Het gaat om een gebouw die redelijk lang is (ongeveer 250 a 300m) met een mooie oppervlakte.

Het probleem is als volgt. Op bepaalde, willekeurige momenten wordt het internet enorm traag. In het deel van het gebouw waar de internetverbinding aankomt valt het best mee, in het andere deel van het gebouw betekent dat dat er vaak geen internetverbinding meer is. Een ping naar google levert dan snel meer dan 50% time-outs op. Printen naar de kopieertoestellen wordt dan ook quasi onmogelijk. Vaak wordt er geen verbinding gemaakt met de printer en als er wel verbinding wordt gemaakt, duurt het al snel 5 minuten alvorens de opdrachten aankomen bij de printer.

Wanneer we de switches bekijken, dan ziet het er letterlijk uit als een kerstboom en lijkt het erop alsof er een broadcast storm aanwezig is. We spreken hier over switches die niet managed zijn. We hebben al ettelijke netwerkkabels losgemaakt die de switches over hun toeren lieten gaan (effect broadcast storm).

De op die kabels aangesloten computers hebben we nagekeken op schadelijke software. Daarbij gebruik gemaakt ook van het programma AdwCleaner. Op elk toestel vond die wel iets, maar er zat geen rode draad in de scanresultaten die ons kan wijzen naar een bepaald programma. Elke computer hier is uitgerust met Avast, deze geeft ook niets aan.

Heeft er hier iemand een idee? Misschien is deze post even chaotisch als dit netwerk, maar we komen er hier echt niet uit. We herkennen het probleem en kunnen het even onderdrukken, maar een oplossing hebben we niet.

[PeterPan]

Hoeveel switches staan er? Is er een centrale patchkast waar alle bekabeling in uitkomt en alle switches staan of is het een wirwar van verschillende aan elkaar geknoopte switches vanaf verschillende delen van het gebouw?

Kun je überhaupt wel inloggen op de switches om iets van logging te controleren of zijn het echt volledig domme switches?

Probeer voor je zelf eerst de netwerk structuur in kaart te brengen + alle servers, copiers en andere op het netwerk aangesloten devices.

Dan zou je alles kunnen lostrekken en stap voor stap/ in groepen weer alles aansluiten.

Ook kun je al eens kijken of er tijdens het probleem er ook intern vertraging is (pingen naar PC's op dezelfde switch, de volgende switch etc).

[ Voor 41% gewijzigd door PeterPan op 21-11-2013 11:17 ]

[Acmosa]

Is er misschien een netwerk loopje? 1 netwerk kabel die via 2 patchpoorten de switches met elkaar verbindt en een loop creert. Daar hebben ze op managed switches o.a. STP voor uitgevonden om dat te voorkomen.

Ik heb dit in het verleden (voordat ik STP had geconfigureerd) ook wel eens. Iemand die zelf wel even zijn pc aansloot en op die manier door een wirwar van kabels een spanning tree loop creerd en je hele netwerk plat gooid.

http://www.petri.co.il/cs...loops_with_stp_8021d.htm#

[ Voor 56% gewijzigd door Acmosa op 21-11-2013 11:20 ]

[Flying]

Er staat één centrale patchkast waarop het eerste deel van het gebouw is aangesloten. Dit zijn domme switches. Van hieruit loopt er één kabel door naar het tweede deel van het gebouw, om het daar internet te voorzien. Daar is een tweede patchkast. Omdat de afstand te groot is, heeft de vorige ICT'er er een switch tussen geplaatst.

We hebben het andere deel van het gebouw losgekoppeld omdat dat één van de kabels is die problemen geeft. Wanneer we de gevonden kabels met problemen loskoppelen, dan werkt alles vrij naar behoren (voor zover we kunnen zien). We dachten ook aan een loop, maar alles werkt als we bepaalde kabels losmaken.

[PerfectPC]

Is het wel degelijk een broadcast storm? Dat kan je analyseren door wireshark/tcpdump te laten lopen op een aangesloten toestel.
Zoja, dan heb je ee L2 lus. Best even nakijken of er geen dubbele verbindingen liggen tussen switches en of er geen lus gemaakt is met switches. Eventueel kan een dubbel aangesloten pc ook voor mac flapping zorgen.
Is er wifi? En heb je deze al eens uitgeschakeld? Ook deze kan voor L2/L3 lussen zorgen indien verkeerd gebruikt.

[Flying]

Alle wifi-apparatuur is bij begin van het onderzoek uit het netwerk gehaald. De eerste dag op deze locatie hebben we alle kabels uit de centrale patchkast gehaald (er zaten kabels in van 4 meter) en hebben we alle binnenkomende poorten uitgemeten naar de verschillende lokalen in het gebouw.

Zo hebben we meteen ook voorkomen dat er in deze patchkast een lus tussen de twee switches kon zitten. Enkel de nodige poorten zijn gepatcht en we hebben een overzicht in Excel welke poort bij welk lokaal hoort om te kunnen troubleshooten.

Gisteren hebben we een managed switch ertussen gehangen en enkele kabels erop aangesloten. Bij ARP scan kwamen bij sommige kabels al snel honderden illegal ARP-packets tevoorschijn.

Edit: bij een Wireshark komen er overigens in een tijdspanne van twee seconden een massa aan identieke packets voor, zie link http://imgur.com/2u2sTMx

[ Voor 9% gewijzigd door Flying op 21-11-2013 11:37 ]

[WhizzCat]

Stap één is een overzicht maken van alles wat je hebt en hoe het aangesloten is. Daarna kan je gaan troubleshooten. Ik heb een beetje het idee dat jullie nu in het wilde weg dingen aan het testen zijn en daar schiet je, in de meeste gevallen, vrij weinig mee op.

Probeer ook eens of je dingen kan zien met lldp op managed switches en hoe je STP geconfigureerd staat (als dat al aan staat).

Vind er ook nog layer3 routing plaats trouwens en hoe zit het met eventuele vlans?

-edit-

Die UDP poort is een of ander broadcast ding van Nitrogen, schijnt een of ander admin console te zijn wat normaal op tcp/udp 7725 draait. Zegt dat je iets ...?

[ Voor 15% gewijzigd door WhizzCat op 21-11-2013 11:42 ]

[Flying]

We weten wat er precies is aangesloten, dat hebben we de eerste dag gecontroleerd. Zo weten we ook welke toestellen er nagekeken moeten worden. Dat is een beetje het idee. Een poort waarop iets gaande is kunnen we onmiddellijk afsluiten en in het betreffende lokaal controleren.

Edit: voor de duidelijkheid, er zijn hier geen managed switches aanwezig of voor handen. De managed switch die we eens hebben gebruikt om te testen is geen eigendom van deze organisatie. We hebben dit dus niet voor handen.

Edit 2: de Nitrogen is volgens mij afkomstig van het programma Deep Freeze welke hier op de computers geïnstalleerd staat. Er zou een fout inzitten waardoor meer verkeer wordt gegenereerd dan normaal. Dit werd opgelost met versie 7.71. We zullen dus uittesten of het met deze versie wel werkt naar behoren.

[ Voor 51% gewijzigd door Flying op 21-11-2013 11:45 ]

[Zoetjuh]

Misschien een te "kort-door-de-bocht" reactie, maar wordt het dan misschien niet eens tijd voor managed switches?

[Trommelrem]

Managed switches kun je gewoon huren als dat nodig is. Maar een managed switch is niet eens heel prijzig en in dit geval zou het aanschaffen van een stapeltje managed switches weleens goedkoper kunnen zijn dan al die downtime.

[Zoetjuh]

Trommelrem schreef op donderdag 21 november 2013 @ 14:03:
Managed switches kun je gewoon huren als dat nodig is. Maar een managed switch is niet eens heel prijzig en in dit geval zou het aanschaffen van een stapeltje managed switches weleens goedkoper kunnen zijn dan al die downtime.

Of de uren die je anders nodig hebt om het issue te vinden

[Flying]

We hebben, hout vasthouden, het probleem gevonden. Het ging om het programma "Deep Freeze". Versie 7.70 bevat een bug waardoor er onnoemelijk veel netwerkverkeer wordt gegenereerd. Dit is opgelost in versie 7.71. Helaas voor ons zijn er uit het volledige netwerk slechts drie computers geconfigureerd om te bedienen via de server console.

We hebben dus al een groot stuk van het gebouw afgelopen om de programma's correct te configureren en vervolgens te updaten. Hierbij hebben we ook ontdekt dat er her en der nog aparte, kleinere switches hangen om te boel op te splitsen. Verschrikkelijk gewoon.

Het gaat overigens om een school waardoor er altijd sprake is van een beperkt budget. Als de switches het gewoon doen, dan is het niet evident om er nieuwe aan te kopen. Dit gezegd zijnde zal ik wel een voorstel lanceren om volgend kalenderjaar over te stappen om managed switches. Dit hoort hier misschien niet thuis, maar wat zouden jullie aanraden als managed én prijs-efficiënt?

Edit: natuurlijk bedankt voor de suggesties die hier werden gegeven

[ Voor 3% gewijzigd door Flying op 21-11-2013 19:00 ]

[WhizzCat]

HP, kan je jaaaaaaaaaren mee vooruit

[Trommelrem]

HP heeft volgens mij zelfs lifetime NBD op z'n switches? Aangezien scholen graag extreem lang willen doen met hun spullen...

[ Voor 37% gewijzigd door Trommelrem op 21-11-2013 19:08 ]

[morphje]

Vette rekening (na)sturen met het advies dat de volgende storing sneller op te lossen is met managed switches. Voor het bedrag wat jullie nu verbrand hebben zijn wel een paar switches te koop. Adviseer gelijk ook die kleine eindswitches te dumpen en een paar nieuwe kabeltjes aan te leggen.

1 centrale patchkast voor een gebouw van 250 meter klinkt trouwens ook niet fijn. Grote kans dat er een paar kabels aan hun max lengte zitten (zo niet eroverheen). Lijkt mij dat er eens goed gekeken moet worden naar de netwerkinfrastructuur.

Goedkoop, maar redelijk goede ervaringen: Netgear, levert tegenwoordig zelfs managed L2 10gbit switches voor 2k/stuk. Niet top of the line, maar al heel wat fijner werken dan unmanaged spul. Vermijd overigens dell smart switches, dat zijn ondingen

[Flying]

Ik wou dat dat zomaar even ging, nieuwe of extra bekabeling. Het gebouw is geen eigendom en er mogen dus geen (grotere) gaten gemaakt worden. Afzonderlijke gebouwen (ja die zijn er ook) worden verbonden via een draadloze antenne, wat ook weer een belachelijke kwaliteit met zich meebrengt. Voor ondergrondse bekabeling moet de baan, etc. open en dat mag ook gewoon niet.

[pablo_p]

Als je het echt low budget wilt doen, maar wel managed, dan is het een optie om op marktplaats tweedehands Cisco 2950 switches te kopen. Die zijn al voor 20 euro te koop. Voor een tientje meer met Gigabit uplinks.

Er zijn geen software updates meer beschikbaar, maar de laatste image is prima in te richten met SSH en access-lists voor management (management in een ander VLAN dan gebruikers) en dan zie ik praktisch geen security issue. Enige nadeel is dat de access-poorten 100 Mbit zijn.

Ze zijn wat ouder en soms kan de fan wat moeizamer draaien, maar als je er gewoon een paar extra als spare koopt, kan je een defecte switch snel vervangen. Leg er gewoon 10 op de plank voor uitbreidingen en spares.

Voordelen van inzicht in het netwerk zijn enorm:
- Spanning-Tree om loops te voorkomen (lekker MST/Rapid PVST+ draaien met portfast default en alles komt snel op)
- CDP om op afstand connecties te kunnen controleren
- SNMP om alle poorten met Cacti uit te lezen, zodat je makkelijk kan zien welke poorten het meeste verkeer genereren
- Management logisch scheiden van productie verkeer
- VLAN ondersteuning om PCs / Wireless / Gast gebruikers makkelijk te kunnen scheiden
- beheerkennis voor de standaard Cisco switches is ruim beschikbaar
- er ligt een mooie basis en indien er meer wensen zijn, dan is het prima mogelijk om een gedeelte te upgraden (bv Gigabit voor servers)

Jammer dat het in België is, anders had ik het een leuk project gevonden om kosteloos een strak ingericht simpel netwerk neer te leggen.

[ Voor 4% gewijzigd door pablo_p op 22-11-2013 08:44 . Reden: Locatie Belgie gevonden via profiel topic starter ]

[Powermage]

Koop gewoon managed switches, hp heeft vrij goedkope instap modellen die zelfs 48 poortgen gigabit zijn.
Nee, geen top of the line switches maar je kan er veel meer mee dan nu en het had je een hoop werk kunnen schelen, afhankelijk van je uren ben je nu meer kwijt.

Mbt tot wifi koppelingen naar andere locaties, mits goed gedaan kan dit perfect werken... wij draaien dat bij ons hoofdkantoor, 1 keer een probleem gehad omdat een eind klant de stekker eruit getrokken had, voor de rest rete stabiel en 100mb mogelijk.

[PeterPan]

Dat is een tof aanbod van je pablo_p :thumbsup:

[Flying]

Misschien dat het lukt om volgend jaar managed switches te kopen. Dat sluit nog steeds het probleem niet uit van alle switches die in de verschillende lokalen staan. Het is werkelijk waar een volledig verziekt netwerk. Kon het maar allemaal opnieuw gedaan worden.

Bedankt voor je aanbod Pablo, maar helaas gaat het over een school in België.

Het is overigens niet mogelijk om zo even tweedehands switches te kopen via Marktplaats. Aankopen dienen via een firma te gebeuren. Refurb of tweedehands kopen van een bedrijf mag wel, maar particulier gaat dat niet. Regeltjes enzo...

[moppentappers]

Eventueel zou je ook nog TP-link switches kunnen nemen, zijn niet echt gangbaar binnen grote bedrijfsomgevingen, maar vormt in ieder geval een aanzienlijke vooruitgang op het hele unmanaged gebeuren.
Als je budget het toelaat zou ik overigens wel kiezen voor HP procurve of Cisco, maar indien dat echt niet gaat is het een te overwegen optie.

[Trommelrem]

Mijn voorkeur gaat ook uit naar HP, maar als het echt budget budget budget moet, dan is behalve TP-link ook Netgear een optie. Netgear heeft volgens mij lifetime warranty op hun managed switches (maar geen NBD).

[ Voor 53% gewijzigd door Trommelrem op 26-11-2013 09:48 ]

[Flying]

Gisteren is er één van de switches overleden. Computers aangesloten op die switch krijgen geen internetverbinding meer. Op de andere switch plaatsen geeft onmiddellijk terug verbinding. Er is toestemming voor budget managed switches. Zat eens te kijken en merk dat HP 48-poorts heeft voor zo'n 400 euro/stuk. Is dat wat?

[Question Mark]

Inventariseer nu eerst eens wat je nodig bent...

• Hoeveel switches
• hoeveel poorten per switch (nog mixen tussen 12/24 en 48 poorts)
• Welke snelheid op de interfaces en uplinks (let ook op of de bekabeling dit wel aankan)
• Hoe is de netwerklayout of hoe gaat deze worden
• Hoe ga je redudancy regelen
• Neem je een support contract af, of leg je extra switches op voorraad?
• Wie gaat het beheren en welke ervaring en kennis heeft deze persoon van switch platformen
• etc.

[Paul]

De V1810-48G en V1910-48G (mijn voorkeur gaat dan uit naar de 1810, de 1910 is een doorontwikkeling op iets van 3Com. Persoonlijk vind ik de 'echte' HP-switches beter) zijn wel 'manageble' maar wel redelijk beperkt. Je hebt nu gezien wat er aan gezeur komt als je niet deftig bij de gegevens van de switches komt.

Ik zou dat als argument meegeven om minimaal voor de 2530-48g te gaan. Die zijn veel beter te beheren en in geval van problemen zijn er ook veel meer gegevens op te vragen die je helpen bij het kijken wat er mis is.

Argumenten:
- Inzicht in de MAC-adressen: Achterhalen waar een apparaat zich bevindt als het gaat spammen. Denk aan rogue DHCP-servers (zelf meegebrachte consumentenroutertjes! Het gebeurt! Meermaals per jaar...) of zo.
- Beter af te stemmen spanning tree: Zelf 'loops' definiëren voor redundancy, enkel access poorten op portfast etc
- ACL's om bijvoorbeeld het management af te schermen zodat niet Jan en Alleman erbij kan
- Out-of-band management voor wanneer ze helemaal niet meer te benaderen zijn: USB- of seriële kabel eraan en je kunt troubleshooten

Stel, je hebt er 3 nodig (al zou ik kijken of je glas kunt trekken tussen de 2 patchkasten, dan ben je dit switch tussenin ook kwijt!) dan kost dat ~990 euro meer in aanschaf (als scholen BTW af mogen trekken, geen idee hoe dat met dat soort instellingen zit. Anders is het € 1200) dan de web-management-dingetjes. Over 5 jaar uitgesmeerd is dat € 16,50 (of 20) euro per maand.
Verloren productiviteit meten op een school is wat lastig, en in geld uitdrukken dus ook, maar één netwerkstoring waar een externe partij 8 uur mee bezig is kost ze al minimaal € 600 (of € 726, en dan zit ik met € 75 ex BTW per uur volgens mij erg laag), oftewel meer dan de helft van wat ze 'bespaard' hebben