Netwerk om 8:45 10 minuten plat, daarna weer okee.

[HellBeast]

Ik heb iets heel erg vreemds bij een klant. Ik zal eerst de netwerktopologie nader toelichten.

Er zijn 3 bedrijfsonderdelen in 1 pand. Alle drie de bedrijven zitten aangesloten op 1 Cisco ASA Firewall. Ze hebben tesamen 4 switches in gebruik, waarop ze alledrie een eigen VLAN hebben. Op 1 switch zitten alle servers. (IBM Hardware; DC's, Terminal servers, applicatieservers) De rest van de switches zijn gevuld met printers, PC's, thin clients etc. Alles is fysiek, geen virtualisatie. (SBS 2003)


Bijna elke ochtend om 8:45 klapt het netwerk eruit. De gebruikers krijgen dan een melding dat de verbinding met de Exchange server is verbroken.Ook ander netwerkverkeer is dan niet mogelijk. Bij een enkeling is er niets aan de hand(!). Tijdens deze storing kunnen wij wel een VPN verbinding opzetten en op de servers komen. We zien daar geen connectieverlies of rare eventmeldingen. Na ongeveer 10 minuten lost de storing zich vanzelf op en kan iedereen weer connectie met het netwerk krijgen.

De switches zijn helaas niet erg "top-of-the-bill" (3Com) en hebben geen uitgebreide loggingmogelijkheden. Wel kan ik zien dat er geen collisions zijn op de tijdstippen. Ik was er afgelopen maandag om deze storing on-site te aanschouwen om zo wat meer informatie te verzamelen en het op te lossen, maar die dag trad de storing niet op.

Een netwerkloop kan het niet zijn, vanwege het feit dat deze zichzelf niet oplost. (Maar "Spanning Tree" hebben deze switches ook niet.) En zeker niet op bepaalde tijdstippen terugkomt. Een andere optie zou kunnen zijn dat een gebruiker aanmeldt op een PC/laptop met spyware die dan op het netwerk gaat broadcasten. Maar ook dat zou ik raar vinden, want dat zou zichzelf toch ook niet na 10 minuten oplossen.... Dit zou echter wel verklaren waarom het op bepaalde dagen niet optreedt.

Aangezien er meedere kantoren last van hebben, denk ik dus aan de switches. Dit is het enige component wat de kantoren fysiek met elkaar verbindt (wel met ieder hun eigen VLAN). Mijn eerste ingeving zou zijn een brakke switch, maar dat zou het terugkerende tijdstip niet verklaren.

Iemand een idee of een tip waarmee ik de oorzaak kan vinden?

[Coach4All]

Een trunk of andere verbinding tussen switches die bokt?

[HellBeast]

Coach4All schreef op woensdag 09 mei 2012 @ 15:36:
Een trunk of andere verbinding tussen switches die bokt?

Ze hebben onderling een 1GB uplink via ethernet. (geen glas) Verder niets.

[Keypunchie]

Klinkt of er iemand 's ochtends binnenkomt, de stekker van een switch eruit trekt die naast zijn bureau staat om zijn koffie-apparaat op aan te sluiten en dan 10 minuten later lekker aan de slag gaat.

Meer serieus, ik zou zeker kijken naar wat voor crons en scheduled jobs er op dat tijdstip lopen. Misschien dat er een bizarre hoop netwerkverkeer wordt gegenereerd, of dat tijdens een reboot er per ongeluk een dhcp-server op het netwerk wordt gegooid?

[ajhaverkamp]

HellBeast schreef op woensdag 09 mei 2012 @ 15:33:
Bijna elke ochtend om 8:45 klapt het netwerk eruit.

Is er al duidelijk wat er allemaal uitklapt?

Je schrijft dat de servers op 1 switch zitten, blijft deze switch bv wel gewoon draaien en hebben de servers onderling nog wel een verbinding?

Of valt juist deze switch uit?

[HellBeast]

Keypunchie schreef op woensdag 09 mei 2012 @ 15:41:
Klinkt of er iemand 's ochtends binnenkomt, de stekker van een switch eruit trekt die naast zijn bureau staat om zijn koffie-apparaat op aan te sluiten en dan 10 minuten later lekker aan de slag gaat.

Meer serieus, ik zou zeker kijken naar wat voor crons en scheduled jobs er op dat tijdstip lopen. Misschien dat er een bizarre hoop netwerkverkeer wordt gegenereerd, of dat tijdens een reboot er per ongeluk een dhcp-server op het netwerk wordt gegooid?

Een tweede DHCP server, daar zou ik event meldingen van moeten krijgen. De scheduled tasks heb ik uiteraard al nagekeken. Ik heb ook een performance monitor draaien en die geeft tijdens deze storing geen ongewone usage van CPU/DISK/Processor.

[HellBeast]

ajhaverkamp schreef op woensdag 09 mei 2012 @ 15:42:
[...]

Is er al duidelijk wat er allemaal uitklapt?

Je schrijft dat de servers op 1 switch zitten, blijft deze switch bv wel gewoon draaien en hebben de servers onderling nog wel een verbinding?

Of valt juist deze switch uit?

De switch blijft draaien, ik had al vermeld dat wij tijdens de storing kunnen VPN-en en op de servers kunnen komen.

[DukeBox]

Wel kan ik zien dat er geen collisions zijn op de tijdstippen.

Hoe heb je dat vast gesteld op een switch

Is het mogelijk om 1 managed switch te gebruiken, dan kan je daar in iedergeval triggers op plaatsen voor logging.

[HellBeast]

DukeBox schreef op woensdag 09 mei 2012 @ 15:47:
[...]

Hoe heb je dat vast gesteld op een switch

Is het mogelijk om 1 managed switch te gebruiken, dan kan je daar in iedergeval triggers op plaatsen voor logging.

Niet op de switch, maar op de servers met software. Wat niet alles zegt natuurlijk, dat geef ik meteen toe.

[Coach4All]

Hebben jullie een draadloos netwerk?

Al eens gezien dat iemand met een vage app internet connection sharing aan had staan op zijn draadloze deel en zo een loop veroorzaakte.
Probleem was er meestal maar even (als in, als de persoon achter deze laptop niet op internet kon, het eerste wat hij deed, dan wist hij dat hij zijn draadloos moest disablen....)

[HellBeast]

Coach4All schreef op woensdag 09 mei 2012 @ 15:57:
Hebben jullie een draadloos netwerk?

Al eens gezien dat iemand met een vage app internet connection sharing aan had staan op zijn draadloze deel en zo een loop veroorzaakte.
Probleem was er meestal maar even (als in, als de persoon achter deze laptop niet op internet kon, het eerste wat hij deed, dan wist hij dat hij zijn draadloos moest disablen....)

1 kantoor heef inderdaad twee access points. Eentje in een vergaderruimte met een Guest gedeelte (wel beveiligd met WPA2) en eentje bij de werkplekken. Dat bedrijfje heeft maar 3 gebruikers met laptops. Ik kan wel vragen of ik het mag uitzetten als test. Goede tip! thx

[DukeBox]

HellBeast schreef op woensdag 09 mei 2012 @ 15:57:
Niet op de switch, maar op de servers met software. Wat niet alles zegt natuurlijk, dat geef ik meteen toe.

Dat zegt inderdaad niets.. want in een switched netwerk kom je nooit collissions tegen.
Je zal echt op zoek moeten gaan naar broadcast storms of incompatibiliteit tussen switches.
Ik heb wel eens iets gehad wat op jouw probleem leek maar dat kwam door single mode fiber in een multi mode sfp.. ging goed totdat er meer dan 50% belasting op zat.

[HellBeast]

Voor de mensen die later nog nieuwsgierig zijn. Het probleem heeft zich vanzelf opgelost. Heel vaag en ik word daar ook niet zo vrolijk van, want ik weet de oorzaak dus ook niet. Hopen dat het maar niet terugkomt.

[Verwijderd]

Het kan een werknemer zijn dat heeft ingezien dat hij iets fout heeft gedaan en stiekem heeft gezwegen en het zelf opgelost ?

[Wim-Bart]

Klinkt als iemand die een laptop heeft met een wifi adapter en een netwerk adapter en dat 1 van deze twee adapters op fixed ip staat, toevallig op zelfde ip adres als je default gateway. Dat kan verklaren dat je binnen server switch gewoon verbindingen hebt maar geen routering (dus netwerk) binnen rest van netwerk (wat op andere switches zit). Die 10/15 minuten klinkt als iemand die het zat wordt van de "Duplicate IP adressen" en dan de wifi adapter uit zet, en voila, alles werkt weer.

[HellBeast]

Klant belde, vandaag weer het probleem. Ben nu aan het inventariseren wie er vakantie had....

[SjaakDeBeer]

Ik heb zelf ook een keer hetzelfde probleem gehad. Elke keer klapte alle diensten (internet en telefoon) om half 10 er uit. Wat bleek... De verbinding kwam tot stand d.m.v. een telefoonlijn en de buurman opende elke keer om half 10 zijn winkel en zette dan ook zijn internet e.d. aan. Op dat moment klapte dus de diensten er uit. De uiteindelijke oplossing is toen geweest om het één en ander om te zetten in de wijkcentrale. Helaas weet ik niet precies wat er is gewijzigd in de wijkcentrale omdat ik een monteur heb aangestuurd.

Als ik je verhaal zo lees dan denk ik eerlijk gezegd niet dat het met het bovenstaande verhaal verband houdt. Misschien kun je controleren of er op dat moment het netwerk extra wordt belast door de gedeelde verbinding en kun je misschien eens gaan rondvragen of er een buurman is die op dat moment zijn verbinding aan het opstarten is.

[klaboem]

Is het wel zo dat er geheel geen netwerkverkeer mogelijk is? Zoals ik het lees kan het ook zijn dat de DNS server niet beschikbaar is.

[SmiGueL]

Misschien overheen gelezen, maar scan op dat moment gewoon alle ip's in het netwerk af?
Mogelijk iemand die zijn phone/laptop op fixxed heeft staan en dat deze gelijk is aan de gateway oid.

Kijk dus of alle IP's binnen de lease range vallen, en zo niet kijk of dit de servers zijn die ook een fixxed nummer moeten hebben of een 'onbekend apparaat'


Vanmorgen een (soortgelijk probleem) waarbij, na de stroomstoring van gisteren i.v.m onweer, alle apparaten netjes opvolgend een nieuw ip toegewezen kregen. De netwerkprinter daarentegen vond het nodig om een eind verderop in die toewijsbare reeks een IP adres te nemen. Deze bleek dus gelijk te zijn aan een pc die daardoor niet meer kon aanmelden ivm een IP-conflict.. Dit adres staat als fixed ingesteld ivm remote desktop.

[ Voor 44% gewijzigd door SmiGueL op 24-05-2012 13:40 ]

[leuk_he]

Je kunt ook een complete netwerk log met wireshark draaien op een station dat eruit klapt rond die tijd. Misschien zie je de broadcast storm/ rare dhcp pakketten of zie wel welk pad de verbinding wegvalt.

Aangezien je op de server niets ziet in eerste instantie zou ik zo'n desktop PC willen zien om 8:45.

[HellBeast]

Een collega van mij gaat er morgenochtend heen. (Heb zelf een servermigratie bij een andere klant).Ik heb de suggesties die in dit topic worden gedaan aan mijn collega meegegeven. Mijn dank! Ik laat de uitkomst zeker weten.

[SmiGueL]

HellBeast schreef op donderdag 24 mei 2012 @ 13:40:
Ik laat de uitkomst zeker weten.

Nou?

[HellBeast]

Er is nog geen uitkomst. De storing is nu alweer een flink aantal dagen uitgebleven....

[degroot]

ik zou ook ff een perfmon van je servertjes draaien!