De afgelopen dagen ben ik bezig geweest met een raar issue bij een klant, waar ik graag wat verdere input/meningen voor ontvang.
Heel in het kort:
Ik had op de internetlijn een MAC adres conflict met een host uit een compleet ander subnet (eerste octet was gelijk, tweede, derde, en vierde octet anders, beiden /24 netwerken). Naar mijn idee moet dit niet kunnen, aangezien een MAC conflict alleen binnen 1 broadcast domain plaats kan vinden, en een gezond netwerkontwerp maar 1 subnet per broadcast domain kent.
In het lang:
Klant heeft een internetlijn van een ISP, welke via glasvezel binnen komt;
Glasvezel -> Media Convertor -> Technicolor router -> L2 VLAN op switch -> FortiGate HA cluster
De Technicolor wilden we er tussenuit hebben, omdat die toch geen toegevoegde waarde heeft (doet NATting en routering). Dit moest gewoon kunnen volgens de ISP, dus de Technicolor er tussenuit gesloopt.
Toen begon de ellende; enorme packetloss. Kabels vervangen, poortinstellingen op de switch nagelopen. Niks raars. Vervolgens een packet capture gedraaid op de Fortigate, en toen brak mijn klomp; Er kwam verkeer binnen dat niet gericht was aan het IP adres van onze klant, maar wel aan het MAC van de firewall van deze klant. Dit tweede IP adres zat echter in een compleet ander subnet. Ik heb geleerd dat je elk subnet in een eigen broadcast domain/VLAN douwt, en tussen verschillende broadcast domains kan je geen MAC conflict hebben.
Aanvankelijk sloot ik dan ook een MAC conflict uit, heb de ISP gebeld met mijn bevindingen, en heb ze uiteindelijk de packet captures gestuurd met de vraag "wat gebeurt hier, en hoe kan dit?".
Uiteraard werd dit opgepakt zoals je zou verwachten, dus had ik na 2 weken nog niks gehoord. Reminder gestuurd. Antwoord van ISP: "Zoals we al zeiden, ligt dit aan uw modem. Wat gebeurt er als u ons modem terugplaatst?" In de geschiedenis van het ticket stond echter al dat dan het probleem weg was. Weer bellen. Na een kwartier werd ik doorgezet naar de tweedelijns, die het ook allemaal niet wist, en het door zou stiften aan hun NOC. Binnen 2 uur zou ik teruggebeld worden. Uiteraard gebeurde dit niet.
Buiten kantooruren maar zelf verder gegaan, en het betreffende firewall cluster een ander MAC adres gegeven (door het cluster ID aan te passen, zie http://help.fortinet.com/...ity/HA_failoverVMAC.htm). Spontaan waren alle issues opgelost.
Dit teruggekoppeld aan de ISP, die daar uiteraard niks mee deed. Ik probeer nu bij de ISP los te peuteren hoe dit heeft kunnen gebeuren, en hoe zij gaan voorkomen dat dit nog een keer gebeurt. De kans is namelijk veel te groot dat dit nog een keer gebeurt (best-case 1:65535, in de praktijk groter omdat er niet veel FortiGates zijn met 235 interfaces), en onze klant weer met een niet-werkende internetlijn zit. De ISP vertikt het echter om dit issue serieus te nemen.
Aan de hand van replies op DNS queries heb ik kunnen achterhalen met welke partij ik een MAC conflict had, maar heb hen nog niet geïnformeerd.
Hoe denken de andere experts hierover? Zie ik problemen die er niet zijn, of had dit inderdaad écht niet mogen gebeuren? Is de ISP te laks? Of doen ISPs zulke exotische dingen op hun netwerken dat ik niet meer moet denken volgens "klassieke" netwerken, maar volgens heel andere concepten?
De ISP in kwestie wil ik (nog?) niet noemen, dus daarnaar vragen heeft geen zin.
Voor de mods: Dit topic valt naar mijn idee zowel onder "Internetproviders en Hosting" als onder "Netwerken". Aangezien dit issue voornamelijk te maken heeft met netwerkconcepten, heb ik hem hier neer gegooid.
Heel in het kort:
Ik had op de internetlijn een MAC adres conflict met een host uit een compleet ander subnet (eerste octet was gelijk, tweede, derde, en vierde octet anders, beiden /24 netwerken). Naar mijn idee moet dit niet kunnen, aangezien een MAC conflict alleen binnen 1 broadcast domain plaats kan vinden, en een gezond netwerkontwerp maar 1 subnet per broadcast domain kent.
In het lang:
Klant heeft een internetlijn van een ISP, welke via glasvezel binnen komt;
Glasvezel -> Media Convertor -> Technicolor router -> L2 VLAN op switch -> FortiGate HA cluster
De Technicolor wilden we er tussenuit hebben, omdat die toch geen toegevoegde waarde heeft (doet NATting en routering). Dit moest gewoon kunnen volgens de ISP, dus de Technicolor er tussenuit gesloopt.
Toen begon de ellende; enorme packetloss. Kabels vervangen, poortinstellingen op de switch nagelopen. Niks raars. Vervolgens een packet capture gedraaid op de Fortigate, en toen brak mijn klomp; Er kwam verkeer binnen dat niet gericht was aan het IP adres van onze klant, maar wel aan het MAC van de firewall van deze klant. Dit tweede IP adres zat echter in een compleet ander subnet. Ik heb geleerd dat je elk subnet in een eigen broadcast domain/VLAN douwt, en tussen verschillende broadcast domains kan je geen MAC conflict hebben.
Aanvankelijk sloot ik dan ook een MAC conflict uit, heb de ISP gebeld met mijn bevindingen, en heb ze uiteindelijk de packet captures gestuurd met de vraag "wat gebeurt hier, en hoe kan dit?".
Uiteraard werd dit opgepakt zoals je zou verwachten, dus had ik na 2 weken nog niks gehoord. Reminder gestuurd. Antwoord van ISP: "Zoals we al zeiden, ligt dit aan uw modem. Wat gebeurt er als u ons modem terugplaatst?" In de geschiedenis van het ticket stond echter al dat dan het probleem weg was. Weer bellen. Na een kwartier werd ik doorgezet naar de tweedelijns, die het ook allemaal niet wist, en het door zou stiften aan hun NOC. Binnen 2 uur zou ik teruggebeld worden. Uiteraard gebeurde dit niet.
Buiten kantooruren maar zelf verder gegaan, en het betreffende firewall cluster een ander MAC adres gegeven (door het cluster ID aan te passen, zie http://help.fortinet.com/...ity/HA_failoverVMAC.htm). Spontaan waren alle issues opgelost.
Dit teruggekoppeld aan de ISP, die daar uiteraard niks mee deed. Ik probeer nu bij de ISP los te peuteren hoe dit heeft kunnen gebeuren, en hoe zij gaan voorkomen dat dit nog een keer gebeurt. De kans is namelijk veel te groot dat dit nog een keer gebeurt (best-case 1:65535, in de praktijk groter omdat er niet veel FortiGates zijn met 235 interfaces), en onze klant weer met een niet-werkende internetlijn zit. De ISP vertikt het echter om dit issue serieus te nemen.
Aan de hand van replies op DNS queries heb ik kunnen achterhalen met welke partij ik een MAC conflict had, maar heb hen nog niet geïnformeerd.
Hoe denken de andere experts hierover? Zie ik problemen die er niet zijn, of had dit inderdaad écht niet mogen gebeuren? Is de ISP te laks? Of doen ISPs zulke exotische dingen op hun netwerken dat ik niet meer moet denken volgens "klassieke" netwerken, maar volgens heel andere concepten?
De ISP in kwestie wil ik (nog?) niet noemen, dus daarnaar vragen heeft geen zin.
Voor de mods: Dit topic valt naar mijn idee zowel onder "Internetproviders en Hosting" als onder "Netwerken". Aangezien dit issue voornamelijk te maken heeft met netwerkconcepten, heb ik hem hier neer gegooid.