Wereldwijd netwerkprobleem

[laserfreak]

Hallo,

Deze morgen hadden we hier in Vlaanderen, Belgie vanaf 9u een probleem met Telenet. De modem was ok en ik kon pingen maar websites laadden niet in. Dit is nu beter maar nog niet echt opgelost. Op de website allestoringen.be zie ik dat sinds de middag alle internetdiensten last hebben. Ik hoor ook van mensen in de US/Australia dat er problemen zijn. Iemand die iets meer weet, is er een BGP attack of zo?

[MikeN]

Level 3 / CenturyLink is het internet aan het slopen. Ze lijken een storing te hebben, en zelfs wanneer providers de BGP sessie ermee beëindigen blijven ze verkeer voor die providers accepteren, waardoor het verkeer een zwart gat in gaat.

Zie o.a. https://puck.nether.net/p...s/2020-August/013188.html

[Bld-]

Volgens mij is de oorzaak problemen bij Cloudflare.
Had zelf ook problemen met het bereiken van sommige website's en game servers.
Vind het alleen apart dat het zo stil is op het forum en tweakers nieuws

[laserfreak]

Inderdaad vrij appart dat er niet meer nieuws is omtrent dit gegeven daar het wel een wereldwijde storing betreft. Telenet heeft alvast wel iets aangepast daar er nu reeds wat meer sites laden. Deze ochtend werkte er niets behalve youtube.

Het is wel opvallend: https://downdetector.com/ Gewoon alle grote diensten zijn gestoord sinds 12u

[ Voor 17% gewijzigd door laserfreak op 30-08-2020 15:11 ]

[Klippy]

Ik denk ook Cloudflare, maar beetje onduidelijk.
Heb net mijn DNS servers in elk geval omgezet van Cloudflare naar OpenDNS en dat helpt al een hoop (vooral DoH was een ramp).
Het lastige is tegenwoordig dat als één grote partij er uit ligt je zoveel side effects krijgt dat het lastig is om te bepalen waar het probleem ligt.
Eens in de gaten houden.

[MikeN]

Het meeste verkeer dat binnen het land blijft zal gewoon werken, dus in Nederland valt het wat minder op. Dit omdat dat verkeer gewoon via de AMS-IX afgehandeld kan worden over peering.

Het ligt niet aan Cloudflare. Zoals Cloudflare zelf ook aangeeft:

We have identified an issue with a transit provider

Ook Fastly rapporteert dergelijke problemen.

Level 3 wordt gebruikt voor veel internationale verbindingen, dus vandaar dat veel willekeurige sites problemen hebben.

[Rob]

Het is niet Cloudflare, maar Level3/Centurylink zoals MikeN zegt.
Een flinke backbone van het internet die stuk is, maar niet aangeeft dat het stuk is :\

[laserfreak]

Ik ben niet genoeg op de hoogte van hoe het exact werkt op dat niveau. Maar kan men dat verkeer niet re-routen door nieuwe BGP rules te pushen? Of kan dit contractueel gezien niet?

[Arnout]

Als je naar downdetector / allestoringen kijkt, zie je dat maar een klein gedeelte van de gebruikers problemen heeft. Flightradar24 bijvoorbeeld heeft het over 10-20% van de gebruikers.

[ Voor 5% gewijzigd door Arnout op 30-08-2020 15:20 ]

[plizz]

Ik zie dat verschillende ISP last heeft van Level 3 / CenturyLink. Wij zien in monitoring dat bepaalde subnets niet bereikbaar is vanaf Nederland naar België of UK.

[Rob]

laserfreak schreef op zondag 30 augustus 2020 @ 15:18:
Ik ben niet genoeg op de hoogte van hoe het exact werkt op dat niveau. Maar kan men dat verkeer niet re-routen door nieuwe BGP rules te pushen? Of kan dit contractueel gezien niet?

Zo hoort het te werken, maar blijkbaar gebeurt dat niet.
Ik ben benieuwd wat er precies aan de hand is, het duurt blijkbaar al 2+ uur

[EDIT]

Ik zat ook even raar te kijken hier. Ik was vergeten dat ik ooit Cloudflare als primary DNS provider in had gesteld, dus ik kreeg voor het halve internet (bij wijze van spreken) een lege resolve terug. En omdat de resolve het wel leek te doen, werd de secondary DNS service niet aangesproken door mijn router.
Ik heb het hier snel maar omgewisseld, en nu werken de services die ik eerder niet kon bereiken weer normaal (Office 365/Microsoft Zakelijk).

[ Voor 10% gewijzigd door EDIT op 30-08-2020 15:36 ]

[plizz]

[Level 3 / CenturyLink meldt problemen met hun dienst External Cloud Network (CA3)
Bron: https://status.ctl.io/

[Stinger_Ventura]

Internet is hier bagger. Kruidvat laad bv niet, andere sites sporadisch

[Mattie112]

plizz schreef op zondag 30 augustus 2020 @ 15:56:
[Level 3 / CenturyLink meldt problemen met hun dienst External Cloud Network (CA3)
Bron: https://status.ctl.io/

Die laad niet eens hier

[Rob]

plizz schreef op zondag 30 augustus 2020 @ 15:56:
[Level 3 / CenturyLink meldt problemen met hun dienst External Cloud Network (CA3)
Bron: https://status.ctl.io/

CA3 is een groot datacenter in Californie.

[azerty]

Rob schreef op zondag 30 augustus 2020 @ 16:07:
[...]


CA3 is een groot datacenter in Californie.

CA3 - Mississauga volgens hun statuspagina... Mississauga is Canada tenzij ik me vergis

[Onbekend]

Er zijn meer sites die niet laden, en soms zijn de response times ineens erg hoog.
Heeft niets te maken met die DDos-aanvallen die nog steeds bezig zijn?

[marijn15]

Youtube lijkt ook op het eerste gezicht te werken tot je een video wilt kijken Opgelost

[ Voor 9% gewijzigd door marijn15 op 30-08-2020 16:18 ]

[Rob]

marijn15 schreef op zondag 30 augustus 2020 @ 16:17:
Youtube lijkt ook op het eerste gezicht te werken tot je een video wilt kijken Opgelost

PICNIC?

[Mattie112]

Is inmiddels een heel stuk stabieler hier! (T-Mobile)

[MikeN]

Inmiddels heeft L3/CenturyLink verzocht aan andere grote partijen om de verbindingen tijdelijk te verbreken zodat ze hun netwerk weer stabiel kunnen krijgen. Zie bijv. https://twitter.com/TeliaCarrier/status/1300074378378518528

Het lijkt daarmee een stukje stabieler te worden allemaal.

[edit]
En inmiddels rapporteren ze dat het probleem is opgelost en worden sessies weer opgezet.

[ Voor 14% gewijzigd door MikeN op 30-08-2020 16:59 ]

[stok]

T.net redacteuren lijken allemaal te slapen. Is er een keer echt nieuws en doen ze niks.

[Vorkie]

stok schreef op zondag 30 augustus 2020 @ 17:10:
T.net redacteuren lijken allemaal te slapen. Is er een keer echt nieuws en doen ze niks.

"Ja, maar vrijwilligers"....

[Rob]

stok schreef op zondag 30 augustus 2020 @ 17:10:
T.net redacteuren lijken allemaal te slapen. Is er een keer echt nieuws en doen ze niks.

Dit nieuws vind ik goed passen bij Tweakers. Het is inderdaad jammer dat er nog niets te vinden is.

[Spaceman Spiff]

laserfreak schreef op zondag 30 augustus 2020 @ 15:18:
Ik ben niet genoeg op de hoogte van hoe het exact werkt op dat niveau. Maar kan men dat verkeer niet re-routen door nieuwe BGP rules te pushen? Of kan dit contractueel gezien niet?

Zo zou het normaal moeten werken, maar het probleem was dat 3356 (Level3) het terughalen van de route niet accepteerde. (Ofwel de route kon niet veranderd worden omdat Level3 deze bleef vasthouden.)
Het lijkt nu hersteld.

[Arunia]

Vanochtend hadden we DNS problemen met de downloads binnen de Nintendo Switch. En op de computers met wat websites.
Dan zou dat het inderdaad geweest kunnen zijn. 1.1.1.1 stond als DNS ingesteld op de router. Omzetten naar de google variant ging het wel goed mee.

[ANdrode]

laserfreak schreef op zondag 30 augustus 2020 @ 15:18:
Ik ben niet genoeg op de hoogte van hoe het exact werkt op dat niveau. Maar kan men dat verkeer niet re-routen door nieuwe BGP rules te pushen? Of kan dit contractueel gezien niet?

Je zou een specifiekere route kunnen aankondigen en deze niet aan centurylink/level 3 adverteren. Dit is alleen een best grote maatregel en niet de eerste stap die je zet (zelfs als je hierop voorbereid hebt ivm bijvoorbeeld ddos mitigatie).

[plizz]

Zelf Nu.nl staat een nieuwsartikel problemen bij Level3 /CentryLink
https://www.nu.nl/tech/60...g.html#coral_talk_wrapper

[ Voor 8% gewijzigd door plizz op 30-08-2020 17:30 ]

[swhnld]

Problemen moeten opgelost zijn:
https://www.nu.nl/tech/60...-wereldwijde-storing.html

[plizz]

Twitter bericht meer informatie:
https://twitter.com/g_bon...133804097538%7Ctwgr%5E&r=

[PuckStar]

Dit gaat over dat het is opgelost: https://twitter.com/Centu...tatus/1300090153889824769

[AlainG]

Hier heel de dag geen problemen gezien via EDPnet.

[Marzman]

Via Orange ook weinig gemerkt. Ik heb vandaag veel gebruik gemaakt van Youtube, Netflix en af en toe wat nieuws gekeken.

[sjaool]

Arunia schreef op zondag 30 augustus 2020 @ 17:28:
Vanochtend hadden we DNS problemen met de downloads binnen de Nintendo Switch. En op de computers met wat websites.
Dan zou dat het inderdaad geweest kunnen zijn. 1.1.1.1 stond als DNS ingesteld op de router. Omzetten naar de google variant ging het wel goed mee.

Ik had ook 1.1.1.1 ingesteld staan in de router. Teruggezet naar Ziggo heeft het opgelost. Maar voordat je het gevonden hebt, dat duurt toch wel een tijdje. Een kwartiertje en een keer de router herstarten. Ik kreeg wel een ip-adres van Ziggo toegewezen maar geen internet. Toen viel het kwartje.

[thof]

nieuws: Garmin heeft sinds zondagmiddag storing
Ondertussen kort vermeld op de FP.

[Equator]

Vorkie schreef op zondag 30 augustus 2020 @ 17:23:
[...]

"Ja, maar vrijwilligers"....

De redactie zijn gewoon betaalde werknemers. In het weekend is er wel iemand stand-by om dit soort zaken op te pakken.

[sebastienbo]

De vraag is waarom werd Europa getroffen als het een provider probleem was in US? Zijn al de Europese websites hun data dan afhankelijk van USA? Dit klinkt naar een dieper onderzoek want hier is duidelijk iets mis . Blijkbaar moet er niet eens een oorlog zijn voor het Europees internet zo maar plat te leggen.

Bij mij was het trouwens ook opgelost zodra ik de cloudflare dns 1.1.1.1 gewist heb en terug die van telenet gezet heb.

[ Voor 16% gewijzigd door sebastienbo op 30-08-2020 20:41 ]

[Verwijderd]

sebastienbo schreef op zondag 30 augustus 2020 @ 20:25:
De vraag is waarom werd Europa getroffen als het een provider probleem was in US? Zijn al de Europese websites hun data dan afhankelijk van USA? Dit klinkt naar een dieper onderzoek want hier is duidelijk iets mis . Blijkbaar moet er niet eens een oorlog zijn voor het Europees internet zo maar plat te leggen.

Bij mij was het trouwens ook opgelost zodra ik de cloudflare dns 1.1.1.1 gewist heb en terug die van telenet gezet heb.

CenturyLink/Level3 is niet alleen een ISP in de USA maar ook een Tier1 netwerk voor transit. Veel CDN (zoals Cloudflare) en isp’s wereldwijd gebruiken level3 voor het afhandelen van het verkeer. Ze hebben ook locaties in Europa en Azië.

Wikipedia: Level 3 Communications

[ Voor 6% gewijzigd door Verwijderd op 30-08-2020 21:00 ]

[Hans van Eijsden]

De Smokeping vanaf mijn KPN-glaslijn naar Level3 DNS van vandaag:

[sebastienbo]

Level3 dns is ook afhankelijk van USA ? Hoe kan dat nu?

Google dns had geen problemen.

[jimmy87]

Ik vermoed dat er een misconceptie bestaat dat Centurylink puur iets van de VS is. Centurylink is een van de 6 tier 1 internet transits wat betekent dat deze wereldwijd door heel veel partijen gebruikt worden (wij hebben hen ook als transit).

Op moment dat zij een issue hebben zal over de hele wereld er een issue zijn met bijvoorbeeld 4.2.2.1 bij elke partij waarbij jou verbinding van of naar dat IP over hun link loopt, je kan je dus voorstellen dat dat behoorlijk wat partijen zijn.

Dus nee Level3 DNS is niet afhankelijk van de USA maar van hun netwerk.

Bijkomend probleem voor de mensen met BGP kennis hier was dat zelfs als je je sessies met hun uitgooide ze jou routes in hun tabellen bleven houden waardoor al het verkeer naar jou dood liep.

[Hans van Eijsden]

Cloudflare heeft er een diepgaande analyse van gemaakt en zojuist gepubliceerd: https://blog.cloudflare.c...nturylink-level-3-outage/