Grote Internetstoring NIKHEF, Amsterdam?

[alphonss]

Kennelijk wat problemen in Amsterdam.

http://www.ams-ix.net/

http://www.ams-ix.net/cgi...ll?log=totalall;png=daily

Toch snel 100Gbits/sec minder snel

http://www.ams-ix.net/cgi-bin/stats/16all?log=colo-nik


Hier heeft dus heel Nederland last van!

[ Voor 10% gewijzigd door alphonss op 21-01-2011 19:27 ]

[gxpower]

Heb er hier ook last van

[REDSD]

same here sommige connectie naar server vallen continue even weg.

+/- 10% van de tijd.

[DennusB]

Ik merk het hier ook, sommige shit wil gewoon niet laden

[JaWSnl]

Hier ook, Eindhoven.

[ Voor 33% gewijzigd door JaWSnl op 21-01-2011 19:42 ]

[gxpower]

Vervangen van blades gaat blijkbaar dus niet goed, zie twitter #nikhef

[burne]

JaWSnl schreef op vrijdag 21 januari 2011 @ 19:38:
Hier ook, Eindhoven.

Duh.

Even voor de duidelijkheid: je hoeft niet apart per plaats te melden dat je ook last van hebt. Dat volgt vanzelf uit het feit dat het een van de centrale locaties van de AMS-IX is. Tot voor kort niet alleen centraal interwebs-knooppunt van Nederland maar ook de grootste en drukste exchange in de wereld.

[DennusB]

http://www.ams-ix.net/co-location-traffic/ -> Check NikHef, kabam !

[Bastien]

Zo te zien is de schoonmaakster weer klaar met stofzuigen... het loopt weer aardig soepel nu.

[DennusB]

Hier zijn sommige dingen echt nog niet vooruit te branden! Hopelijk is het snel opgelost.

[Nakebod]

Niet de eerste keer deze week.
Afgelopen week ook al een ruime dip van bijna 1.2 Tb/s naar iets minder dan 1.0 Tb/s. Was kort, maar wel merkbaar.

Edit: FU!

[ Voor 12% gewijzigd door Nakebod op 21-01-2011 20:11 ]

[alphonss]

van bijna 1.2 Gb/s naar iets minder dan 1.0 Gb/s.

Bedoel je van 250Gbit/sec naar 150Gbits/sec?

bijna 100 Gbit/sec dip....

Misschien keek je op een ander plaatje. De storing lijkt zich te herstellen.

[ Voor 26% gewijzigd door alphonss op 21-01-2011 20:03 ]

[ik222]

Het netwerk lijkt inderdaad weer op gang te komen, internet werkt hier weer normaal en ook de statistieken laten dat nu zien. Maar was inderdaad een forse drop volgens de statistieken.

[ Voor 19% gewijzigd door ik222 op 21-01-2011 20:05 ]

[burne]

alphonss schreef op vrijdag 21 januari 2011 @ 20:02:
Bedoel je van 250Gbit/sec naar 150Gbits/sec?

Ik gok op > 1.2Tb/s naar minder dan 1Tb/s. Grote getallen blijven lastig

[ Voor 15% gewijzigd door burne op 21-01-2011 20:07 ]

[Nakebod]

Ik zei Tb niet Gb Maar ja.. ik bedoelde dat

[Kees]

Lijkt dat het weer slechter gaat

[alphonss]

Ik zei toch, welk plaatje je bekijkt, specifiek voor NIKHEF, hebben we het over een dipje van 100GBit/sec.
In het totaalplaatje van 1,1T naar onder de 1T is dezelfde 100GBit/sec.
Wat een drama daar in Amsterdam.

[ Voor 21% gewijzigd door alphonss op 21-01-2011 20:14 ]

[DennusB]

Kees schreef op vrijdag 21 januari 2011 @ 20:13:
Lijkt dat het weer slechter gaat

Ja het gaat weer onderuit! Weet iemand waardoor het zo fout gaat?

[Anoniem: 69767]

Heb er ook last van..Sommige sites waren slecht bereikbaar. Atm lijkt het beter te gaan weer.

[ Voor 25% gewijzigd door Anoniem: 69767 op 21-01-2011 20:14 ]

[DennusB]

WOW, 104Gb/s nu Wtf gebeurt er allemaal?

[ Voor 57% gewijzigd door DennusB op 21-01-2011 20:17 ]

[gxpower]

Hele NIKHEF lijkt wel weg!

[Anoniem: 69767]

Nvm. Het is goed mis.

[ Voor 79% gewijzigd door Anoniem: 69767 op 21-01-2011 20:19 ]

[Joep]

DennusB schreef op vrijdag 21 januari 2011 @ 20:14:
Ja het gaat weer onderuit! Weet iemand waardoor het zo fout gaat?

http://media.mtvnservices...b2-4d91-8f63-82c17544b282

[alphonss]

Sara en Global Switch zijn ook plat.

[Anoniem: 147126]

OMG There Is No Internet

http://www.southpark.nl/episodes/1206

[psy]

Neem aan dat jullie werkgelateerd bezig zijn met internet ofzo
Ik denk normaal in harde schijven met TB's

[DennusB]

alphonss schreef op vrijdag 21 januari 2011 @ 20:22:
Sarah en Global Switch zijn ook plat.

Oeioeioei, dat gaat weer lekker fout zeg. Wanneer krijgen ze die back-up zooi daar nou eens op orde?
Ben benieuwd wat de reden is !
Edit : Hoppa, nog 1 down:

[ Voor 20% gewijzigd door DennusB op 21-01-2011 20:24 ]

[gxpower]

Iemand meer info?

[ik222]

Nu lijkt het toch echt wel terug te komen. Maar inderdaad net meerdere locaties ineens met een enorme drop die overigens ook net zo hard terug is gegaan naar normaal.

[DennusB]

Het lijkt serieus wel of interxion van de kaart is geveegd? Na 20:00 opeens niks meer, lege grafiek. Bizar!
Edit : Ah, ze leven nog bij Interxion!

[ Voor 15% gewijzigd door DennusB op 21-01-2011 20:26 ]

[EDIT]

Gokje: niet de locaties hebben problemen gehad, maar de statistiekentool van AMS-IX zelf.

[phkba]

EDIT schreef op vrijdag 21 januari 2011 @ 20:32:
Gokje: niet de locaties hebben problemen gehad, maar de statistiekentool van AMS-IX zelf.

Is wel wat geweest want diverse sites waren niet te benaderen tussen 7 en 8. Die dip daarna is wel heel heftig dus dat zou inderdaad een probleem in de stats KUNNEN zijn

[twixx]

Misschien een pauze in het intern news-verkeer? Hoeveel % van de ams-ix zou dat tegenwoordig zijn? 20%?

[ik222]

EDIT schreef op vrijdag 21 januari 2011 @ 20:32:
Gokje: niet de locaties hebben problemen gehad, maar de statistiekentool van AMS-IX zelf.

Sowieso zijn er ook daadwerkelijk problemen geweest want een uur geleden was bijna geen enkele site te bereiken vanaf hier.

De grootste dip zou inderdaad wel prima een storing in de statistieken geweest kunnen zijn.

[Anoniem: 69767]

Storing is bevestigd @ AMS-IX...Zie verder

http://twitter.com/search?q=nikhef

[ Voor 3% gewijzigd door Anoniem: 69767 op 21-01-2011 20:42 ]

[EDIT]

Is wel wat geweest want diverse sites waren niet te benaderen tussen 7 en 8. Die dip daarna is wel heel heftig dus dat zou inderdaad een probleem in de stats KUNNEN zijn

Er is zeker iets mis geweest met AMS-IX @ Nikhef (ik heb zelf de problemen ook gehad met diverse sites), echter betwijfel ik dus dat alle locaties van de AMS-IX om 20u *poef* hebben gezegd.
Als ik kijk naar ons eigen netwerk (werk voor een hostingbedrijf), dan zie ik verder geen schokkende verschillen na 8 uur qua inkomende en uitgaande traffic. Wij zouden dat dan ook gemerkt moeten hebben.

Edit: zie alweer dat ik sneller moet typen

Edit 2: @ DJSmiley: Je hebt uiteraard gelijk, ik bedoelde inderdaad de AMS-IX @ Nikhef

[ Voor 30% gewijzigd door EDIT op 21-01-2011 20:53 . Reden: Vage zinsconstructies weg plus citaat bijgevoegd. ]

[DJSmiley]

EDIT schreef op vrijdag 21 januari 2011 @ 20:41:
[...]

Er is zeker iets mis geweest met Nikhef (ik heb zelf de problemen ook gehad met diverse sites), echter betwijfel ik dus dat alle locaties van de AMS-IX om 20u *poef* hebben gezegd.
Als ik kijk naar ons eigen netwerk (werk voor een hostingbedrijf), dan zie ik verder geen schokkende verschillen na 8 uur qua inkomende en uitgaande traffic. Wij zouden dat dan ook gemerkt moeten hebben.

Edit: zie alweer dat ik sneller moet typen

Problemen zijn dus niet Nikhef, maar op AMS-IX @ Nikhef schijnt. Onze NL-IX poortjes zijn nl netjes up (en ook niet down geweest als ik de bgp statussen bekijk).

[alphonss]

Toch een dipje tussen zeg 18:30 en 20:00 uur. De last famous reboot heeft kennelijk gewerkt

[bjck]

alphonss schreef op vrijdag 21 januari 2011 @ 20:22:
Sara en Global Switch zijn ook plat.

Jij weet er wel een hele mooie sensatie van te maken... Klok en klepel spreekwoord klinkt bekend?

EDIT schreef op vrijdag 21 januari 2011 @ 20:32:
Gokje: niet de locaties hebben problemen gehad, maar de statistiekentool van AMS-IX zelf.

Dat is meer aannemelijk inderdaad, of deze node hangt via AMS-IX/Nikhef verbonden en had ook hinder. Of al het verkeer van deze node gaat van en naar een AMS-IX/Nikhef aangesloten partij.

Lang niet al het verkeer was weg en zo te zien heeft niet iedere AMS-IX partner aangesloten op Nikhef lokatie hinder ondervonden. Anders had al het verkeer daar weg geweest. Alle grote ISP's die verkeer uitwisselen (deels) over AMS-IX hebben ook een tweede aansluiting op een andere locatie.

Als websites even niet bereikbaar zijn kan omdat routers bij je ISP even de tijd nodig hebben om te convergeren bij zulke grote topologie wisselingen. Of omdat de website die je wilt bereiken bij een hoster draait die hier tijd voor nodig had. Sowieso is er altijd nog een andere weg via een IP Transit voor je ISP. Of die verbindingen een volledige AMS-IX uitval aan kunnen is te betwijfelen gezien de verhouding peering vs. transit in Nederland.

[ChaserBoZ_]

alphonss schreef op vrijdag 21 januari 2011 @ 20:55:
Toch een dipje tussen zeg 18:30 en 20:00 uur. De last famous reboot heeft kennelijk gewerkt

AMS-IX draait nu op het backup platform, AMS-IX NOC is nog druk bezig

[burne]

One of the PEs at NIKHEF, stub-nik-226, dropped all traffic towards the rest of the platform for roughly 5 minutes, without warning. It recovered by itself.
The traffic drop started around 19.00. At 19:50 we swapped all connected members to their backup PE, which lead to traffic returning to its normal level on all ports.

Dus... 'Hele NIKHEF weg'? Nee. Hikje, instabiliteit en een krap uur later weer rust in de tent.

[alphonss]

The traffic drop started around 19.00...

De problemen begonnen veel eerder. Maar een "second-breakdown" begint ergens zullen we maar zeggen. Ik hoop toch voor de mannen dat ze een goed weekend gaan krijgen. Vrijdag is een rotdag als zoiets gebeurd. Er waren werkzaamheden bij NIKHEF volgens een tweet, of het er iets mee te maken heeft ....

[burne]

alphonss schreef op vrijdag 21 januari 2011 @ 22:56:
De problemen begonnen veel eerder.

Ja, wel vijf of tien minuten eerder. 'around 19:00' is goed genoeg als je het als 'rond zeven uur' leest.

Er waren werkzaamheden bij NIKHEF volgens een tweet, of het er iets mee te maken heeft ....

Dus omdat $figuur uren eerder iets roept over dat hij 'blades' gaat wisselen zijn er opeens werkzaamheden aan de core van de AMS-IX? Mag ik je herinneren aan het concept van de service-windows? AMS-IX zal nooit overdag of 's avonds werkzaamheden plannen. Die gebeuren altijd rond het verkeersminimum om 06:00.

Als ik je een goedbedoelde tip mag geven: neem twitter eens wat minder serieus? Twee tweets met een gemeenschappelijke hashtag impliceren nog geen correlatie. En voor een causaal verband heb je veel meer bewijs en onderbouwing nodig.

[alphonss]

burne schreef op vrijdag 21 januari 2011 @ 23:19:
Ja, wel vijf of tien minuten eerder..

Als je op de grafiekjes kijkt zou je dat kunnen denken, maar het is een bullshit verhaal dat het rond 19:00u zou zijn opgetreden, helaas. Kijk de meldingen op internet maar eens op je gemakje na. Er waren heel wat duupjes.

Of dat de boosdoener is betwijfel ik dan ook meteen. Uit je overbodige woorden zou je zelf ook de conclusie moeten trekken dat dit tijdstip volledig buiten het "service-window" valt en eventuele service werkzaamheden. Het heeft daar dan ook niets mee te maken! Waarschijnlijker is het dat er ergens wat hardware fout is gegaan, of iemand die per-ongeluk een kabeltje trekt of wat glas breekt. Murphy heeft op dat moment een stevige vinger in de pap.

Bewijs en onderbouwing heb ik niet nodig. Storingen op AMS-IX worden per e-mail doorgegeven aan de AMS-IX leden. Het is aan hen dit al dan niet verder te verspreiden onder hun klanten.

Fijn weekend

[alphonss]

Wederom NIKHEF problemen!!!!!!!!!!!!

[ Voor 61% gewijzigd door alphonss op 25-02-2011 18:46 ]

[ik222]

Yup inderdaad, iets meer als een uur geleden al even en nu net weer.

[TI_Observer]

back

[alphonss]

en ook weer op een vrijdag ........

[mrsar]

vandaar dat het allemaal zo traag reageerde vroeg me al af waarom ik zo slecht op mijn server kon komen....

[burne]

alphonss schreef op vrijdag 25 februari 2011 @ 18:53:
en ook weer op een vrijdag ........

En weer na onderhoud.. http://twitter.com/vanderoest/status/39892787541311488

[beany]

ligt het aan mij, of ligt het allemaal niog steeds flink te stuiteren ?

[Carpento]

Ligt niet aan jou, heb ik zo het idee

[Suicyder]

Het springt aardig hier.
Websites laden alweer sneller maar dat zegt natuurlijk niets.

We wachten het af

[mrsar]

complete verbinding lag er hier net uit

[HoppyF]

Hier ook een haperende verbinding! (via BBned / Alice).
Vreemd genoeg lees je verder niets hierover op Tweakers Nieuws.
Wellicht heeft de storing een gering aantal klanten getroffen??

[danger89]

Ai ai ai, is het ook flink raak. Al m'n (game) servers hebben problemen. Maar ook al mijn verschillende webhostings.

Best logisch uiteraard met zo grote storing, nu merk je pas hoeveel men vertrouwt op het internet. Ik denk inderdaad dat vele mensen hier last van hebben/hadden.

[ Voor 12% gewijzigd door danger89 op 25-02-2011 19:47 ]

[Mawlana]

burne schreef op vrijdag 25 februari 2011 @ 19:01:
[...]

En weer na onderhoud.. http://twitter.com/vanderoest/status/39892787541311488

Kennen ze daar geen service windows? nevermind, dat was 's nachts.

HoppyF schreef op vrijdag 25 februari 2011 @ 19:42:
Hier ook een haperende verbinding! (via BBned / Alice).
Vreemd genoeg lees je verder niets hierover op Tweakers Nieuws.
Wellicht heeft de storing een gering aantal klanten getroffen??

Het is afhankelijk van je ISP of je een verminderde internetervaring hebt (heeft je ISP wel/geen redundante verbinding?).

[ Voor 49% gewijzigd door Mawlana op 25-02-2011 20:07 ]

[Suicyder]

Nogal jammer dat ze dat niet tijdens de MINST drukke uren doen maar op de piek van iedere dag. Idioot.

[Nick39]

Ze zijn er mee bezig.

Return-Path: <[e-mail]>
Received: from deliverix.ams-ix.net by storage10.mail.sp.isp-net.nl
via deliverix.ams-ix.net [91.200.16.248] (may be forged) with ESMTP for <[e-mail]>
id p1PIT9jI008322 (8.13.2/2.12); Fri, 25 Feb 2011 19:29:15 +0100 (MET)
X-Virus-Scanned: Debian amavisd-new at ams-ix.net
Received: from [IPv6:2001:67c:1a8:102:226:bbff:fe1c:c676] (unknown [IPv6:2001:67c:1a8:102:226:bbff:fe1c:c676])
(using TLSv1 with cipher AES128-SHA (128/128 bits))
(No client certificate requested)
by deliverix.ams-ix.net (Postfix) with ESMTPSA id 0BA9715F1E;
Fri, 25 Feb 2011 19:28:31 +0100 (CET)
Subject: Re: [AMS-IX #35042] nikhef storing
Mime-Version: 1.0 (Apple Message framework v1082)
Content-Type: text/plain; charset=us-ascii
From: AMS-IX NOC / Arien V***** <[e-mail]>
In-Reply-To: <[e-mail]>
Date: Fri, 25 Feb 2011 19:28:31 +0100
Cc: AMS-IX NOC / Arien V**** <[e-mail]>
Content-Transfer-Encoding: 7bit
Message-Id: <[e-mail]>
References: <[e-mail]>
To: Nick <@xmsnet.nl>
X-Mailer: Apple Mail (2.1082)
X-Antivirus: avast! (VPS 110225-0, 25-02-2011), Inbound message
X-Antivirus-Status: Clean


On 25 Feb 2011, at 7:24 PM, Nick wrote:

> nikhef heeft voor de zoveelste keer de hik !

We weten het Nick. We werken er hard aan.

-- Arien

[HoppyF]

De vraag is nog steeds hoeveel aansluitingen hebben hier last van?
Beperkt zich dit tot een klein aantal ISP's?
Ik kan verder niet beoordelen of mijn ISP's redundant paden heeft opgezet, dat gebeurt immers op de achtergrond.
Je zou misschien wel kunnen zeggen dat je vanwege goede redundancy nooit problemen ziet!

Ik lees (behalve hier) weinig klachten...
Als er maar een paar forumleden last van hebben is het wel een heel merkwaardige storing!

[The Wizard]

Niet iedereen heeft het door, als de verbinding compleet plat ligt dan hoor je mensen wel klagen, maar als het "hikt" valt het veel minder op. Ik had het eerst ook niet door, je gaat eerst de standaard dingen bij langs, router resetten, modem resetten, computer opnieuw opstarten (in willekeurige volgorde ).

[Supersymmetry]

Wel, er zijn in mijn nabije omgeving ook een paar mensen die er last van hebben, en ik zelf heb/had er ook last van (tweakdsl bbned), al lijkt het nu weer beter te gaan.

[Mawlana]

HoppyF schreef op vrijdag 25 februari 2011 @ 19:54:
De vraag is nog steeds hoeveel aansluitingen hebben hier last van?
Beperkt zich dit tot een klein aantal ISP's?
Ik kan verder niet beoordelen of mijn ISP's redundant paden heeft opgezet, dat gebeurt immers op de achtergrond.
Je zou misschien wel kunnen zeggen dat je vanwege goede redundancy nooit problemen ziet!

Ik lees (behalve hier) weinig klachten...
Als er maar een paar forumleden last van hebben is het wel een heel merkwaardige storing!

Hoeveel aansluitingen hier last van hebben is moeilijk te zeggen. Volgens de AMS-IX pagina heeft bbned 1 verbinding met de AMS-IX.

De grotere ISP's (Ziggo, UPC, KPN e.d.) hebben meerdere verbindingen.

[Quantor]

The Wizard schreef op vrijdag 25 februari 2011 @ 19:56:
Niet iedereen heeft het door, als de verbinding compleet plat ligt dan hoor je mensen wel klagen, maar als het "hikt" valt het veel minder op. Ik had het eerst ook niet door, je gaat eerst de standaard dingen bij langs, router resetten, modem resetten, computer opnieuw opstarten (in willekeurige volgorde ).

Incl. check tweakers

[Suicyder]

Quantor schreef op vrijdag 25 februari 2011 @ 20:00:
[...]


Incl. check tweakers

Doe ik wel vaak, GoT heeft heel vaak het antwoord, heb niet voor niets een telefoon met internet

Lijkt beter te lopen, *crosses fingers*

[ik222]

HoppyF schreef op vrijdag 25 februari 2011 @ 19:54:
De vraag is nog steeds hoeveel aansluitingen hebben hier last van?
Beperkt zich dit tot een klein aantal ISP's?
Ik kan verder niet beoordelen of mijn ISP's redundant paden heeft opgezet, dat gebeurt immers op de achtergrond.
Je zou misschien wel kunnen zeggen dat je vanwege goede redundancy nooit problemen ziet!

Ik lees (behalve hier) weinig klachten...
Als er maar een paar forumleden last van hebben is het wel een heel merkwaardige storing!

De grootste problemen lijken echt bij de NIKHEF te zitten. De geringe drops op de andere locaties zouden namelijk zomaar een sympthoom kunnen zijn van de problemen op NIKHEF, alles staat namelijk met elkaar in verbinding. En als een complete locatie er dan even uitklapt dan heeft dat enorme veranderingen tot gevolg in de topologie, routers moeten zich hier even op instellen.

Dat grote providers hier minder last van hebben komt doordat zij op meerdere locaties zijn ingekoppeld en zij kunnen dan ook het verkeer omleiden via andere locaties wanneer een locatie problemen heeft.

[The Wizard]

Quantor schreef op vrijdag 25 februari 2011 @ 20:00:
[...]


Incl. check tweakers

O ja, die ook nog , maar wat zal vaker voorkomen, dat mijn router/pc/modem vast loopt of dat NIKHEF vast loopt?

[Nick39]

The Wizard schreef op vrijdag 25 februari 2011 @ 20:12:
[...]


O ja, die ook nog , maar wat zal vaker voorkomen, dat mijn router/pc/modem vast loopt of dat NIKHEF vast loopt?

Als je de monthly graph bij de errors bekijkt van de Nikhef dan is die er deze maand meer uitgeklapt dan mijn linksys 610...

[The Wizard]

Hehehe, ja, das waar

[burne]

sylvesterrr schreef op vrijdag 25 februari 2011 @ 19:59:
Volgens de AMS-IX pagina heeft bbned 1 verbinding met de AMS-IX.

Pffrt.

BBNed levert geen internet-connectiviteit aan z'n klanten, dat moeten ze lekker zelf regelen.

[HoppyF]

burne schreef op vrijdag 25 februari 2011 @ 20:59:
[...]

Pffrt.

BBNed levert geen internet-connectiviteit aan z'n klanten, dat moeten ze lekker zelf regelen.

Mmmm, toch vreemd wel.
BBned is toch van Tele2?
Tele2 is toch geen kleine speler op de Nederlandse internet markt?

[Anoniem: 379085]

mm zo te zien heeft de provider van m`n werk 5 connecties (surfnet) maar de snelheid daar is momenteel om te huilen..

ff een paar updates binnenhalen.. zo traag als dikke .....

speedtest.net gedraaid.

kpn 8mb/1mb dsl lijn amsterdam.. 6,5 mb down
surfnet 100mb/100mb glaslijn amsterdam 3,2mb down

[ Voor 25% gewijzigd door Anoniem: 379085 op 25-02-2011 21:34 ]

[burne]

HoppyF schreef op vrijdag 25 februari 2011 @ 21:05:
Mmmm, toch vreemd wel.

Volstrekt niet. Op diezelfde pagina staat het AS-nummer en de prefix die ze er over adverteren. Da's een /22 ofwel 1024 ip-addressen. Ze hebben de volgende bedrijven als afnemer:

Alice
AT&T
Atinet
BBeyond
BIT
BT Nederland N.V.
BusinessConnect BV
Cable & Wireless
CBizz
Claranet
COLT
Concepts ICT
Connect Data Solutions
Cross Data
DSD Business Internet
Easynet
EDPnet BV
EspritXB
FiberRing
Getronics
Global-e
Infopact
Infracom
Interconnect
Internet Limburg
InterNLnet
Interoute
InTouch
Introweb
IS Interned Services
Luna.nl
Netguard
NL Hosting
OneXS
Online Breedband
Orange Business Services
Plex
Pocos
PublishNET
Qfast
RoutIT
SARA
Scarlet
Signet
Simac
Solcon
SpeedXS
Stepco
Syscon
Systemec
T Systems
Telespectrum
The Network Factory
TI Sparkle
Unet
UPC Business
Verizon
Voiceworks
Xenosite
Zoranet

Hoe kun je die twee samen verklaren? 16 ip-adressen per klant?

En stap twee, tel eens bij elkaar op hoeveel AMS-IX-aansluitingen dat zestigtal bedrijven heeft? Alleen Cambrium heeft al een tiental verbindingen naar diverse exchanges, waarvan 3 x 10GE naar de AMS-IX, en natuurlijk op diverse AMS-IX-locaties. Toen ik er nog iets mee te maken had NIKHEF, TC1, TC2 en TC3. Alle BBNed-afnemers samen hebben er veel meer dan 100.

[Mawlana]

Dat ze daar slechts een /22 adverteren betekent niet dat ze slechts een /22 tot hun beschikking hebben... UPC adverteert slechts 2x een /22 terwijl ze meer dan 700.000 internetaansluitingen hebben.

Alice (en al die andere bedrijven) zullen wel onder een andere (overkoepelende?) naam actief zijn op de AMS-IX. Of is een enkele 10GE-verbinding voldoende voor al die klanten?

[ Voor 8% gewijzigd door Mawlana op 25-02-2011 22:38 ]

[burne]

sylvesterrr schreef op vrijdag 25 februari 2011 @ 22:35:
Alice (en al die andere bedrijven) zullen wel onder een andere (overkoepelende?) naam actief zijn op de AMS-IX. Of is een enkele 10GE-verbinding voldoende voor al die klanten?

Alice is een joint venture van InterNLnet en BBNed, dus het Alice-verkeer zul je op de twee 10GE-poorten van InterNLnet moeten zoeken.

Ik roep niet zomaar wat. Ik heb de eerste TrueDSL-lijnen eind 2001 in de lucht gebracht. Later heeft True dat overgedaan aan het bedrijf wat later Cambrium ging heten, niet lang daarna ben ik ook overgestapt naar Cambrium en ik heb daar tot 2005 gewerkt. Vervolgens heb ik 18 maanden bij BBNed gewerkt als third-line support en network-engineer.

Met uitzondering van BBNed en BBeyond-verkeer gaat van geen enkele BBNed-ISP het verkeer over de BBNed AMS-IX-poort en iedere conclusie die je aan die foute conclusie verbindt raakt kant nog wal. Mijn kennis over BBNed stopt in 2006, maar het basis-principe uit die tijd is vandaag de dag, een paar maanden na de goedkeuring van de overname door Tele2, nog altijd van toepassing.

Cambrium heeft ook op NIKHEF een connectie, dus een deel van HoppyF's verkeer kan door storingen op NIKHEF beinvloed worden.

(Ja, BBeyond gaat er ook over. Het was in 2005 de bedoeling dat dat zou gaan veranderen, maar blijkbaar is dat er nooit van gekomen..)

[Nick39]

Het was om 1 uur vannacht weer goed raak..of misschien hebben ze toen de inderhaast vastgesoldeerde draadjes vervangen voor een werkend kaartje...

[Mawlana]

burne, helder verhaal waarvoor dank! Doordat ik Alice/bbned zag en ik Alice niet in het rijtje kon vinden (jouw verhaal maakt duidelijk waarom niet) heb ik alleen naar bbned gekeken.

[Nick39]

Ams-IX:
Beste Nick,

Wij houden alle AMS-IX members op de hoogte over dit probleem. We zijn ons bewust van de impact en het heeft bij ons en onze leverancier de hoogste prioriteit. Dit probleem treft een deel van de Nikhef switches (niet allemaal), waarbij deze switches besluiten om, zonder aankondiging, een groot deel van hun verkeer niet meer te forwarden. Na de vorige storing hebben we een workaround geïmplementeerd, maar deze bleek niet effectief. Het heeft daardoor niks met achterstallig onderhoud te maken.

Voor verdere informatie neem contact op met je provider. Dit e-mail adres is bedoeld voor AMS-IX members en het is voor ons onmogelijk om alle eindgebruikers direct te woord te staan.

[Attilla]

Nick39 schreef op zaterdag 26 februari 2011 @ 07:53:
Het was om 1 uur vannacht weer goed raak..of misschien hebben ze toen de inderhaast vastgesoldeerde draadjes vervangen voor een werkend kaartje...

Ik kan je verzekeren dat ons netwerk niet bestaat uit gesoldeerde draadjes. ;-)

[Nick39]

Attilla schreef op zaterdag 26 februari 2011 @ 13:24:
[...]


Ik kan je verzekeren dat ons netwerk niet bestaat uit gesoldeerde draadjes. ;-)

Da's heel mooi... dan schoot er vanmiddag om 17.00 blijkbaar een klemmetje los dan
Ik ben vanavond niet thuis maar ik vrees dat we er nog niet vanaf zijn en dat het een vervelend probleem of een "bug" is, jullie lijken me niet achterlijk daar.
Ik vrees dat het een hardnekkig iets is,en ik hoop dat er wat aan gedaan kan worden !

[HoppyF]

Zijn er nog steeds problemen?



En waar komen die enorme pieken van gisteren vandaan?

[ik222]

Ergens rond 17.00 uur is er weer een korte dip geweest aan de grafiek te zien.

[HoppyF]

ik222 schreef op zaterdag 26 februari 2011 @ 17:55:
Ergens rond 17.00 uur is er weer een korte dip geweest aan de grafiek te zien.

Inderdaad, maar wel een dip van zo'n 20% en dat is niet gering!

[ik222]

HoppyF schreef op zaterdag 26 februari 2011 @ 18:00:
[...]


Inderdaad, maar wel een dip van zo'n 20% en dat is niet gering!

Nee dat zeg ik ook niet, ik zeg alleen dat het kort duurde Sterker nog door de enore packetloss tijdens die dip was internet zo goed als onmogelijk hier.

[ Voor 15% gewijzigd door ik222 op 26-02-2011 18:11 ]

[ik222]

Zojuist weer een enorme dip op de nikhef...

[DJSmiley]

Eigenlijk is de topictitle nu (wederom) wat verwarrend: Nikhef heeft geen problemen, maar de AMS-IX switch oid op Nikhef.

Alle peerings die wij hebben met partijen in Nikhef zijn gewoon up (en niet down geweest)

[HoppyF]

DJSmiley schreef op zaterdag 26 februari 2011 @ 21:56:
Eigenlijk is de topictitle nu (wederom) wat verwarrend: Nikhef heeft geen problemen, maar de AMS-IX switch oid op Nikhef.

Alle peerings die wij hebben met partijen in Nikhef zijn gewoon up (en niet down geweest)

De grafiek die de problemen bij de AMS-IX laat zien heet NIKHEF.
Wie of wat er problemen heeft weet ik niet maar veel mensen hebben er wel last van.
Vreemd genoeg lees ik nog nergens wat er precies aan de hand is.
Een dip naar 50% van de normale waarde is toch zeker wel afwijkend te noemen.

Vreemd dat ISP's ook niets van zich laten horen.
Het zijn niet alleen maar BBned ISP's die er last van hebben.

[Lekkere Loempia]

Ik zie hier in een afbeelding, waar inderdaad Nikhef het meest getroffen is. Echter staat er ook duidelijk aangegeven, dat bij andere datacenters ook sprake was van dipjes. Heeft Nikhef zoveel invloed op de rest?

[burne]

HoppyF schreef op zaterdag 26 februari 2011 @ 22:16:
Vreemd genoeg lees ik nog nergens wat er precies aan de hand is.

Da's niet vreemd. Ze hebben gewoon geen idee.

• 1&1 Internet AG
• AboveNet Communications
• Cable & Wireless Nether
• Cambrium BV
• EdgeCast Networks, Inc
• Edutel B.V.
• EUnet Finland (Saunalah
• Giganews, Inc.
• Interactive 3D B.V.
• InterNLnet
• Open Peering
• Qatar Telecom (Qtel) Q.
• TDC A/S
• Telecom Italia Netherla
• Telefonica o2 Germany G
• UPC Broadband Operation
• Virgin Media Limited
• Virtu Secure Webservice
• Vodafone D2 Gmbh
• Yahoo! Europe Ltd

Lijstje van de leden op de kaart in kwestie.

De huidige theorie is:

We still suspect the problem may be caused by specific traffic from a member.

Maar het is een heel klein speldje in een enorme hooiberg om aan de hand van de packetdumps de dader te vinden.

[DJSmiley]

Lekkere Loempia schreef op zaterdag 26 februari 2011 @ 22:34:
Ik zie hier in een afbeelding, waar inderdaad Nikhef het meest getroffen is. Echter staat er ook duidelijk aangegeven, dat bij andere datacenters ook sprake was van dipjes. Heeft Nikhef zoveel invloed op de rest?

Als je op (bv) TC2 een peering hebt met een partij in Nikhef via AMS-IX, en Nikhef gaat down, dan zie je dat natuurlijk ook in de trafficstats op TC2.

Wegvallen van traffic op Nikhef zie je dan dus ook op de andere AMS-IX lokaties. Dip Nikhef = lokale traffic op Nikhef + andere ams-ix lokaties die peerings hebben met ams-ix klanten op Nikhef.

[Attilla]

Isp's versturen van en naar elke locatie data. Op het moment dat er een probleem is op 1 locatie zal je dit terug zien in de statistieken van andere locaties. In dit geval is het een subset van de AMS-IX members die op Nikhef zijn aangesloten die er last van hebben en natuurlijk de andere members die data naar deze locatie sturen.

[ik222]

Inderdaad er lopen enorm veel verbindingen tussen de locaties dus het is niet zo vreemd dat je bij de andere locaties ook minder verkeer ziet wanneer een locatie eruit klapt. Gedeeltelijk zal dat verkeer natuurlijk ook weer opgevangen worden via andere verbindingen (waar dat mogelijk is) maar zoals ik op de vorige pagina ook al schrijf duurt dat ook weer even omdat routers zich aan moeten passen op de plotselinge verandering in topologie.

[CaptJackSparrow]

Met de diverse DDOS aanvallen die we de laatste tijd gezien hebben (o.a. Overheid, Rabo, Tweakers ) vroeg ik me af of er wellicht ergens een of andere 'grote partij' bezig was met 'vingeroefeningen' voor een echt grote aanval. Het internet is nog relatief jong en het lijkt me dan ook niet onredelijk om aan te nemen dat we nog lang niet alles meegemaakt hebben wat er zich zoal kan afspelen op dat internet. De tijd zal het leren.

Of dat nu wel of niet speelt is secundair maar ik vroeg me eigenlijk af in hoeverre een instantie als de AMS-IX 'gevoelig' is voor eventuele DDOS(-achtige) aanvallen dan wel aanvallen van een ander type.

Heeft iemand hier daar meer kennis over/inzicht in?

[burne]

22:55 < $dude> UPDATE: 
22:55 < $dude> The platform has been stable since 21:53 +01:00. Our vendor 
               collected a lot of debug information. They are analyzing this data 
               at this moment and we expect their feedback soon.

[ik222]

Oke maar men lijkt dus nog steeds niet de echte oorzaak te weten en zolang dat niet het geval is kan het dus zomaar nogmaals fout gaan. Ik bedoel vandaag overdag leek het ook redelijk stabiel maar rond 17.00 uur ging het toch weer mis door onbekende oorzaak.

[ Voor 6% gewijzigd door ik222 op 26-02-2011 23:12 ]

[burne]

CaptJackSparrow schreef op zaterdag 26 februari 2011 @ 23:06:
Of dat nu wel of niet speelt is secundair maar ik vroeg me eigenlijk af in hoeverre een instantie als de AMS-IX 'gevoelig' is voor eventuele DDOS(-achtige) aanvallen dan wel aanvallen van een ander type.

Heeft iemand hier daar meer kennis over/inzicht in?

Ik zou verwachten dat iets als wat hier gebeurt enkel en alleen kan werken als je je verkeer ook echt in het switch-fabric van de AMS-IX kunt injecteren. Een router haalt enkel wat bits en de payload uit het packet en kopieert dat in feite in een nieuw packet. Rare dingen met specifieke combinaties van bits lukt dan niet meer.

En reken maar dat er getest wordt met switches/routers en rare packets. Fuzzing is een stuk ouder dan de publiciteitsgolf van twee jaar terug. Runt, jabber en collisions waren ooit de norm op ethernet, en testen daarop i standaard.

Ik denk dat los van 'enorme hoeveelheden verkeer' de AMS-IX verbazingwekkend goed tegen DDoSsen kan. Geen van de genoemde DDoS-aanvallen zijn terug te zien in iets in de grafieken van de AMS-IX.

[Attilla]

Totdat de specifieke oorzaak is gevonden zou het inderdaad nog een keer plaats kunnen vinden. We hopen dat het niet gebeurd, maar het heeft de hoogste prioriteit en er wordt hard aan gewerkt.

@captjacksparrow, het AMS-IX netwerk verzorgt de verbindingen tussen isp's en daarmee niet vatbaar voor ddos attacks zoals websites dat zijn.

[HoppyF]

burne schreef op zaterdag 26 februari 2011 @ 23:06:

22:55 < $dude> UPDATE: 
22:55 < $dude> The platform has been stable since 21:53 +01:00. Our vendor 
               collected a lot of debug information. They are analyzing this data 
               at this moment and we expect their feedback soon.

En wie is Vendor dan? Cisco?
In ieder geval goed te weten dat er 24/7 doorgewerkt wordt.

[Attilla]

Het platform bestaat enkel uit Brocade switches.

[CaptJackSparrow]

Ik begrijp heel goed dat de AMS-IX een functie heeft in het internetverkeer waardoor ze absoluut niet zomaar te vergelijken zijn met een gemiddelde website. Daarom juist mijn vraag en de term 'DDOS-achtig' en de vraag naar andersoortige aanvallen. De AMS-IX heeft natuurlijk niet één IP adresje dat je maar even hoeft te bombarderen.

Ik vraag me juist af in hoeverre de AMS-IX van 'buitenaf' direct 'bereikbaar' is. Maar het feit dat dit wellicht theoretisch niet mogelijk zou moeten zijn zegt natuurlijk ook niet alles. Ik heb mensen al lang geleden dingen met computers zien presteren waarvoor ze ook helemaal niet ontworpen waren om te kunnen doen maar het lukte mooi wel.

Sindsdien ben ik me bewust van het verschil tussen wat er al dan niet 'zou moeten kunnen' en wat er daadwerkelijk kan. Het lijkt me ook niet realistisch om te veronderstellen dat in een wereld waar elke maand vele nieuwe lekken en exploits gevonden worden de AMS-IX het niveau van perfectie bereikt zou hebben op het gebied van security en aanvalbestendigheid.