Grote Internetstoring NIKHEF, Amsterdam?

[phkba]

EDIT schreef op vrijdag 21 januari 2011 @ 20:32:
Gokje: niet de locaties hebben problemen gehad, maar de statistiekentool van AMS-IX zelf.

Is wel wat geweest want diverse sites waren niet te benaderen tussen 7 en 8. Die dip daarna is wel heel heftig dus dat zou inderdaad een probleem in de stats KUNNEN zijn

[twixx]

Misschien een pauze in het intern news-verkeer? Hoeveel % van de ams-ix zou dat tegenwoordig zijn? 20%?

[ik222]

EDIT schreef op vrijdag 21 januari 2011 @ 20:32:
Gokje: niet de locaties hebben problemen gehad, maar de statistiekentool van AMS-IX zelf.

Sowieso zijn er ook daadwerkelijk problemen geweest want een uur geleden was bijna geen enkele site te bereiken vanaf hier.

De grootste dip zou inderdaad wel prima een storing in de statistieken geweest kunnen zijn.

[Anoniem: 69767]

Storing is bevestigd @ AMS-IX...Zie verder

http://twitter.com/search?q=nikhef

[ Voor 3% gewijzigd door Anoniem: 69767 op 21-01-2011 20:42 ]

[EDIT]

Is wel wat geweest want diverse sites waren niet te benaderen tussen 7 en 8. Die dip daarna is wel heel heftig dus dat zou inderdaad een probleem in de stats KUNNEN zijn

Er is zeker iets mis geweest met AMS-IX @ Nikhef (ik heb zelf de problemen ook gehad met diverse sites), echter betwijfel ik dus dat alle locaties van de AMS-IX om 20u *poef* hebben gezegd.
Als ik kijk naar ons eigen netwerk (werk voor een hostingbedrijf), dan zie ik verder geen schokkende verschillen na 8 uur qua inkomende en uitgaande traffic. Wij zouden dat dan ook gemerkt moeten hebben.

Edit: zie alweer dat ik sneller moet typen

Edit 2: @ DJSmiley: Je hebt uiteraard gelijk, ik bedoelde inderdaad de AMS-IX @ Nikhef

[ Voor 30% gewijzigd door EDIT op 21-01-2011 20:53 . Reden: Vage zinsconstructies weg plus citaat bijgevoegd. ]

[DJSmiley]

EDIT schreef op vrijdag 21 januari 2011 @ 20:41:
[...]

Er is zeker iets mis geweest met Nikhef (ik heb zelf de problemen ook gehad met diverse sites), echter betwijfel ik dus dat alle locaties van de AMS-IX om 20u *poef* hebben gezegd.
Als ik kijk naar ons eigen netwerk (werk voor een hostingbedrijf), dan zie ik verder geen schokkende verschillen na 8 uur qua inkomende en uitgaande traffic. Wij zouden dat dan ook gemerkt moeten hebben.

Edit: zie alweer dat ik sneller moet typen

Problemen zijn dus niet Nikhef, maar op AMS-IX @ Nikhef schijnt. Onze NL-IX poortjes zijn nl netjes up (en ook niet down geweest als ik de bgp statussen bekijk).

[alphonss]

Toch een dipje tussen zeg 18:30 en 20:00 uur. De last famous reboot heeft kennelijk gewerkt

[bjck]

alphonss schreef op vrijdag 21 januari 2011 @ 20:22:
Sara en Global Switch zijn ook plat.

Jij weet er wel een hele mooie sensatie van te maken... Klok en klepel spreekwoord klinkt bekend?

EDIT schreef op vrijdag 21 januari 2011 @ 20:32:
Gokje: niet de locaties hebben problemen gehad, maar de statistiekentool van AMS-IX zelf.

Dat is meer aannemelijk inderdaad, of deze node hangt via AMS-IX/Nikhef verbonden en had ook hinder. Of al het verkeer van deze node gaat van en naar een AMS-IX/Nikhef aangesloten partij.

Lang niet al het verkeer was weg en zo te zien heeft niet iedere AMS-IX partner aangesloten op Nikhef lokatie hinder ondervonden. Anders had al het verkeer daar weg geweest. Alle grote ISP's die verkeer uitwisselen (deels) over AMS-IX hebben ook een tweede aansluiting op een andere locatie.

Als websites even niet bereikbaar zijn kan omdat routers bij je ISP even de tijd nodig hebben om te convergeren bij zulke grote topologie wisselingen. Of omdat de website die je wilt bereiken bij een hoster draait die hier tijd voor nodig had. Sowieso is er altijd nog een andere weg via een IP Transit voor je ISP. Of die verbindingen een volledige AMS-IX uitval aan kunnen is te betwijfelen gezien de verhouding peering vs. transit in Nederland.

[ChaserBoZ_]

alphonss schreef op vrijdag 21 januari 2011 @ 20:55:
Toch een dipje tussen zeg 18:30 en 20:00 uur. De last famous reboot heeft kennelijk gewerkt

AMS-IX draait nu op het backup platform, AMS-IX NOC is nog druk bezig

[burne]

One of the PEs at NIKHEF, stub-nik-226, dropped all traffic towards the rest of the platform for roughly 5 minutes, without warning. It recovered by itself.
The traffic drop started around 19.00. At 19:50 we swapped all connected members to their backup PE, which lead to traffic returning to its normal level on all ports.

Dus... 'Hele NIKHEF weg'? Nee. Hikje, instabiliteit en een krap uur later weer rust in de tent.

[alphonss]

The traffic drop started around 19.00...

De problemen begonnen veel eerder. Maar een "second-breakdown" begint ergens zullen we maar zeggen. Ik hoop toch voor de mannen dat ze een goed weekend gaan krijgen. Vrijdag is een rotdag als zoiets gebeurd. Er waren werkzaamheden bij NIKHEF volgens een tweet, of het er iets mee te maken heeft ....

[burne]

alphonss schreef op vrijdag 21 januari 2011 @ 22:56:
De problemen begonnen veel eerder.

Ja, wel vijf of tien minuten eerder. 'around 19:00' is goed genoeg als je het als 'rond zeven uur' leest.

Er waren werkzaamheden bij NIKHEF volgens een tweet, of het er iets mee te maken heeft ....

Dus omdat $figuur uren eerder iets roept over dat hij 'blades' gaat wisselen zijn er opeens werkzaamheden aan de core van de AMS-IX? Mag ik je herinneren aan het concept van de service-windows? AMS-IX zal nooit overdag of 's avonds werkzaamheden plannen. Die gebeuren altijd rond het verkeersminimum om 06:00.

Als ik je een goedbedoelde tip mag geven: neem twitter eens wat minder serieus? Twee tweets met een gemeenschappelijke hashtag impliceren nog geen correlatie. En voor een causaal verband heb je veel meer bewijs en onderbouwing nodig.

[alphonss]

burne schreef op vrijdag 21 januari 2011 @ 23:19:
Ja, wel vijf of tien minuten eerder..

Als je op de grafiekjes kijkt zou je dat kunnen denken, maar het is een bullshit verhaal dat het rond 19:00u zou zijn opgetreden, helaas. Kijk de meldingen op internet maar eens op je gemakje na. Er waren heel wat duupjes.

Of dat de boosdoener is betwijfel ik dan ook meteen. Uit je overbodige woorden zou je zelf ook de conclusie moeten trekken dat dit tijdstip volledig buiten het "service-window" valt en eventuele service werkzaamheden. Het heeft daar dan ook niets mee te maken! Waarschijnlijker is het dat er ergens wat hardware fout is gegaan, of iemand die per-ongeluk een kabeltje trekt of wat glas breekt. Murphy heeft op dat moment een stevige vinger in de pap.

Bewijs en onderbouwing heb ik niet nodig. Storingen op AMS-IX worden per e-mail doorgegeven aan de AMS-IX leden. Het is aan hen dit al dan niet verder te verspreiden onder hun klanten.

Fijn weekend

[alphonss]

Wederom NIKHEF problemen!!!!!!!!!!!!

[ Voor 61% gewijzigd door alphonss op 25-02-2011 18:46 ]

[ik222]

Yup inderdaad, iets meer als een uur geleden al even en nu net weer.

[TI_Observer]

back

[alphonss]

en ook weer op een vrijdag ........

[mrsar]

vandaar dat het allemaal zo traag reageerde vroeg me al af waarom ik zo slecht op mijn server kon komen....

[burne]

alphonss schreef op vrijdag 25 februari 2011 @ 18:53:
en ook weer op een vrijdag ........

En weer na onderhoud.. http://twitter.com/vanderoest/status/39892787541311488

[beany]

ligt het aan mij, of ligt het allemaal niog steeds flink te stuiteren ?

[Carpento]

Ligt niet aan jou, heb ik zo het idee

[Suicyder]

Het springt aardig hier.
Websites laden alweer sneller maar dat zegt natuurlijk niets.

We wachten het af

[mrsar]

complete verbinding lag er hier net uit

[HoppyF]

Hier ook een haperende verbinding! (via BBned / Alice).
Vreemd genoeg lees je verder niets hierover op Tweakers Nieuws.
Wellicht heeft de storing een gering aantal klanten getroffen??

[danger89]

Ai ai ai, is het ook flink raak. Al m'n (game) servers hebben problemen. Maar ook al mijn verschillende webhostings.

Best logisch uiteraard met zo grote storing, nu merk je pas hoeveel men vertrouwt op het internet. Ik denk inderdaad dat vele mensen hier last van hebben/hadden.

[ Voor 12% gewijzigd door danger89 op 25-02-2011 19:47 ]

[Mawlana]

burne schreef op vrijdag 25 februari 2011 @ 19:01:
[...]

En weer na onderhoud.. http://twitter.com/vanderoest/status/39892787541311488

Kennen ze daar geen service windows? nevermind, dat was 's nachts.

HoppyF schreef op vrijdag 25 februari 2011 @ 19:42:
Hier ook een haperende verbinding! (via BBned / Alice).
Vreemd genoeg lees je verder niets hierover op Tweakers Nieuws.
Wellicht heeft de storing een gering aantal klanten getroffen??

Het is afhankelijk van je ISP of je een verminderde internetervaring hebt (heeft je ISP wel/geen redundante verbinding?).

[ Voor 49% gewijzigd door Mawlana op 25-02-2011 20:07 ]

[Suicyder]

Nogal jammer dat ze dat niet tijdens de MINST drukke uren doen maar op de piek van iedere dag. Idioot.

[Nick39]

Ze zijn er mee bezig.

Return-Path: <[e-mail]>
Received: from deliverix.ams-ix.net by storage10.mail.sp.isp-net.nl
via deliverix.ams-ix.net [91.200.16.248] (may be forged) with ESMTP for <[e-mail]>
id p1PIT9jI008322 (8.13.2/2.12); Fri, 25 Feb 2011 19:29:15 +0100 (MET)
X-Virus-Scanned: Debian amavisd-new at ams-ix.net
Received: from [IPv6:2001:67c:1a8:102:226:bbff:fe1c:c676] (unknown [IPv6:2001:67c:1a8:102:226:bbff:fe1c:c676])
(using TLSv1 with cipher AES128-SHA (128/128 bits))
(No client certificate requested)
by deliverix.ams-ix.net (Postfix) with ESMTPSA id 0BA9715F1E;
Fri, 25 Feb 2011 19:28:31 +0100 (CET)
Subject: Re: [AMS-IX #35042] nikhef storing
Mime-Version: 1.0 (Apple Message framework v1082)
Content-Type: text/plain; charset=us-ascii
From: AMS-IX NOC / Arien V***** <[e-mail]>
In-Reply-To: <[e-mail]>
Date: Fri, 25 Feb 2011 19:28:31 +0100
Cc: AMS-IX NOC / Arien V**** <[e-mail]>
Content-Transfer-Encoding: 7bit
Message-Id: <[e-mail]>
References: <[e-mail]>
To: Nick <@xmsnet.nl>
X-Mailer: Apple Mail (2.1082)
X-Antivirus: avast! (VPS 110225-0, 25-02-2011), Inbound message
X-Antivirus-Status: Clean


On 25 Feb 2011, at 7:24 PM, Nick wrote:

> nikhef heeft voor de zoveelste keer de hik !

We weten het Nick. We werken er hard aan.

-- Arien

[HoppyF]

De vraag is nog steeds hoeveel aansluitingen hebben hier last van?
Beperkt zich dit tot een klein aantal ISP's?
Ik kan verder niet beoordelen of mijn ISP's redundant paden heeft opgezet, dat gebeurt immers op de achtergrond.
Je zou misschien wel kunnen zeggen dat je vanwege goede redundancy nooit problemen ziet!

Ik lees (behalve hier) weinig klachten...
Als er maar een paar forumleden last van hebben is het wel een heel merkwaardige storing!

[The Wizard]

Niet iedereen heeft het door, als de verbinding compleet plat ligt dan hoor je mensen wel klagen, maar als het "hikt" valt het veel minder op. Ik had het eerst ook niet door, je gaat eerst de standaard dingen bij langs, router resetten, modem resetten, computer opnieuw opstarten (in willekeurige volgorde ).

[Supersymmetry]

Wel, er zijn in mijn nabije omgeving ook een paar mensen die er last van hebben, en ik zelf heb/had er ook last van (tweakdsl bbned), al lijkt het nu weer beter te gaan.

[Mawlana]

HoppyF schreef op vrijdag 25 februari 2011 @ 19:54:
De vraag is nog steeds hoeveel aansluitingen hebben hier last van?
Beperkt zich dit tot een klein aantal ISP's?
Ik kan verder niet beoordelen of mijn ISP's redundant paden heeft opgezet, dat gebeurt immers op de achtergrond.
Je zou misschien wel kunnen zeggen dat je vanwege goede redundancy nooit problemen ziet!

Ik lees (behalve hier) weinig klachten...
Als er maar een paar forumleden last van hebben is het wel een heel merkwaardige storing!

Hoeveel aansluitingen hier last van hebben is moeilijk te zeggen. Volgens de AMS-IX pagina heeft bbned 1 verbinding met de AMS-IX.

De grotere ISP's (Ziggo, UPC, KPN e.d.) hebben meerdere verbindingen.

[Quantor]

The Wizard schreef op vrijdag 25 februari 2011 @ 19:56:
Niet iedereen heeft het door, als de verbinding compleet plat ligt dan hoor je mensen wel klagen, maar als het "hikt" valt het veel minder op. Ik had het eerst ook niet door, je gaat eerst de standaard dingen bij langs, router resetten, modem resetten, computer opnieuw opstarten (in willekeurige volgorde ).

Incl. check tweakers

[Suicyder]

Quantor schreef op vrijdag 25 februari 2011 @ 20:00:
[...]


Incl. check tweakers

Doe ik wel vaak, GoT heeft heel vaak het antwoord, heb niet voor niets een telefoon met internet

Lijkt beter te lopen, *crosses fingers*

[ik222]

HoppyF schreef op vrijdag 25 februari 2011 @ 19:54:
De vraag is nog steeds hoeveel aansluitingen hebben hier last van?
Beperkt zich dit tot een klein aantal ISP's?
Ik kan verder niet beoordelen of mijn ISP's redundant paden heeft opgezet, dat gebeurt immers op de achtergrond.
Je zou misschien wel kunnen zeggen dat je vanwege goede redundancy nooit problemen ziet!

Ik lees (behalve hier) weinig klachten...
Als er maar een paar forumleden last van hebben is het wel een heel merkwaardige storing!

De grootste problemen lijken echt bij de NIKHEF te zitten. De geringe drops op de andere locaties zouden namelijk zomaar een sympthoom kunnen zijn van de problemen op NIKHEF, alles staat namelijk met elkaar in verbinding. En als een complete locatie er dan even uitklapt dan heeft dat enorme veranderingen tot gevolg in de topologie, routers moeten zich hier even op instellen.

Dat grote providers hier minder last van hebben komt doordat zij op meerdere locaties zijn ingekoppeld en zij kunnen dan ook het verkeer omleiden via andere locaties wanneer een locatie problemen heeft.

[The Wizard]

Quantor schreef op vrijdag 25 februari 2011 @ 20:00:
[...]


Incl. check tweakers

O ja, die ook nog , maar wat zal vaker voorkomen, dat mijn router/pc/modem vast loopt of dat NIKHEF vast loopt?

[Nick39]

The Wizard schreef op vrijdag 25 februari 2011 @ 20:12:
[...]


O ja, die ook nog , maar wat zal vaker voorkomen, dat mijn router/pc/modem vast loopt of dat NIKHEF vast loopt?

Als je de monthly graph bij de errors bekijkt van de Nikhef dan is die er deze maand meer uitgeklapt dan mijn linksys 610...

[The Wizard]

Hehehe, ja, das waar

[burne]

sylvesterrr schreef op vrijdag 25 februari 2011 @ 19:59:
Volgens de AMS-IX pagina heeft bbned 1 verbinding met de AMS-IX.

Pffrt.

BBNed levert geen internet-connectiviteit aan z'n klanten, dat moeten ze lekker zelf regelen.

[HoppyF]

burne schreef op vrijdag 25 februari 2011 @ 20:59:
[...]

Pffrt.

BBNed levert geen internet-connectiviteit aan z'n klanten, dat moeten ze lekker zelf regelen.

Mmmm, toch vreemd wel.
BBned is toch van Tele2?
Tele2 is toch geen kleine speler op de Nederlandse internet markt?

[Anoniem: 379085]

mm zo te zien heeft de provider van m`n werk 5 connecties (surfnet) maar de snelheid daar is momenteel om te huilen..

ff een paar updates binnenhalen.. zo traag als dikke .....

speedtest.net gedraaid.

kpn 8mb/1mb dsl lijn amsterdam.. 6,5 mb down
surfnet 100mb/100mb glaslijn amsterdam 3,2mb down

[ Voor 25% gewijzigd door Anoniem: 379085 op 25-02-2011 21:34 ]

[burne]

HoppyF schreef op vrijdag 25 februari 2011 @ 21:05:
Mmmm, toch vreemd wel.

Volstrekt niet. Op diezelfde pagina staat het AS-nummer en de prefix die ze er over adverteren. Da's een /22 ofwel 1024 ip-addressen. Ze hebben de volgende bedrijven als afnemer:

Alice
AT&T
Atinet
BBeyond
BIT
BT Nederland N.V.
BusinessConnect BV
Cable & Wireless
CBizz
Claranet
COLT
Concepts ICT
Connect Data Solutions
Cross Data
DSD Business Internet
Easynet
EDPnet BV
EspritXB
FiberRing
Getronics
Global-e
Infopact
Infracom
Interconnect
Internet Limburg
InterNLnet
Interoute
InTouch
Introweb
IS Interned Services
Luna.nl
Netguard
NL Hosting
OneXS
Online Breedband
Orange Business Services
Plex
Pocos
PublishNET
Qfast
RoutIT
SARA
Scarlet
Signet
Simac
Solcon
SpeedXS
Stepco
Syscon
Systemec
T Systems
Telespectrum
The Network Factory
TI Sparkle
Unet
UPC Business
Verizon
Voiceworks
Xenosite
Zoranet

Hoe kun je die twee samen verklaren? 16 ip-adressen per klant?

En stap twee, tel eens bij elkaar op hoeveel AMS-IX-aansluitingen dat zestigtal bedrijven heeft? Alleen Cambrium heeft al een tiental verbindingen naar diverse exchanges, waarvan 3 x 10GE naar de AMS-IX, en natuurlijk op diverse AMS-IX-locaties. Toen ik er nog iets mee te maken had NIKHEF, TC1, TC2 en TC3. Alle BBNed-afnemers samen hebben er veel meer dan 100.

[Mawlana]

Dat ze daar slechts een /22 adverteren betekent niet dat ze slechts een /22 tot hun beschikking hebben... UPC adverteert slechts 2x een /22 terwijl ze meer dan 700.000 internetaansluitingen hebben.

Alice (en al die andere bedrijven) zullen wel onder een andere (overkoepelende?) naam actief zijn op de AMS-IX. Of is een enkele 10GE-verbinding voldoende voor al die klanten?

[ Voor 8% gewijzigd door Mawlana op 25-02-2011 22:38 ]

[burne]

sylvesterrr schreef op vrijdag 25 februari 2011 @ 22:35:
Alice (en al die andere bedrijven) zullen wel onder een andere (overkoepelende?) naam actief zijn op de AMS-IX. Of is een enkele 10GE-verbinding voldoende voor al die klanten?

Alice is een joint venture van InterNLnet en BBNed, dus het Alice-verkeer zul je op de twee 10GE-poorten van InterNLnet moeten zoeken.

Ik roep niet zomaar wat. Ik heb de eerste TrueDSL-lijnen eind 2001 in de lucht gebracht. Later heeft True dat overgedaan aan het bedrijf wat later Cambrium ging heten, niet lang daarna ben ik ook overgestapt naar Cambrium en ik heb daar tot 2005 gewerkt. Vervolgens heb ik 18 maanden bij BBNed gewerkt als third-line support en network-engineer.

Met uitzondering van BBNed en BBeyond-verkeer gaat van geen enkele BBNed-ISP het verkeer over de BBNed AMS-IX-poort en iedere conclusie die je aan die foute conclusie verbindt raakt kant nog wal. Mijn kennis over BBNed stopt in 2006, maar het basis-principe uit die tijd is vandaag de dag, een paar maanden na de goedkeuring van de overname door Tele2, nog altijd van toepassing.

Cambrium heeft ook op NIKHEF een connectie, dus een deel van HoppyF's verkeer kan door storingen op NIKHEF beinvloed worden.

(Ja, BBeyond gaat er ook over. Het was in 2005 de bedoeling dat dat zou gaan veranderen, maar blijkbaar is dat er nooit van gekomen..)

[Nick39]

Het was om 1 uur vannacht weer goed raak..of misschien hebben ze toen de inderhaast vastgesoldeerde draadjes vervangen voor een werkend kaartje...

[Mawlana]

burne, helder verhaal waarvoor dank! Doordat ik Alice/bbned zag en ik Alice niet in het rijtje kon vinden (jouw verhaal maakt duidelijk waarom niet) heb ik alleen naar bbned gekeken.

[Nick39]

Ams-IX:
Beste Nick,

Wij houden alle AMS-IX members op de hoogte over dit probleem. We zijn ons bewust van de impact en het heeft bij ons en onze leverancier de hoogste prioriteit. Dit probleem treft een deel van de Nikhef switches (niet allemaal), waarbij deze switches besluiten om, zonder aankondiging, een groot deel van hun verkeer niet meer te forwarden. Na de vorige storing hebben we een workaround geïmplementeerd, maar deze bleek niet effectief. Het heeft daardoor niks met achterstallig onderhoud te maken.

Voor verdere informatie neem contact op met je provider. Dit e-mail adres is bedoeld voor AMS-IX members en het is voor ons onmogelijk om alle eindgebruikers direct te woord te staan.

[Attilla]

Nick39 schreef op zaterdag 26 februari 2011 @ 07:53:
Het was om 1 uur vannacht weer goed raak..of misschien hebben ze toen de inderhaast vastgesoldeerde draadjes vervangen voor een werkend kaartje...

Ik kan je verzekeren dat ons netwerk niet bestaat uit gesoldeerde draadjes. ;-)

[Nick39]

Attilla schreef op zaterdag 26 februari 2011 @ 13:24:
[...]


Ik kan je verzekeren dat ons netwerk niet bestaat uit gesoldeerde draadjes. ;-)

Da's heel mooi... dan schoot er vanmiddag om 17.00 blijkbaar een klemmetje los dan
Ik ben vanavond niet thuis maar ik vrees dat we er nog niet vanaf zijn en dat het een vervelend probleem of een "bug" is, jullie lijken me niet achterlijk daar.
Ik vrees dat het een hardnekkig iets is,en ik hoop dat er wat aan gedaan kan worden !

[HoppyF]

Zijn er nog steeds problemen?



En waar komen die enorme pieken van gisteren vandaan?

[ik222]

Ergens rond 17.00 uur is er weer een korte dip geweest aan de grafiek te zien.

[HoppyF]

ik222 schreef op zaterdag 26 februari 2011 @ 17:55:
Ergens rond 17.00 uur is er weer een korte dip geweest aan de grafiek te zien.

Inderdaad, maar wel een dip van zo'n 20% en dat is niet gering!

[ik222]

HoppyF schreef op zaterdag 26 februari 2011 @ 18:00:
[...]


Inderdaad, maar wel een dip van zo'n 20% en dat is niet gering!

Nee dat zeg ik ook niet, ik zeg alleen dat het kort duurde Sterker nog door de enore packetloss tijdens die dip was internet zo goed als onmogelijk hier.

[ Voor 15% gewijzigd door ik222 op 26-02-2011 18:11 ]

[ik222]

Zojuist weer een enorme dip op de nikhef...

[DJSmiley]

Eigenlijk is de topictitle nu (wederom) wat verwarrend: Nikhef heeft geen problemen, maar de AMS-IX switch oid op Nikhef.

Alle peerings die wij hebben met partijen in Nikhef zijn gewoon up (en niet down geweest)

[HoppyF]

DJSmiley schreef op zaterdag 26 februari 2011 @ 21:56:
Eigenlijk is de topictitle nu (wederom) wat verwarrend: Nikhef heeft geen problemen, maar de AMS-IX switch oid op Nikhef.

Alle peerings die wij hebben met partijen in Nikhef zijn gewoon up (en niet down geweest)

De grafiek die de problemen bij de AMS-IX laat zien heet NIKHEF.
Wie of wat er problemen heeft weet ik niet maar veel mensen hebben er wel last van.
Vreemd genoeg lees ik nog nergens wat er precies aan de hand is.
Een dip naar 50% van de normale waarde is toch zeker wel afwijkend te noemen.

Vreemd dat ISP's ook niets van zich laten horen.
Het zijn niet alleen maar BBned ISP's die er last van hebben.

[Lekkere Loempia]

Ik zie hier in een afbeelding, waar inderdaad Nikhef het meest getroffen is. Echter staat er ook duidelijk aangegeven, dat bij andere datacenters ook sprake was van dipjes. Heeft Nikhef zoveel invloed op de rest?

[burne]

HoppyF schreef op zaterdag 26 februari 2011 @ 22:16:
Vreemd genoeg lees ik nog nergens wat er precies aan de hand is.

Da's niet vreemd. Ze hebben gewoon geen idee.

• 1&1 Internet AG
• AboveNet Communications
• Cable & Wireless Nether
• Cambrium BV
• EdgeCast Networks, Inc
• Edutel B.V.
• EUnet Finland (Saunalah
• Giganews, Inc.
• Interactive 3D B.V.
• InterNLnet
• Open Peering
• Qatar Telecom (Qtel) Q.
• TDC A/S
• Telecom Italia Netherla
• Telefonica o2 Germany G
• UPC Broadband Operation
• Virgin Media Limited
• Virtu Secure Webservice
• Vodafone D2 Gmbh
• Yahoo! Europe Ltd

Lijstje van de leden op de kaart in kwestie.

De huidige theorie is:

We still suspect the problem may be caused by specific traffic from a member.

Maar het is een heel klein speldje in een enorme hooiberg om aan de hand van de packetdumps de dader te vinden.

[DJSmiley]

Lekkere Loempia schreef op zaterdag 26 februari 2011 @ 22:34:
Ik zie hier in een afbeelding, waar inderdaad Nikhef het meest getroffen is. Echter staat er ook duidelijk aangegeven, dat bij andere datacenters ook sprake was van dipjes. Heeft Nikhef zoveel invloed op de rest?

Als je op (bv) TC2 een peering hebt met een partij in Nikhef via AMS-IX, en Nikhef gaat down, dan zie je dat natuurlijk ook in de trafficstats op TC2.

Wegvallen van traffic op Nikhef zie je dan dus ook op de andere AMS-IX lokaties. Dip Nikhef = lokale traffic op Nikhef + andere ams-ix lokaties die peerings hebben met ams-ix klanten op Nikhef.

[Attilla]

Isp's versturen van en naar elke locatie data. Op het moment dat er een probleem is op 1 locatie zal je dit terug zien in de statistieken van andere locaties. In dit geval is het een subset van de AMS-IX members die op Nikhef zijn aangesloten die er last van hebben en natuurlijk de andere members die data naar deze locatie sturen.

[ik222]

Inderdaad er lopen enorm veel verbindingen tussen de locaties dus het is niet zo vreemd dat je bij de andere locaties ook minder verkeer ziet wanneer een locatie eruit klapt. Gedeeltelijk zal dat verkeer natuurlijk ook weer opgevangen worden via andere verbindingen (waar dat mogelijk is) maar zoals ik op de vorige pagina ook al schrijf duurt dat ook weer even omdat routers zich aan moeten passen op de plotselinge verandering in topologie.

[CaptJackSparrow]

Met de diverse DDOS aanvallen die we de laatste tijd gezien hebben (o.a. Overheid, Rabo, Tweakers ) vroeg ik me af of er wellicht ergens een of andere 'grote partij' bezig was met 'vingeroefeningen' voor een echt grote aanval. Het internet is nog relatief jong en het lijkt me dan ook niet onredelijk om aan te nemen dat we nog lang niet alles meegemaakt hebben wat er zich zoal kan afspelen op dat internet. De tijd zal het leren.

Of dat nu wel of niet speelt is secundair maar ik vroeg me eigenlijk af in hoeverre een instantie als de AMS-IX 'gevoelig' is voor eventuele DDOS(-achtige) aanvallen dan wel aanvallen van een ander type.

Heeft iemand hier daar meer kennis over/inzicht in?

[burne]

22:55 < $dude> UPDATE: 
22:55 < $dude> The platform has been stable since 21:53 +01:00. Our vendor 
               collected a lot of debug information. They are analyzing this data 
               at this moment and we expect their feedback soon.

[ik222]

Oke maar men lijkt dus nog steeds niet de echte oorzaak te weten en zolang dat niet het geval is kan het dus zomaar nogmaals fout gaan. Ik bedoel vandaag overdag leek het ook redelijk stabiel maar rond 17.00 uur ging het toch weer mis door onbekende oorzaak.

[ Voor 6% gewijzigd door ik222 op 26-02-2011 23:12 ]

[burne]

CaptJackSparrow schreef op zaterdag 26 februari 2011 @ 23:06:
Of dat nu wel of niet speelt is secundair maar ik vroeg me eigenlijk af in hoeverre een instantie als de AMS-IX 'gevoelig' is voor eventuele DDOS(-achtige) aanvallen dan wel aanvallen van een ander type.

Heeft iemand hier daar meer kennis over/inzicht in?

Ik zou verwachten dat iets als wat hier gebeurt enkel en alleen kan werken als je je verkeer ook echt in het switch-fabric van de AMS-IX kunt injecteren. Een router haalt enkel wat bits en de payload uit het packet en kopieert dat in feite in een nieuw packet. Rare dingen met specifieke combinaties van bits lukt dan niet meer.

En reken maar dat er getest wordt met switches/routers en rare packets. Fuzzing is een stuk ouder dan de publiciteitsgolf van twee jaar terug. Runt, jabber en collisions waren ooit de norm op ethernet, en testen daarop i standaard.

Ik denk dat los van 'enorme hoeveelheden verkeer' de AMS-IX verbazingwekkend goed tegen DDoSsen kan. Geen van de genoemde DDoS-aanvallen zijn terug te zien in iets in de grafieken van de AMS-IX.

[Attilla]

Totdat de specifieke oorzaak is gevonden zou het inderdaad nog een keer plaats kunnen vinden. We hopen dat het niet gebeurd, maar het heeft de hoogste prioriteit en er wordt hard aan gewerkt.

@captjacksparrow, het AMS-IX netwerk verzorgt de verbindingen tussen isp's en daarmee niet vatbaar voor ddos attacks zoals websites dat zijn.

[HoppyF]

burne schreef op zaterdag 26 februari 2011 @ 23:06:

22:55 < $dude> UPDATE: 
22:55 < $dude> The platform has been stable since 21:53 +01:00. Our vendor 
               collected a lot of debug information. They are analyzing this data 
               at this moment and we expect their feedback soon.

En wie is Vendor dan? Cisco?
In ieder geval goed te weten dat er 24/7 doorgewerkt wordt.

[Attilla]

Het platform bestaat enkel uit Brocade switches.

[CaptJackSparrow]

Ik begrijp heel goed dat de AMS-IX een functie heeft in het internetverkeer waardoor ze absoluut niet zomaar te vergelijken zijn met een gemiddelde website. Daarom juist mijn vraag en de term 'DDOS-achtig' en de vraag naar andersoortige aanvallen. De AMS-IX heeft natuurlijk niet één IP adresje dat je maar even hoeft te bombarderen.

Ik vraag me juist af in hoeverre de AMS-IX van 'buitenaf' direct 'bereikbaar' is. Maar het feit dat dit wellicht theoretisch niet mogelijk zou moeten zijn zegt natuurlijk ook niet alles. Ik heb mensen al lang geleden dingen met computers zien presteren waarvoor ze ook helemaal niet ontworpen waren om te kunnen doen maar het lukte mooi wel.

Sindsdien ben ik me bewust van het verschil tussen wat er al dan niet 'zou moeten kunnen' en wat er daadwerkelijk kan. Het lijkt me ook niet realistisch om te veronderstellen dat in een wereld waar elke maand vele nieuwe lekken en exploits gevonden worden de AMS-IX het niveau van perfectie bereikt zou hebben op het gebied van security en aanvalbestendigheid.

[Attilla]

Daar heb je gelijk in, maar het platform is mpls/vpls gebaseerd. Het enige wat de switches doen is een labeltje op het ethernet frame van de isp router plakken en het naar een andere router doorsturen. Daardoor kan je extern gewoon niks op ethernet niveau doen.

Je hebt gelijk dat ook onze apparatuur niet vrij is van security bugs. Nieuwe functionaliteiten testen we daar ook op, maar het is dus op een heel ander niveau dan end-host security.

Maar dit is wel een beetje off-topic. Ik kan je wel meer vertellen, maar dan moet je me maar even een dm sturen.

[ Voor 11% gewijzigd door Attilla op 26-02-2011 23:51 ]

[DJSmiley]

CaptJackSparrow schreef op zaterdag 26 februari 2011 @ 23:40:
Ik begrijp heel goed dat de AMS-IX een functie heeft in het internetverkeer waardoor ze absoluut niet zomaar te vergelijken zijn met een gemiddelde website. Daarom juist mijn vraag en de term 'DDOS-achtig' en de vraag naar andersoortige aanvallen. De AMS-IX heeft natuurlijk niet één IP adresje dat je maar even hoeft te bombarderen.

Ik vraag me juist af in hoeverre de AMS-IX van 'buitenaf' direct 'bereikbaar' is. Maar het feit dat dit wellicht theoretisch niet mogelijk zou moeten zijn zegt natuurlijk ook niet alles. Ik heb mensen al lang geleden dingen met computers zien presteren waarvoor ze ook helemaal niet ontworpen waren om te kunnen doen maar het lukte mooi wel.

Sindsdien ben ik me bewust van het verschil tussen wat er al dan niet 'zou moeten kunnen' en wat er daadwerkelijk kan. Het lijkt me ook niet realistisch om te veronderstellen dat in een wereld waar elke maand vele nieuwe lekken en exploits gevonden worden de AMS-IX het niveau van perfectie bereikt zou hebben op het gebied van security en aanvalbestendigheid.

DDOS zal idd niet snel gebeuren, om de simpele reden dat partijen die aangesloten zitten nooit meer bandbreedte kunnen gebruiken dan hun poort(en) zijn, en de backplane van de AMS-IX wel ff iets groter is...

Wat wel kan (en al eens is gebeurd) is dat men met verkeerde bgp sessies verkeerde blokken gaat announcen, en zo halve delen van het internet onderuit trekt. Maar goed, dat kan op elke IX gebeuren. Enige wat wat meer impact zou hebben is in het peering vlan ellende creeren, maar dat zal ongetwijfeld goed dichtzitten, en daarnaast kun je daar niet vanaf extern in, en zul je al eerst bij een partij binen moeten komen.

Daarnaast is een IX gewoon een transportmedium met vlannetjes. Wat je daar weer doorheen trapt is een losstaand verhaal.

* DJSmiley zag net wel 90% van zn verkeer op een andere IX wegvallen, maar bgp sessies zijn niet down geweest.

[ Voor 3% gewijzigd door DJSmiley op 27-02-2011 00:01 ]

[burne]

DJSmiley schreef op zaterdag 26 februari 2011 @ 23:56:
Enige wat wat meer impact zou hebben is in het peering vlan ellende creeren, maar dat zal ongetwijfeld goed dichtzitten, en daarnaast kun je daar niet vanaf extern in, en zul je al eerst bij een partij binen moeten komen.

*kuch*. Zodra je meer dan één mac-adres op je poort laat zien ga je automagisch in het quarantine-vlan. En als jij 0/0 gaat adverteren zijn het alleen de partijen die niet begrijpen waarom je bogons filtert het slachtoffer van je gestuntel.

Ik denk dat Bevelander de laatste geweest is. Die accepteerde 192.168.0.0/16 als prefix en snapte niet waarom z'n kantoorautomatisering over de AMS-IX richting Colt Telecrom UK verdween. En dat was in 1998 ofzo.

Nou moet ik opeens aan http://www.nutz.nl/archiv...de-amsix-er-ooit-uit.html denken. Straks ga ik nog echt nostalgisch worden.

Attilla: doe rodecker de groeten van burne.

[yannickie111]

Gister mijn router gereset, dacht dat het daar aan lag, maar het was dus de AMX-IX.

[fonsoy]

Het gaat hier alleen om NIKHEF, dat is dus een van de zeven punten waar ISP's hun verbinding van kunnen betrekken. Is het nuttig om te posten welke diensten hieronder vallen?
Ik had gisteravond ook een beetje stormachtig internet, maar ik weet niet of het middels Ziggo te wijten is aan AMS-IX.

[bjck]

De ISP's hebben of wel ook andere peering points, andere AMS-IX locatie of andere IX'en (buiten NL kan ook). En nog IP-transit verbindingen die het kunnen opvangen.

En een ISP in het lijstje op getroffen kaart hebben vaak meerdere verbindingen (10G) naar Nikhef die niet allemaal op dezelfde kaart zijn aangesloten. Dus een verbinding van 20, 30 of 40G maken ze van meerdere 10G verbindingen (etherchannel). Een ISP in eerdere lijstje hoeft niet perse al zijn verbindingen kwijt te zijn tegelijk en dus peerings niet kwijt. Even een korte onderbreking in verkeer wel.

[burne]

fonsoy schreef op zondag 27 februari 2011 @ 13:15:
Het gaat hier alleen om NIKHEF, dat is dus een van de zeven punten waar ISP's hun verbinding van kunnen betrekken. Is het nuttig om te posten welke diensten hieronder vallen?

Het gaat om twintig poorten op NIKHEF. Dat is maar een klein deel van wat er op NIKHEF peert. Vier of vijf daarvan zijn klanten die veel verkeer doen. Maar er zitten bijvoorbeeld twee usenet-providers bij, en dan gaat het hard met gaten in je grafiek.

[burne]

17:17 < $dude> The vendor advised us to switch off "turbo mode" on the chassis
                 and we are going to do this at 2011-03-01 00:00 +01:00. 
                 The action plan is: 
17:17 < $dude> 1) move all customers from the main PE to the backup PE: it 
                 causes a 20ms link flap 
17:17 < $dude> 2) restart the main PE 
17:18 < $dude> 3) move all customers from the backup PE to the main PE: 
                 it causes another 20m link flap 
17:18 < $dude> 4) restart the backup PE 
17:18 < $dude>  
17:18 < $dude> In case the issue reappears before midnight, we will do 
                 the restart immediately.
17:18 < $dude> "...We weten het ook niet. Probeer eens random 
                 functie X uit te zetten...."

Ofwel: vannacht gaat het weer stuk.

[CaptJackSparrow]

Een gewaarschuwd mens....

Ik zal maar vast even maatregelen treffen...

[Attilla]

burne schreef op maandag 28 februari 2011 @ 17:42:

Ofwel: vannacht gaat het weer stuk.

Het is niet zomaar een random functie, maar dit zal het niet stuk maken. :-)

[burne]

Attilla schreef op maandag 28 februari 2011 @ 19:54:
Het is niet zomaar een random functie, maar dit zal het niet stuk maken. :-)

Niet happen. Nu klagen ze niet als hun interwebs rond middernacht even haperen. En ze haperen eigenlijk altijd wel, dus geheid dat er iemand komt klagen over het hikje in hun usenet-verkeer.

[alphonss]

Vandaag weer een dipje van ruim 50Gbit/sec

[ Voor 12% gewijzigd door alphonss op 02-03-2011 15:38 ]

[Anoniem: 292540]

Is er afgelopen nacht ook weer wat mis gegaan?

[ Voor 74% gewijzigd door Anoniem: 292540 op 07-03-2011 08:55 ]

[_-= Erikje =-_]

Ja een of andere partij vond het handig de oude ISP lan prefix te announcen. Hierdoor kreeg iedereen die niet filtert waar ie prefixes binnen het peering vlan vandaan krijgt een specifiekere route. Aangezien op 2 members na iedereen in die /23 zit vielen er nogal wat BGP sessies weg

[edit]

als je plaatjes post, post dan een statisch plaatje

[ Voor 10% gewijzigd door _-= Erikje =-_ op 03-03-2011 08:15 ]

[Kain_niaK]

Waren daarom een aantal Nederlandse sites onbereikbaar vannacht ?

[_-= Erikje =-_]

dat zou best kunnen, maar dat is zonder specifieke kennis van het netwerk niet te zeggen

[Cloud]

Kan het zijn dat er momenteel nog steeds problemen zijn? Ik ben niet heel erg thuis in de materie, maar ik kan ons datacenter in Groningen het ene moment niet bereiken en dan weer even wel. Traceroutes daartussen verschillen ook enorm, compleet andere routes Ook met een server in Amsterdam hebben we problemen overigens.

[Anoniem: 292540]

Dank voor de uitleg Erik,

en tja... BGP blijft lastig natuurlijk


== IMG url is aangepast ==

[Attilla]

Cloud schreef op donderdag 03 maart 2011 @ 08:40:
Kan het zijn dat er momenteel nog steeds problemen zijn? Ik ben niet heel erg thuis in de materie, maar ik kan ons datacenter in Groningen het ene moment niet bereiken en dan weer even wel. Traceroutes daartussen verschillen ook enorm, compleet andere routes Ook met een server in Amsterdam hebben we problemen overigens.

Alles is opgelost mbt. dit issue. Maar zonder specifieke gegevens kan ik geen antwoord geven op de rest van je vragen.

[Cloud]

Onze problemen zijn ook voorbij sinds een uur of 10:30 zo te zien. Weet nog niet wat het geweest is, dus ook niet of het met het bovenstaande te maken had.

[Fiber]

NIKHEF weer de hik?
http://www.ams-ix.net/statistics/
Loveparade in "XMS Glasvezel ervaring - XI"

[ Voor 40% gewijzigd door Fiber op 07-03-2011 15:25 . Reden: link ]

[Mr_Big]

Hier in A'dam op glasvezel van InterNL ook problemen.
Dit soort problemen lijken de laatste tijd wel schering en inslag.

[poktor]

Hier in aalsmeer ook problemen. Een tracert naar willekeurig adres in usa blijft heen en weer stuiteren tussen 2 routers..

EDIT:
Nikhef weer ok, maar nu heeft Sprint USA problemen in Newark..

[ Voor 23% gewijzigd door poktor op 07-03-2011 15:49 ]

[alphonss]

Heel het jaar door al kommer en kwel bij Nikhef. Tijd dat Ams-Ix maatregelen treft.



ps. Op verzoek, voortaan statische plaatjes

[ Voor 52% gewijzigd door alphonss op 01-11-2011 00:58 ]

[Anoniem: 206724]

Lekker is dat, ik heb er twee servers staan

[Punica-]

alphonss schreef op dinsdag 01 november 2011 @ 00:47:
Heel het jaar door al kommer en kwel bij Nikhef. Tijd dat Ams-Ix maatregelen treft.

[afbeelding]

ps. Op verzoek, voortaan statische plaatjes

Wat kan AMS-IX er aan doen als een member zń verkeer wegvalt? Er is afaik geen 'storing' geweest.

[ChaserBoZ_]

alphonss schreef op dinsdag 01 november 2011 @ 00:47:
Heel het jaar door al kommer en kwel bij Nikhef. Tijd dat Ams-Ix maatregelen treft.

[afbeelding]

ps. Op verzoek, voortaan statische plaatjes

Mwah, dat wil niet meteen zeggen dat er probleem is hoor.

Trackrecord van dit jaar is ook goed, ik meen dat de meeste problemen ontstaan door members die hun eigen configuratie niet op orde hebben, en partijen welke om de zoveel maanden nieuwe firmware in gebruik nemen.

Op de AMSIX geldt hetzelfde als thuis, if it ain't broken . . .

[DJSmiley]

ChaserBoZ_ schreef op dinsdag 01 november 2011 @ 22:22:
[...]


Mwah, dat wil niet meteen zeggen dat er probleem is hoor.

Trackrecord van dit jaar is ook goed, ik meen dat de meeste problemen ontstaan door members die hun eigen configuratie niet op orde hebben, en partijen welke om de zoveel maanden nieuwe firmware in gebruik nemen.

Op de AMSIX geldt hetzelfde als thuis, if it ain't broken . . .

Nikhef heeft van de AMS-IX lokaties volgens mij wel de meeste stroomproblemen gehad. Aantal keer (delen van) zonder spanning.

Zoiezo is stroom op veel DC's een issue. Telecity (2): Ja, we hebben wel footprints, maar geen stroom... we zetten je op de wachtlijst.

Maar goed, de laatste tijd schieten de DC's uit de grond. Telecity AMS3 is bijna af, Terremark heeft net een grote lokatie opgeleverd, Datahouse koopt ruimte's op, Switch heeft AMS1 geopend, letterlijk naast TC2 (zit 1 weg tussen), Serverius heeft in Dronten een DC geopend, Solcon in Apeldoorn, en zo kun je nog wel even doorgaan.

[VisionMaster]

alphonss schreef op dinsdag 01 november 2011 @ 00:47:
Heel het jaar door al kommer en kwel bij Nikhef. Tijd dat Ams-Ix maatregelen treft.

[afbeelding]

ps. Op verzoek, voortaan statische plaatjes

Welke conclusies heb je precies kunnen trekken uit die twee dipjes? Ik zie hierboven van een tijd terug dat er gehint werd naar stroom problemen bij Nikhef, maar die zijn er *niet* geweest.

Ik zie in dit topic ook erg veel directe referenties naar "Nikhef", waar waarschijnlijk wordt bedoelt "AMS-IX @ Nikhef" of iets van die strekking.

Het geeft ons een beter gevoel als je dit iets preciezer aangeeft, aangezien het anders nogal snel hint naar voorbarige conclusies uit deze high-level grafiekjes.

Voor de goede orde, Nikhef ansich staat los van de housing die gedaan wordt voor de AMS-IX en de AMS-IX staat los van de klanten. Ieder kan dus op zijn eigen niveau zijn f*ck-ups maken zonder direct te kunnen wijzen naar een ander

[ Voor 17% gewijzigd door VisionMaster op 07-11-2011 12:01 ]

[alphonss]

Just for the record

[VisionMaster]

alphonss schreef op dinsdag 13 december 2011 @ 13:13:
Just for the record

[afbeelding]

Tja, welk 'record' wil je zetten als ik vragen mag? Ik wil je wederom vragen om helder en precies aan te geven waar je denkt dat er een probleem zit. Dan kunnen we het tenminste ergens constructief over hebben. Wederom lijkt het erop dat het weinig met Nikhef ansich te maken heeft, maar dat een andere partij een dipje gepland of ongepland heeft veroorzaakt die je zit.

Het grafiekje dat je ziet is een samenvatting van het verkeer van 1 partij die o.a. bij Nikhef staat, het zegt verder niets meer of minder dan dat wat er in geplot wordt. En ik moet je teleurstellen in hoeveel veel het echt zegt over de staat van het internet.

For the record wil ik stellen dat je eerder een glazenbol kan warm wrijven. Prettig voor de winter ivm wrijving, dus qua warmte en nuance op hetzelfde niveau.


Als je het er niet met mijn stelling eens ben, dan wil ik je hierbij uitnodigen op de koffie. Dan kan je jezelf zien hoe het wel zit.