Landelijke storing BBNED

[Team-RiNo]

Iedereen bij BBNED hier last van? bij ons ligt de voip eruit omdat die via BBNED gaat. Ik kreeg de melding dat het een landelijke storing betrof.

[Axelfoley007]

Ja hier hetzelfde, alles dood.

[sjansen]

Inderdaad bij ons ook. (Regio 6595)
Maar in regio 6580 weer niet

Als ik even naar onze monitor kijk, dan is het voor onze locaties alleen in Limburg.
.

[ Voor 40% gewijzigd door sjansen op 05-11-2010 12:04 ]

[AtleX]

Ik heb BBned via een reseller en nergens last van. Postcode begint met 4191.

[ Voor 20% gewijzigd door AtleX op 05-11-2010 11:55 ]

[whitedrag152]

Een klant van ons heeft er ook last van.
Heb net met de helpdesk gesproken en die zei dat er een coreswith in amsterdam er uit lag.

[MeneerKrab]

Storing : BBNed Landelijke Storing

Beste partner,

BBNed heeft te kampen met uitval van al haar verbindingen. De storing betreft DSL- en mogelijk fiber-verbindingen in geheel Nederland.

We verwachten snel meer informatie te kunnen verstrekken.
We houden u op de hoogte via CSP Reporter.

----- update BBNed -----
Dear customer,

We are currently experiencing an outage on the following location(s):


Affected location(s) : GlobalSwitch

Network component(s) affected : ASDGTS1CORE1

Impact : No IP connectivity

TT Number : CC0000000325297

Start time of outage : 10:15

Outage resolved :

Outage reason : Under investigation


We apologize for the inconvenience.

If you have any questions, please contact:

023-5659911 or [e-mail]

Kind regards,

BBned Customer Service

----- update BBNed -----

Met vriendelijke groet,
RoutIT Operations

Getroffen diensten:

* BBned FIBER
* DSL BBned

[Verwijderd]

ah, meende eerst dat het wraakaktie Alice was ivm mijn opzegging deze week. Had trouwens laatste tijd wel vaker uitval van telefonie.... In ieder geval hier, 8607, ook al geruime tijd dode telefoonlijn

[tlpeter]

Ik zie "RoutIT"

Leuk, alle klanten met sip en dsl lijnen zitten dus zonder :-)
Gelukkig zijn het mijn klanten niet.

[WHiZZi]

We are currently experiencing an outage on the following location(s):

Affected location(s) : GlobalSwitch
Network component(s) affected : ASDGTS1CORE1

Impact : No IP connectivity
TT Number : CC0000000325297

Start time of outage : 11:14
Outage resolved :

Outage reason : Under investigation

Additional information : Our engineers are on location for further investigation

De eerste storing kwam bij ons binnen om 11:30 ongeveer. Ook een aantal Glasklanten liggen er uit (niet bij ons overigens), maar dit las ik via Twitter.

[Barreljan]

Dat "No IP connectivity" is ook niet helemaal juist, ik heb hier een heleboel op ATM down...

Gelukkig doet onze eigen BBned lijn het hier nog wel.

[swbr]

PC 5616. Raakte rond 11:20 de verbinding kwijt met m'n servertje thuis.

[Stamict]

In Almelo 7607 ligt het er ook uit. Inclusief de PIN via Xenosite

[MeNTaL_TO]

tlpeter schreef op vrijdag 05 november 2010 @ 12:03:
Ik zie "RoutIT"

Leuk, alle klanten met sip en dsl lijnen zitten dus zonder :-)
Gelukkig zijn het mijn klanten niet.

Routit levert ook KPN, dus snap de routit opmerking niet helemaal.

Wel een hoop klanten van ons down, echter de SDSL van bbned weer niet.

[ Voor 10% gewijzigd door MeNTaL_TO op 05-11-2010 12:22 ]

[WHiZZi]

Uit interne bronnen hoorde ik dat er gewoon een apparaat omgevallen is en dat BBNed er remote dus niet bij kon. Daar is inmiddels dus een monteur om het ding te rebooten (die ASD...CORE1)..

Het spul lijkt inderdaad op ATM niveau plat te liggen, alleen dit is een redelijk standaard mail van BBNed waar volgens mij default No IP Connectivity in staat

Het is dus een landelijke storing, dus overal ligt DSL er uit (incl Pin) en enkele glas aansluitingen

[ Voor 12% gewijzigd door WHiZZi op 05-11-2010 12:23 ]

[ArneLH]

Zelfde probleem hier in Utrecht ADSL2+ via BBNED van Surfnet.

[_Gump_]

-

[ Voor 100% gewijzigd door _Gump_ op 03-02-2011 19:51 ]

[ST10©DE]

Hier in 8013 ook alles plat. En onze reseller wist om 12.00 niks van een storing....

Edit: LOL @ hierboven

[ Voor 12% gewijzigd door ST10©DE op 05-11-2010 12:37 ]

[base_]

5625 / Eindhoven kan ik ook niet meer bereiken

[JF_]

Den Haag, business SDSL bundle, sinds +- 11 uur volledig plat... Fijn, zo'n landelijke storing.

[datadevil]

hier ook sinds +- 11:15 (3991)

[amx]

WHiZZi schreef op vrijdag 05 november 2010 @ 12:22:
Uit interne bronnen hoorde ik dat er gewoon een apparaat omgevallen is en dat BBNed er remote dus niet bij kon. Daar is inmiddels dus een monteur om het ding te rebooten (die ASD...CORE1)..

Het spul lijkt inderdaad op ATM niveau plat te liggen, alleen dit is een redelijk standaard mail van BBNed waar volgens mij default No IP Connectivity in staat

Het is dus een landelijke storing, dus overal ligt DSL er uit (incl Pin) en enkele glas aansluitingen

Noob vraagje: dat hele ATM gebeuren, ligt dat als ondergrond voor alle netwertkverbindingen (DSL/kabel/glasvezel) naar de wijkcentrales/verdeelkasten? Of maak ik een onlogische conclusie?
En zo ja, tot waar gaat die verbinding?

Ik begrijp dat via ATM switches verkeer wordt verstuurd en ontvangen, via cells ipv packets, maar moet ik het me dan zo voorstellen dat vanaf het ATM netwerk zo'n switch (als die nu is uitgevallen is) bijvoorbeeld een glasvezel aansluiting heeft, en het van daar wel verstuurd via packets? of gaat het cell verkeer tot aan de (bv) wijkcentrale, of misschien zelfs tot de modem?

persoonlijke interessevraag, niet direct werkgebonden

[Team-RiNo]

Inmiddels weer verbinding!

[swbr]

Team-RiNo schreef op vrijdag 05 november 2010 @ 12:42:
Inmiddels weer verbinding!

Hier is de boel ook weer terug (5616)

[WHiZZi]

Wij zien ook weer verbinding lopen bij klanten. Lijkt idd opgelost te zijn..

[ChaserBoZ_]

amx schreef op vrijdag 05 november 2010 @ 12:42:
[...]


Noob vraagje: dat hele ATM gebeuren, ligt dat als ondergrond voor alle netwertkverbindingen (DSL/kabel/glasvezel) naar de wijkcentrales/verdeelkasten? Of maak ik een onlogische conclusie?
En zo ja, tot waar gaat die verbinding?

Ik begrijp dat via ATM switches verkeer wordt verstuurd en ontvangen, via cells ipv packets, maar moet ik het me dan zo voorstellen dat vanaf het ATM netwerk zo'n switch (als die nu is uitgevallen is) bijvoorbeeld een glasvezel aansluiting heeft, en het van daar wel verstuurd via packets? of gaat het cell verkeer tot aan de (bv) wijkcentrale, of misschien zelfs tot de modem?

persoonlijke interessevraag, niet direct werkgebonden

DSL wordt over ATM getransporteerd
Kabel en glasvezel niet (zover ik weet dan )

De modem/router bij je thuis verzendt/ontvangt ATM cellen. Vanuit de wijkcentrale worden die cellen naar de ATM core van de telco gestuurd (in dit geval BBNed), welke het verkeer doorstuurt naar de juiste ISP.

Afhankelijk van de ISP, kan het verkeer worden uitgekoppeld op IP of op ATM.

In dat laatste geval gaat het ATM verkeer dan helemaal door totaan een router van de ISP.

[WHiZZi]

We have experienced an outage on the following location(s).
This outage has been resolved.

Affected location(s) : GlobalSwitch
Network component(s) affected : ASDGTS1CORE1

Impact : Total outage
TT Number : CC0000000325297

Start time of outage : 11:14
Outage resolved : 12:40

Outage reason : Power failure on both power feeds at GlobalSwitch in Amsterdam

[amx]

ChaserBoZ_ schreef op vrijdag 05 november 2010 @ 12:50:
[...]


DSL wordt over ATM getransporteerd
Kabel en glasvezel niet (zover ik weet dan )

De modem/router bij je thuis verzendt/ontvangt ATM cellen. Vanuit de wijkcentrale worden die cellen naar de ATM core van de telco gestuurd (in dit geval BBNed), welke het verkeer doorstuurt naar de juiste ISP.

Afhankelijk van de ISP, kan het verkeer worden uitgekoppeld op IP of op ATM.

In dat laatste geval gaat het ATM verkeer dan helemaal door totaan een router van de ISP.

Bedankt, dat maakt het een stukje duidelijker, dan zal ATM ook (in ieder geval tot de wijkcentrale, want voor zover ik weet is dat ook een glasvezel verbinding)via glasvezel gaan, ik weet dat kabel via Eurodocsis gaat, maar dat kan natuurlijk ook weer op een andere laag zitten.

moet ik zo'n ASDGTS1CORE1 dan ook als een soort BGP router zien?

[HoppyF]

Kan iemand me eens uitleggen waarom er TWEE power feeds tegelijk uitgevallen zijn?

De reden dat je twee power feeds gebruikt is het feit dat je redundancy wilt, anders heeft het weinig zin.

Gelukkig werkt alles weer maar het is wel slordig zo'n landelijke storing.
Het gaat dan immers niet over een paar honderd klanten die zonder internet zitten.

[Barreljan]

HoppyF schreef op vrijdag 05 november 2010 @ 13:11:
Kan iemand me eens uitleggen waarom er TWEE power feeds tegelijk uitgevallen zijn?

De reden dat je twee power feeds gebruikt is het feit dat je redundancy wilt, anders heeft het weinig zin.

Gelukkig werkt alles weer maar het is wel slordig zo'n landelijke storing.
Het gaat dan immers niet over een paar honderd klanten die zonder internet zitten.

Een mooi verhaal om dit scenario een beetje te verbloemen?

WHiZZi schreef op vrijdag 05 november 2010 @ 12:22:
Uit interne bronnen hoorde ik dat er gewoon een apparaat omgevallen is en dat BBNed er remote dus niet bij kon. Daar is inmiddels dus een monteur om het ding te rebooten (die ASD...CORE1)..

[poktor]

Heeft zo'n lokatie geen UPS'en die dit soort dingen opvangen?

[ChaserBoZ_]

amx schreef op vrijdag 05 november 2010 @ 13:03:
[...]


Bedankt, dat maakt het een stukje duidelijker, dan zal ATM ook (in ieder geval tot de wijkcentrale, want voor zover ik weet is dat ook een glasvezel verbinding)via glasvezel gaan, ik weet dat kabel via Eurodocsis gaat, maar dat kan natuurlijk ook weer op een andere laag zitten.

moet ik zo'n ASDGTS1CORE1 dan ook als een soort BGP router zien?

Euh nee. Die core router van BBNed routeert het ATM verkeer tussen de klant en de ISP, op laag2.
De ISP 'legt' er dan IP overheen zeg maar.

BGP gebruik je om IP verkeer (laag3) uit te kunnen wisselen met partijen buiten je eigen netwerk, dus ISP's onderling bijvoorbeeld.

[amx]

vandaar dus verschil in benaming ATM"switch" en BGP"router"

duidelijk

[ST10©DE]

Hier nog steeds geen sjoege (8013, adsl)

[HoppyF]

poktor schreef op vrijdag 05 november 2010 @ 13:14:
Heeft zo'n lokatie geen UPS'en die dit soort dingen opvangen?

Ja, dat zou je wel verwachten ...
Maar ook zonder UPS kun je stroomuitval (beter gezegd spanningsuitval) voorkomen door de spanning van twee gescheiden aanbieder te halen.
Daarmee bedoel ik ook echt gescheiden voedingsnetwerken en niet de Nuon/Essent/enz... die hun diensten over dezelfde kabel leveren.

[swbr]

HoppyF schreef op vrijdag 05 november 2010 @ 13:11:
Kan iemand me eens uitleggen waarom er TWEE power feeds tegelijk uitgevallen zijn?

De reden dat je twee power feeds gebruikt is het feit dat je redundancy wilt, anders heeft het weinig zin.

Gelukkig werkt alles weer maar het is wel slordig zo'n landelijke storing.
Het gaat dan immers niet over een paar honderd klanten die zonder internet zitten.

Een kabel zat al los, power op de andere viel weg? Uit slordigheid beide kabels aangesloten op dezelfde pdu? Hele domme pech en twee psu's die er tegelijk of kort na elkaar uitvliegen?

Ik kan genoeg zaken verzinnen, en ja dit is niet iets om vrolijk van te worden. Maar dat weten ze bij BBNED ook wel lijkt me, waarschijnlijk zijn er daar een aantal mensen ook enorm over de zeik op dit moment.

[poktor]

Wij zijn als bedrijf afhankelijk van internet en met ons vele andere bedrijven. BBNed kan nog een paar aardige schadeclaims verwachten denk ik zo...

[HoppyF]

poktor schreef op vrijdag 05 november 2010 @ 13:29:
Wij zijn als bedrijf afhankelijk van internet en met ons vele andere bedrijven. BBNed kan nog een paar aardige schadeclaims verwachten denk ik zo...

Waarschijnlijk niet!
BBned garandeert nooit een update van 100%. Idem voor andere aanbieders.
En als ze dat wel zouden doen zou je per maand een enorm hoog bedrag moeten betalen.

Als je als bedrijf afhankelijk bent van internet moet je ervoor zorgen dat je twee aanbieders hebt die ook nog eens over een ander netwerk diensten leveren. Dus bv BBned + KPN of Tele2.
Door deze scheiding neemt de kans op problemen aanzienlijk af, je betaalt dan wel twee abonnementen maar voor een bedrijf is dat nog wel op te brengen lijkt me.

[SMSfreakie]

* SMSfreakie heeft geen last gehad van de outage

DSL lijn bleef gewoon functioneren.. zonder probleem.. ISP: Internl.net

[Rob Coops]

Ach twee voedingen die te gelijk zonder prik zitten is vreemd een UPS klinkt leuk maar als het hier om een kabel probleem gaat dan is er natuurlijk weinig dat een UPS kan doen, als het stekkertje niet in het doosje zit kan je UPS nog zo hard werken maar die prik komt nooit aan op de plaats waar je het hebben wilt.

Een logische verklaring zou kunnen zijn dat er onderhoud is geweest aan een van de twee voedingen en dat de andere er toevalligerwijs uit klapte, een reden daarvoor zou kunnen zijn dat de lijn wel eens waar de load aan kon maar de piek te veel was voor de een of andere zekering bijvoorbeeld.
Een andere uitleg is en dit is een andere grote ISP ook al eens gebeurt (zonder klanten impact trouwens) dat dit een nieuwe machine betreft die misschien nog niet goed is aangesloten en dus maar 1 van de twee voedingen had op het moment dat deze er uit klapte.
Ook het verhaal van twee stekkers in het zelfde doosje is een optie ik heb er al een voor bij zien komen waar het gebouw wel eens waar twee aparte aansluitingen had en alles netjes op twee aparte aansluitingen zat maar de contractor onder de vloer voor het gemak alles op 1 van de twee voedingen had aangesloten (Oops!!)

Er zijn zeker mensen op dit moment naarstig opzoek naar een uitleg daar kun je vergif op in nemen. Ergens in het BBnet gebouw zit een operations manager op dit moment te vloeken dat het een lieve lust is...
Waarschijnlijk is het niets meer of minder dan een menselijke fout die hier aan ten grondslag ligt.

Wat betreft schade claims het hangt er heel erg van af hoe het contract met BBnet in elkaar steekt. Ik heb in de tijd dat ik voor een ISP werkte zo veel claims gezien die op basis van het contract zo weer van tafel konden. Als het contract bijvoorbeeld zegt dat de uptime 99,5% is, dan hangt het er heel erg van af over welk tijds bestek we het hebben. Als dit een 99,5 op jaar basis is kun je naar je geld fluiten, als het per maand gemeten word zou je misschien nog wel iets kunnen krijgen als het per dag is dan heb je een punt.
Maar voor zo ver ik weet worden dit soort dingen over het algemeen per jaar op geschreven en dus kun je ~42,75 uur geen verbinding hebben zonder dat BBnet je iets verschuldigd is. Als je daar in tegen een 99,995% uptime hebt... maar goed daar zul je dan ook zo veel voor betalen dat BBnet echt wel het geld gehad had om een backup machine neer te zetten.

Het geen ik niet begrijp is dat BBnet er geheel uit kan liggen (of voor een groot deel) als er maar 1 machine faalt. Dat klinkt mij in de oren als een erg vreemde netwerk setup voor een leverancier van dat formaat. Normaal gesproken zou je toch echt een netwerk zo op zetten dat als 1 machine er uit ligt je netwerk in het slechte geval een minder snelle verbinding zal bieden maar hoe dan ook de verbinding in stand houd. Als een klant met een glasvezel verbinding van zijn 100Mbps verbinding nog maar 50Mbps over heeft en klaagt kunnen de meeste er mee lezen als je meldt dat een van de backbone routers uitgevallen is. Als deze zelfde klant geen verbinding meer heeft dan heb je een probleem...
Het lijkt me dan ook dat je een netwerk zo bouwt dat je hoe dan ook het verkeer netjes kan blijven verwerken zelfs als de latency/troughput er op achter uitgaat zo lang de verbinding maar blijft bestaan.

[arnoudwokke]

Het artikel is inmiddels voorzien van een update met meer info over hoe dit kon gebeuren. Samenvatting; andere switches namen taken niet over (ondanks 100% redundancy, reden onbekend), maar de oorzaak was dat de stroom enkelvoudig is aangesloten. Als de inverter uitvalt - in dit geval twee - hebben heel veel klanten dus pech. Wacht nog op reactie BBNed hierop

[SMSfreakie]

de boel is vast ooit theoretisch bedacht.. maar nooit praktisch getest

[HoppyF]

Er zijn vast fouten gemaakt bij BBned, daar lijkt het wel op.
Techniek kan falen, dat weten we allemaal. Is ook niet erg als je er maar voor zorgt dat er een backup systeem is wat het naadloos overneemt. Of dat nu een voeding of netwerkcomponent is maakt niet uit.
Menselijk falen is lastiger op te vangen. Dat is vaak een typisch geval van jammer.
Van fouten leer je zullen we maar denken.

Ondanks alles is een downtime van ca 2 uur nog best acceptabel op jaarbasis.
Als een storing van dergelijke omvang iedere week voor zou komen is het een ander verhaal maar 1 keer per jaar of minder is op zich geen grote ramp.

Voor bedrijven die afhankelijk zijn van een internetaansluiting is het een ander verhaal.
Die moeten zich indekken door een tweede aansluiting van een andere aanbieder te nemen.
Bijvoorbeeld een ADSL + kabel/glas aansluiting.
De kans dat alles dan tegelijk plat gaat is wel heel erg klein.

[Heineken01]

Volgens mij heeft BBNED weer een storing te pakken. Aantal van onze klanten hebben geen verbinding meer
edit: Inmiddels lijkt iedereen weer verbinding te hebben. Strange

[ Voor 24% gewijzigd door Heineken01 op 10-11-2010 10:55 ]

[Bierkameel]

Maakt XS4all ook gebruik van BBNED? Ik heb hier 2 ADSL lijnen die het niet doen en 1 wel.

[Robinski]

Bierkameel schreef op woensdag 10 november 2010 @ 11:03:
Maakt XS4all ook gebruik van BBNED? Ik heb hier 2 ADSL lijnen die het niet doen en 1 wel.

Volgens mij zijn oud Demon lijnen (ooit overgenomen door XS4all) nog BBNED
Dus het zou kunnen.