Social Media Network storing wereldwijd FB, Insta, Whatsapp

[freestyler2]

Gebruikers van WhatsApp, Facebook en Instagram hebben momenteel last van een grote wereldwijde storing. Zowel de apps als de sites van de drie diensten die eigendom zijn van Facebook zijn voor velen onbereikbaar.

Bron: rtl nieuws En natuurlijk ook onze eigen Tweakers schrijft hierover:
nieuws: WhatsApp, Instagram en Facebook zijn onbereikbaar door storing - update

Het lijkt inmiddels zo gewoon allemaal, alhoewel ik een afkeer heb tegen Facebook en Instagram maak ik, omdat je er bijna niet aan ontkomt, toch gebruik van Facebook - WhatsApp om specifiek te zijn.

We worden met zijn alle steeds afhankelijker van bepaalde bedrijven, maar wat voor gevolgen heeft een storing van deze omvang nu eigenlijk? Het is niet even simpel een servertje rebooten en gaan met zijn allen, want binnen de kortste keren ligt dezelfde server er weer uit en begint het weer van vooraf aan. Kan een storing, wereldwijd, met de middelen die Facebook tot zijn beschikking heeft voorkomen worden?

Een hoop vragen maar... Dit topic is voornamelijk bedoeld om een discussie omtrent de grote bedrijven en de macht die ze hebben te starten en of we nog wel zonder ze kunnen?

[ Voor 10% gewijzigd door freestyler2 op 04-10-2021 21:56 ]

[freestyler2]

Issue lijkt DNS gerelateerd en ook op Twitter communiceert Facebook hierover (hilarisch eigenlijk om een "concurrent" te gebruiken)

We’re aware that some people are experiencing issues with WhatsApp at the moment. We’re working to get things back to normal and will send an update here as soon as possible.

Thanks for your patience!

— WhatsApp (@WhatsApp) 4 oktober 2021

[ Voor 69% gewijzigd door freestyler2 op 04-10-2021 18:43 ]

[SuBBaSS]

Het zou af en toe gewoon wel goed zijn, zo'n storing imho.

Wat maakt men zich toch afhankelijk van die media en maakt zo twijfelachtige (weer: imho.) bedrijven veel groter, rijker en machtiger dan ze zouden moeten zijn.

[freestyler2]

SuBBaSS schreef op maandag 4 oktober 2021 @ 18:37:
Het zou af en toe gewoon wel goed zijn, zo'n storing imho.

Wat maakt men zich toch afhankelijk van die media en maakt zo twijfelachtige (weer: imho.) bedrijven veel groter, rijker en machtiger dan ze zouden moeten zijn.

Haha dat zeer zeker. Toch maar weer sms'en, komt die onbeperkt bundel toch nog een keer van pas.

[Onbekend]

Soms is het handig om allemaal van 1 dienst gebruik te maken, maar je bent afhankelijk van grote storingen of beslissingen van dat bedrijf.

Maar anders krijg je zoiets als dit, en daar ben ik ook geen voorstander van:

[edeboeck]

freestyler2 schreef op maandag 4 oktober 2021 @ 18:29:
[...]
We worden met zijn alle steeds onafhankelijker van bepaalde bedrijven, maar wat voor gevolgen heeft een storing van deze omvang nu eigenlijk?
[...]

FTFY

[HKLM_]

freestyler2 schreef op maandag 4 oktober 2021 @ 18:32:
Issue lijkt DNS gerelateerd en ook op Twitter communiceert Facebook hierover (hilarisch eigenlijk om een "concurrent" te gebruiken)

[Embed]

Volgens meerdere users op de FP lijkt het een BGP issue te zijn welke DNS mee heeft genomen in zijn val.

[Electrowolf]

Hmm.. kunnen we dit nu ook hier terugzien bij de AMS-IX?

https://stats.ams-ix.net/rs-stats.html








En een weekly:

[freestyler2]

Hoeveel mensen zullen hier nu tegelijkertijd aan werken, dit moet toch echt een grote kostenpost zijn en hoe langer het duurt hoe groter de schade.. Maar maken meer mensen niet juist het proces meer complex?

[Tux3.14]

freestyler2 schreef op maandag 4 oktober 2021 @ 20:22:
Hoeveel mensen zullen hier nu tegelijkertijd aan werken, dit moet toch echt een grote kostenpost zijn en hoe langer het duurt hoe groter de schade.. Maar maken meer mensen niet juist het proces meer complex?

De kosten van het personeel wat er nu aan werkt, zijn niks vergeleken met de omzet wat ze nu mislopen. Het is een miljarden concern, dus elk uurtje downtime is al enkele 10 miljoenen euro’s aan schade.

[jadjong]

Electrowolf schreef op maandag 4 oktober 2021 @ 20:09:
Hmm.. kunnen we dit nu ook hier terugzien bij de AMS-IX?

https://stats.ams-ix.net/rs-stats.html


[Afbeelding]

[Afbeelding]

[Afbeelding]

En een weekly:
[Afbeelding]

Beetje in traffic.

[freestyler2]

Tux3.14 schreef op maandag 4 oktober 2021 @ 20:25:
[...]


De kosten van het personeel wat er nu aan werkt, zijn niks vergeleken met de omzet wat ze nu mislopen. Het is een miljarden concern, dus elk uurtje downtime is al enkele 10 miljoenen euro’s aan schade.

Dat begrijp ik, maar ik bedoel meer dat wanneer ik kleinschalige opdrachten heb, het e.e.a. Juist inefficiënt maakt wanneer we met meerdere personen werken. Dus hoe pakken de grote jongens dit aan, waar je dus wereldwijd moet samenwerken?

[jadjong]

freestyler2 schreef op maandag 4 oktober 2021 @ 20:30:
[...]

Dat begrijp ik, maar ik bedoel meer dat wanneer ik kleinschalige opdrachten heb, het e.e.a. Juist inefficiënt maakt wanneer we met meerdere personen werken. Dus hoe pakken de grote jongens dit aan, waar je dus wereldwijd moet samenwerken?

Facebook messenger.

[CyberMania]

Hoe gaan ze dit weer handig up krijgen met een backlog aan miljoenen WhatsAppberichten. Zodra dat ding weer up komt moeten we niet hebben dan ie direct overbelast raakt door alle nog niet verzonden app-jes die in een keer met miljoenen connects keihard gepusht gaan worden.

[ Voor 13% gewijzigd door CyberMania op 04-10-2021 20:37 ]

[Electrowolf]

Op Reddit staat iig wat informatie, al is dat niet meer echt up-to-date nu de sysadmin z'n reddit account moest verwijderen .

https://www.reddit.com/r/...ks_like_facebook_is_down/

Prepare for tickets complaining the internet is down.

Looks like its facebook services as awhole (instagram, Whatsapp, etc etc etc)

Atleast in the UK.

Same "5xx Server Error" for all services.

https://dnschecker.org/#A.../dns-records/facebook.com

/u/ramenporn Update 1440 UTC:

As many of you know, DNS for FB services has been affected and this is likely a symptom of the actual issue, and that's that BGP peering with Facebook peering routers has gone down, very likely due to a configuration change that went into effect shortly before the outages happened (started roughly 1540 UTC).

There are people now trying to gain access to the peering routers to implement fixes, but the people with physical access is separate from the people with knowledge of how to actually authenticate to the systems and people who know what to actually do, so there is now a logistical challenge with getting all that knowledge unified.

Part of this is also due to lower staffing in data centers due to pandemic measures.

Update from /u/ramenporn

No discussion that I'm aware of yet that is considering a threat/attack vector.

I believe the original change was 'automatic' (as in configuration done via a web interface). However, now that connection to the outside world is down, remote access to those tools don't exist anymore, so the emergency procedure is to gain physical access to the peering routers and do all the configuration locally.

Looks like the facebook hitmen got to /u/ramenporn, .


https://twitter.com/jgrahamc/status/1445068309288951820 "About five minutes before Facebook's DNS stopped working we saw a large number of BGP changes (mostly route withdrawals) for Facebook's ASN."

[jadjong]

CyberMania schreef op maandag 4 oktober 2021 @ 20:37:
Hoe gaan ze dit weer handig up krijgen met een backlog aan miljoenen WhatsAppberichten. Zodra dat ding weer up komt moeten we niet hebben dan ie direct overbelast raakt door alle nog niet verzonden app-jes die in een keer met miljoenen connects keihard gepusht gaan worden.

Lokaal gefaseerd werkend maken.

[Soldaatje]

freestyler2 schreef op maandag 4 oktober 2021 @ 20:30:
[...]

Dat begrijp ik, maar ik bedoel meer dat wanneer ik kleinschalige opdrachten heb, het e.e.a. Juist inefficiënt maakt wanneer we met meerdere personen werken. Dus hoe pakken de grote jongens dit aan, waar je dus wereldwijd moet samenwerken?

Efficiëntie heeft niet echt prioriteit op dit moment lijkt me, als de boel maar weer online komt.

[HKLM_]

Electrowolf schreef op maandag 4 oktober 2021 @ 20:41:
Op Reddit staat iig wat informatie, al is dat niet meer echt up-to-date nu de sysadmin z'n reddit account moest verwijderen .

https://www.reddit.com/r/...ks_like_facebook_is_down/


[...]

Als dit waar is moeten dus eerst iemand met de juiste rechten naar een DC komen zodat de persoon met kennis het kan gaan fixen?

freestyler2 schreef op maandag 4 oktober 2021 @ 20:22:
Hoeveel mensen zullen hier nu tegelijkertijd aan werken, dit moet toch echt een grote kostenpost zijn en hoe langer het duurt hoe groter de schade.. Maar maken meer mensen niet juist het proces meer complex?

Ik verwacht dat er bij Facebook een crisisteam bijeen is gekomen welke de werkzaamheden coördineert om de root case te analyseren en zo alle poppetjes die maar relevant kunnen zijn voor het oplossen van dit probleem optrommelen Dit kunnen er een paar zijn maar ook tientallen hangt af van de complexiteit met tig naar dezelfde Putte sessie kijken heeft ook geen zin

[ Voor 43% gewijzigd door HKLM_ op 04-10-2021 20:50 ]

[Mx. Alba]

Electrowolf schreef op maandag 4 oktober 2021 @ 20:41:
Op Reddit staat iig wat informatie, al is dat niet meer echt up-to-date nu de sysadmin z'n reddit account moest verwijderen .

https://www.reddit.com/r/...ks_like_facebook_is_down/


[...]

Oef, dat is inderdaad wel een probleempje. En ook geen achterdeur? Iemand met fysieke toegang met een laptop, een console kabel en een 4G verbinding zodat iemand met de juiste kennis remote access kan krijgen?

Iemand vroeg hoe je zoiets wereldwijd aanpakt in grote teams. Daar heb ik wel wat ervaring mee als een van de vele systeembeheerders bij een in bijna elk land ter wereld opererend bedrijf. Uiteindelijk is het slechts een beperkt aantal mensen met de juiste kennis en ervaring om aan een dergelijk probleem te werken. Die storten zich daar dus op, terwijl de rest damage control doet: communicatie met helpdesk, managers, users, etc, en ook een paraplu vormen waaronder de goeroes ongestoord hun werk kunnen doen. Hoewel je zulke crisissituaties natuurlijk het liefst nooit hebt, is het wel heel interessant om die mee te maken en in de periferie mee te werken aan het oplossen ervan - al was het maar door een laptop, een console kabel en een 4G verbinding te leveren en dan ongeduldig duimendraaien terwijl de goeroes het probleem al peentjes zwetend oplossen.

[HKLM_]

Mx. Alba schreef op maandag 4 oktober 2021 @ 20:54:
[...]


Oef, dat is inderdaad wel een probleempje. En ook geen achterdeur? Iemand met fysieke toegang met een laptop, een console kabel en een 4G verbinding zodat iemand met de juiste kennis remote access kan krijgen?

Iemand vroeg hoe je zoiets wereldwijd aanpakt in grote teams. Daar heb ik wel wat ervaring mee als een van de vele systeembeheerders bij een in bijna elk land ter wereld opererend bedrijf. Uiteindelijk is het slechts een beperkt aantal mensen met de juiste kennis en ervaring om aan een dergelijk probleem te werken. Die storten zich daar dus op, terwijl de rest damage control doet: communicatie met helpdesk, managers, users, etc, en ook een paraplu vormen waaronder de goeroes ongestoord hun werk kunnen doen. Hoewel je zulke crisissituaties natuurlijk het liefst nooit hebt, is het wel heel interessant om die mee te maken en in de periferie mee te werken aan het oplossen ervan - al was het maar door een laptop, een console kabel en een 4G verbinding te leveren en dan ongeduldig duimendraaien terwijl de goeroes het probleem al peentjes zwetend oplossen.

CIA,FBI,NSA hebben vast een achterdeur maar die zal nu ook niet werken omdat ze er remote niet bij lijken te kunnen.

Ik ben zelf ook systeembeheer en heb ik een kleinere situatie gezeten ooit maar dan zit je als beheerder met je console kabel in een device en staan al je collega’s achter je te kijken wat je doet haha

[ Voor 7% gewijzigd door HKLM_ op 04-10-2021 20:57 ]

[Mx. Alba]

HKLM_ schreef op maandag 4 oktober 2021 @ 20:56:
[...]


CIA,FBI,NSA hebben vast een achterdeur maar die zal nu ook niet werken omdat ze er remote niet bij lijken te kunnen.

Achterdeur als in, zoals aangegeven, iemand met fysieke toegang, een laptop, een console kabel en een externe 4G verbinding?

[HKLM_]

Mx. Alba schreef op maandag 4 oktober 2021 @ 20:57:
[...]


Achterdeur als in, zoals aangegeven, iemand met fysieke toegang, een laptop, een console kabel en een externe 4G verbinding?

Ja maar als je de reddit post mag geloven hebben ze daar nu ook een issue mee omdat iemand wel/ niet toegang / kennis heeft en dat bij elkaar moet zien te komen.

[Vlassie1980]

freestyler2 schreef op maandag 4 oktober 2021 @ 18:42:
[...]

Haha dat zeer zeker. Toch maar weer sms'en, komt die onbeperkt bundel toch nog een keer van pas.

Er zijn ook veel telefoon providers die issues zouden hebben?

Tele 2 krijg ik geen SMS meer van. Weet niet of het relevant is maar valt wel op.

[ Voor 43% gewijzigd door Vlassie1980 op 04-10-2021 20:59 ]

[jadjong]

Vlassie1980 schreef op maandag 4 oktober 2021 @ 20:58:
Er zijn ook veel telefoon providers die issues zouden hebben?

Tele 2 krijg ik geen SMS meer van. Weet niet of het relevant is maar valt wel op.

Dat eeuwenoude protocol wordt opeens weer uit het stof getrokken, moet die sms-server met 1 virtual cpu en 512MB ram weer aan het werk.

[Soundwork]

Vlassie1980 schreef op maandag 4 oktober 2021 @ 20:58:
[...]


Er zijn ook veel telefoon providers die issues zouden hebben?

Tele 2 krijg ik geen SMS meer van. Weet niet of het relevant is maar valt wel op.

SMS werkt bij mij nog wel....
Er zijn ook andere alternatieven voor WhatsApp uiteraard.

[Mx. Alba]

HKLM_ schreef op maandag 4 oktober 2021 @ 20:58:
[...]


Ja maar als je de reddit post mag geloven hebben ze daar nu ook een issue mee omdat iemand wel/ niet toegang / kennis heeft en dat bij elkaar moet zien te komen.

Klopt maar op deze manier breng je die dus bij elkaar. Vrij recent zelf nog zo'n situatie meegemaakt. Voice router bij een van "mijn" kantoren was over de zeik gegaan en de beheerders konden er vanuit India niet meer bij. Die hebben de kennis, maar geen toegang. Ik had de fysieke toegang, maar niet de kennis. Dus laptop, console kabel, netwerkverbinding (hoefde in dit geval geen externe verbinding te zijn), en de Indiase collega kon mijn laptop overnemen en via PUTTY de voice router tot de orde roepen.

[CyberMania]

Hier geen problemen met sms. Net nog ingelogd op ICS via sms controle.

[ Voor 6% gewijzigd door CyberMania op 04-10-2021 21:02 ]

[vuurtjih]

Vlassie1980 schreef op maandag 4 oktober 2021 @ 20:58:
[...]


Er zijn ook veel telefoon providers die issues zouden hebben?

Tele 2 krijg ik geen SMS meer van. Weet niet of het relevant is maar valt wel op.

N=1 maar hier op Hollandsnieuwe ook geen inkomende sms'en. Wel uitgaand

[ISaFeeliN]

Gaaf zeg. Ik kwam er pas net achter. Gaat steeds beter met me.

[DJSmiley]

Lekker rustig...

Maar FB lijkt wel ongeveer van de digitale aardbodem verdwenen te zijn.

Ik zie momenteel bv maar 9 prefixes binnenkomen op onze peering via SpeedIX.
Normaliter zijn dat er heel wat meer

Ik 'mis' ook ruim 700Mbit verkeer die kant op...

[Soundwork]

ISaFeeliN schreef op maandag 4 oktober 2021 @ 21:06:
Gaaf zeg. Ik kwam er pas net achter. Gaat steeds beter met me.

Zojuist even het NOS Journaal teruggekeken, dat Facebook haatdragende berichten met het oog op de winst meer laat circuleren.... zorgelijk. Maar was dus al eerder bekend gemaakt. Zouden FB tegenstanders hier nu dan ook achter zitten, dat de complete boel nu down is?

[ Voor 3% gewijzigd door Soundwork op 04-10-2021 21:15 ]

[Mx. Alba]

Soundwork schreef op maandag 4 oktober 2021 @ 21:15:
[...]


Zojuist even het NOS Journaal teruggekeken, dat Facebook haatdragende berichten met het oog op de winst meer laat circuleren.... zorgelijk. Maar was dus al eerder bekend gemaakt. Zouden FB tegenstanders hier nu dan ook achter zitten, dat de complete boel nu down is?

De FB policies mbt haatdragende berichten schieten inderdaad jammerlijk tekort maar van wat ik zo aan betrouwbare berichten zie is er geen reden om aan te nemen dat er foul play in het spel is. Gewoon een standaard oepsie... Maar dan wel een oepsie met desastreuse gevolgen. Ik zou niet de persoon willen zijn die die oepsie heeft gedaan zeg!

[Tux3.14]

freestyler2 schreef op maandag 4 oktober 2021 @ 20:30:
[...]

Dat begrijp ik, maar ik bedoel meer dat wanneer ik kleinschalige opdrachten heb, het e.e.a. Juist inefficiënt maakt wanneer we met meerdere personen werken. Dus hoe pakken de grote jongens dit aan, waar je dus wereldwijd moet samenwerken?

Zoals sommigen al reeds aangaven; deze grote jongens hebben daar Crisis/Incidents procedures voor. Aangestuurd door mensen die de techneuten eigenlijk werk uit handen nemen zoals communicatie met de business, directie, servicedesk, eventueel derde partijen bij schakelen, het opzetten van audio/video communicatie onderling en dergelijke. Deze procedures gaan gelijk van kracht op het moment dat er dergelijke incidenten optreden. Mijn ervaring is dat binnen 10 minuten iedereen die er bij betrokken moet zijn ingeschakeld en is de communicatie onderling al gestart. Ik werk zelf ook voor een global concern die in elk land wel vertegenwoordigd is, dus ik raak er een paar keer bij jaar wel bij betrokken.

[renegrunn]

Gniffel..

[Twitter: https://twitter.com/Twitter/status/1445078208190291973]

[Verwijderd]

renegrunn schreef op maandag 4 oktober 2021 @ 21:38:
Gniffel..

[Embed]

Merk nu ook dat Twitter issues heeft. Bepaalde tweets kunnen niet opgehaald worden. Vermoed overbelasting

[Tux3.14]

CyberMania schreef op maandag 4 oktober 2021 @ 20:37:
Hoe gaan ze dit weer handig up krijgen met een backlog aan miljoenen WhatsAppberichten. Zodra dat ding weer up komt moeten we niet hebben dan ie direct overbelast raakt door alle nog niet verzonden app-jes die in een keer met miljoenen connects keihard gepusht gaan worden.

In feite kan helemaal niemand meer Whatsappen, globaal vielen de services van Facebook ongeveer tegelijkertijd uit. Dus er valt eigenlijk weinig aan backlog te verwerken verwacht ik. Al zou het ongetwijfeld wel wat zijn, en misschien is dat wel miljoenen, maar ik ga er vanuit dat het zonder problemen verwerkt word. Hier houd men echt wel rekening mee en wellicht word dit ook actief gemonitord het eerste uur door meerdere techneuten.

[saert]

renegrunn schreef op maandag 4 oktober 2021 @ 21:38:
Gniffel..

[Embed]

Ook Twitter is nu down.

[freestyler2]

renegrunn schreef op maandag 4 oktober 2021 @ 21:38:
Gniffel..

[Embed]

Geniaal

[renegrunn]

saert schreef op maandag 4 oktober 2021 @ 21:45:
[...]

Ook Twitter is nu down.

Great reset!!

[vuurtjih]

renegrunn schreef op maandag 4 oktober 2021 @ 21:38:
Gniffel..

[Embed]

hi what can i get u

— McDonald's (@McDonalds) 4 oktober 2021

[Twitter: https://twitter.com/Twitter/status/1445087305052602375?s=20]

[Webgnome]

saert schreef op maandag 4 oktober 2021 @ 21:45:
[...]

Ook Twitter is nu down.

nou, down. Het kraakt hier en daar wat maar down?

[renegrunn]

vuurtjih schreef op maandag 4 oktober 2021 @ 21:49:
[...]


[Twitter]

[Twitter]

[OmeJoyo]

SMS is nu ook geregeld vertraagd en merk dit ook bij de "chatfunctie" in de Google Berichten app.

Allemaal overbelasting wss haha

[Mx. Alba]

Tux3.14 schreef op maandag 4 oktober 2021 @ 21:45:
[...]


In feite kan helemaal niemand meer Whatsappen, globaal vielen de services van Facebook ongeveer tegelijkertijd uit. Dus er valt eigenlijk weinig aan backlog te verwerken verwacht ik. Al zou het ongetwijfeld wel wat zijn, en misschien is dat wel miljoenen, maar ik ga er vanuit dat het zonder problemen verwerkt word. Hier houd men echt wel rekening mee en wellicht word dit ook actief gemonitord het eerste uur door meerdere techneuten.

Je kan nog steeds proberen berichten te sturen in WhatsApp en de app probeert die steeds weer opnieuw te versturen... Dus er kan best een flinke backlog staan in WhatsApp clients over de hele wereld.

[epic007]

Let's switch to Signal: https://signal.org/install

[Balance]

Ik heb vanavond weer best wat mensen en twee vriendengroepen naar Signal gekregen. Losse contacten geSMSed, vriendengroepen gemaild met een linkje naar een nieuwe chatgroep op Signal.

Blijft een doorlopend projectje, maar ondertussen begint het best druk en gezellig te worden op Signal .

[ Voor 23% gewijzigd door Balance op 04-10-2021 21:54 ]

[The Eagle]

Mocht je aandelen in FB en consorten hebben: ik zou ze snel dumpen. De derving die ze nu aan reclameinkomsten hebben kun je naar schatting een bananenrepubliek voor kopen, dat gaat de koers geen goed doen. Is al te zien ook (google aandelenkoers facebook en dan op 5 dagen zetten): vanmorgen was een share 343 usd, nu 324. Alleen al vandaag bijna 19 usd / 6 procent gedaald

Van mij mag die storing nog ff doorgaan. Doe maar twee weken ofzo, dan zijn mensen wel aan een alternatief gewend en zijn we weer een datagraaier armer.

[Puc van S.]

The Eagle schreef op maandag 4 oktober 2021 @ 21:58:
Mocht je aandelen in FB en consorten hebben: ik zou ze snel dumpen. De derving die ze nu aan reclameinkomsten hebben kun je naar schatting een bananenrepubliek voor kopen, dat gaat de koers geen goed doen. Is al te zien ook (google aandelenkoers facebook en dan op 5 dagen zetten): vanmorgen was een share 343 usd, nu 324. Alleen al vandaag bijna 19 usd / 6 procent gedaald

Van mij mag die storing nog ff doorgaan. Doe maar twee weken ofzo, dan zijn mensen wel aan een alternatief gewend en zijn we weer een datagraaier armer.

De grootste daling van de aandelen was vanochtend al gebeurd voor de storing. Waarschijnlijk als reactie op berichten van de klokkenluider.

[VidaR-9]

Nasdaq stond überhaupt al aardig in t rood.

[Nobby]

Ik heb ook andere issues? Niet echt duidelijk waar dit door komt. Kan niet inloggen bij CBR, maar lijkt meer aan digid.nl te liggen, mijn telefoon blijft aangeven dat ie geen internet heeft, zowel op wifi en 4G.

[renegrunn]

Nobby schreef op maandag 4 oktober 2021 @ 22:06:
Ik heb ook andere issues? Niet echt duidelijk waar dit door komt. Kan niet inloggen bij CBR, maar lijkt meer aan digid.nl te liggen, mijn telefoon blijft aangeven dat ie geen internet heeft, zowel op wifi en 4G.

Ja DigiD heeft de hele avond al storingen..

https://allestoringen.nl/storing/digid/

[vuurtjih]

Nobby schreef op maandag 4 oktober 2021 @ 22:06:
Ik heb ook andere issues? Niet echt duidelijk waar dit door komt. Kan niet inloggen bij CBR, maar lijkt meer aan digid.nl te liggen, mijn telefoon blijft aangeven dat ie geen internet heeft, zowel op wifi en 4G.

Beetje oudjaarsavond effect, iedereen gaat weer bellen en smsen

[Technicality]

Deze stond op reddit, kende hem nog niet maar hij is briljant:

Dit is wel leuker virtueel ramptoerisme dan bij een kapitoolbestorming of aanslag

[kareltje21]

The Eagle schreef op maandag 4 oktober 2021 @ 21:58:
Mocht je aandelen in FB en consorten hebben: ik zou ze snel dumpen. De derving die ze nu aan reclameinkomsten hebben kun je naar schatting een bananenrepubliek voor kopen, dat gaat de koers geen goed doen. Is al te zien ook (google aandelenkoers facebook en dan op 5 dagen zetten): vanmorgen was een share 343 usd, nu 324. Alleen al vandaag bijna 19 usd / 6 procent gedaald

Van mij mag die storing nog ff doorgaan. Doe maar twee weken ofzo, dan zijn mensen wel aan een alternatief gewend en zijn we weer een datagraaier armer.

Grappig dat mensen zo vaak oorzaken zoeken en dan snel conclusies trekken, en daarmee de waarheid best makkelijk uit verband trekken:

Facebook daalt al 4 weken stevig, agv de onrust op de beurzen. Met name techaandelen zijn hierbij naar beneden in beweging. Aantal oorzaken:
- De (angst voor) aantrekkende rente, die beleggen in tech hard raakt doordat het kapitaal intensief is.
- De onrust agv het Evergrande debacle wat kan uitmonden in een 2e Lehman.
- De gigantische overwaardering na 12 maanden keiharde koerswinsten.

Facebook is niet heel alleen, de Nasdaq index is vandaag meer dan 2% gedaald (eventjes zelfs - 2.8% gedaan), en Facebook deelt vandaag een plaats met Nvidia dat ook hard onderuit gegaan is. Tevens is deze daling al ingezet bij de start om 15:30 NL tijd, lang voordat de storing begon

[HKLM_]

Nobby schreef op maandag 4 oktober 2021 @ 22:06:
Ik heb ook andere issues? Niet echt duidelijk waar dit door komt. Kan niet inloggen bij CBR, maar lijkt meer aan digid.nl te liggen, mijn telefoon blijft aangeven dat ie geen internet heeft, zowel op wifi en 4G.

Ik wilde inloggen bij het CJIB.. maar DigiD heeft er gewoon geen zin in vanavond.

[Will_M]

HKLM_ schreef op maandag 4 oktober 2021 @ 22:09:
[...]


Ik wilde inloggen bij het CJIB.. maar DigiD heeft er gewoon geen zin in vanavond.

Moet je maar rustiger rijden, dan had je niet in hoeven te loggen bij het CJIB

[kareltje21]

Zelfs Jumbo!

[groggy]

Allemaal de schuldt van de wereldwijde corona vaccinatie

[Mx. Alba]

Wel rustige avond zo. De hele wereld in FB Jail, muziekje aan (zolang ik niet opnieuw hoef in te loggen bij Spotify ten minste, want die hangt aan mijn FB account), goed boek erbij, kat op schoot. Een stuk rustiger dan op de IT afdeling bij Facebook in ieder geval!

[Will_M]

kareltje21 schreef op maandag 4 oktober 2021 @ 22:12:
Zelfs Jumbo!

[Afbeelding]

Hoeveel mensen zouden er ingesteld hebben om overal met een Facebook Account in te willen loggen vanwege het gemak (en waarschijnlijk ook onwetendheid)? Dat werkt nu niet en dan is de zaak waar ze middels dat account aan gekoppeld zijn meteen ook 'onbereikbaar'.voor die mensen.

Alles van FBCDN is momenteel wég als in; 'het heeft nooit bestaan' (BGP routing)

[henkklaas1994]

Ik hoop eerlijk gezegd dat dit gewoon het einde is van sociale netwerk. Doet meer schade dan je lief is. Zal waarschijnlijk wel de enige zijn die hier zo over denkt haha.

[HKLM_]

Maar hoe krijg je het voor elkaar om je interne netwerk ook plat te leggen? Gaat daar echt alles over hun eigen FBCDN?

[Drardollan]

henkklaas1994 schreef op maandag 4 oktober 2021 @ 22:17:
Ik hoop eerlijk gezegd dat dit gewoon het einde is van sociale netwerk. Doet meer schade dan je lief is. Zal waarschijnlijk wel de enige zijn die hier zo over denkt haha.

Ben je verplicht mee te doen?

Zoals Doe Maar jaren geleden al zong: ‘Er zit een knop op je TV!’.

[Webgnome]

henkklaas1994 schreef op maandag 4 oktober 2021 @ 22:17:
Ik hoop eerlijk gezegd dat dit gewoon het einde is van sociale netwerk. Doet meer schade dan je lief is. Zal waarschijnlijk wel de enige zijn die hier zo over denkt haha.

Nee hoor, hoe graag ik ook twitter afstruin en communiceer via whatsapp social media heeft voor heel veel mensen voor heel veel problemen gezorgd.

[Pindasaus]

epic007 schreef op maandag 4 oktober 2021 @ 21:52:
Let's switch to Signal: https://signal.org/install

Het werkt hier inmiddels wel opzich maar gek genoeg krijg ik wel een notification van Signal op mijn IPhone om te vermelden dat er een nieuw berichtje is maar de naam van de verzender zie ik dan weer niet.
Met WhatsApp heb ik dat probleem nimmer, nuja vermits het überhaupt werkt.

[Drardollan]

HKLM_ schreef op maandag 4 oktober 2021 @ 22:18:
[Afbeelding]

Maar hoe krijg je het voor elkaar om je interne netwerk ook plat te leggen? Gaat daar echt alles over hun eigen FBCDN?

Als je geen BGP routes meer hebt, dan kan je intern ook nergens bij, het draait in diverse datacenters. Blijkbaar hebben ze nog wel SMS en e-mail (vast Microsoft 365). Dus dat is een goed teken, daarmee kunnen ze in elk geval een team organiseren om het probleem op te lossen.

Wel echt heel hard zweten voor de IT guys, miljarden mensen down. Dat geeft wel enige druk

[DennusB]

Grappig, Telegram is ook half aan het bezwijken onder de druk van alle nieuwe gebruikers.

Bizarre storing wel, dat op al je uitwijk locaties ook al je BGP announcements weg zijn is wel heel bijzonder

[Balance]

Ryan Mac, tech reporter NYTimes

Not only are Facebook's services and apps down for the public, its internal tools and communications platforms, including Workplace, are out as well. No one can do any work. Several people I've talked to said this is the equivalent of a "snow day" at the company.

— Ryan Mac 🙃 (@RMac18) 4 oktober 2021

Adam Mosseri, Head of Instagram:

Them fighting words… but it does feel like a snow day.

— Adam Mosseri (@mosseri) 4 oktober 2021

Meer details: https://news.ycombinator.com/item?id=28749244

[CrazyFool]

Ik vindt dit als developer en techneut geweldig om mee te maken.

En dan vooral de blinde paniek van mensen. Je merkt nu pas echt dat mensen zonder whatsapp en Facebook bijna geen idee meer hebben wat ze moeten doen.

Ook is dit weer een erg mooi voorbeeld van hoe 1 grote techreus de halve wereld in handen heeft.

Het wordt tijd dat hier eens een keer goed bij stilgestaan wordt!

[Mx. Alba]

henkklaas1994 schreef op maandag 4 oktober 2021 @ 22:17:
Ik hoop eerlijk gezegd dat dit gewoon het einde is van sociale netwerk. Doet meer schade dan je lief is. Zal waarschijnlijk wel de enige zijn die hier zo over denkt haha.

Check je privileges... Voor veel mensen met een beperking en bijvoorbeeld autistische mensen zijn social media zoals Facebook letterlijk een lifeline met hun sociale netwerk, vooral nu veel kwetsbare mensen zich nog steeds angstvallig afzonderen uit angst voor dat virus dat hun dood kan betekenen...

[HKLM_]

Drardollan schreef op maandag 4 oktober 2021 @ 22:20:
[...]

Als je geen BGP routes meer hebt, dan kan je intern ook nergens bij, het draait in diverse datacenters. Blijkbaar hebben ze nog wel SMS en e-mail (vast Microsoft 365). Dus dat is een goed teken, daarmee kunnen ze in elk geval een team organiseren om het probleem op te lossen.

Wel echt heel hard zweten voor de IT guys, miljarden mensen down. Dat geeft wel enige druk

Dat van de BGP snap ik maar ze zouden toch wel enige redusantie hebben voor sommige zaken?

[DennusB]

HKLM_ schreef op maandag 4 oktober 2021 @ 22:22:
[...]


Dat van de BGP snap ik maar ze zouden toch wel enige edudantie hebben voor sommige zaken?

Ja, normaal gesproken announce je routes vanaf meerdere locaties maar met verschillende prioriteiten. Maar alle BGP announcements zijn weg. Dat is juist zo gek…
Beetje dom om een change op AL je routers tegelijk te doen, inclusief uitwijk

[IThom]

Ook wel mooi, de statuspage wordt vanaf eigen servers gehost en is dus ook niet bereikbaar 🤦‍♂️

[Racer89]

Ze lopen nu wel een hoop privé informatie mis die ze hadden kunnen opslaan 😀.

Betalingen op Steam via Ideal werkte ook niet, is er een samenhang ?

[Drardollan]

HKLM_ schreef op maandag 4 oktober 2021 @ 22:22:
[...]


Dat van de BGP snap ik maar ze zouden toch wel enige redusantie hebben voor sommige zaken?

Zover ik het kan beoordelen, en laat duidelijk zijn dat ik de situatie niet goed ken, is dat ook weggevallen dankzij de BGP drops. Dat is een beetje het manco van BGP (wederom met mijn beperkte kennis), droppen gaat snel maar het opnieuw leren is een dingetje.

Ik kan mij een dergelijke situatie, van dit formaat, herinneren van heeel heeeel heeeeeel lang geleden. Opa spreekt hier. Zo rond 1999/2000 heeft de AmsIX ook eens zo’n geintje gehad, power probleem en de noodaggregaten hadden te weinig brandstof. Na enige tijd vielen de echt belangrijke routers uit, en toen werd het echt feest. Heeft dagen gekost om weer een beetje terug te komen, de uitwijk in (als ik het mij goed herinner) Twente brandde bijna door.

[jadjong]

kareltje21 schreef op maandag 4 oktober 2021 @ 22:09:
[...]


Grappig dat mensen zo vaak oorzaken zoeken en dan snel conclusies trekken, en daarmee de waarheid best makkelijk uit verband trekken:

Facebook daalt al 4 weken stevig, agv de onrust op de beurzen. Met name techaandelen zijn hierbij naar beneden in beweging. Aantal oorzaken:
- De (angst voor) aantrekkende rente, die beleggen in tech hard raakt doordat het kapitaal intensief is.
- De onrust agv het Evergrande debacle wat kan uitmonden in een 2e Lehman.
- De gigantische overwaardering na 12 maanden keiharde koerswinsten.

Facebook is niet heel alleen, de Nasdaq index is vandaag meer dan 2% gedaald (eventjes zelfs - 2.8% gedaan), en Facebook deelt vandaag een plaats met Nvidia dat ook hard onderuit gegaan is. Tevens is deze daling al ingezet bij de start om 15:30 NL tijd, lang voordat de storing begon

Ik zie eerder dit soort scenes voor mij, maar dan met digitale papiertjes.

[Bensimpel]

DennusB schreef op maandag 4 oktober 2021 @ 22:21:
Grappig, Telegram is ook half aan het bezwijken onder de druk van alle nieuwe gebruikers.

Bizarre storing wel, dat op al je uitwijk locaties ook al je BGP announcements weg zijn is wel heel bijzonder

Hier maar over naar skype gegaan.. merk nu wel hoe afhankelijk we van whatsapp etc zijn geworden..

[Drardollan]

DennusB schreef op maandag 4 oktober 2021 @ 22:23:
[...]

Ja, normaal gesproken announce je routes vanaf meerdere locaties maar met verschillende prioriteiten. Maar alle BGP announcements zijn weg. Dat is juist zo gek…
Beetje dom om een change op AL je routers tegelijk te doen, inclusief uitwijk

Klinkt als een change die niet op alle routers moest gebeuren, maar wel gebeurde. Net als het luchtalarm in de regio Utrecht enige tijd geleden, er moest 1 paal afgaan om te testen of hij het deed en vervolgens zat de hele regio Utrecht onder tafel

[HKLM_]

Drardollan schreef op maandag 4 oktober 2021 @ 22:29:
[...]

Zover ik het kan beoordelen, en laat duidelijk zijn dat ik de situatie niet goed ken, is dat ook weggevallen dankzij de BGP drops. Dat is een beetje het manco van BGP (wederom met mijn beperkte kennis), droppen gaat snel maar het opnieuw leren is een dingetje.

Ik kan mij een dergelijke situatie, van dit formaat, herinneren van heeel heeeel heeeeeel lang geleden. Opa spreekt hier. Zo rond 1999/2000 heeft de AmsIX ook eens zo’n geintje gehad, power probleem en de noodaggregaten hadden te weinig brandstof. Na enige tijd vielen de echt belangrijke routers uit, en toen werd het echt feest. Heeft dagen gekost om weer een beetje terug te komen, de uitwijk in (als ik het mij goed herinner) Twente brandde bijna door.

Stel dat Facebook hun BGP opnieuw moet opbouwen over wat voor tijd spreken we dan voordat zoiets weer helemaal is doorgevoerd? (Vanuit technische interesse Facebook zelf kan mij niet schelen)

[Drardollan]

Bensimpel schreef op maandag 4 oktober 2021 @ 22:30:
[...]

Hier maar over naar skype gegaan.. merk nu wel hoe afhankelijk we van whatsapp etc zijn geworden..

Dat is van alle tijden die afhankelijkheid.

Ik vind het wel schokkend dat de 3 grootste sites/apps blijkbaar op 1 infrastructuur draaien. Hoewel ik snap dat je met kosten en beheer te maken hebt, ik zou dat echt zo gescheiden mogelijk houden als bedrijf zijnde.

[Drardollan]

HKLM_ schreef op maandag 4 oktober 2021 @ 22:31:
[...]


Stel dat Facebook hun BGP opnieuw moet opbouwen over wat voor tijd spreken we dan voordat zoiets weer helemaal is doorgevoerd? (Vanuit technische interesse Facebook zelf kan me niet schelen)

Lastig te zeggen, mijn laatste ervaring was zoals gezegd 20 jaar terug. Toen hadden we veel minder internet in de wereld en was alles veel simpeler. Aan de andere kant zijn de verbindingen nu vele malen sneller.

Ik denk dat je aan 12 tot 24 uur moet denken, nog los van de overbelasting die je gaat krijgen bij de start. Al zal daar vast een plan voor klaarliggen om dit gefaseerd voor elkaar te krijgen.

[Ypuh]

Drardollan schreef op maandag 4 oktober 2021 @ 22:30:
Net als het luchtalarm in de regio Utrecht enige tijd geleden, er moest 1 paal afgaan om te testen of hij het deed en vervolgens zat de hele regio Utrecht onder tafel

Toen was de paniek wel wat minder groot dan nu .

[Drardollan]

Ypuh schreef op maandag 4 oktober 2021 @ 22:34:
[...]

Toen was de paniek wel wat minder groot dan nu .

Understatement, meeste mensen boeide het niet haha.

[Floks]

Ligt het aan mij of is het een bewustje, na al die shit die ze over zich heen hebben gehad, gewoon laten zien hoe groot ze zijn. Ik zie het ze nog wel doen., wat kost het ze nou op de 25 miljard die ze verdienen per jaar.

[jadjong]

HKLM_ schreef op maandag 4 oktober 2021 @ 22:31:
[...]


Stel dat Facebook hun BGP opnieuw moet opbouwen over wat voor tijd spreken we dan voordat zoiets weer helemaal is doorgevoerd? (Vanuit technische interesse Facebook zelf kan mij niet schelen)

Dat hangt van het aantal routers af dat de nieuwe buren moet leren kennen. Als router 1 zich aanmeldt bij router 2 dan wordt er een minuutje ofzo gewacht totdat die het door vertelt aan router 3. Afhankelijk van hoe groot het dorp is en de structuur van de tam-tam kan het even duren.

[g1n0]

Drardollan schreef op maandag 4 oktober 2021 @ 22:33:
[...]

Ik denk dat je aan 12 tot 24 uur moet denken, nog los van de overbelasting die je gaat krijgen bij de start. Al zal daar vast een plan voor klaarliggen om dit gefaseerd voor elkaar te krijgen.

Vergeet niet dat na de 'bgp-restore' ook DNS nog moet 'opstarten'. Ga er maar niet vanuit dat je vanavond alweer kunt appen. Weltrusten!

[Will_M]

Floks schreef op maandag 4 oktober 2021 @ 22:36:
Ligt het aan mij of is het een bewustje, na al die shit die ze over zich heen hebben gehad, gewoon laten zien hoe groot ze zijn. Ik zie het ze nog wel doen., wat kost het ze nou op de 25 miljard die ze verdienen per jaar.

Ik denk niet dat die een 'bewuste actie' van FB zal zijn. Dit gaat ze op de beurzen gigantisch veel kapitaal kosten doordat het vertrouwen vanuit adverteerders 'weg' is..... Voorlopig.

[alki]

Floks schreef op maandag 4 oktober 2021 @ 22:36:
Ligt het aan mij of is het een bewustje, na al die shit die ze over zich heen hebben gehad, gewoon laten zien hoe groot ze zijn. Ik zie het ze nog wel doen., wat kost het ze nou op de 25 miljard die ze verdienen per jaar.

10 miljoen per uur....

[Achilles]

Floks schreef op maandag 4 oktober 2021 @ 22:36:
Ligt het aan mij of is het een bewustje, na al die shit die ze over zich heen hebben gehad, gewoon laten zien hoe groot ze zijn. Ik zie het ze nog wel doen., wat kost het ze nou op de 25 miljard die ze verdienen per jaar.

Jaaa bij The Verge zeiden ze al van precies terwijl de Global Head of Safety op CNBC was
Maar dat zou dan bewust door een engineer zijn geweest, niet heel FB natuurlijk

[ Voor 7% gewijzigd door Achilles op 04-10-2021 22:43 ]

[Balance]

Hier nog eentje:

Was just on phone with someone who works for FB who described employees unable to enter buildings this morning to begin to evaluate extent of outage because their badges weren’t working to access doors.

— Sheera Frenkel (@sheeraf) 4 oktober 2021

[The_Admin]

Floks schreef op maandag 4 oktober 2021 @ 22:36:
Ligt het aan mij of is het een bewustje, na al die shit die ze over zich heen hebben gehad, gewoon laten zien hoe groot ze zijn. Ik zie het ze nog wel doen., wat kost het ze nou op de 25 miljard die ze verdienen per jaar.

Dat ligt inderdaad aan jou.

[Jupiter2]

Floks schreef op maandag 4 oktober 2021 @ 22:36:
Ligt het aan mij of is het een bewustje, na al die shit die ze over zich heen hebben gehad, gewoon laten zien hoe groot ze zijn. Ik zie het ze nog wel doen., wat kost het ze nou op de 25 miljard die ze verdienen per jaar.

Volgens de laatste berichten 10 miljoen per uur

[Jeroentjuh82]

Ik heb straks iemand ouderwets gesmst en heb ook signal. Dan valt ook gelijk op hoe weinig er nog bij mij opzitten en afhankelijk zijn van wa.

[Drardollan]

Geen paniek, Mark is ter plaatse om her probleem op te lossen!

[Heijmenberg99]

Ben ik de enige die wel aan het genieten is van alle fuckups die zich nu opstapelen bij Facebook. Van BGP kapot tot geen toegang tot datacenters ;+

[pilskes]

Doet mij aan dit denken:

YouTube: Kyle Fixes the Internet

[Drardollan]

Jupiter2 schreef op maandag 4 oktober 2021 @ 22:39:
[...]

Volgens de laatste berichten 10 miljard per uur

Dat denken enkel de 48 miljoen mensen die zondag op de Dam waren.

[Drardollan]

pilskes schreef op maandag 4 oktober 2021 @ 22:40:
Doet mij aan dit denken:

YouTube: Kyle Fixes the Internet

Good old Linksys WAP54G

[Bensimpel]

alki schreef op maandag 4 oktober 2021 @ 22:38:
[...]

10 miljoen per uur....

Peanuts voor een bedrijf als FB natuurlijk.
Tja het kost wat, maar niet het einde van FB. En ook hier zullen ze bovenop komen. Maar na de klokkenluider kan dit best wel het begin van het einde betekenen. (Wat nog tientallen jaren kan duren).

[Drardollan]

Heijmenberg99 schreef op maandag 4 oktober 2021 @ 22:40:
Ben ik de enige die wel aan het genieten is van alle fuckups die zich nu opstapelen bij Facebook. Van BGP kapot tot geen toegang tot datacenters ;+

Ik geniet hier niet van. Ik weet hoeveel stress dit de medewerkers oplevert, dat gun ik niemand.

Die ontoegankelijkheid tot de DC’s geloof ik niet in.