Bijna heel Microsoft plat? (25/1/2023)

[Triblade_8472]

metalant schreef op woensdag 25 januari 2023 @ 09:40:
[...]


Hier is het water van het pand af wegens onderhoud, dus zelfs geen koffie.

Ouch. Paniek!!

Als je op kantoor bent, snel thuiswerken.
Als je thuis bent, toch maar naar kantoor.

Of een koffiezaak als dat in de buurt is.
Kopje water lenen bij de buren?

[Gunner]

Het is heel verdeeld dus blijkbaar. Ik beheer twee tenants (zowel zakelijk als eentje prive) en rond 0830 waren er idd problemen (outlook , onedrive) maar nu lijkt het vrij stabiel te zijn.

[Voor 5% gewijzigd door Gunner op 25-01-2023 09:43]

[Gwindorian]

Is het niet erg bijzonder dat het wereldwijd lijkt te zijn ? Ik bedoel maar dat dat niet in 1 Datacenter zit, of langs 1 IX loopt.. Ben best benieuwd wat dit nu kan veroorzaken

[Mimiix]

cuflee schreef op woensdag 25 januari 2023 @ 09:41:
DevOps ligt er ook al uit, een paar van onze ontwikkelaars konden nog een bestand inchecken, duurde ongeveer 5 minuten, wijzigingen ophalen ho maar, sprint sessie ook maar geannullerd.

[Afbeelding]

Hier is DevOps wel weer te bereiken. Vanochtend werkte het niet.

[Mimiix]

Gwindorian schreef op woensdag 25 januari 2023 @ 09:43:
Is het niet erg bijzonder dat het wereldwijd lijkt te zijn ? Ik bedoel maar dat dat niet in 1 Datacenter zit, of langs 1 IX loopt.. Ben best benieuwd wat dit nu kan veroorzaken

Klopt. Meestal zie je dat Germany en China wel blijven draaien want die zitten los. Nu liggen die er ook uit.

[Voor 3% gewijzigd door Mimiix op 25-01-2023 09:45]

[KNed]

Gebruikt Tweakers Microsoft software om de Frontpage bij te werken? Kunnen ze ook geen bericht erover plaatsen

[Rensjuh]

Wij maken natuurlijk ook gebruik van M365 zoals alle grote bedrijven en hier werkt bijna alles.
Ik kan mails sturen en ontvangen, Teams doet het gewoon, inloggen op Citrix via mijn M365 account geeft ook geen problemen, OneDrive for Business doet het.
Enkel Sharepoint heeft problemen, lijkt wat traag met inloggen maar na het inloggen werkt het wel.

[eric.1]

Gwindorian schreef op woensdag 25 januari 2023 @ 09:43:
Is het niet erg bijzonder dat het wereldwijd lijkt te zijn ? Ik bedoel maar dat dat niet in 1 Datacenter zit, of langs 1 IX loopt.. Ben best benieuwd wat dit nu kan veroorzaken

Zou best een config-update-gone-wrong kunnen zijn. In een omgeving als MS zal dat wel aan enige automatismes onderhevig zijn. Als dat verkeerd gaat, dan gaat het goed verkeerd.

En dan zullen ze hierna wel wat extra checks inbouwen om deze human-error te voorkomen

[Fuske]

KNed schreef op woensdag 25 januari 2023 @ 09:46:
Gebruikt Tweakers Microsoft software om de Frontpage bij te werken? Kunnen ze ook geen bericht erover plaatsen

precies mijn gedachte
Maar blijkbaar kunnen ze wel nog nieuws posten over een snelheidsverhoging van een Belgische internetprovider.

[dutchgio]

KNed schreef op woensdag 25 januari 2023 @ 09:46:
Gebruikt Tweakers Microsoft software om de Frontpage bij te werken? Kunnen ze ook geen bericht erover plaatsen

Of juist totaal niet waardoor deze storing ook niet opgemerkt wordt

[PeterTom]

Hier lijkt het alsof het weer werkt....

[Mee_]

Hier lijkt het ook terug allemaal in orde.

[mathiasc]

hier nog steeds geen azure resources beschikbaar

[B34tn1k]

Outlook werkt hier precies weer

[mathiasc]

Current status: We’ve isolated the problem to a networking configuration issue, and we are analyzing the best mitigation strategy to address it without causing additional impact. We’ll provide more information once we have additional information.

Scope of impact: Any user serviced by the affected infrastructure may be unable to access multiple Microsoft 365 services.

Next update by: Wednesday, January 25, 2023, 12:00 PM (11:00 AM UTC)

[Mimiix]

mathiasc schreef op woensdag 25 januari 2023 @ 09:57:
Current status: We’ve isolated the problem to a networking configuration issue, and we are analyzing the best mitigation strategy to address it without causing additional impact. We’ll provide more information once we have additional information.

Scope of impact: Any user serviced by the affected infrastructure may be unable to access multiple Microsoft 365 services.

Next update by: Wednesday, January 25, 2023, 12:00 PM (11:00 AM UTC)

Dit gaat over 365?

Op Azure zelf staat er nog geen update.

[Mimiix]

mathiasc schreef op woensdag 25 januari 2023 @ 09:55:
hier nog steeds geen azure resources beschikbaar

Welke resources doen het niet?

[Glashelder]

Hier is DevOps nog zo dood als een dodo. Zowel mijn eigen als die van mijn opdrachtgever.

[mathiasc]

Mimiix schreef op woensdag 25 januari 2023 @ 09:58:
[...]


Welke resources doen het niet?

VM's runnen, VPN's/netwerking gedeelte werkt nog steeds niet.

[Mrlten]

mathiasc schreef op woensdag 25 januari 2023 @ 09:57:
Current status: We’ve isolated the problem to a networking configuration issue, and we are analyzing the best mitigation strategy to address it without causing additional impact. We’ll provide more information once we have additional information.

Scope of impact: Any user serviced by the affected infrastructure may be unable to access multiple Microsoft 365 services.

Next update by: Wednesday, January 25, 2023, 12:00 PM (11:00 AM UTC)

Microsoft later deze dag: We gaan 10.001 mensen ontslaan

[mathiasc]

Mimiix schreef op woensdag 25 januari 2023 @ 09:58:
[...]


Dit gaat over 365?

Op Azure zelf staat er nog geen update.

idd O365 update, vermoedelijk zal azure en office 365 zelfde (netwerk) probleem zijn.

[mathiasc]

Mrlten schreef op woensdag 25 januari 2023 @ 09:59:
[...]

Microsoft later deze dag: We gaan 10.001 mensen ontslaan

misschien deed het nieuws wel de ronde en deed iemand format c: op azure uit wraak?

[Triblade_8472]

Mrlten schreef op woensdag 25 januari 2023 @ 09:59:
[...]

Microsoft later deze dag: We gaan 10.001 mensen ontslaan

Is misschien juist niet het probleem dat ze dat eerder aangekondigd hebben?

[Mimiix]

mathiasc schreef op woensdag 25 januari 2023 @ 09:59:
[...]


VM's runnen, VPN's/netwerking gedeelte werkt nog steeds niet.

VM uitvoeren denk ik?

Ik kan wel een P2S verbinding maken zoals het nu lijkt.

[Mimiix]

KNed schreef op woensdag 25 januari 2023 @ 09:46:
Gebruikt Tweakers Microsoft software om de Frontpage bij te werken? Kunnen ze ook geen bericht erover plaatsen

Ik vind dit toch wel een dingetje. Als Sites als Nu en RTL sneller zijn dan Tweakers, moet je je toch achter de oren krabben als techsite.

[mathiasc]

Mimiix schreef op woensdag 25 januari 2023 @ 10:01:
[...]


VM uitvoeren denk ik?

Ik kan wel een P2S verbinding maken zoals het nu lijkt.

P2S hebben we niet, allemaal S2S met basic VPN's, geen expressroute's, die lijken het nog te doen (volgens de statuspagina's).

[SoulsOnFire]

Triblade_8472 schreef op woensdag 25 januari 2023 @ 10:00:
[...]

Is misschien juist niet het probleem dat ze dat eerder aangekondigd hebben?

Dat was ook mijn gedacht. Iemand die het einde ziet en toevallig een rood knopje zag staan?

[LopendeVogel]

Volgens mij ligt heel de wereld plat behalve China?

[Exterazzo]

Mimiix schreef op woensdag 25 januari 2023 @ 09:32:
[...]

Was een storage outage vannacht. Die mail kreeg ik rond 4 uur pas. Gaat het om een PostgreSQL? Die was vannacht om, half 3.

Was een MS SQL database. In de portal zag ik vanochtend ook steeds health meldingen langskomen, down en dan weer up, down en weer up etc etc. Toen dacht ik nog dat we alleen problemen met de database hadden. Maar inmiddels werd langzaam duidelijk dat steeds meer uit begon te vallen.

[Hugo!]

Dat Tweakers zelfs nu nog niks heeft geplaatst vindt ik wel echt slecht. Hier merkte we de storing op om 8:15 door monitoring. Ondanks dat ze wellicht zelf weinig van Microsoft gebruiken verwacht je toch dat ze dit opmerken, zeker binnen 1:45 uur.

[Richh]

Zonder devops is het wel lastig werken. PR's die niet doorkunnen, dikke puinhoop

[Mimiix]

mathiasc schreef op woensdag 25 januari 2023 @ 10:02:
[...]


P2S hebben we niet, allemaal S2S met basic VPN's, geen expressroute's, die lijken het nog te doen (volgens de statuspagina's).

Beide(S2S op basic GW en VM starten) lijken het weer te doen hier:

[jvalks]

update van 9:49 - Current status: We’ve isolated the problem to a networking configuration issue, and we are analyzing the best mitigation strategy to address it without causing additional impact. We’ll provide more information once we have additional information.

[Mimiix]

Exterazzo schreef op woensdag 25 januari 2023 @ 10:04:
[...]
Was een MS SQL database. In de portal zag ik vanochtend ook steeds health meldingen langskomen, down en dan weer up, down en weer up etc etc. Toen dacht ik nog dat we alleen problemen met de database hadden. Maar inmiddels werd langzaam duidelijk dat steeds meer uit begon te vallen.

Dan zal het komen door die storage outage. Je ziet vaak dat als Storage eruit klapt, de rest rare dingen gaat doen.

[__fred__]

Vorige week op 18/1 hadden ze ook al een power outage die in west europa best wat ellende gaf. Onze klanten zijn denk ik nu wel klaar met azure. Zeker nadat ze de dollarrisico's ook bij de klant leggen. Feest.

[P1nGu1n]

Het staat op de FP! nieuws: Grote storing bij Microsoft treft verschillende diensten zoals Outloo...

[HKLM_]

__fred__ schreef op woensdag 25 januari 2023 @ 10:06:
Vorige week op 18/1 hadden ze ook al een power outage die in west europa best wat ellende gaf. Onze klanten zijn denk ik nu wel klaar met azure. Zeker nadat ze de dollarrisico's ook bij de klant leggen. Feest.

Beetje spreiden en niet alles in 1 zone proppen (Niet dat dat nu helpt trouwens..)

[Voor 4% gewijzigd door HKLM_ op 25-01-2023 10:07]

[mathiasc]

Mimiix schreef op woensdag 25 januari 2023 @ 10:05:
[...]


Beide(S2S op basic GW en VM starten) lijken het weer te doen hier:

[Afbeelding]

kan ik maar 1 ding op zeggen:



PS: gelieve geen blaming op mijn source subnet, IK WEET HET

[Mimiix]

mathiasc schreef op woensdag 25 januari 2023 @ 10:07:
[...]


kan ik maar 1 ding op zeggen:

[Afbeelding]

PS: gelieve geen blaming op mijn source subnet, IK WEET HET

En je zit op WestEU?

Best bijzonder dat jouw server park geraakt is, en mijn machine er geen last van heeft. Zelfs binnen een regio.

Ik heb overigens geen failovers.

[Hann1BaL]

Onze Citrix leunt ook op Azure, maar dan wel in US en ook dat is down. Onze email en andere diensten lijken wel te werken op de US tenant.

[mathiasc]

Mimiix schreef op woensdag 25 januari 2023 @ 10:08:
[...]


En je zit op WestEU?

Best bijzonder dat jouw server park geraakt is, en mijn machine er geen last van heeft. Zelfs binnen een regio.

Ik heb overigens geen failovers.

klopt, west EU, overigens kan men perfect aan de AVD omgeving, dus de brokers/web gateway's lijken niet geimpacteerd. wel problemen om onprem resources te bereiken natuurlijk ...

[Mimiix]

__fred__ schreef op woensdag 25 januari 2023 @ 10:06:
Vorige week op 18/1 hadden ze ook al een power outage die in west europa best wat ellende gaf. Onze klanten zijn denk ik nu wel klaar met azure. Zeker nadat ze de dollarrisico's ook bij de klant leggen. Feest.

Heb je al gekeken naar de up-time en SLA die je met Microsoft hebt (https://azure.microsoft.com/nl-nl/support/legal/sla/summary/)? Als het gaat om storage: Die gaat voor veel zaken naar 99.9%. Als ze binnen die tijd vallen, is er dus niets aan de hand.

Je kunt dit deels oplossen met failovers, maar over het algemeen is dit gewoon een risico wat je moet incalculeren. Overigens kan dit bij iedere provider gebeuren.

[Mimiix]

mathiasc schreef op woensdag 25 januari 2023 @ 10:10:
[...]


klopt, west EU, overigens kan men perfect aan de AVD omgeving, dus de brokers/web gateway's lijken niet geimpacteerd. wel problemen om onprem resources te bereiken natuurlijk ...

Je zou eens kunnen kijken of je tijdelijk af kunt met een IP Whitelist naar je ON prem omgeving.

Of, als het heel dringend is, nog een connection aanmaken in Azure. Misschien dat je dan op een andere server terecht komt.

[mathiasc]

Mimiix schreef op woensdag 25 januari 2023 @ 10:12:
[...]


Je zou eens kunnen kijken of je tijdelijk af kunt met een IP Whitelist naar je ON prem omgeving.

Of, als het heel dringend is, nog een connection aanmaken in Azure. Misschien dat je dan op een andere server terecht komt.

Ze moeten maar even wachten, dit is boven mijn hoofd, ga eerst het belangrijkste doen => Koffie!

[Hann1BaL]

mathiasc schreef op woensdag 25 januari 2023 @ 10:13:
[...]


Ze moeten maar even wachten, dit is boven mijn hoofd, ga eerst het belangrijkste doen => Koffie!

https://media.giphy.com/media/QMHoU66sBXqqLqYvGO/giphy.gif

[MOOS]

mathiasc schreef op woensdag 25 januari 2023 @ 10:07:
[...]
kan ik maar 1 ding op zeggen:

[Afbeelding]

PS: gelieve geen blaming op mijn source subnet, IK WEET HET

WatchGuard

Wij zitten in dezelfde schuit...

[Voor 4% gewijzigd door MOOS op 25-01-2023 10:17]

[eagle00789]

Ik heb toegang tot vele tenants (door werkgever) en zie bij dee ene tenant wel alles werken en de andere tenant werkt juist helemaal niets. Denk dat ergens dus een deel van de achterliggende netwerkinfrastructuur geraakt is, maar dus niet alles.

[Jaqenhghar]

Mijn gedachten zijn nu bij alle systeembeheerders/support/helpdeskers die iedereen in volle paniek aan het bureau hebben staan.

Sterkte mannen/dames

[Voor 7% gewijzigd door Jaqenhghar op 25-01-2023 10:18]

[Speedster]

Computer aan om 08:30 outlook start niet op, profile loopt vast. 09:30 alles doet het weer.
Petje af voor Microsoft.

[JiBo]

Title: Users may be unable to access multiple Microsoft 365 services
User impact: Users are unable to access multiple Microsoft 365 services.
More info: Impact is occurring to the following services but is not limited to them: -Microsoft Teams -Exchange Online -Outlook -SharePoint Online -OneDrive for Business -Microsoft Graph -PowerBi - Microsoft 365 Admin Center
Current status: We’ve isolated the problem to a networking configuration issue, and we are analyzing the best mitigation strategy to address it without causing additional impact. We’ll provide more information once we have additional information.
Scope of impact: Any user serviced by the affected infrastructure may be unable to access multiple Microsoft 365 services.
Next update by: Wednesday, January 25, 2023, at 11:00 AM UTC

[__fred__]

HKLM_ schreef op woensdag 25 januari 2023 @ 10:07:
[...]


Beetje spreiden en niet alles in 1 zone proppen (Niet dat dat nu helpt trouwens..)

Dat is leuk, maar als MS dat niet zelf doet, heb je er niets aan. Wij hadden issues met de api om vm's te starten en te stoppen, terwijl we autoscale hebben op een deel van onze infrastructuur. Eveneens zone redundante storage accounts die toch klapperden. Hier staan via FSLogix vhd's voor gebruikersprofielen aan gekoppeld, en als die gaan klapperen dan hangt regelmatig de sessie en komen die profielen ook niet meer los tot een reboot van de host. En die reboot werkte weer niet, want portal / API niet beschikbaar.... Tsja...

Leuk, redundantie op papier, maar het gaat altijd wel ergens mis in de uitvoering.

[Arnout]

Ze hosten die statuspagina dus niet bij AWS?

[Speedster]

Jaqenhghar schreef op woensdag 25 januari 2023 @ 10:17:
Mijn gedachten zijn nu bij alle systeembeheerders/support/helpdeskers die iedereen in volle paniek aan het bureau hebben staan.

Sterkte mannen/dames

Ja klopt ik hing ook aan de lijn met mijn systeembeheerder, zijn GSM en mailbox puilde ook uit.

[mathiasc]

Jaqenhghar schreef op woensdag 25 januari 2023 @ 10:17:
Mijn gedachten zijn nu bij alle systeembeheerders/support/helpdeskers die iedereen in volle paniek aan het bureau hebben staan.

Sterkte mannen/dames

Heb m'n deur gesloten en een papiertje met de link naar de MS status pagina opgehangen, kan ik rustig van m'n koffie genieten terwijl de MS engineers zweten. De rollen mogen ook eens omgedraaid zijn

[MdemiC]

mathiasc schreef op woensdag 25 januari 2023 @ 10:20:
[...]


Heb m'n deur gesloten en een papiertje met de link naar de MS status pagina opgehangen, kan ik rustig van m'n koffie genieten terwijl de MS engineers zweten. De rollen mogen ook eens omgedraaid zijn

kan je die poster eens doorsturen dan ga ik die hier ook ophangen

[mathiasc]

MdemiC schreef op woensdag 25 januari 2023 @ 10:23:
[...]


kan je die poster eens doorsturen dan ga ik die hier ook ophangen

heb ze het niet makkelijk gemaakt:

[Paul.tjuh1986]

mathiasc schreef op woensdag 25 januari 2023 @ 10:20:
[...]


Heb m'n deur gesloten en een papiertje met de link naar de MS status pagina opgehangen, kan ik rustig van m'n koffie genieten terwijl de MS engineers zweten. De rollen mogen ook eens omgedraaid zijn

Komt geintresseerd over naar de gebruikers op die manier
Hier sturen we nog iets uit, en posten we updates via nieuwsberichten op Workspace.

Services komen hier langzaam weer terug, met wat horten en stoten

[Terran]

Jaqenhghar schreef op woensdag 25 januari 2023 @ 10:17:
Mijn gedachten zijn nu bij alle systeembeheerders/support/helpdeskers die iedereen in volle paniek aan het bureau hebben staan.

Sterkte mannen/dames

Gelukkig kunnen er heel veel thuis werken na corona

[Mimiix]

Weer een update

Starting at 07:05 UTC on 25 January 2023, customers may experience issues with networking connectivity, manifesting as network latency and/or timeouts when attempting to connect to Azure resources in Public Azure regions, as well as other Microsoft services including M365, PowerBI.

We've determined the network connectivity issue is occurring with devices across the Microsoft Wide Area Network (WAN). This impacts connectivity between clients on the internet to Azure, as well as connectivity between services in datacenters, as well as ExpressRoute connections. The issue is causing impact in waves, peaking approximately every 30 minutes.

We are actively investigating and will share updates as soon as more is known.

This message was last updated at 09:24 UTC on 25 January 2023

[Nielless]

January 25, 2023 10:19 AM · Snelle update

We've rolled back a network change that we believe is causing impact. We're monitoring the service as the rollback takes effect.

This quick update is designed to give the latest information on this issue.

[mathiasc]

Paul.tjuh1986 schreef op woensdag 25 januari 2023 @ 10:26:
[...]


Komt geintresseerd over naar de gebruikers op die manier
Hier sturen we nog iets uit, en posten we updates via nieuwsberichten op Workspace.

Services komen hier langzaam weer terug, met wat horten en stoten

Je moet dit vooral niet te serieus nemen

[Cergorach]

Jaqenhghar schreef op woensdag 25 januari 2023 @ 10:17:
Mijn gedachten zijn nu bij alle systeembeheerders/support/helpdeskers die iedereen in volle paniek aan het bureau hebben staan.

Sterkte mannen/dames

Mijn advies, haal koffie en koekjes, deel ze uit!

[FastBunny]

Waarschuwing
Azure Networking - Multiple regions - Investigating

Starting at 07:05 UTC on 25 January 2023, customers may experience issues with networking connectivity, manifesting as network latency and/or timeouts when attempting to connect to Azure resources in Public Azure regions, as well as other Microsoft services including M365, PowerBI.
We've determined the network connectivity issue is occurring with devices across the Microsoft Wide Area Network (WAN). This impacts connectivity between clients on the internet to Azure, as well as connectivity between services in datacenters, as well as ExpressRoute connections. The issue is causing impact in waves, peaking approximately every 30 minutes.
We are actively investigating and will share updates as soon as more is known. 

This message was last updated at 09:24 UTC on 25 January 2023

Update vanuit Azure Networking

[Nodge.1975]

Microsoft wereldwijd plat, zou dit te maken hebben met de aangekondigde ontslag ronde?

[mathiasc]

alles opnieuw OK hier, dit bij diverse klanten. S2S connecties zijn weer up na manuele reinitiate.

[Falcon]

Nielless schreef op woensdag 25 januari 2023 @ 10:29:
January 25, 2023 10:19 AM · Snelle update

We've rolled back a network change that we believe is causing impact. We're monitoring the service as the rollback takes effect.

This quick update is designed to give the latest information on this issue.

Ze mogen wel wat aan kwaliteitsprocessen gaan doen, vorig jaar was een te snel doorgepushte security update van Ubuntu de reden van downtime op Azure hosts en AKS/ACA.

[mathiasc]

Falcon schreef op woensdag 25 januari 2023 @ 10:36:
[...]


Ze mogen wel wat aan kwaliteitsprocessen gaan doen, vorig jaar was een te snel doorgepushte security update van Ubuntu de reden van downtime op Azure hosts en AKS/ACA.

evenals vrijdag laatstleden, defender for endpoint, alle shortcuts als virus beschouwen en verwijderen zonder de mogelijkheid om terug te zetten ... altijd leuk op een vrijdag als je 1000+ clients hebt ...

[HKLM_]

__fred__ schreef op woensdag 25 januari 2023 @ 10:18:
[...]


Dat is leuk, maar als MS dat niet zelf doet, heb je er niets aan. Wij hadden issues met de api om vm's te starten en te stoppen, terwijl we autoscale hebben op een deel van onze infrastructuur. Eveneens zone redundante storage accounts die toch klapperden. Hier staan via FSLogix vhd's voor gebruikersprofielen aan gekoppeld, en als die gaan klapperen dan hangt regelmatig de sessie en komen die profielen ook niet meer los tot een reboot van de host. En die reboot werkte weer niet, want portal / API niet beschikbaar.... Tsja...

Leuk, redundantie op papier, maar het gaat altijd wel ergens mis in de uitvoering.

Hybrid Cloud kan je nog inzetten gedeelte in Azure en een deel in AWS

[Christoxz]

We have identified a recent WAN update as the likely underlying cause, and have taken steps to roll back this update. Our latest telemetry shows signs of recovery across multiple regions and services, and we are continuing to actively monitor the situation.

This message was last updated at 09:43 UTC on 25 January 2023

With WAN networking now seeing recovery, we are working to ensure full recovery for impacted services.

The next update will be in 30 minutes or as soon as we have further information.

This message was last updated at 10:01 UTC on 25 January 2023

[Voor 28% gewijzigd door Christoxz op 25-01-2023 11:03]

[LopendeVogel]

mathiasc schreef op woensdag 25 januari 2023 @ 10:20:
[...]


Heb m'n deur gesloten en een papiertje met de link naar de MS status pagina opgehangen, kan ik rustig van m'n koffie genieten terwijl de MS engineers zweten. De rollen mogen ook eens omgedraaid zijn

Ow wij hebben gewoon een bulk sms gestuurd naar alle medewerkers, geen telefoontjes niks meer gekregen sinds 8:30..

[Shadow771]

Jaqenhghar schreef op woensdag 25 januari 2023 @ 10:17:
Mijn gedachten zijn nu bij alle systeembeheerders/support/helpdeskers die iedereen in volle paniek aan het bureau hebben staan.

Sterkte mannen/dames

Moeten ze eerst bij mij thuis aankloppen....

[gwreijman]

Current status: We’ve identified that a wide-area
networking (WAN) routing change caused impact to the service. We’ve rolled back
the change and monitoring the service as it recovers. Some of the customers who
had previously reported impact are also reporting recovery.

De laatste update op de statuspagina van Microsoft 365.

[mohammed1]

Bij ons lijken de problemen voorbij te zijn. Ik krijg van meerdere users terugkoppeling dat ze weer zonder problemen kunnen werken.

[ginod]

Hier inmiddels ook alweer bijna een uur alles okay. Zowel MS als Citrix producten zijn weer bereikbaar.

[Cergorach]

HKLM_ schreef op woensdag 25 januari 2023 @ 10:45:
Hybrid Cloud kan je nog inzetten gedeelte in Azure en een deel in AWS

Tenzij je de heleboel dupliceert, wat enorm veel kosten/tijd/personeel zal gaan kosten (meer dan twee keer zoveel) zit je nog steeds met het issue: Waar komt de boel binnen? En hoe snel kan je dat omzetten?

De kans is immers groot dat je dan namelijk meer redundantie hebt, maar twee ipv. een point of failure. Dit is interessant ALS het een langdurige storing betreft, maar ik vermoed dat je met deze korte duur niet eens het voorelkaar krijgt om geheel over te schakelen... Tenzij je ook weer thirdparty infra gebruikt wat ook weer een point of failure is (maar als je die toch al gebruikt...).

Een goede multicloud oplossing kan essentieel zijn voor je organisatie, maar zorgt voor een veel complexere infra, met veel meer bewegende onderdelen met enorme overhead en zou daardoor ook weer meer storingen kunnen opleveren (fouten in de redundantie).

Ik ben daar heel huiverig in om zoiets te adviseren. Wat ik wel heel belangrijk vind is dat bv. backups (ook) bij andere partijen staan dan je primaire (cloud) omgeving en dat je uitwijk scenario's klaar hebt staan om vlot over te stappen naar een andere partij ingeval van 'nood'...

[Triblade_8472]

Shadow771 schreef op woensdag 25 januari 2023 @ 11:14:
[...]


Moeten ze eerst bij mij thuis aankloppen....

Be careful what you wish for

[DarkAllMan]

Hebbben ze de naam al aangepast naar MS 364?

[Unrealiac]

ginod schreef op woensdag 25 januari 2023 @ 11:27:
Hier inmiddels ook alweer bijna een uur alles okay. Zowel MS als Citrix producten zijn weer bereikbaar.

Toevallig ook dat bv Office producten in Citrix opnieuw moesten ingelogd worden met hun accounts van Microsoft ?

[ginod]

Unrealiac schreef op woensdag 25 januari 2023 @ 11:34:
[...]


Toevallig ook dat bv Office producten in Citrix opnieuw moesten ingelogd worden met hun accounts van Microsoft ?

Nee, eigenlijk kon in citrix iedereen weer gelijk werken, zonder extra in te loggen. Nu werken we ook met Cyberark 2FA / MFA technologie, misschien dat het daarom goed ging... Hoewel... dat dat vaak meer problemen geeft

[Exterazzo]

Onze database is nog steeds niet terug

We're sorry your SQL database is experiencing transient login failures. 
Currently, Azure shows the impacted time period for your SQL database resource at a two-minute granularity. 
The actual impact is likely less than a minute – average is 2s. 
If we are able to find the reason for unavailability, it will appear here within an hour after the 
downtime event. Please check back later to see if more information is provided.

Dit is 9 uur geleden begonnen en hij flippert steeds tussen "Health Event Activated" / "Health Event InProgress" en dan ""Health Event Resolved"

[ToolkiT]

Cergorach schreef op woensdag 25 januari 2023 @ 11:30:
[...]

Tenzij je de heleboel dupliceert, wat enorm veel kosten/tijd/personeel zal gaan kosten (meer dan twee keer zoveel) zit je nog steeds met het issue: Waar komt de boel binnen? En hoe snel kan je dat omzetten?

De kans is immers groot dat je dan namelijk meer redundantie hebt, maar twee ipv. een point of failure. Dit is interessant ALS het een langdurige storing betreft, maar ik vermoed dat je met deze korte duur niet eens het voorelkaar krijgt om geheel over te schakelen... Tenzij je ook weer thirdparty infra gebruikt wat ook weer een point of failure is (maar als je die toch al gebruikt...).

Een goede multicloud oplossing kan essentieel zijn voor je organisatie, maar zorgt voor een veel complexere infra, met veel meer bewegende onderdelen met enorme overhead en zou daardoor ook weer meer storingen kunnen opleveren (fouten in de redundantie).

Ik ben daar heel huiverig in om zoiets te adviseren. Wat ik wel heel belangrijk vind is dat bv. backups (ook) bij andere partijen staan dan je primaire (cloud) omgeving en dat je uitwijk scenario's klaar hebt staan om vlot over te stappen naar een andere partij ingeval van 'nood'...

redundancy en fault tolerance kost altijd geld, dus je moet altijd kijken naar de kosten van een outage vs de kosten van extra redundancy..

Voor sommige mission critical processen is een multi-cloud oplossing zeker aan te raden zodat je bij outages als deze (maar bij AWS en google hebben ze vergelijkbare issues gehad) toch nog operationeel blijft..
Maar voor de meest huis tuin en keuken oplossingen is het waarschijnlijk overkill..

Ander nadeel is dat als je multicloud gaat het lastiger word om cloud vendor specifieke features te gebruiken want die zitten niet in de andere clouds..
Vroeger zag ik dat al bij ERP systemen die DBMS onafhankelijk waren.. die konden niet gebruik maken van bepaalde oracle advanced features, omdat het dan niet meer compatible was me SQL server etc..

[Dido]

ToolkiT schreef op woensdag 25 januari 2023 @ 12:13:
zodat je bij outages als deze [...] toch not operationeel blijft..

Bij ons zit het not operationeel zijn al redundant in onze bedrijfsprocessen ingebakken, hebben we geen cloud voor noidg

[ToolkiT]

Dido schreef op woensdag 25 januari 2023 @ 12:18:
[...]

Bij ons zit het not operationeel zijn al redundant in onze bedrijfsprocessen ingebakken, hebben we geen cloud voor noidg

lol
Bedankt voor het spotten van de typo, fixed

[FastBunny]

DarkAllMan schreef op woensdag 25 januari 2023 @ 11:33:
Hebbben ze de naam al aangepast naar MS 364?

Nee, wel het logo

[Tricolores]

mathiasc schreef op woensdag 25 januari 2023 @ 10:20:
[...]


Heb m'n deur gesloten en een papiertje met de link naar de MS status pagina opgehangen, kan ik rustig van m'n koffie genieten terwijl de MS engineers zweten. De rollen mogen ook eens omgedraaid zijn

Haha, zelfde hier. Briefje aan de deur en eventjes niets doen wegens technisch 90% werkloos.

[Exterazzo]

Mimiix schreef op woensdag 25 januari 2023 @ 10:06:
[...]


Dan zal het komen door die storage outage. Je ziet vaak dat als Storage eruit klapt, de rest rare dingen gaat doen.

Krijg nu inderdaad deze feedback:

Sorry for the inconvenience , there is a wide spread outage across West Europe due to suspecting storage issue , would like to let you know that we are doing everything possible to get this mitigated . Working on a public link to get this notified for everyone impacted

Het is dus nog steeds niet 100% opgelost

[Mimiix]

Exterazzo schreef op woensdag 25 januari 2023 @ 14:33:
[...]

Krijg nu inderdaad deze feedback:

[...]

Het is dus nog steeds niet 100% opgelost

Is storage nog plat? Of is dat weer terug?

[Exterazzo]

Mimiix schreef op woensdag 25 januari 2023 @ 14:36:
[...]


Is storage nog plat? Of is dat weer terug?

Wij kunnen nog nergens bij. Vraag me ook af of de issues gerelateerd zijn of niet? Want nu spreken ze alleen over West Europe.

Current Status: An unexpected issue occurred during a power maintenance activity that impacted a storage scale unit that Azure SQL DB depends on. We have identified a mitigation path and are actively working to resolve the issue

[Voor 30% gewijzigd door Exterazzo op 25-01-2023 14:55]

[Beunhaas91]

Ik probeer een nieuwe tenant in te richten en een domein te koppelen, helaas krijg ik allerlei gekke meldingen over dat DKIM niet bijgewerkt is. De problemen lijken dus nog steeds niet opgelost te zijn, erg slordig!

[Mimiix]

Exterazzo schreef op woensdag 25 januari 2023 @ 14:54:
[...]

Wij kunnen nog nergens bij. Vraag me ook af of de issues gerelateerd zijn of niet? Want nu spreken ze alleen over West Europe.

[...]

Het enige wat ik merk is dat schijven in VM's heel heel traag zijn.

[Exterazzo]

Mimiix schreef op woensdag 25 januari 2023 @ 15:17:
[...]


Het enige wat ik merk is dat schijven in VM's heel heel traag zijn.

We zijn zojuist weer back-in-business

[rijssel]

Ik heb gisteren e.e.a. voor 't eerst aangeschaft en vrij onervaren aan de gang met de beheerportal.

Ondanks dat via

https://status.office.com/

alle storingen zijn opgelost kan ik nog steeds niet in de beheer portal:

https://admin.microsoft.com/Adminportal/Home#

Anderen daar ook nog last van?

Probleem is dat via deze portal ook de support verloopt... zit ik in een deadlock of moet ik nog geduld hebben?

[_Dune_]

rijssel schreef op woensdag 25 januari 2023 @ 16:38:
Ik heb gisteren e.e.a. voor 't eerst aangeschaft en vrij onervaren aan de gang met de beheerportal.

Ondanks dat via

https://status.office.com/

alle storingen zijn opgelost kan ik nog steeds niet in de beheer portal:

https://admin.microsoft.com/Adminportal/Home#

Anderen daar ook nog last van?

Probleem is dat via deze portal ook de support verloopt... zit ik in een deadlock of moet ik nog geduld hebben?

De vraag is welke (fout)melding krijg je, maar ik verwacht dat je nog even geduld zal moeten hebben.

[Triblade_8472]

rijssel schreef op woensdag 25 januari 2023 @ 16:38:
alle storingen zijn opgelost kan ik nog steeds niet in de beheer portal:

https://admin.microsoft.com/Adminportal/Home#

Dan zal je toch met iets meer moeten komen dan 'hij doet ut niet'.

Melding? Foutcode?

Have you tried turning it off and on again?

[Beunhaas91]

Beunhaas91 schreef op woensdag 25 januari 2023 @ 14:56:
Ik probeer een nieuwe tenant in te richten en een domein te koppelen, helaas krijg ik allerlei gekke meldingen over dat DKIM niet bijgewerkt is. De problemen lijken dus nog steeds niet opgelost te zijn, erg slordig!

Halverwege de avond was het probleem opgelost!

[HKLM_]

Beunhaas91 schreef op woensdag 25 januari 2023 @ 23:14:
[...]

Halverwege de avond was het probleem opgelost!

Ze hebben met exchange online nog wat langer issues gehouden dan de rest van de diensten.

[Woohooo]

Weet iemand of de storing (en beschikbaarheid van alle nevenproducten) nog binnen de gestelde SLA termijn valt?

[Question Mark]

Woohooo schreef op donderdag 26 januari 2023 @ 13:40:
Weet iemand of de storing (en beschikbaarheid van alle nevenproducten) nog binnen de gestelde SLA termijn valt?

Ik zou zeggen: controleer de SLA afspraken, en leg deze naast de tijd en mate dat jij een verstoring ervaren hebt. Dan weet je het antwoord.

https://www.microsoft.com...s-SLA-for-Online-Services

[Maasluip]

Oorzaak:

We determined that a change made to the Microsoft Wide Area Network (WAN) impacted connectivity between clients on the internet to Azure, connectivity across regions, as well as cross-premises connectivity via ExpressRoute. As part of a planned change to update the IP address on a WAN router, a command given to the router caused it to send messages to all other routers in the WAN, which resulted in all of them recomputing their adjacency and forwarding tables. During this re-computation process, the routers were unable to correctly forward packets traversing them. The command that caused the issue has different behaviors on different network devices, and the command had not been vetted using our full qualification process on the router on which it was executed.

[tweazer]

In Kloten zijn nog wat azure banen. Wellicht om het wel/niet naar de Kloten te helpen