Bijna heel Microsoft plat? (25/1/2023)

[Paul.tjuh1986]

mathiasc schreef op woensdag 25 januari 2023 @ 10:20:
[...]


Heb m'n deur gesloten en een papiertje met de link naar de MS status pagina opgehangen, kan ik rustig van m'n koffie genieten terwijl de MS engineers zweten. De rollen mogen ook eens omgedraaid zijn

Komt geintresseerd over naar de gebruikers op die manier
Hier sturen we nog iets uit, en posten we updates via nieuwsberichten op Workspace.

Services komen hier langzaam weer terug, met wat horten en stoten

[Terran]

Verwijderd schreef op woensdag 25 januari 2023 @ 10:17:
Mijn gedachten zijn nu bij alle systeembeheerders/support/helpdeskers die iedereen in volle paniek aan het bureau hebben staan.

Sterkte mannen/dames

Gelukkig kunnen er heel veel thuis werken na corona

[Mimiix]

Weer een update

Starting at 07:05 UTC on 25 January 2023, customers may experience issues with networking connectivity, manifesting as network latency and/or timeouts when attempting to connect to Azure resources in Public Azure regions, as well as other Microsoft services including M365, PowerBI.

We've determined the network connectivity issue is occurring with devices across the Microsoft Wide Area Network (WAN). This impacts connectivity between clients on the internet to Azure, as well as connectivity between services in datacenters, as well as ExpressRoute connections. The issue is causing impact in waves, peaking approximately every 30 minutes.

We are actively investigating and will share updates as soon as more is known.

This message was last updated at 09:24 UTC on 25 January 2023

[Nielless]

January 25, 2023 10:19 AM · Snelle update

We've rolled back a network change that we believe is causing impact. We're monitoring the service as the rollback takes effect.

This quick update is designed to give the latest information on this issue.

[mathiasc]

Paul.tjuh1986 schreef op woensdag 25 januari 2023 @ 10:26:
[...]


Komt geintresseerd over naar de gebruikers op die manier
Hier sturen we nog iets uit, en posten we updates via nieuwsberichten op Workspace.

Services komen hier langzaam weer terug, met wat horten en stoten

Je moet dit vooral niet te serieus nemen

[Cergorach]

Verwijderd schreef op woensdag 25 januari 2023 @ 10:17:
Mijn gedachten zijn nu bij alle systeembeheerders/support/helpdeskers die iedereen in volle paniek aan het bureau hebben staan.

Sterkte mannen/dames

Mijn advies, haal koffie en koekjes, deel ze uit!

[FastBunny]

Waarschuwing
Azure Networking - Multiple regions - Investigating

Starting at 07:05 UTC on 25 January 2023, customers may experience issues with networking connectivity, manifesting as network latency and/or timeouts when attempting to connect to Azure resources in Public Azure regions, as well as other Microsoft services including M365, PowerBI.
We've determined the network connectivity issue is occurring with devices across the Microsoft Wide Area Network (WAN). This impacts connectivity between clients on the internet to Azure, as well as connectivity between services in datacenters, as well as ExpressRoute connections. The issue is causing impact in waves, peaking approximately every 30 minutes.
We are actively investigating and will share updates as soon as more is known. 

This message was last updated at 09:24 UTC on 25 January 2023

Update vanuit Azure Networking

[Nodge.1975]

Microsoft wereldwijd plat, zou dit te maken hebben met de aangekondigde ontslag ronde?

[mathiasc]

alles opnieuw OK hier, dit bij diverse klanten. S2S connecties zijn weer up na manuele reinitiate.

[Falcon]

Nielless schreef op woensdag 25 januari 2023 @ 10:29:
January 25, 2023 10:19 AM · Snelle update

We've rolled back a network change that we believe is causing impact. We're monitoring the service as the rollback takes effect.

This quick update is designed to give the latest information on this issue.

Ze mogen wel wat aan kwaliteitsprocessen gaan doen, vorig jaar was een te snel doorgepushte security update van Ubuntu de reden van downtime op Azure hosts en AKS/ACA.

[mathiasc]

Falcon schreef op woensdag 25 januari 2023 @ 10:36:
[...]


Ze mogen wel wat aan kwaliteitsprocessen gaan doen, vorig jaar was een te snel doorgepushte security update van Ubuntu de reden van downtime op Azure hosts en AKS/ACA.

evenals vrijdag laatstleden, defender for endpoint, alle shortcuts als virus beschouwen en verwijderen zonder de mogelijkheid om terug te zetten ... altijd leuk op een vrijdag als je 1000+ clients hebt ...

[HKLM_]

__fred__ schreef op woensdag 25 januari 2023 @ 10:18:
[...]


Dat is leuk, maar als MS dat niet zelf doet, heb je er niets aan. Wij hadden issues met de api om vm's te starten en te stoppen, terwijl we autoscale hebben op een deel van onze infrastructuur. Eveneens zone redundante storage accounts die toch klapperden. Hier staan via FSLogix vhd's voor gebruikersprofielen aan gekoppeld, en als die gaan klapperen dan hangt regelmatig de sessie en komen die profielen ook niet meer los tot een reboot van de host. En die reboot werkte weer niet, want portal / API niet beschikbaar.... Tsja...

Leuk, redundantie op papier, maar het gaat altijd wel ergens mis in de uitvoering.

Hybrid Cloud kan je nog inzetten gedeelte in Azure en een deel in AWS

[Christoxz]

We have identified a recent WAN update as the likely underlying cause, and have taken steps to roll back this update. Our latest telemetry shows signs of recovery across multiple regions and services, and we are continuing to actively monitor the situation.

This message was last updated at 09:43 UTC on 25 January 2023

With WAN networking now seeing recovery, we are working to ensure full recovery for impacted services.

The next update will be in 30 minutes or as soon as we have further information.

This message was last updated at 10:01 UTC on 25 January 2023

[ Voor 28% gewijzigd door Christoxz op 25-01-2023 11:03 ]

[LopendeVogel]

mathiasc schreef op woensdag 25 januari 2023 @ 10:20:
[...]


Heb m'n deur gesloten en een papiertje met de link naar de MS status pagina opgehangen, kan ik rustig van m'n koffie genieten terwijl de MS engineers zweten. De rollen mogen ook eens omgedraaid zijn

Ow wij hebben gewoon een bulk sms gestuurd naar alle medewerkers, geen telefoontjes niks meer gekregen sinds 8:30..

[Shadow771]

Verwijderd schreef op woensdag 25 januari 2023 @ 10:17:
Mijn gedachten zijn nu bij alle systeembeheerders/support/helpdeskers die iedereen in volle paniek aan het bureau hebben staan.

Sterkte mannen/dames

Moeten ze eerst bij mij thuis aankloppen....

[gwreijman]

Current status: We’ve identified that a wide-area
networking (WAN) routing change caused impact to the service. We’ve rolled back
the change and monitoring the service as it recovers. Some of the customers who
had previously reported impact are also reporting recovery.

De laatste update op de statuspagina van Microsoft 365.

[mohammed1]

Bij ons lijken de problemen voorbij te zijn. Ik krijg van meerdere users terugkoppeling dat ze weer zonder problemen kunnen werken.

[ginod]

Hier inmiddels ook alweer bijna een uur alles okay. Zowel MS als Citrix producten zijn weer bereikbaar.

[Cergorach]

HKLM_ schreef op woensdag 25 januari 2023 @ 10:45:
Hybrid Cloud kan je nog inzetten gedeelte in Azure en een deel in AWS

Tenzij je de heleboel dupliceert, wat enorm veel kosten/tijd/personeel zal gaan kosten (meer dan twee keer zoveel) zit je nog steeds met het issue: Waar komt de boel binnen? En hoe snel kan je dat omzetten?

De kans is immers groot dat je dan namelijk meer redundantie hebt, maar twee ipv. een point of failure. Dit is interessant ALS het een langdurige storing betreft, maar ik vermoed dat je met deze korte duur niet eens het voorelkaar krijgt om geheel over te schakelen... Tenzij je ook weer thirdparty infra gebruikt wat ook weer een point of failure is (maar als je die toch al gebruikt...).

Een goede multicloud oplossing kan essentieel zijn voor je organisatie, maar zorgt voor een veel complexere infra, met veel meer bewegende onderdelen met enorme overhead en zou daardoor ook weer meer storingen kunnen opleveren (fouten in de redundantie).

Ik ben daar heel huiverig in om zoiets te adviseren. Wat ik wel heel belangrijk vind is dat bv. backups (ook) bij andere partijen staan dan je primaire (cloud) omgeving en dat je uitwijk scenario's klaar hebt staan om vlot over te stappen naar een andere partij ingeval van 'nood'...

[Triblade_8472]

Shadow771 schreef op woensdag 25 januari 2023 @ 11:14:
[...]


Moeten ze eerst bij mij thuis aankloppen....

Be careful what you wish for

[DarkAllMan]

Hebbben ze de naam al aangepast naar MS 364?

[Unrealiac]

ginod schreef op woensdag 25 januari 2023 @ 11:27:
Hier inmiddels ook alweer bijna een uur alles okay. Zowel MS als Citrix producten zijn weer bereikbaar.

Toevallig ook dat bv Office producten in Citrix opnieuw moesten ingelogd worden met hun accounts van Microsoft ?

[ginod]

Unrealiac schreef op woensdag 25 januari 2023 @ 11:34:
[...]


Toevallig ook dat bv Office producten in Citrix opnieuw moesten ingelogd worden met hun accounts van Microsoft ?

Nee, eigenlijk kon in citrix iedereen weer gelijk werken, zonder extra in te loggen. Nu werken we ook met Cyberark 2FA / MFA technologie, misschien dat het daarom goed ging... Hoewel... dat dat vaak meer problemen geeft

[Exterazzo]

Onze database is nog steeds niet terug

We're sorry your SQL database is experiencing transient login failures. 
Currently, Azure shows the impacted time period for your SQL database resource at a two-minute granularity. 
The actual impact is likely less than a minute – average is 2s. 
If we are able to find the reason for unavailability, it will appear here within an hour after the 
downtime event. Please check back later to see if more information is provided.

Dit is 9 uur geleden begonnen en hij flippert steeds tussen "Health Event Activated" / "Health Event InProgress" en dan ""Health Event Resolved"

[ToolkiT]

Cergorach schreef op woensdag 25 januari 2023 @ 11:30:
[...]

Tenzij je de heleboel dupliceert, wat enorm veel kosten/tijd/personeel zal gaan kosten (meer dan twee keer zoveel) zit je nog steeds met het issue: Waar komt de boel binnen? En hoe snel kan je dat omzetten?

De kans is immers groot dat je dan namelijk meer redundantie hebt, maar twee ipv. een point of failure. Dit is interessant ALS het een langdurige storing betreft, maar ik vermoed dat je met deze korte duur niet eens het voorelkaar krijgt om geheel over te schakelen... Tenzij je ook weer thirdparty infra gebruikt wat ook weer een point of failure is (maar als je die toch al gebruikt...).

Een goede multicloud oplossing kan essentieel zijn voor je organisatie, maar zorgt voor een veel complexere infra, met veel meer bewegende onderdelen met enorme overhead en zou daardoor ook weer meer storingen kunnen opleveren (fouten in de redundantie).

Ik ben daar heel huiverig in om zoiets te adviseren. Wat ik wel heel belangrijk vind is dat bv. backups (ook) bij andere partijen staan dan je primaire (cloud) omgeving en dat je uitwijk scenario's klaar hebt staan om vlot over te stappen naar een andere partij ingeval van 'nood'...

redundancy en fault tolerance kost altijd geld, dus je moet altijd kijken naar de kosten van een outage vs de kosten van extra redundancy..

Voor sommige mission critical processen is een multi-cloud oplossing zeker aan te raden zodat je bij outages als deze (maar bij AWS en google hebben ze vergelijkbare issues gehad) toch nog operationeel blijft..
Maar voor de meest huis tuin en keuken oplossingen is het waarschijnlijk overkill..

Ander nadeel is dat als je multicloud gaat het lastiger word om cloud vendor specifieke features te gebruiken want die zitten niet in de andere clouds..
Vroeger zag ik dat al bij ERP systemen die DBMS onafhankelijk waren.. die konden niet gebruik maken van bepaalde oracle advanced features, omdat het dan niet meer compatible was me SQL server etc..

[Dido]

ToolkiT schreef op woensdag 25 januari 2023 @ 12:13:
zodat je bij outages als deze [...] toch not operationeel blijft..

Bij ons zit het not operationeel zijn al redundant in onze bedrijfsprocessen ingebakken, hebben we geen cloud voor noidg

[ToolkiT]

Dido schreef op woensdag 25 januari 2023 @ 12:18:
[...]

Bij ons zit het not operationeel zijn al redundant in onze bedrijfsprocessen ingebakken, hebben we geen cloud voor noidg

lol
Bedankt voor het spotten van de typo, fixed

[FastBunny]

DarkAllMan schreef op woensdag 25 januari 2023 @ 11:33:
Hebbben ze de naam al aangepast naar MS 364?

Nee, wel het logo

[Tricolores]

mathiasc schreef op woensdag 25 januari 2023 @ 10:20:
[...]


Heb m'n deur gesloten en een papiertje met de link naar de MS status pagina opgehangen, kan ik rustig van m'n koffie genieten terwijl de MS engineers zweten. De rollen mogen ook eens omgedraaid zijn

Haha, zelfde hier. Briefje aan de deur en eventjes niets doen wegens technisch 90% werkloos.

[Exterazzo]

Mimiix schreef op woensdag 25 januari 2023 @ 10:06:
[...]


Dan zal het komen door die storage outage. Je ziet vaak dat als Storage eruit klapt, de rest rare dingen gaat doen.

Krijg nu inderdaad deze feedback:

Sorry for the inconvenience , there is a wide spread outage across West Europe due to suspecting storage issue , would like to let you know that we are doing everything possible to get this mitigated . Working on a public link to get this notified for everyone impacted

Het is dus nog steeds niet 100% opgelost

[Mimiix]

Exterazzo schreef op woensdag 25 januari 2023 @ 14:33:
[...]

Krijg nu inderdaad deze feedback:

[...]

Het is dus nog steeds niet 100% opgelost

Is storage nog plat? Of is dat weer terug?

[Exterazzo]

Mimiix schreef op woensdag 25 januari 2023 @ 14:36:
[...]


Is storage nog plat? Of is dat weer terug?

Wij kunnen nog nergens bij. Vraag me ook af of de issues gerelateerd zijn of niet? Want nu spreken ze alleen over West Europe.

Current Status: An unexpected issue occurred during a power maintenance activity that impacted a storage scale unit that Azure SQL DB depends on. We have identified a mitigation path and are actively working to resolve the issue

[ Voor 30% gewijzigd door Exterazzo op 25-01-2023 14:55 ]

[Beunhaas91]

Ik probeer een nieuwe tenant in te richten en een domein te koppelen, helaas krijg ik allerlei gekke meldingen over dat DKIM niet bijgewerkt is. De problemen lijken dus nog steeds niet opgelost te zijn, erg slordig!

[Mimiix]

Exterazzo schreef op woensdag 25 januari 2023 @ 14:54:
[...]

Wij kunnen nog nergens bij. Vraag me ook af of de issues gerelateerd zijn of niet? Want nu spreken ze alleen over West Europe.

[...]

Het enige wat ik merk is dat schijven in VM's heel heel traag zijn.

[Exterazzo]

Mimiix schreef op woensdag 25 januari 2023 @ 15:17:
[...]


Het enige wat ik merk is dat schijven in VM's heel heel traag zijn.

We zijn zojuist weer back-in-business

[rijssel]

Ik heb gisteren e.e.a. voor 't eerst aangeschaft en vrij onervaren aan de gang met de beheerportal.

Ondanks dat via

https://status.office.com/

alle storingen zijn opgelost kan ik nog steeds niet in de beheer portal:

https://admin.microsoft.com/Adminportal/Home#

Anderen daar ook nog last van?

Probleem is dat via deze portal ook de support verloopt... zit ik in een deadlock of moet ik nog geduld hebben?

[_Dune_]

rijssel schreef op woensdag 25 januari 2023 @ 16:38:
Ik heb gisteren e.e.a. voor 't eerst aangeschaft en vrij onervaren aan de gang met de beheerportal.

Ondanks dat via

https://status.office.com/

alle storingen zijn opgelost kan ik nog steeds niet in de beheer portal:

https://admin.microsoft.com/Adminportal/Home#

Anderen daar ook nog last van?

Probleem is dat via deze portal ook de support verloopt... zit ik in een deadlock of moet ik nog geduld hebben?

De vraag is welke (fout)melding krijg je, maar ik verwacht dat je nog even geduld zal moeten hebben.

[Triblade_8472]

rijssel schreef op woensdag 25 januari 2023 @ 16:38:
alle storingen zijn opgelost kan ik nog steeds niet in de beheer portal:

https://admin.microsoft.com/Adminportal/Home#

Dan zal je toch met iets meer moeten komen dan 'hij doet ut niet'.

Melding? Foutcode?

Have you tried turning it off and on again?

[Beunhaas91]

Beunhaas91 schreef op woensdag 25 januari 2023 @ 14:56:
Ik probeer een nieuwe tenant in te richten en een domein te koppelen, helaas krijg ik allerlei gekke meldingen over dat DKIM niet bijgewerkt is. De problemen lijken dus nog steeds niet opgelost te zijn, erg slordig!

Halverwege de avond was het probleem opgelost!

[HKLM_]

Beunhaas91 schreef op woensdag 25 januari 2023 @ 23:14:
[...]

Halverwege de avond was het probleem opgelost!

Ze hebben met exchange online nog wat langer issues gehouden dan de rest van de diensten.

[Woohooo]

Weet iemand of de storing (en beschikbaarheid van alle nevenproducten) nog binnen de gestelde SLA termijn valt?

[Question Mark]

Woohooo schreef op donderdag 26 januari 2023 @ 13:40:
Weet iemand of de storing (en beschikbaarheid van alle nevenproducten) nog binnen de gestelde SLA termijn valt?

Ik zou zeggen: controleer de SLA afspraken, en leg deze naast de tijd en mate dat jij een verstoring ervaren hebt. Dan weet je het antwoord.

https://www.microsoft.com...s-SLA-for-Online-Services

[Maasluip]

Oorzaak:

We determined that a change made to the Microsoft Wide Area Network (WAN) impacted connectivity between clients on the internet to Azure, connectivity across regions, as well as cross-premises connectivity via ExpressRoute. As part of a planned change to update the IP address on a WAN router, a command given to the router caused it to send messages to all other routers in the WAN, which resulted in all of them recomputing their adjacency and forwarding tables. During this re-computation process, the routers were unable to correctly forward packets traversing them. The command that caused the issue has different behaviors on different network devices, and the command had not been vetted using our full qualification process on the router on which it was executed.

[tweazer]

In Kloten zijn nog wat azure banen. Wellicht om het wel/niet naar de Kloten te helpen