Waterschade Datacenter Straatsburg

[Soulmaster]

Ik, maar ook zeker 2 mede-tweakers waaronder een modje van /5 hebben een server bij Server 4 You en ik moet zeggen dat het mij meer dan prima bevalt , tot gistermiddag 12 uur toen ineens alles onbereikbaar bleek te zijn..

Er zij een complete fall out van de stroomtoevoer zijn in het datacenter waardoor vele tienduizenden websites plat liggen.. Nu bijna 24 uur later nog steeds offline omdat volgens het datacenter er waterschade is.

Je vraagt je toch echt af of het herstellen 24 uur of misschien wel langer nodig heeft.

Laatste update van de storingspagina was gisteravond.. En iedereen zit nog met vraagtekens wanneer de boel weer online komt.

https://status.plusserver.com/incidents/s6lzkwsc3tbj

[XelaRetak]

Check je contract voor SLA/uptime en je weet wat je kan, of zou moeten, verwachten.

Waterschade aan een UPS en "datacenter onder water" is nogal een verschil trouwens. Clickbait title?

[Ruben279]

UPS problemen blijkbaar...

Our data center operator of the data center in Strasbourg confirmed that there are currently problems in the battery room. For safety reasons, the power has been switched off in parts of the data center.

Our employees are of course already on site to ensure that the systems are restarted as soon as access to the data center and power are available again.

More precise information cannot be reliably provided at this time. We are deliberately refraining from speculation.

As soon as we receive new information from the data center operator, we will publish this information again on the status page.

[Soulmaster]

Ruben279 schreef op vrijdag 22 maart 2024 @ 08:19:
UPS problemen blijkbaar...


[...]

Maar dat hoef toch geen (bijna) 24 uur te duren?

[ralpje]

Zonder de situatie te kennen valt daar helemaal niets over te zeggen.
Wat zegt de SLA van je overeenkomst?

[Soulmaster]

ralpje schreef op vrijdag 22 maart 2024 @ 08:27:
Zonder de situatie te kennen valt daar helemaal niets over te zeggen.
Wat zegt de SLA van je overeenkomst?

Kan ik nu niet bij om die in te zien, maar dit gaat buiten het bedrijf waar mijn server hangt om, dus gooien het gewoon op overmacht straks.

[samo]

Soulmaster schreef op vrijdag 22 maart 2024 @ 08:25:
[...]


Maar dat hoef toch geen (bijna) 24 uur te duren?

Om veilig te kunnen werken kan het zijn dat de stroomtoevoer moet worden afgesloten. En voordat het hersteld kan worden, moet er veilig gewerkt kunnen worden.

[Soulmaster]

samo schreef op vrijdag 22 maart 2024 @ 08:31:
[...]

Om veilig te kunnen werken kan het zijn dat de stroomtoevoer moet worden afgesloten. En voordat het hersteld kan worden, moet er veilig gewerkt kunnen worden.

Dat snap ik helemaal, maar punt blijft dat de storing even voor 12 uur gistermiddag begon en tot op heden nog steeds alles plat ligt. Ik persoonlijk vind dit heel lang duren. Nu maakt het voor mij niet zo veel uit, mijn website kan wel dagje offline maar er zijn ook veel bedrijven die hun website dag en nacht nodig hebben.

[Ernemmer]

Ga er maar vanuit dat ze echt wel hun best doen om een datacenter weer van stroom te voorzien. Het duurt gewoon zo lang als dat het gaat duren.

[Question Mark]

Vervelend dat het gebeurd, maar wat is nu concreet je vraag eigenlijk? Als je wilt weten wat je (theoretisch) zou kunnen verwachten zou je zoals al aangegeven je SLA erop na moeten slaan.

Daarnaast, de kans op een dergelijke verstoring in een datacenter is minimaal, maar nooit 0. Dat er kans op uitval is weet je. Een systeem met een gewenste hoge beschikbaarheid zal dan ook altijd redundant over meerdere datacenters verspreid moeten worden. Dat geldt zeker voor de bedrijven die daar hun (kritische) systemen hebben draaien.

[rens-br]

]@Soulmaster ik heb je titel even aangepast, 'onder water' was wel heel erg sensationeel namelijk.

[ Voor 4% gewijzigd door rens-br op 22-03-2024 08:38 ]

[Soulmaster]

rens-br schreef op vrijdag 22 maart 2024 @ 08:37:
@Soulmaster ik heb je titel even aangepast, 'onder water' was wel heel erg sensationeel namelijk.

Meer dan prima

[Soulmaster]

Question Mark schreef op vrijdag 22 maart 2024 @ 08:35:
Vervelend dat het gebeurd, maar wat is nu concreet je vraag eigenlijk? Als je wilt weten wat je (theoretisch) zou kunnen verwachten zou je zoals al aangegeven je SLA erop na moeten slaan.

Daarnaast, de kans op een dergelijke verstoring in een datacenter is minimaal, maar nooit 0. Dat er kans op uitval is weet je. Een systeem met een gewenste hoge beschikbaarheid zal dan ook altijd redudant over meerdere datacenters verspreid moeten worden. Dat geldt zeker voor de bedrijven die daar hun (kritische) systemen hebben draaien.

Het gaat mij er vooral om dat wij vrijwel verstookt blijven van updates over de voortgang,mail ons/ sms ons..Ik weet van 1 bedrijf die daar een druk bezochte webshop heeft draaien, bij andere bedrijf, en dat het bedrijf al sinds gistermiddag 12 uur plat ligt.

Krijg nu net te horen dat het dus waterschade is maar dat wisten wij al.. Liever iets van wij hopen rond die tijd alles weer operationeel te hebben.

[ChaserBoZ_]

Soulmaster schreef op vrijdag 22 maart 2024 @ 08:40:
[...]


Het gaat mij er vooral om dat wij vrijwel verstookt blijven van updates over de voortgang,mail ons/ sms ons..Ik weet van 1 bedrijf die daar een druk bezochte webshop heeft draaien, bij andere bedrijf, en dat het bedrijf al sinds gistermiddag 12 uur plat ligt.

Krijg nu net te horen dat het dus waterschade is maar dat wisten wij al.. Liever iets van wij hopen rond die tijd alles weer operationeel te hebben.

Dit zijn uitzonderlijke situaties. De medewerkers zullen een afweging moeten maken tussen steeds hetzelfde doorgeven, of alleen als er iets nieuws te melden is.

Dat bedrijf met die druk bezochte webshop heeft vast een risico-inventarisatie gedaan, gekeken wat een uitwijkmogelijkheid kost, en een passend besluit genomen.

If 100% afhankelijk van alles continue online; then is een uitwijk / cloudoplossing over meerdere datacentra en zelfs regio's gewoon mogelijk. Voor een prijs.

Vaak zie je dat na een situatie als deze, het bedrijf in kwestie wél budget heeft voor een meer redundante oplossing . . .

[Ernemmer]

Soulmaster schreef op vrijdag 22 maart 2024 @ 08:40:
Liever iets van wij hopen rond die tijd alles weer operationeel te hebben.

En dat gaan ze natuurlijk nooit doen, want als het dan niet lukt krijgen ze weer een boel vragen en gezeur.

[Qwerty-273]

Laatste update is nu van Mar 22, 2024 - 07:47 CET .

Mensen werken ook niet 24/7 en zeker als afhankelijk bent van externe partijen (de beheerder van het daadwerkelijke datacenter, de leverancier van de UPS onderdelen / batterijen, de beheerder van het lokale stukje elektriciteitsnet, eventueel een partij die water moet wegpompen, of een partij die de oorzaak van de waterschade eerste moet repareren voordat je weer kan werken aan het herstellen van de elektriciteitstoevoer) dan kan er ook gekozen worden om bijvoorbeeld te wachten tot de morgen om verder te gaan met daglicht ipv aan te modderen in het donker.

Het laat natuurlijk wel zien dat blijkbaar de fysieke scheiding van stroom toevoer cq de locatie van het datacentrum zelf niet optimaal is geweest (en dat hangt ook weer samen met kosten etc)

[Qwerty-273]

Op https://www.server4you.net/data-centre geven ze onder andere aan:

Electrical supply: Transformers, low-voltage mains distribution, UPS components and generators each with n+1 or 2n+1 redundancies

Als die n+1 of 2n+1 naast elkaar staan in dezelfde of aanliggende ruimte, dan kan je inderdaad te maken krijgen met een dubbele uitval door bijvoorbeeld water dat in één of beide ruimtes komt.

[ChaserBoZ_]

Qwerty-273 schreef op vrijdag 22 maart 2024 @ 09:33:
Op https://www.server4you.net/data-centre geven ze onder andere aan:

[...]

Als die n+1 of 2n+1 naast elkaar staan in dezelfde of aanliggende ruimte, dan kan je inderdaad te maken krijgen met een dubbele uitval door bijvoorbeeld water dat in één of beide ruimtes komt.

Mooi beschreven, zo weet je nog niet wat je kunt verwachten 'n+1 or 2n+1'.

Maar inderdaad, al heb je een tier4 datacenter, dan moet alles ook nog ver genoeg uit elkaar worden geplaatst om grotere calamiteiten het hoofd te kunnen bieden.

En dan nog kan er iets neerstorten of met bijvoorbeeld natuurgeweld zó heftig zijn dat alsnog alle inspanningen niet tot 100% uptime leiden.

De datacenter wereld is uitdagend

[DjoeC]

@Soulmaster Wat zegt jouw SLA? Ik neem aan dat die niet op je server daar staat? En als het serieus belangrijk is dat je geen weekend zonder kunt, heb jezelf een backup/uitwijk locatie geregeld?

Soms gaan dingen fout. Waterschade is misschien voorzienbaar maar niet in alle gevallen ( https://nipv.nl/nieuws/bl...d-duitsland-in-juli-2021/ ). Ik werk bij een organisatie waar 7x24 "heilig" is en toch... Als je _zelf_ geen extra voorzieningen getroffen hebt moet je erop vertrouwen dat het DC haar uiterste best doet, die zitten niet te wachten op verlies van klanten, en ook hier: Bij een SLA met hoge beschikbaarheid zullen zij die klanten vast verplaatst hebben naar een niet getroffen zaal.

[FrankHe]

Een SLA kent altijd een clausule overmacht, in Angelsaksische landen heet dat "An act of God". Het Franse recht kent vast ook een dergelijke definitie.

SLA's zijn leuk maar wanneer je systemen echt heel belangrijk zijn dan moet je zelf je eigen uitwijk / fallback regelen en het liefst bij verschillende datacenters van verschillende aanbieders met andere peering partners. Als je onderneming ècht niet zonder kan dan is het een kostenafweging, investeren in goede uitwijk kost een hoop geld maar is een verzekering dat je niet zonder zit.

[Soulmaster]

Ze zijn zojuist begonnen met de servers weer op te starten, die van mij werkt weer ..

[Raoul.TLS]

Top uitwijk hebben ze niet (maw server in een ander data center up brengen)

[Soulmaster]

Krijg zojuis te horen dat ze alle servers naar hun eigen datacenter in Keulen gaan verhuizen, weg bij GoDaddy.

We received the following information about the current status of the data center in Strasbourg from our data center provider:

"On the morning of March 21, one of GoDaddy's datacenters experienced a small fire in a battery-backup room. The fire was quickly contained, everyone is safe and damage is limited. To keep everyone safe and avoid additional damage, power was cut to a portion of servers, including plusserver. The GoDaddy team is working to get services restored as quickly as possible within the limits of local authorities."

For this reason, and in order to be able to go live again as quickly as possible and regardless of status feedback from the data center operator, we at plusserver have decided to move all servers to our own data center in Cologne.

We are continuously planning the reconstruction and commissioning with our teams in 24/7 mode in Cologne.

The availability of individual systems is currently unpredictable.

Affected customers will be actively informed by us after the commissioning of their systems.

[Qwerty-273]

Wel apart dat de status pagina geen enkel woord meer rept over waterschade aan batterijen van UPS. En nu alleen maar brand bij de stroomvoorziening van een collega dc in het zelfde gebouw meldt. Ik snap alleen nog niet hoe de scheiding precies zit, wat verstaan ze onder data center vs puur een zaal afhuren van het volledige gebouw?

Eventuele waterschade is dus vanwege een blusinstallatie cq blusactie door de brandweer?

[ Voor 12% gewijzigd door Qwerty-273 op 22-03-2024 16:09 ]

[ep667]

Soulmaster schreef op vrijdag 22 maart 2024 @ 15:48:
Krijg zojuis te horen dat ze alle servers naar hun eigen datacenter in Keulen gaan verhuizen, weg bij GoDaddy.

Plusserver en Server4You zijn al een tijdje onderdeel van GoDaddy. Dus dit klinkt mij wat raar in de oren. Dat datacenter in Keulen is ultimately ook van GoDaddy.

[Soulmaster]

ep667 schreef op vrijdag 22 maart 2024 @ 20:46:
[...]


Plusserver en Server4You zijn al een tijdje onderdeel van GoDaddy. Dus dit klinkt mij wat raar in de oren. Dat datacenter in Keulen is ultimately ook van GoDaddy.

Lees

https://aboutus.godaddy.n...d-Server4You/default.aspx

[Enforcer]

Soulmaster schreef op vrijdag 22 maart 2024 @ 08:33:
Dat snap ik helemaal, maar punt blijft dat de storing even voor 12 uur gistermiddag begon en tot op heden nog steeds alles plat ligt. Ik persoonlijk vind dit heel lang duren. Nu maakt het voor mij niet zo veel uit, mijn website kan wel dagje offline maar er zijn ook veel bedrijven die hun website dag en nacht nodig hebben.

Wat jij of iemand anders persoonlijk vindt doet totaal niet ter zake voor zo'n bedrijf.

Ga er maar vanuit dat als er een serieus incident is dat men er alles aan doet om alles weer operationeel te krijgen. Een datacenter kan ondanks alles ook gewoon om bepaalde redenen plat gaan, als er een vliegtuig precies op die locatie neerstort of een ander natuurgeweld plaatsvindt zoals al eerder vermeldt dan mag je vinden dat alles lang duurt maar die gasten zullen ook met hun handen in het haar zitten en allerlei acties opstarten die nu eenmaal tijd kosten.

Wees blij dat ze niet gelijk overal de stekker eruit trekken en faillissement aanvragen omdat er geen geld/middelen zijn om alles weer op te tuigen.

Kortom, probeer eens alles in een ander perspectief te zetten dan meteen te gaan roepen "het duurt te lang voordat we iets horen". Je hoort nooit overal alle ins-/ en outs van een calamiteit bij een organisatie, communicatie hoort kort en bondig te zijn, als er geen nieuws is dan hoeven ze dat ook niet te communiceren, die gasten hebben meer dingen te doen dan om het halfuur te roepen "server1 is aan het opstarten", "server2 is aan het opstarten", "etc...etc..."

[Question Mark]

Raoul.TLS schreef op vrijdag 22 maart 2024 @ 13:12:
Top uitwijk hebben ze niet (maw server in een ander data center up brengen)

En dat hoeft natuurlijk niet slecht te zijn. Een beetje applicatie regelt zijn beschikbaarheid op applicatieniveau, en niet meer op server(systeem)niveau. Als je anno nu nog afhankelijk bent van één enkel serversysteem en geen uitwijk in de vorm van meerdere containers of of standy-systemen (hot/cold/spare) regelt, dan kun je downtime verwachten.

En uiteindelijk hangt aan alles een prijskaartje. Er zijn genoeg applicaties waarbij een uitval niet wereldschokkend is, en er best eens een paar dagen uit mogen liggen. Ook hier is een markt voor.

[jurroen]

Dit lijkt sinds zes uur geleden helemaal opgelost te zijn:

Status: Resolved

The relocation of the IT systems from the Strasbourg data center to the plusserver data center in Cologne and the commissioning of the relocated IT systems has been officially completed. All affected customers have been informed via our customer portal.
If you receive error messages, please open the relevant tickets via the customer portal so that we can provide you with targeted support.

[Soulmaster]

jurroen schreef op dinsdag 26 maart 2024 @ 21:07:
Dit lijkt sinds zes uur geleden helemaal opgelost te zijn:


[...]

Alleen Plusserver is verhuisd, server4you zit nog steeds in het datacenter van GoDaddy

[jurroen]

Soulmaster schreef op woensdag 27 maart 2024 @ 20:23:
[...]

Alleen Plusserver is verhuisd, server4you zit nog steeds in het datacenter van GoDaddy

En die zijn daarmee nog steeds down?

[Soulmaster]

jurroen schreef op woensdag 27 maart 2024 @ 21:23:
[...]


En die zijn daarmee nog steeds down?

S4y draait weer als de spreekwoordelijke tiet. Dik tevreden weer, mooie compensatie gekregen voor de 22 uur offline tijd