Downtime wegens problemen Atlas

[curry684]

Zoals op de Frontpage bij de .plan voor Server & netwerk statusmeldingen te lezen valt:

03-01-04 De fileserver (Atlas) had het vannacht begeven en heeft helaas een van zijn schijven verloren. Gelukkig werden er twee helden bereid gevonden om naar Amsterdam te fietsen en aldaar het powerknopje enige malen hardhandig te hanteren. Ook vanavond was het weer zover, de fileserver had er wederom geen zin in. Gelukkig werd er ook deze keer iemand van trueserver bereid gevonden om even bij telecity de boel in orde te maken.

Sindsdien heeft Atlas nog continu kuren, wat nog meermalen tot downtimes van forum en/of search heeft geleid, afhankelijk van de problemen. De bak is meermalen gereboot, en heeft ook diverse kuren vertoond bij het succesvol opbrengen van services/daemons na die reboots.

Downtime van Atlas kan directe gevolgen hebben voor de volgende diensten:
• frontpage images
• forum usericons
• private filestorage
• fotoalbums
• banners
• forum zoekmachine
Helaas kan door timeouts vanaf andere machines die Atlas proberen te benaderen tevens problemen ontstaan met de responsiveness van die andere machines, hetgeen tot algemene downtime kan leiden.

De huidige uptime van Atlas en andere servers kun je ten allen tijde hier bekijken. Mocht er een probleem zijn kun je er vanuit gaan dat Kees, ACM en AntonT er direct aan bezig zijn, als ze dat nog niet waren, dus bedwing aub. je neiging om direct naar Lieve Adjes te rennen en een topic te openen! We hebben allemaal echt liever dat de serveradmins er eerst voor zorgen dat de servers weer stabiel draaien voordat ze een hoop tekst en uitleg gaan verschaffen.

Mocht je echt in paniek zijn als het niet werkt, lees dan even deze post van Wilke door en tel mee tot tien

Wilke schreef op 03 januari 2004 @ 22:12:
Geen paniek!

Tien dingen die je kunt doen als GoT langer dan 10 seconden down is:

1. Continu naar de Telecity webcam kijken om te zien hoe er niets bijzonders gebeurt
2. Slashdot.org/nu.nl/onzin.nl/etc. lezen
3. Een webgame spelen
4. Online gamen (Battlefields, CS, you name it)
5. Je harddisk eindelijk weer eens opruimen
6. Een film kijken op je computer

Pas op, vanaf hier worden de opties eng, want je moet er voor weg achter je PC:

7. TV kijken
8. Een boek lezen
9. Naar buiten gaan
10. Iets nuttigs gaan doen met je leven

Het is echt waar, er is ook leven zonder GoT!

Indien de search down is kun je ook met Google nog door GoT searchen, met dank aan euss voor dit scriptje:



Tot slot kun je een reply verwachten op deze MED als alles weer structureel stabiel is. Tot die tijd: onze excuses, er wordt zo hard mogelijk aan gewerkt

[ Voor 3% gewijzigd door curry684 op 04-01-2004 12:31 ]

[ACM]

't Is nog totaal niet zeker of het nu wel stabiel is, maar iets compleet anders:

Helaas hebben de capriolen van Atlas ervoor gezorgd dat er een klein foutje in de GoT-zoekdatabase zit. In principe kan ie nog wel door gebruikt worden, maar het is net als autorijden met een lekke band, je moet het eigenlijk zo snel mogelijk vervangen en eigenlijk kan je er niet zo snel mee als je zou willen

Maar omdat Atlas nog niet echt bewezen heeft dat ie weer lekker stabiel is heb ik de searchindexer voorlopig even compleet uitgezet en zodra Atlas weer goed zijn best doet wordt er dus eerst nog een complete 'reindex' gedaan, waardoor het nog wel even zal duren voor je de topics vanaf vandaag terug zult kunnen vinden (ik hoop dat het over een week weer helemaal up-to-date is, maar dat hangt vooral van Atlas' stabiliteit af)

[Roelant]

Zoals te lezen is op de frontpage:

05-01-04 Later in de middag zal Kees de in gebruik genomen hotspare voor Atlas definitief in de RAID-Array opnemen en een nieuwe hotspare plaatsen. Daarnaast krijgt Atlas een algehele checkup, in een poging uit te vinden wat de instabiliteit van gisteren veroorzaakt heeft. Een aantal reboots en downtime is hierbij helaas onvermijdelijk, maar zal uiteraard tot een minimum worden beperkt.

[Roelant]

Op dit moment wordt het een en ander opnieuw opgebouwd, in ongeveer 10 minuten tijd is zo'n 8% herbouwd. Een eenvoudig rekensommetje leert dat we dus de komende ~ 2 uur zonder onderstaande zullen moeten doorbrengen.

• frontpage images
• forum usericons
• private filestorage
• t.net crewspace
• fotoalbums
• banners
• forum zoekmachine

[Roelant]

Uit het .plan:

Update 21:30: En klaar is Kees. Atlas lijkt voorzien van een nieuwe schijf al zijn taken weer naar behoren uit te voeren en is sneller dan daarvoor. Het is even afwachten of de stabiliteit weer als vanouds is. Tevens heeft Kees tijdens het rebuilden van de RAID-Array van Atlas tijd gevonden om Aphrodite te vervangen met de nieuwe Dual Opteron 240 configuratie, zoals onder andere in het fotoverslag al werd aangekondigd.

[ACM]

't Lijkt erop dat enkel het toevoegen van die harde schijf de boel weer stabiel gemaakt heeft.

Momenteel draait de searchindexer daarom dan ook weer, met als gevolg dat het zoeken op het forum wel wat slomer zal zijn de komende dagen.

[ACM]

Na 1 dag en 16 uur ratelen is de boel nu weer geindexeerd (tot eergisteren ergens), vanaf aankomende nacht zal de boel weer elke dag bijgewerkt worden

[ Voor 4% gewijzigd door ACM op 11-01-2004 11:52 ]