Steuntje in de rug

[RedRose]

Ok, je hebt overal aan gedacht en dan doet zich een situatie voor dat het toch niet gaat en er dingen misgaan, zoals forumposts kwijtraken en MySQL (niet de enige DB-software dat soms onvoorspelbare dingen doet) dat vage dingen staat te doen. Daar doe je niks aan en iedereen weet volgens mij wel dat jullie er alles aan doen om zo veel mogelijk data terug te krijgen.

Wat me verbaasde is dat er nog geen steun-de-admin-topic is. Wellicht komt dat omdat er relatief weinig data verloren is gegaan, maar van de andere kant: er is een hoop tijd en slaapgebrek voor nodig om alles weer te laten draaien, dus vind ik wel dat jullie een steuntje in de rug kunnen gebruiken. Dus, bij deze een steuntje in de rug.

[We Are Borg]

Denk dat je beter koffie kunt schenken op dit moment

Maar idd hulde voor de mensen die tot in de avond aan het werk zijn

[Reinier]

Hier nog een steuntje

[djluc]

Waarschijnlijk omdat het forum in tijden van storing meestal down is en er dus alleen plaats is voor een bedanktopique achteraf

[RedRose]

We Are Borg schreef op zaterdag 25 november 2006 @ 03:18:
Denk dat je beter koffie kunt schenken op dit moment

Mwah, nog geen druppel gedronken vandaag . Ik kreeg meer de indruk dat iedereen het wel best vond dat er posts verloren gingen terwijl er volgens mij een aantal mensen heel hard aan het werk is geweest. Dat vind ik dan wel weer een topic waard om dat onder de aandacht te brengen.

[ThunderNet]

djluc schreef op zaterdag 25 november 2006 @ 03:22:
Waarschijnlijk omdat het forum in tijden van storing meestal down is en er dus alleen plaats is voor een bedanktopique achteraf

tijd voor een storingsforum dus!

jongens, goed bezig hoor!

[CodeCaster]

Steun voor iets wat mis is gegaan?

Sorry, en nofi, maar voor een bedrijf, wat tweakers.net al even is, zijn dergelijke fouten gewoon onacceptabel.

Ik wil niet ranten of een discussie aanwakkeren, maar okee, MySQL kan ermee kappen, tragisch. Maar dan moet je als serverbeheerder wel direct een backup kunnen terugzetten, en binnen een uur weer operationeel zijn.

Zo nee... Jouw probleem... Je krijgt ervoor betaald om complicaties op te sporen en te voorkomen.

[ Voor 8% gewijzigd door CodeCaster op 25-11-2006 03:28 ]

[CyBeR]

We Are Borg schreef op zaterdag 25 november 2006 @ 03:18:
Maar idd hulde voor de mensen die tot in de avond aan het werk zijn

Hoezo hulde? Ze hebben 't toch zelf gesloopt?

* CyBeR aait kees en moto

[RedRose]

CodeCaster schreef op zaterdag 25 november 2006 @ 03:26:
Steun voor iets wat mis is gegaan?

Sorry, en nofi, maar voor een bedrijf, wat tweakers.net al even is, zijn dergelijke fouten gewoon onacceptabel.

Ik wil niet ranten of een discussie aanwakkeren, maar okee, MySQL kan ermee kappen, tragisch. Maar dan moet je als serverbeheerder wel direct een backup kunnen terugzetten, en binnen een uur weer operationeel zijn.

Zo nee... Jouw probleem...

'Direct' een backup terugzetten van deze hoeveelheid data lukt nooit in een uur. Zeker niet als je bijna 24/7 mensen op je site / forum / applicatie hebt die ten allen tijde willen kunnen lezen en posten. Volgens mij loop je gewoon tegen huidige hardwaregrenzen aan, waardoor backups terugzetten, dan wel replicatieservers inzetten sowieso een hoop tijd kost, ongeacht de handelingssnelheid of het hebben van 'fallback-systemen'.

[We Are Borg]

CodeCaster schreef op zaterdag 25 november 2006 @ 03:26:
Steun voor iets wat mis is gegaan?

Sorry, en nofi, maar voor een bedrijf, wat tweakers.net al even is, zijn dergelijke fouten gewoon onacceptabel.

Mensen die in een bedrijf werken zijn ook mensen. En als mensen door werken door een hardware probleem (wat daarna een software probleem werd dacht ik te begrijpen uit MED) tot in de late uurtjes, is dat bewonderingswaardig. Ook de manager van het bedrijf, wat tweakers idd is, zal dat complimentje geven, waarom wij dan niet?

Ik wil niet ranten of een discussie aanwakkeren, maar okee, MySQL kan ermee kappen, tragisch. Maar dan moet je als serverbeheerder wel direct een backup kunnen terugzetten, en binnen een uur weer operationeel zijn.

Backup was er, maar iets terug met de DB size van GoT is niet simpel. Zeker niet als MySQL moeilijk gaat doen

Zo nee... Jouw probleem... Je krijgt ervoor betaald om complicaties op te sporen en te voorkomen.

Iets meer respect voor het werk van iemand mag wel, al ben je het misschien niet eens met de snelheid/kwaliteit

[ Voor 5% gewijzigd door We Are Borg op 25-11-2006 03:36 ]

[Kees]

CodeCaster schreef op zaterdag 25 november 2006 @ 03:26:
Ik wil niet ranten of een discussie aanwakkeren, maar okee, MySQL kan ermee kappen, tragisch. Maar dan moet je als serverbeheerder wel direct een backup kunnen terugzetten, en binnen een uur weer operationeel zijn.

Als ik meteen een backup terugzet dan weet ik dat er van 04:00 tot [insert time] posts verloren ga, ik doe liever mijn best voor die (in dit geval 2700) posts om die terug te krijgen, dat daarbij nog weer stomme bugs optreden kan ik weinig aan doen, als die er niet waren geweest waren we om 19:00 weer online geweest, een dowtime van ~4 uur (fyi, een backup inladen duurt minimaal 1-1.5 uur, en dat is zonder te kijken waarom het stuk ging, of je het nog kan redden, of er nog mogelijkheden zijn om de db te restoren etc)

Zo nee... Jouw probleem... Je krijgt ervoor betaald om complicaties op te sporen en te voorkomen.

Dat klopt, maar als voorkomen niet geholpen heeft is het beter goed te genezen dan een enorm litteken achter te laten.

Andere posters in dit topic, bedankt, en nu ga ik even wat nachtrust pakken

[aReaRe]

Kees en moto-moi zijn helden

[Brantje]

Yea kees, nice gefixt.
Moto-moi jij ook

[Stampertje]

Fouten worden in iedere organisatie gemaakt, dus ook bij Tweakers. Dus gaat het erom hier met die fouten omgegaan wordt. En dan vindt ik de manier die Kees hierboven uitlegt helemaal OK

Dus Admins: WAKKER WORDEN dan kunnen jullie de verdere bedankjes lezen

[iNSANiTi]

dan spreek ik ook mijn waardering uit :

Bedankt Kees

* Insaniti moet ook maar eens gaan slapen

[ Voor 26% gewijzigd door iNSANiTi op 25-11-2006 09:10 ]

[whoami]

CodeCaster schreef op zaterdag 25 november 2006 @ 03:26:
Steun voor iets wat mis is gegaan?

Sorry, en nofi, maar voor een bedrijf, wat tweakers.net al even is, zijn dergelijke fouten gewoon onacceptabel.

Ik wil niet ranten of een discussie aanwakkeren, maar okee, MySQL kan ermee kappen, tragisch. Maar dan moet je als serverbeheerder wel direct een backup kunnen terugzetten, en binnen een uur weer operationeel zijn.

Zo nee... Jouw probleem... Je krijgt ervoor betaald om complicaties op te sporen en te voorkomen.

Dingen kunnen misgaan, dingen kunnen kapot gaan en mensen moeten het oplossen.
En tja, dat kan gebeuren dat het niet altijd direct lukt. Is dat erg ? In sommige gevallen wel.
In dit geval heb je gewoon een paar uurtjes niet kunnen GoT'ten, en zo erg is dat nu ook niet.

[CodeCaster]

Mijn post was dan ook een verkapte "Verdorie, ik kon niet GoTten!11! "

Bedankt voor de uitleg, en keep up the good work!

[Rukapul]

CodeCaster schreef op zaterdag 25 november 2006 @ 03:26:
Ik wil niet ranten of een discussie aanwakkeren, maar okee, MySQL kan ermee kappen, tragisch. Maar dan moet je als serverbeheerder wel direct een backup kunnen terugzetten, en binnen een uur weer operationeel zijn.

Als t.net alleen gedreven was door direct te verdienen of te besparen geld en zich niet interesseerde voor de community dan had je wellicht gelijk. Het verleden heeft echter geleerd dat de GoT community het erg jammer vindt dat een deel van het collectief geheugen verloren gaat. Direct de backup terug zetten was de makkelijkste en goedkoopste oplossing, maar in plaats daarvan heeft Kees zich uren ingespannen om 2700 posts te redden voor de community. Kortom het is een keuze: forum compleetheid of snel weer online. Snel online komen klinkt leuk, maar houdt ook in dat de discussies waar je middenin zat ineens een gat vertonen

[ Voor 6% gewijzigd door Rukapul op 25-11-2006 10:02 ]

[TERW_DAN]

Uiteraard hulde voor het weer fixen van mijn geliefde forumpje
En voor het eerlijk zeggen waar de problemen liggen, ipv het af te schuiven op een Ddos attack die anderhalve dag duurt (zoals een niet nader te noemen ander forum blijft bewerken )

[F_J_K]

Kees schreef op zaterdag 25 november 2006 @ 03:48:
Als ik meteen een backup terugzet dan weet ik dat er van 04:00 tot [insert time] posts verloren ga, ik doe liever mijn best voor die (in dit geval 2700) posts om die terug te krijgen

[Delerium]

't is misschien slechts een zin in een topic, maar ik hoop dat Kees er serieus van doordrongen raakt:
"Kees = held".

[TERW_DAN]

ecteinascidin schreef op zaterdag 25 november 2006 @ 10:36:
't is misschien slechts een zin in een topic, maar ik hoop dat Kees er serieus van doordrongen raakt:
"Kees = held".

Dan altijd nog wel heldt met dt

[Pastinakel]

CodeCaster schreef op zaterdag 25 november 2006 @ 03:26:
Steun voor iets wat mis is gegaan?

Sorry, en nofi, maar voor een bedrijf, wat tweakers.net al even is, zijn dergelijke fouten gewoon onacceptabel.

Ik wil niet ranten of een discussie aanwakkeren, maar okee, MySQL kan ermee kappen, tragisch. Maar dan moet je als serverbeheerder wel direct een backup kunnen terugzetten, en binnen een uur weer operationeel zijn.

Zo nee... Jouw probleem... Je krijgt ervoor betaald om complicaties op te sporen en te voorkomen.

Je hebt deze post al min of meer ingetrokken maar ik wil er toch op ingaan.

Er spreekt een visie uit van "als je het goed doet dan is dat normaal en vanzelfsprekend maar als je het fout doet dan heb je gefaald". Daarbij krijg je alleen wat te horen als er wat fout is gegaan.

Het is precies die instelling die heel slagvaardig klinkt maar mensen heel snel kapot kan maken. Ik zit zelf in een werksituatie waarbij (eindelijk) onderzoek is gedaan naar de oorzaken van burnout en daarbij werd een directe relatie gevonden tussen het ontbreken van positieve feedback en het ontstaan van burnout.
Er zijn grote verschillen tussen een systeembeheerder en een medisch specialist in opleiding maar op dit punt zal de situatie weinig verschillen vermoed ik. Daarbij weet ik uit ervaring hoe lekker het voelt als je tussen een eindeloze stroom kritische blikken en af een toe een kruisverhoor er weer eens een complimentje jouw kant op waait.

^{Let wel: ik heb het over het ontbreken van positieve feedback. Ik heb nooit beweerd dat terechte negatieve feedback niet zou mogen.}

Dus bij deze: Kees bedankt

[SmartDoDo]

Goed bezig geweest mensen

[kraats]

Als systeembeheerder met ook Diskarray-probleempjes leefde ik helemaal mee. Heb erg respect voor het tot laat in de nacht doorgaan om zoveel mogelijk gegevens weer online te brengen. Weet nu weer waarom ik een abo heb.. Vooral om jullie te steunen. Mijn dank voor jullie werkzaamheden!

[AW_Bos]

Waar is de "Kees is een Held" banner ?

[silverstorm]

Alle serverdudes zijn gewoon helden.

[Verwijderd]

hulde voor de beheerders.

downtime was wel erg lang, maar shit happens.

elk bedrijf leert van zijn fouten, en ik hoop dat tweakers b.v goed gaat kijken waar de problemen zaten en op welke punten het beter kan.

maar beter laat een stabiel forum, dan na een uur online gooien en vervolgens weer 20x down zijn de rest van de avond. /me mompelt iets over fok

[mOrPhie]

idd, hulde!

offtopic:
Ik zag wel een verouderde alternatieve #1 error voorbij komen:

"Ken je die mop van tweakers.net en de merge?"

[Verwijderd]

Ik hield mijn hart al vast voor een BC4. BC3 was immers alweer zolang geleden dat GoT wel weer op Murphy's roll stond voor een nieuwe sessie!


Goed gedaan heldae!

[ Voor 9% gewijzigd door Verwijderd op 25-11-2006 11:40 ]

[RoD]

En waar is het steuntje in de rug voor de verslaafde GoT'ers die het uren zonder GoT hebben moeten doen?



Kees en moto-moi

[Reinier]

mOrPhie schreef op zaterdag 25 november 2006 @ 11:36:

offtopic:
Ik zag wel een verouderde alternatieve #1 error voorbij komen:

"Ken je die mop van tweakers.net en de merge?"

En ik zag er een met een typo

Edit:
Opeens heb je het, je word MySQL-database! - Osiris & Orion

[ Voor 10% gewijzigd door Reinier op 25-11-2006 11:39 ]

[ThinkPad]

Goed gedaan mensen!!

[-ET-]

Kees die is een toppertje!!!!

[TrailBlazer]

prima dat het weer draait wat ik me wel afvraag zijn er plannen voor de toekomst om dit soort dingen gewoon te voorkomen. Volgens mij is tegenwoordig alles dubbel uit te voeren synchroniseren weet ik veel wat.

[RedRose]

RoD schreef op zaterdag 25 november 2006 @ 11:38:
En waar is het steuntje in de rug voor de verslaafde GoT'ers die het uren zonder GoT hebben moeten doen?

Die paar uur plat was juist dat steuntje om van de verslaving af te komen.

TrailBlazer schreef op zaterdag 25 november 2006 @ 11:44:
prima dat het weer draait wat ik me wel afvraag zijn er plannen voor de toekomst om dit soort dingen gewoon te voorkomen. Volgens mij is tegenwoordig alles dubbel uit te voeren synchroniseren weet ik veel wat.

Dat is best tricky met a) een database als deze b) MySQL .. En kan misschien meer problemen opleveren dan oplossen.

[ Voor 43% gewijzigd door RedRose op 25-11-2006 11:47 ]

[moto-moi]

* moto-moi aait kees: burgerking was lekker gisteravond om 8 uur terwijl we op een backup/restore zaten te wachten

[ Voor 3% gewijzigd door moto-moi op 25-11-2006 11:45 ]

[Verwijderd]

TrailBlazer schreef op zaterdag 25 november 2006 @ 11:44:
prima dat het weer draait wat ik me wel afvraag zijn er plannen voor de toekomst om dit soort dingen gewoon te voorkomen. Volgens mij is tegenwoordig alles dubbel uit te voeren synchroniseren weet ik veel wat.

als VNU geld geeft om te investeren in hardware zodat heel GoT gemirrored kan worden

[anandus]

RoD schreef op zaterdag 25 november 2006 @ 11:38:
En waar is het steuntje in de rug voor de verslaafde GoT'ers die het uren zonder GoT hebben moeten doen?

Gelukkig was het vrijdagavond

Moto-Kees: Hulde!
Wat een helden, wat een helden!

[TrailBlazer]

Verwijderd schreef op zaterdag 25 november 2006 @ 11:46:
[...]


als VNU geld geeft om te investeren in hardware zodat heel GoT gemirrored kan worden

veel webservers zijn al dubbel uitgevoerd alleen het databeest blijkt nog een zwakke schakel te zijn. Persoonlijk als non Abbo mag ik natuurlijk niet zeuren maar als Abbo lijkt het me dat je iets meer rechten hebt om een werkend forum te verwachten.

[ralpje]

moto-moi schreef op zaterdag 25 november 2006 @ 11:44:
* moto-moi aait kees: burgerking was lekker gisteravond om 8 uur terwijl we op een backup/restore zaten te wachten

Ik neem aan dat het bonnetje naar VNU gaat?

[Bor]

Knap werk en nu niet meer stuk maken he Het was even afkicken hier dus goede omslag voor DE, heineken etc.

[naftebakje]

TrailBlazer schreef op zaterdag 25 november 2006 @ 11:44:
prima dat het weer draait wat ik me wel afvraag zijn er plannen voor de toekomst om dit soort dingen gewoon te voorkomen. Volgens mij is tegenwoordig alles dubbel uit te voeren synchroniseren weet ik veel wat.

Hoe zorg je ervoor dat je de db wél synchroon houdt, maar als de data corrupt geraakt dit niet meeneemt? Hoe zit het met de extra load door het synchroon houden?
Weer iets waar de server-helden veel meer van weten dan ik, maar mij lijkt het moeilijk en duur, en dan wordt er wellicht weer geklaagd omdat die investering niet meteen in een sneller forum resulteert

Ik heb er alle vertrouwen in dat tweakers de beste serverconfig heeft volgens het budget, 99% van de tijd werkt het gewoon perfect en supersnel, ook dankzij onze server-helden

[silverstorm]

TrailBlazer schreef op zaterdag 25 november 2006 @ 11:51:
Persoonlijk als non Abbo mag ik natuurlijk niet zeuren maar als Abbo lijkt het me dat je iets meer rechten hebt om een werkend forum te verwachten.

De enige rechten die Abbo'ers meer hebben is dat ze kunnen posthoeren in het abboforum en toegang hebben tot een eigen irc-channel. Als het niet werkt, dan werkt het niet. Ik denk dat niemand het leuk vind dat GoT platligt, maar het is gewoon niet anders...

[TrailBlazer]

naftebakje schreef op zaterdag 25 november 2006 @ 12:04:
[...]
Hoe zorg je ervoor dat je de db wél synchroon houdt, maar als de data corrupt geraakt dit niet meeneemt? Hoe zit het met de extra load door het synchroon houden?
Weer iets waar de server-helden veel meer van weten dan ik, maar mij lijkt het moeilijk en duur, en dan wordt er wellicht weer geklaagd omdat die investering niet meteen in een sneller forum resulteert

Ik heb er alle vertrouwen in dat tweakers de beste serverconfig heeft volgens het budget, 99% van de tijd werkt het gewoon perfect en supersnel, ook dankzij onze server-helden

Ik heb geen idee ik heb enkel verstand van netwerken Vanmorgen nog een internationale BGP backup geactiveerd en getest en nu aan het vechten met een firewall project.
Maar ik kan me niet voorstellen dat het niet kan. Het is natuurlijk wel een kostenlaatje wat je af moet wegen

[DinX]

silverstorm schreef op zaterdag 25 november 2006 @ 12:39:
[...]

De enige rechten die Abbo'ers meer hebben is dat ze kunnen posthoeren in het abboforum en toegang hebben tot een eigen irc-channel. Als het niet werkt, dan werkt het niet. Ik denk dat niemand het leuk vind dat GoT platligt, maar het is gewoon niet anders...

Precies.

In de voorwaarden bij ons abo staat niks van downtime ofzo. Je hebt enkel de voordelen zoals geen banners, een streepje onder je nick , een extra abo forum, een mytweakers.net adres, 50MB fotoalbum, meer instellingen qua layout,...

Daar mag je al blij genoeg voor zijn voor dat beetje geld. Qua uptime/downtime heb je niks te eisen in dat geval imho. En oh mijn GoT, je zal maar een paar uur niet kunnen GoTten. Die #1 ivm de duizenden verdwaasde tweakers die voor het eerst buiten gesignaleerd zijn klopt nog ook denk ik soms ...


En bij deze ook van mij een steuntje in de rug voor onze lieve BOFH's
Ik kan hen ook volledig volgen in de keuze om geen backup terug te zetten. Liever wat langer down en een forum dat weer in orde is dan een dag aan posts kwijt spelen imho. Dit is niet enkel een forum maar een knowledgebase, waar sommige mensen veel tijd steken in hun posts om anderen te helpen. Beetje jammer als iemand dingen heeft lopen opzoeken en een post van 50 regels heeft zitten typen en men maar beslist een oude backup terug te zetten, terwijl bij iets meer werk deze gewoon behouden blijft.

* DinX ramt een veer in kees' en moto-moi's kont

[ Voor 24% gewijzigd door DinX op 25-11-2006 12:51 ]

[crisp]

Ook hier even een dikke pluim voor moto-moi en kees
Ik denk dat ze de juiste keuze hebben gemaakt door te proberen zoveel mogelijk data te redden ipv simpelweg een 10 uur oude backup terug te zetten (waarbij je dus niet alleen topics mist maar ook nieuw geregistreerde gebruikers en allerlei andere zaken die achteraf weer problemen met zich meebrengen).

kortom:

[CyBeR]

naftebakje schreef op zaterdag 25 november 2006 @ 12:04:
[...]
Hoe zorg je ervoor dat je de db wél synchroon houdt, maar als de data corrupt geraakt dit niet meeneemt? Hoe zit het met de extra load door het synchroon houden?

Dat ligt er een beetje aan hoe je data corrupt is geraakt. Als er iets mis is gegaan bij de write naar het fs heb je op je secondary geen probleem. Als je gewoon een foute query ertegenaan hebt gegooid ben je nog steeds kansloos natuurlijk.

Extra load is verwaarloosbaar. Er wordt gewoon een stukje binary log doorgestuurd via 't netwerk, meer niet.

Weer iets waar de server-helden veel meer van weten dan ik, maar mij lijkt het moeilijk en duur, en dan wordt er wellicht weer geklaagd omdat die investering niet meteen in een sneller forum resulteert

Nou is GoT sowieso al retesnel, maar met een goed ingerichte master/slave setup kan 't wel sneller worden, bijvoorbeeld door beide servers te gebruiken voor reads en alleen de master server voor writes. (Twee masters is ook wel mogelijk, maar daar zitten wel wat concurrency-issues aan verbonden.)

[Xadeon]

voor de jongens!

[Outerspace]

Inderdaad, gelukkig is GoT weer up

Bedankt

[Glaanie]

Prima werk jongens! Als jullie er niet waren ....... waren er waarschijnlijk anderen die het hadden gedaan

[Civil]

Als ik het goed begrepen heb in de .plan dan is de oorzaak van alle problemen het losraken van dit kabeltje:



Nu zie ik dat dit kabeltje goed vastgeschroefd kan worden. Hoe kan hij dan zomaar losraken?

Temeer omdat je niet zomaar dat kabeltje bewust gaat losschroeven zonder het forum gecontroleerd down te gooien. Er waren voor zover wij als users geinformeerd zijn ook geen werkzaamheden aan Apollo gepland dacht ik.

[ Voor 3% gewijzigd door Civil op 25-11-2006 13:34 ]

[software]

Alles is terug up and running !!
thx gasten !!

Een speciale dank voor Kees en moto

[Gunner]

Ariën Clay schreef op zaterdag 25 november 2006 @ 11:11:
Waar is de "Kees is een Held" banner ?

Wou hem al eerder posten Maar hier istie dan

[user109731]

Bedankt Kees, moto-moi en mogelijk anderen, jullie zijn geweldig

Is er ook een moto-banner?

[Gunner]

Ben ik nu gek of zie ik in topics waar ik gister al een reply van heb gelezen nu het nogmaals terug komen maar dan met een timestamp van vandaag?

Bijvoorbeeld deze; Verwijderd in "Wifi Ipaq niet werkend te krijgen"

Ik zou toch zweren dat ik dat gistermiddag al heb gelezen, serieus! Of misschien heeft die user zijn verhaaltje nog opnieuw getypt kan ook

[ Voor 10% gewijzigd door Gunner op 25-11-2006 14:45 ]