[ Voor 41% gewijzigd door AtleX op 11-12-2006 18:44 ]
Sole survivor of the Chicxulub asteroid impact.
qwertyuiop schreef op maandag 11 december 2006 @ 18:44:
Begint nu wel een beetje vervelend te worden...
Ja, dat komt vaak voor, en nee ik weet nog niet waarom, eerst de server op helpen, dan kijken waaromJustifier schreef op maandag 11 december 2006 @ 18:43:
Ligt het aan mij of ligt de frontpage er vaak uit deze tijd?
"Een serveradmin, voluit een serveradministrator, is dan weer een slavenbeheerder oftewel een slavendrijver" - Rataplan
Heuh, wat dan precies? Als ik het me goed herinner, is een dergelijke fout een paar dagen terug ook voorgekomen, maar daarvoor is het volgens mij toch al wel weer een tijdje terug dat er wat mis was hoor. Klagen is dus wel begrijpelijk, maar doe dat maar niet hier. Men zal ongetwijfeld al wel weten dat er iets aan de hand is en hard aan het werk om het te fixen.qwertyuiop schreef op maandag 11 december 2006 @ 18:44:
Begint nu wel een beetje vervelend te worden...
Verwijderd
Inderdaad. Vooral als je beseft dat het niet op een enkel PIII bakje draait (dan had je nog wat sympathie kunnen opbrengen) maar op een stevige set-up...qwertyuiop schreef op maandag 11 december 2006 @ 18:44:
Begint nu wel een beetje vervelend te worden...
[ Voor 24% gewijzigd door Verwijderd op 11-12-2006 18:49 ]
Het draait op server-grade hardware, met meerdere voedingen, meerdere schijven, voedingen verdeeld over meerdere feeds, het is mij ook nog een raadsel waarom hij er nu zomaar uitknaltVerwijderd schreef op maandag 11 december 2006 @ 18:46:
[...]
Inderdaad. Vooral als je beseft dat het niet op een enkel PIII bakje draait (dan had je nog wat sympathie kunnen opbrengen) maar op een stevige set-up...
"Een serveradmin, voluit een serveradministrator, is dan weer een slavenbeheerder oftewel een slavendrijver" - Rataplan
Verwijderd
Yup. Cool in ieder geval dat jullie er nu gelijk naar kijken..Lijkt me ook onhandig voor jullie zelf..steeds die stuff te moeten fixen. (maar ach houdt je wel aan een baan toch ;-)).Kees schreef op maandag 11 december 2006 @ 18:48:
[...]
Het draait op server-grade hardware, met meerdere voedingen, meerdere schijven, voedingen verdeeld over meerdere feeds, het is mij ook nog een raadsel waarom hij er nu zomaar uitknalt
En ook tonen reclame (extra inkomsten door alle reloads) en een linkje naar Gathering forum en de melding dat er geen topics geopend moeten worden over het probleem anders banAls (alleen) MySQL er uit ligt (wat het geval is) kun je prima een static cached page laten zien ipv (alleen) de foutmelding. Is een stukje gebruiksvriendelijker !!
[ Voor 26% gewijzigd door Verwijderd op 11-12-2006 18:57 ]
Bovenop de hardware draait software... Ook altijd een mooie plek voor vage problemenKees schreef op maandag 11 december 2006 @ 18:48:
[...]
Het draait op server-grade hardware, met meerdere voedingen, meerdere schijven, voedingen verdeeld over meerdere feeds, het is mij ook nog een raadsel waarom hij er nu zomaar uitknalt
[ Voor 9% gewijzigd door LeNNy op 11-12-2006 18:57 ]
[ Voor 13% gewijzigd door Kees op 11-12-2006 19:02 ]
"Een serveradmin, voluit een serveradministrator, is dan weer een slavenbeheerder oftewel een slavendrijver" - Rataplan
edit:
Ik mis op frontpage het active topics gedeelte van GoT....
[ Voor 45% gewijzigd door iMars op 11-12-2006 19:05 ]
Er is een boel op te vangen, maar het houdt een keer op. Dat bij Tweakers.net niks stuk kan gaan is natuurlijk een illusie. Hardware kan eens "spontaan" kapot gaan bijvoorbeeld. Sommige dingen kun je gewoon niet voorkomen. Soms heb je gewoon pech.Verwijderd schreef op maandag 11 december 2006 @ 19:00:
Het lijkt mij toch niks meer dan normaal dat een site als Tweakers.net ervoor moet kunnen zorgen dat dit niet voor komt en ja, er kunnen softwareproblemen zijn, maar deze moeten dan zoals eerder aangegeven toch op te vangen zijn?
The devil is in the details.
Een boek? Wat is dat?Hahn schreef op maandag 11 december 2006 @ 19:04:
Mensen doen nu net alsof het een ernstig ramp van formaat isEr kan nou eenmaal wel eens wat mis gaan, ondanks alle voorzorgsmaatregelen die er getroffen zijn. In plaats van te gaan lopen ijsberen kan je ook lief een boekje gaan lezen of iets dergelijks
Die backup van GoT die je met behulp van een device genaamd "Printer" hebt uitgeprint en er een kaft omheen geramd hebt?
Everybody lies
Hoevaak word die geupdate?XplodingForce schreef op maandag 11 december 2006 @ 19:08:
[...]
Die backup van GoT die je met behulp van een device genaamd "Printer" hebt uitgeprint en er een kaft omheen geramd hebt?
Elke keer dat jij weer zo gestoord bent om je tijd te verkloten door de boel uit te printen?
Everybody lies
Goed om te zien dat jullie er mee aan het knutselen zijn.
Hoop dat jullie er vlot achter komen jongens
[ Voor 26% gewijzigd door Ultraman op 11-12-2006 19:14 ]
Als je stil blijft staan, komt de hoek wel naar jou toe.
Dat heb je al 2x aangedragen 1 2. En ik denk dat het vast ook wel een keer overwogen is, maar voor een dusdanig dynamische site als T.net is het knap waardeloos. Wat heb je aan een pagina waarvan 75% van de functionaliteit (reacties posten, V&A ads plaatsen, etc. etc.) niet werkt. Dan kan bij de (weinig voorkomende) downtime beter een errorpage getoond worden dan een niet-functionele site.Verwijderd schreef op maandag 11 december 2006 @ 18:46:
[...]
Inderdaad. Vooral als je beseft dat het niet op een enkel PIII bakje draait (dan had je nog wat sympathie kunnen opbrengen) maar op een stevige set-up...De hele redunancy en failsafe stuff werkt dus voor geen meter. Als (alleen) MySQL er uit ligt (wat het geval is) kun je prima een static cached page laten zien ipv (alleen) de foutmelding. Is een stukje gebruiksvriendelijker !!
Sole survivor of the Chicxulub asteroid impact.
Yamaha FZ1 :-)
Probleem is wanneer ligt de server eruit? Je zou als stelregel kunnen nemen dat het laden (genereren) van een pagina maximaal 1 seconde mag duren. Wanneer dan alleen het opbouwen van de databaseverbinding 1100ms duurt zou je dat standaard request kunnen sturen. Ik denk echter dat het irritanter is dat je een standaardrequest krijgt dan een pagina die na 4 seconden wel goed wordt geladen.AtleX schreef op maandag 11 december 2006 @ 19:17:
Dat heb je al 2x aangedragen 1 2. En ik denk dat het vast ook wel een keer overwogen is, maar voor een dusdanig dynamische site als T.net is het knap waardeloos. Wat heb je aan een pagina waarvan 75% van de functionaliteit (reacties posten, V&A ads plaatsen, etc. etc.) niet werkt. Dan kan bij de (weinig voorkomende) downtime beter een errorpage getoond worden dan een niet-functionele site.
Problemen zoals beschreven zijn misschien op te lossen als men op Oracle over zou stappen oid. Maarja dat zal wel zoveel problemen en kosten met zich meebrengen dat het gewoon niet waard is. Bovendien hoeft het niet aan MySQL te liggen, het zou ook kunnen dat er in de kernel (of andere laag) ergens een hickup plaats vind.
Inkoopacties - HENK terug! - Megabit
It is a war here, so be a general!
Als hij eruit ligt heb je er niks aan: dat kan je ook niet bekijken!Ooyevaar schreef op maandag 11 december 2006 @ 19:25:
Volgens mij staat er nog een servertje te koop
Zullen we het lijstje er even bijpakken van afgelopen maand?Harm schreef op maandag 11 december 2006 @ 18:45:
[...]
Heuh, wat dan precies? Als ik het me goed herinner, is een dergelijke fout een paar dagen terug ook voorgekomen, maar daarvoor is het volgens mij toch al wel weer een tijdje terug dat er wat mis was hoor. Klagen is dus wel begrijpelijk, maar doe dat maar niet hier. Men zal ongetwijfeld al wel weten dat er iets aan de hand is en hard aan het werk om het te fixen.
bron: plan: Server- & netwerkstatusmeldingen11-12-2006 En zojuist viel Artemis even helemaal uit, damn that Murphy Artemis is uiteraard weer op z'n pootjes terug gezet en aan ons nu de taak om erachter te komen waarom dit gebeurde.
08-12-2006 00:50 Apollo had er ff geen zin meer in, al z'n mysqlverbindingen zaten vol waardoor de webservers weinig content meer hadden om door te geven, even mysql herstart en het werkt weer, al vragen we ons wel oprecht af waar de huge piek in de insertqueries vandaan komen, maar dat zoeken we morgen wel uit
25-11-2006 00:45 Goed, we zitten dus redelijk in de shit. MySQL blijkt niet in staat te zijn de database-dumps van deze middag op correcte wijze te importeren waardoor we terug hebben moeten grijpen op de backup van 04:00 uur 's ochtends. Dat houdt in dat alle forumposts sinds dat tijdstip verloren zijn gegaan. Andere tabellen zoals de topictabel zijn nog wel heel. Om het leed enigszins te verzachten hebben we goede hoop dat we een deel van de verloren postings alsnog kunnen herstellen uit een dump van 14:30 uur. Desondanks, grote suckage Wederom een ongelofelijke samenloop van omstandigheden die onze zorgvuldige voorbereidingen teniet doet.
24-11-2006 22:35 Het forum ligt al sinds vanmiddag plat zoals velen al wel gemerkt hebben. Dit komt doordat de databaseserversoftware minder goed om bleek te kunen gaan met het losraken van de kabel die van de server naar de disk-array loopt. De puinhoop is alleen op te lossen door dezelfde procedure te doorlopen als die hieronder werd toegepast op Artemis. Dit kan gezien de grootte van de database nog wel enige tijd in beslag nemen en het verlies van enkele forumposts kan helaas niet worden uitgesloten.
06-11-2006 18:00-03:00 Zoals je misschien wel gemerkt hebt, heeft de frontpage van Tweakers.net er de hele avond uitgelegen. De reden hiervoor was dat aan het begin van de avond een onze oudste APC Masterswitch (veredeld stekkerblok) het begaf. Deze masterswitch voorzag een aantal servers van stroom. Onder deze servers was ook de enige database server in het rack zonder redundant voeding (iets wat op de planning staat om zeer binnenkort verholpen te worden). Deze database serveerde de data voor Frontpage, maar door een tweetal stroomonderbrekingen met enkele minuten speling was deze corrupt geraakt. Dit noodzaakte ons eerst tot het veilig stellen van de niet-corrupte data, en vervolgens het verwijderen van de oude bestanden en deze opnieuw aan te maken daar de database niet meer op de oude bestanden wilde draaien. Dit heeft al met al langer gekost dan ons lief was, maar de site is weer op.
En hier...
bron: plan: Fotoverslag serveronderhoud 24-11-2006Tijdens het wegwerken van de kabels van de nieuwgeplaatste webservers, ging het helaas mis. De kabel tussen Apollo en Apolloslet, die het schijvenarray voor de database bevat, bleek niet goed vastgeschroefd te zijn de vorige keer en raakte los.
Tweakers.net is een bedrijf met hun website als core business! Zou je hier dan niet wakker van blijven liggen?
[ Voor 0% gewijzigd door qwertyuiop op 11-12-2006 20:44 . Reden: geen nederlandse zin ]
Ik doelde op vergelijkbare problemen op de FP... de eerste twee gaan over de FP en dat is inclusief vandaag. De twee die daarop volgen gaan over het forum, en de laatste heb ik nooit meegemaakt omdat ik toen niet in het land was. Dus voor mijn idee was er maar één echt vergelijkbaar probleem geweest met de FP.qwertyuiop schreef op maandag 11 december 2006 @ 20:32:
Tweakers.net is een bedrijf met hun website als core business! Je zou hier dan niet wakker van blijven liggen?
Maar, en dat ben ik met iedereen eens, het is niet mooi dat het voorkomt. Daarin heb je volledig gelijk hoor. Ongetwijfeld zal hier ook wel iets mee gedaan worden, maar ook dan moet er een afweging gemaakt worden tussen de hoeveelheid tijd/geld die erin gestopt kan worden en het eventueel te verwachten resultaat. Die afweging zal altijd gemaakt worden en langzaamaan zul je daar ook wel wat van merken. Dát heeft het verleden volgens mij ook wel laten zien: dat er verbeteringen doorgevoerd worden om al dit soort zaken te voorkomen. Maar of dat ooit genoeg is...
Deze reactie snap ik dat niet:
bron: plan: Server- & netwerkstatusmeldingenGepost door moto-moi - maandag 11 december 2006 19:49
99.8 zitten we over de laatste 32 dagen volgens nagios ;-)
En verder zijn dit 2 aparte problemen geweest en heeft Artemis er welgeteld 10 minuten uitgelegen, i.t.t. Planet dat al in ieder geval 2 dagen lang problemen heeft :-)
Lid van Tweakers.net Crew en (zo komt het bij mij over) er nog trots op zijn ook.
Sorry hoor!
We moeten toch wat doen om onze mensen aan het werk te houden
365 * 24u = 8760uJHS schreef op maandag 11 december 2006 @ 21:16:
Wat, trots op 99.8% uptime? Daar is lijkt me niet zoveel mis mee?
(8760u * 0,2) / 100 = 17,52
Dus 17 en 'n half uur. Als je dit in een dag achter elkaar gebeurd vind ik het veel...
Verder vind ik het niet zo'n probleem dat het even niet werkt. Als je eenmaal je systemen vervangt kun je zoiets verwachten. Een optie om alles te laten staat totdat het zaakje stinkend traag wordt is ook niet echt een optie.
Daarbij kun je wel alles helemaal gek testen tot je zeker weet dat alles werkt, maar er is ook nog zoiets als kosten/baten...
Ik denk dat op lange termijn gaan kijken naar een ander dbms iets is zoals postgres, omdat mysql minder flexiebel is.
Specs: Server, WS boven, WS beneden
En er is geen uptime van 32 dagen zoals ik al eerder aangegeven heb! Volgens mij maak ik mij drukker dan de crew van T.net
Volgens mij gaat dat Planet stukje hierover hoorqwertyuiop schreef op maandag 11 december 2006 @ 22:05:
Het gaat mij met name om de opmerking over Planet. Wordt hiermee het probleem van Tweakers opgelost? Net of het niet erg is dat Tweakers er weer even heeft uitgelegen i.t.t. tot Tweakers.net.
En er is geen uptime van 32 dagen zoals ik al eerder aangegeven heb! Volgens mij maak ik mij drukker dan de crew van T.net
Zie ook de .plan
11-12-2006 Mocht je op dit moment verbinding met ons zoeken met behulp van een Planet Internet-verbinding dan hebben we medelijden met je . De verbinding tussen True en Planet schijnt aan de kant van Planet brak te zijn waardoor het lijkt alsof Tweakers.net traag is, wat uiteraard niet het geval is. Wanneer dit opgelost zal worden weten wij helaas niet.
[ Voor 26% gewijzigd door TommyGun op 11-12-2006 22:41 ]
“In a world without walls and fences, who needs Windows and Gates".
Ik heb nog niet kunnen zien in dit topic waarom een overstap naar PostgreSQL zinvol zou zijn in het kader van de downtime van net? Volgens de melding in het .plan lag heel artemis er uit... dat heeft weinig met MySQL te maken dan he? Het probleem is alleen dat de webservers nauwelijks onderscheid kunnen maken tussen 'artemis doet het niet' en 'mysql doet het niet'.DDemolition schreef op maandag 11 december 2006 @ 21:38:
Ik denk dat op lange termijn gaan kijken naar een ander dbms iets is zoals postgres, omdat mysql minder flexiebel is.
[ Voor 3% gewijzigd door ACM op 11-12-2006 22:22 ]
Die snapte ik ook niet helemaalACM schreef op maandag 11 december 2006 @ 22:22:
Ik heb nog niet kunnen zien in dit topic waarom een overstap naar PostgreSQL zinvol zou zijn in het kader van de downtime van net? Volgens de melding in het .plan lag heel artemis er uit... dat heeft weinig met MySQL te maken dan he? Het probleem is alleen dat de webservers nauwelijks onderscheid kunnen maken tussen 'artemis doet het niet' en 'mysql doet het niet'.
Als je het hard in de ogen port met een gloeiende naald en je daarna geen geschreeuw hoort.eborn schreef op maandag 11 december 2006 @ 23:51:
[...]
Die snapte ik ook niet helemaalDe enige manier waarop je dit soort problemen kunt ondervangen is door een 2e database server constant standby te hebben staan. En dan mag de machine het ook nog overnemen als MySQL dood is. Waarbij de vraag weer komt: wanneer is MySQL dood
Server dood: geen ping terug
MySQL dood: Als een query na 1 minuut niet terug is
Ik vind het allemaal nogal overdreven eerlijk gezegd.....
[ Voor 5% gewijzigd door TweakerNummer op 12-12-2006 00:02 ]
Het is op zich wel mogelijk, kijk bijv. naar Wikipedia. Alleen dat is af en toe ook niet vooruit te branden. Nog maar te zwijgen over hoeveel data daar inmiddels verloren is gegaan. Het is allemaal non-profit dus als er ergens een server op zijn bek gaat dan wordt er gezegd 'sorry, volgende keer beter!'.
Een oplossing zou kunnen zijn om een nog snellere machine aan te schaffen, sneller, meer processoren en meer ram. Dan zit je al snel op quad cpu, 32 GB ram e.d.. Deze dan inzetten als master-server met MySQL. Vervolgens schrijf je door middel van replicatie on the fly de data weg naar de huidige databaserver die dan als slave wordt gebruikt.
Mocht de master uitvallen, dan kan je readonly de slave benaderen. Op deze manier heb je iig een live back-up en kan het nooit voorkomen dat er een dag posts verdwijnen. Maarja de kosten... Bovendien werkt het repliceren nogal kloterig. Want zodra de verbinding weg valt tussen master en slave moet je zelf actie ondernemen om de replicatie weer goed op orde te krijgen. Doe je dat niet dan krijg je inconsistentie op de slave en dat kan voor nog veel meer problemen zorgen.
Om te checken of een MySQL-machine dood is zijn trouwens wel tools icm replicatie. In principe zodra de verbinding weg valt met de databaserver, dan is hij dood. Zodra die er weer is weer levend. Klinkt logisch, maar dat valt best in te bouwen
Inkoopacties - HENK terug! - Megabit
It is a war here, so be a general!
Zoiets als innodb doet moeilijk na een plotselinge reboot.ACM schreef op maandag 11 december 2006 @ 22:22:
[...]
Ik heb nog niet kunnen zien in dit topic waarom een overstap naar PostgreSQL zinvol zou zijn in het kader van de downtime van net? Volgens de melding in het .plan lag heel artemis er uit... dat heeft weinig met MySQL te maken dan he? Het probleem is alleen dat de webservers nauwelijks onderscheid kunnen maken tussen 'artemis doet het niet' en 'mysql doet het niet'.
Of ik vergeet de stekker en moet de tabellen gaan fixen wat niet goed gaat.
Verder was het me ook niet duidelijk (nu wel dus) of artemis helemaal uitviel of dit alleen mysql was. Ik dacht dus dat mysql gewoon moeilijk deed, omdat dat ook de hoofdfoutmelding was...
Daarbij had ik het ook over lange termijn en niet dus om deze tijdelijke vastlopers (want die zullen vlug genoeg gefixed zijn, altans dat hoop ik). PostgreSQL de laatste tijd en Oracle is een stuk volwassener en heeft de features die hier goed van te hadden gekomen.
En dit wil je bijvoorbeeld niet in MySQL
Tussen haakjes:
Ik helemaal niets tegen MySQL. Ik zelf programmeer er vaak mee, maar het is gewoon een kwestie van de goede database bij je taak kiezen. En misschien is in dit geval alles een beetje te groot gegroeid voor MySQL!?
[ Voor 15% gewijzigd door DDemolition op 12-12-2006 23:46 ]
Specs: Server, WS boven, WS beneden
Mwah... Migreren naar n Access databeestje dan maar?DDemolition schreef op dinsdag 12 december 2006 @ 23:39:
En misschien is in dit geval alles een beetje te groot gegroeid voor MySQL!?
(Helaas is dat waar ik werk vaak de consensus...
Forget your fears...
...and want to know more...
Stakkers..Aetje schreef op zaterdag 16 december 2006 @ 01:45:
[...]
Mwah... Migreren naar n Access databeestje dan maar?
(Helaas is dat waar ik werk vaak de consensus...)
Specs: Server, WS boven, WS beneden