Koffieleut: ophouden graag

[wildhagen]

Als het niet te veel moeite is, kunnen jullie die SQL-deamon dan even vertellen dat-ie nu wel genoeg koffie geleuterd heeft? Nu word het even tijd om zijn werk weer eens uit te voeren. Leuteren kan altijd nog.

[Harmen]

GOT en T.net zijn errug brak!!!

[DJ^]

Geldt die vacature van je nog steeds wildhagen? (Vacature)
Ik ken wel iemand die daar wel zin in heeft, zal wel wat aanloopprobl krijgen maar veel erger zal het wel niet worden

[wildhagen]

Ja, die geldt nog steeds. Hoewel het nu niet meer voor 2 servers geld, maar voor 3, en binnenkort 5.

De beloning is nog steeds de eer, maar dan nu uitgebreid met het Administrator-schap, en het recht om de MySQL-deamon aan de koffie-infuzen te leggen.

Info kan je nog steeds op dat adres opvragen!

[Verwijderd]

Jongens, doe eens liev voor Rick!

Die arme jongen heeft het veel te druk met het bannen van Users! Daar is hij voor, en niet voor het beheren van servers, dus we mogen zulke dingen ook niet van hem vragen, en als er af en toe iets fout gaat, maakt dat helemaal niets uit hoor Rick!

Ga zo door Rick! Ban ze!

[Verwijderd]

BoerQ wilde anders wel graag helpen hoorde ik!

[Arjen]

Rick slaapt nog geloof ik. Ik heb Mysqld al weet ik veel hoeveel keer onder z'n reet getrapt. Er draait nu nog maar 1 MySQL daemon, twee draaien was gewoon te brak.

[Verwijderd]

BoerQ wilde anders wel graag helpen hoorde ik!

Ik durf alleen niet te bannen, en dat is denk wel een belangrijke eis of niet?

[wildhagen]

Op zaterdag 10 maart 2001 11:49 schreef Arjen het volgende:
Rick slaapt nog geloof ik. Ik heb Mysqld al weet ik veel hoeveel keer onder z'n reet getrapt. Er draait nu nog maar 1 MySQL daemon, twee draaien was gewoon te brak.

Euh....

De servers hebben problemen (flinke zelfs) en de systeembeheerder slaapt????????????? Wa's dát nu weer?

[Verwijderd]

Op zaterdag 10 maart 2001 11:50 schreef [BoerQ] het volgende:

[..]

Rick is al heel gelukkig met Arshia, dus slijmen heeft geen zin.

Rick? Heb je een driehoekverhouding!?

;(

[Verwijderd]

Op zaterdag 10 maart 2001 11:51 schreef wildhagen het volgende:

[..]

Euh....

De servers hebben problemen (flinke zelfs) en de systeembeheerder slaapt????????????? Wa's dát nu weer?

Anders moet ie dus 24 uur per dag wakker blijven en naast de server zitten....

[Verwijderd]

Op zaterdag 10 maart 2001 11:51 schreef wildhagen het volgende:

[..]

Euh....

De servers hebben problemen (flinke zelfs) en de systeembeheerder slaapt????????????? Wa's dát nu weer?

Hij is vast druk geweest met het bannen van users. Laat die arme jongen maar slapen!

[wildhagen]

Op zaterdag 10 maart 2001 11:52 schreef Proxy 71 het volgende:

[..]

Anders moet ie dus 24 uur per dag wakker blijven en naast de server zitten....

Nee, natuurlijk niet.

Maar een béétje systeembeheerder die ook maar een BEETJE serieus genomen wil worden heeft een monitoring-system staan dat alarm slaat (via piepen, sms-en whatever) als er iets grondig mis gaat... en dan gaat een goede systeembeheerder dus aan de slag om het probleem per direct te verhelpen.

[Verwijderd]

Op zaterdag 10 maart 2001 11:53 schreef wildhagen het volgende:

[..]

Nee, natuurlijk niet.

Maar een béétje systeembeheerder die ook maar een BEETJE serieus genomen wil worden heeft een monitoring-system staan dat alarm slaat (via piepen, sms-en whatever) als er iets grondig mis gaat... en dan gaat een goede systeembeheerder dus aan de slag om het probleem per direct te verhelpen.

Dat zeg ik dus.... dan moet ie dus naast de server blijven zitten als je kijkt naar de downtime van GoT laatste tijd heeft het geen zin om weer naar huis te rijden

[DJ^]

wat hij een beetje tactvol probeert te zeggen: de vacature is er nog!

[Verwijderd]

We hebben nu 2 kandidaten voor het beheren van de servers:

- BoerQ
- wildhagen aka P38_Lighting!

Wie zal het worden?

[wildhagen]

Op zaterdag 10 maart 2001 11:55 schreef SweetTiffany het volgende:
We hebben nu 2 kandidaten voor het beheren van de servers:

- BoerQ
- wildhagen aka P38_Lighting!

Wie zal het worden?

Ik bedank voor de eer

Mij teveel werk om de zaak weer stabiel te krijgen, moet me teveel voor gebeuren.

[DJ^]

Op zaterdag 10 maart 2001 11:56 schreef wildhagen het volgende:

[..]

Mij teveel werk om de zaak weer stabiel te krijgen, moet me teveel voor gebeuren.

Is het momenteel zo erg gesteld dan met got

[Verwijderd]

Op zaterdag 10 maart 2001 11:56 schreef wildhagen het volgende:

[..]

Ik bedank voor de eer

Mij teveel werk om de zaak weer stabiel te krijgen, moet me teveel voor gebeuren.

Lol!

Nou, ik zou het wel willen zijn hoor! Moet een grote eer zijn!

Rick, zal ik je komen helpen?

Of heb je liever BoerQ ?

[Verwijderd]

Gefeliciteerd BoerQ......

u heeft ewonnen ...:

- een brak systeem
- Hoopjes werk
- Veel gezeik
- EN !!! u wordt er niet voor betaald ...>!!

[Verwijderd]

Op zaterdag 10 maart 2001 11:58 schreef Proxy 71 het volgende:
Gefeliciteerd BoerQ......

u heeft ewonnen ...:

- een brak systeem
- Hoopjes werk
- Veel gezeik
- EN !!! u wordt er niet voor betaald ...>!!

En je mag users bannen! Net zoveel je wilt! Om de meest domme redenen!

Yeah!

Gefeliciteerd!

:z:z Rick :z:z

[Verwijderd]

Op zaterdag 10 maart 2001 11:58 schreef Proxy 71 het volgende:
Gefeliciteerd BoerQ......

u heeft ewonnen ...:

- een brak systeem
- Hoopjes werk
- Veel gezeik
- EN !!! u wordt er niet voor betaald ...>!!

DROMMELS DROMMELS DROMMELS! Ik heb ook altijd pech.

maar ff ontopic: /me ]is benieuwd of het met de nieuwe servers beter zal gaan: ik denk van wel

[Verwijderd]

Op zaterdag 10 maart 2001 12:00 schreef [BoerQ] het volgende:

[..]

DROMMELS DROMMELS DROMMELS! Ik heb ook altijd pech.

Haai Bassie!

Nou moet je wel!

[wildhagen]

Op zaterdag 10 maart 2001 11:58 schreef DJ^ het volgende:

[..]

Is het momenteel zo erg gesteld dan met got

Nou ja, de laatste 7 weken is het inderdaad zwaar continue down/up/down/up.

Persoonlijk zie ik een aantal grote blunders (ja, mijn mening dus):

1) De verkeerde OS-en op de verkeerde machines (FreeBSD/Linux-verhaal ivm SMP etc)
2) Verkeerde Loadbalancing-configuratie (de ene server krijgt het relatief zwaarder voor zijn kiezen dan de andere)
3) Zeer slechte communicatie naar eindgebruikers (de bezoekers) toe
4) Niet bepaald vriendelijk systeembeheerder, zeg maar gerust: op het onbeschofte af. En dat kan je niet gebruiken bij een professionele organisatie.

En als laatste, maar dat is mijn persoonlijke mening:

5) Een beetje vreemde mentaliteit: 'o, capaciteitprobleem? BENG, plaats maar wat nieuwe servers erbij' ipv de zaak eerst eens te finetunen. Als je naar de pure specs van de servers kijkt zou hij véél beter moeten presteren.

Ik voor mezelf vind het veel te veel om dit nog op korte termijn (lees: minder dan 1 jaar) te fixen, en dat zie ik dan dus ook niet gebeuren.

[Verwijderd]

Maar waar zit het probleem nou?

Te weinig capaciteit van de servers?

Slecht beheer?

Geen goede software?

[Verwijderd]

Hmm...

[wildhagen]

Te weinig capaciteit van de servers?

Welnee.

Slecht beheer?

Ja. En niet om iemand hier voor het hoofd te stoten, maar dat kan iedereen zien, het ligt namelijk nogal voor het oog, de afgelopen 7 weken.

Geen goede software?

Eerder de verkeerde OS-en op de verkeerde machines.

[DJ^]

Op zaterdag 10 maart 2001 12:03 schreef wildhagen het volgende:

[..]
tips voor rick

Ik dacht dat t.net (& got) genoeg geld hadden, en dus ook wel die zaakjes een beetje professioneler aan kunnen pakken, want dit is natuurlijk behoorlijk triest.

[Verwijderd]

Op zaterdag 10 maart 2001 12:05 schreef wildhagen het volgende:
[..]
Welnee.
[..]
Ja. En niet om iemand hier voor het hoofd te stoten, maar dat kan iedereen zien, het ligt namelijk nogal voor het oog, de afgelopen 7 weken.
[..]
Eerder de verkeerde OS-en op de verkeerde machines.

Hmm, maar op een site als T.net, verwacht je dit toch niet?

Hoe is zoiets mogelijk?

[wildhagen]

Op zaterdag 10 maart 2001 12:11 schreef SweetTiffany het volgende:

[..]

Hmm, maar op een site als T.net, verwacht je dit toch niet?

Hoe is zoiets mogelijk?

Ja, dat weet ik dus ook niet.

Maar het is heel simpel te verhelpen door vooruit te kijken. Als organisatie (dus niet alleen de sysbeh) kun je ongeveer wel bepalen hoe de ontwikkelingen zullen verlopen. Pieken houd je natuurlijk altijd, maar de normale lijn is doodsimpel te extrapoleren aan de hand van de bezoek-cijfers van de afgelopen maanden.

En op die cijfers zou je dus vantevoren moeten inspelen, en niet als de problemen al optreden (zoals nu dus). Dat laatste is gewoon symptoombestrijding i.p.v. probleembestrijding.

[Verwijderd]

hoho Wildhagen, je begint nu iets te veel op de persoonlijke toer tegen Rick aan te schoppen. de capaciteit is er op dit moment inderdaad wel, maar daarvoor zal de artemis Linux moeten draaien en de webservers aphrodite en athena FreeBSD. Dat kun je geen fine-tuning noemen, eerder een volledige rebuild van de structuur.

Daarnaast is ook al ik weet niet hoe vaak gezegd dat de servers vooral worden bijgeplaatst met het oog op de groei. tweakers imperium groeit _vrij_ hard, en de capaciteit die er nu nog wel is is er over een half jaar niet meer.

kortom: als je op dit moment de webservers freebsd zou laten draaien en de sql server linux, dan zouden er _veel_ minder troubles zijn. Dat neemt niet weg dat ik het op andere punten wel met je eens ben. Rick is niet bepaald degene met de meest tactische uitspraken (need I say: "dpc sucks" door Rick @dpc forum ), en dat is gewoon niet bevorderlijk. Het probleem zit vooral in het feit dat adjes en modjes zich te persoonlijk bemoeien met discussies.

just my 2 cents

[Bulldog]

Op zaterdag 10 maart 2001 12:05 schreef DJ^ het volgende:

[..]

Ik dacht dat t.net (& got) genoeg geld hadden, en dus ook wel die zaakjes een beetje professioneler aan kunnen pakken, want dit is natuurlijk behoorlijk triest.

In verhouding met de tijd dat de servers nog bij Rackspace draaien was de downtime vele malen hoger. Wat dat betreft is dat al een hele vooruitgang. Denk dat het op dit moment voor een deel ook overmacht is; er kan niet even snel nieuwe software geinstalleerd worden. En nieuwe hardware is onderweg. (voor groot op toekomst voorberijd...)

Genoeg geld? Waar moeten ze dat geld dan vandaan halen? Volgens mij is tweakers.net voor 90% onafhankelijk van sponsering, banners en veel vrijwillegerswerk.

Neemt niet weg dat er wel enkele fouten zijn gemaakt, maar je kunt niet a_l_l_e_s van tevoren aan zien komen. Wat dat betrfet kun je de adjes niet alles verwijten denk ik..

[wildhagen]

Paz: niks persoonlijk, maar meer tegen de organisatie als geheel (de crew dus), niet tegen individuele poppetjes.

Maar dat de verkeerde OS-en op de verkeerde machines staan was natuurlijk wél te voorkomen, door gewoon goede research te doen, dat is namelijk in de SMP-howto's wel te vinden.

Finetunen, daar bedoel ik dus mee: het verbeteren van de diskactivity, performance-issues en de manier waarop webpages worden gemaakt en geserveerd. Ook zaken als memory-management en ga zo maar door.

Uit ervaring weet ik dat Finetunen gewoon enorm veel verbeteringen kan aanbrengen in de capaciteit van een server (niet alleen GoT/t.net, maar in het algmeen). Het plaatsen van nieuwe servers omdat de capaciteit ontbreekt is niet altijd de goede manier. Pas als je met finetunen niet verder komt, moet je zoiets in overweging nemen.

Rick is niet bepaald degene met de meest
tactische uitspraken (need I say: "dpc sucks" door Rick @dpc forum ), en dat is
gewoon niet bevorderlijk. Het probleem zit vooral in het feit dat adjes en modjes zich te
persoonlijk bemoeien met discussies.

Juist, en dat is nu het hele punt. In plaats van gewoon discussieren met de gebruikers, waaronder veel mensen die weten waar ze het over hebben, gaan ze ze uitschelden (zie ook de URL in de 3e post hier, en nog wel meer voorbeelden). Zo bereik je dus dat je gebruikers over de zeik gaan.

Neemt niet weg dat er wel enkele fouten zijn gemaakt, maar je kunt niet a_l_l_e_s van
tevoren aan zien komen. Wat dat betrfet kun je de adjes niet alles verwijten denk ik..

Honderd procent correct, maar een groei zoals deze was wel degelijk te voorspellen. Immers, het gaat al een jaar (of nog langer?) zo snel als nu, dus waarom zou dat nu opeens afvlakken dan?

[Verwijderd]

Wildhagen: wie zegt dat er niets wordt gedaan met memory management? of disc activity? Ik ben het met je eens dat er vast nog wel 'tweaks' mogelijk zijn om de machines een extra boost te geven, maar is dat niet de reden dat maandag/dinsdag een en ander wordt omgebouwd?

Wat betreft die smp kwestie: het is wel degelijk mogelijk om smp met mysql te gebruiken, maar door een ongelukkige samenloop van omstandigheden is dat niet mogelijk. huiswerk had beter gedaan moeten worden op dat gebied. Los daarvan ligt het probleem nu meer bij het niet continue monitoren van de servers. Als Rick er niet op tijd bij kan zijn moet er gewoon een tweede server administrator bijkomen (vrijwilligerswerk), niets ten nadele van Rick, maar voor een site van deze omvang is het gewoon 'not done' om relatief lang onbereikbaar te blijven.

Maar wederom: wacht maandag/dinsdag even af, en kijk wat er dan gebeurt...

[wildhagen]

wie zegt dat er niets wordt gedaan met memory management?

Nou ja, tot nu toe word er steeds geheugen bijgeplaatst, vooral in de webservers vind ik dat er enorm veel (IMHO (!) té veel) geheugen inzit. Vraag me af, of je door slimme trucs niet met wat minder memory toe zou kunnen. Voor de DB-server (Artemis) is dat waarschijnlijk iets anders ja.

Maar wederom: wacht maandag/dinsdag even af, en kijk wat er dan gebeurt...

O, dat zal ik zeker doen, trust me!

Maar ik wil eerst nog zien of het ook daadwerkelijk helpt, zie mijn hele replies hierboven voor de redenen.

[Verwijderd]

512/768 mb is niet echt overdone voor een dedicated webserver. Zeker niet als je kijkt naar de hoeveelheid pageviews per dag per server...
Daar komt bij dat er binnen de wwwwereld al enige tijd een verschuiving plaats vind van het serveren van statische content naar het uitvoeren van sciprts (php). dat vereist behoorlijk wat meer werk voor een server, zeker als de server veel requests per seconde te verwerken krijgt.

overigens ken ik de installatie van de servers @ tweakers.net niet, dus kan ik er inhoudelijk niets over zeggen.

Wat Freebsd betreft: het is efficienter in het serveren van veel pagina's dan linux. Andersom is linux weer beter in het smp werk met mysql. ik verwacht er dan ook heel veel van. (als een of meer servers er in de eerste week uitklappen heeft dat puur met config fouten te maken, en ik vind niet dat je dat zomaar kunt aanrekenen aan de tweakers.net crew. je zou als verweer aan kunnen voeren dat ze dat dan van te voren hadden moeten testen, maar regel jij even een testbank?)

[Tom]

Ik heb niet veel toe te voegen (waar het aan ligt, ik weet het niet, weet weinig van serverbeheer) maar ik op die database errors, zie ze de laatste tijd wel erg vaak

[Verwijderd]

Op zaterdag 10 maart 2001 12:41 schreef Paz het volgende:
512/768 mb is niet echt overdone voor een dedicated webserver. Zeker niet als je kijkt naar de hoeveelheid pageviews per dag per server...
Daar komt bij dat er binnen de wwwwereld al enige tijd een verschuiving plaats vind van het serveren van statische content naar het uitvoeren van sciprts (php). dat vereist behoorlijk wat meer werk voor een server, zeker als de server veel requests per seconde te verwerken krijgt.

Dit is naar mijn mening een van de grote problemen. t.net en GoT groeit nog flink, en daardoor stijgt het aantal requests/sec. Maar daarnaast wordt er nog zowat elke dag aan de scripts gesleuteld, terwijl de server up is.

Dat dit allerlei onverwachte problemen veroorzaakt, is natuurlijk op de vingers van een hand af te tellen. Een klein foutje of een inefficientie in een regex die door elke user op elke page gedraaid wordt, en de servers liggen weer op hun gat.

Daarnaast is het natuurlijk puur hell voor de coders/beheerders om alles in een live situatie te moeten doen. Alle veranderingen moeten zo snel mogelijk gebeuren, wat niet bepaald bevorderlijk is voor foutloos werken. Als je een jaar op die manier aan een servercluster gewerkt hebt, hangt hij van paperclips en elastiek in elkaar. Niemand weet nog precies hoe het in elkaar zit, en dat moet je dan vervolgens gaan finetunen...

<edit>typo's</edit>

[RvdH]

Op zaterdag 10 maart 2001 11:51 schreef wildhagen het volgende:

[..]

Euh....

De servers hebben problemen (flinke zelfs) en de systeembeheerder slaapt????????????? Wa's dát nu weer?

Ik ben al drie dagen ziek, en de afgelopen 4/5 dagen heb ik tot diep in de nacht aan de voorbereindingen van de geplande serverupgrades gewerkt. Gimme a break.

Op zaterdag 10 maart 2001 11:53 schreef wildhagen het volgende:

[..]

Nee, natuurlijk niet.

Maar een béétje systeembeheerder die ook maar een BEETJE serieus genomen wil worden heeft een monitoring-system staan dat alarm slaat (via piepen, sms-en whatever) als er iets grondig mis gaat... en dan gaat een goede systeembeheerder dus aan de slag om het probleem per direct te verhelpen.

Er draait een monitoring systeem, maar deze stuurt meldingen via e-mail. En dat lees ik niet als ik slaap. Een goede sms-monitor heb ik nog niet kunnen vinden.

Op zaterdag 10 maart 2001 12:03 schreef wildhagen het volgende:

[..]

Nou ja, de laatste 7 weken is het inderdaad zwaar continue down/up/down/up.

Persoonlijk zie ik een aantal grote blunders (ja, mijn mening dus):

1) De verkeerde OS-en op de verkeerde machines (FreeBSD/Linux-verhaal ivm SMP etc)

Zoals zo vaak gezegd, Linux draait niet op Artemis vanwege de RAID controller.

2) Verkeerde Loadbalancing-configuratie (de ene server krijgt het relatief zwaarder voor zijn kiezen dan de andere)

Klopt, athena zou meer requests moeten verwerken. Helaas is dit door de manier waarop Topix (dat veroorzaakt de meeste load op Aphrodite) in elkaar zit niet 1,2,3 te doen. Maar hieraan is ook al gewerkt door Arjen, en het forum zal dan ook binnenkort gebalanced worden.

3) Zeer slechte communicatie naar eindgebruikers (de bezoekers) toe

.plan tracker? Forum, waarin de crew vrijwel altijd reakties geeft op vragen van bezoekers? Ik kan het niet met je eens zijn op dit punt.

4) Niet bepaald vriendelijk systeembeheerder, zeg maar gerust: op het onbeschofte af. En dat kan je niet gebruiken bij een professionele organisatie.

En als laatste, maar dat is mijn persoonlijke mening:

5) Een beetje vreemde mentaliteit: 'o, capaciteitprobleem? BENG, plaats maar wat nieuwe servers erbij' ipv de zaak eerst eens te finetunen. Als je naar de pure specs van de servers kijkt zou hij véél beter moeten presteren.

De software en servers zijn al optimaal geconfigureerd, op de beste manier mogelijk. De problemen van nu zijn toe te schrijven aan onvoldoende capaciteit, en een ongeschikt, maar noodzakelijk, OS op Artemis.

Op zaterdag 10 maart 2001 12:05 schreef wildhagen het volgende:
Ja. En niet om iemand hier voor het hoofd te stoten, maar dat kan iedereen zien, het ligt namelijk nogal voor het oog, de afgelopen 7 weken.

Heel knap van je dat je dat weet, zonder shell-access, of ook maar 1% kennis van de manier waarop die servers inelkaar steken. En ja, hier voel ik me door aangevallen. Immers, hoe zou jij je voelen als je dag in dag uit, ziek of niet, vakantie of niet, weekend of niet, vrijwel continue aan die servers werkt, en er dan een bezoeker even komt melden dat die servers niet goed worden beheerd?? Maargoed, ik weet dat ik me niet teveel moet aantrekken van je kritiek. Want het maakt niet uit wat Tweakers.net, of ik, of de rest van de crew doet, in jouw ogen is het altijd fout en verkeerd. Dat zal dan wel he?

[wildhagen]

Kijk, zo'n reply gaat al heel erg de goede kant op. Jammer alleen van die laatste paar regels, dat daar nog een sneer gegeven moet worden.

Toch heb ik nog wel wat opmerkingen.

Zoals zo vaak gezegd, Linux draait niet op Artemis vanwege de RAID controller.

Dan moet er dus een andere RAID-controller in. OK, dat gebeurt binnenkort, maar dat had natuurlijk ook al eerder gekund...

.plan tracker? Forum, waarin de crew vrijwel altijd reakties geeft op vragen van
bezoekers? Ik kan het niet met je eens zijn op dit punt.

En hier ben ik het niet helemaal mee eens, wel gedeeltelijk. Maar er zijn op dit forum wel vaker goede ideeën geuit, met name door Onno, Chaos, en nog enkele anderen. Waarom komt daar zelden (dus niet nooit) een (zinnige) reactie op c.q. word er wat mee gedaan?

Heel knap van je dat je dat weet, zonder shell-access, of ook maar 1% kennis van de manier waarop die servers inelkaar steken.

Om Code #55's of 'Koffieleut'-meldingen te zien hoef je geen shell-access te hebben, een browser met Internet-toegang is al voldoende.

[RvdH]

Op zaterdag 10 maart 2001 12:27 schreef Paz het volgende:
Wildhagen: wie zegt dat er niets wordt gedaan met memory management? of disc activity? Ik ben het met je eens dat er vast nog wel 'tweaks' mogelijk zijn om de machines een extra boost te geven, maar is dat niet de reden dat maandag/dinsdag een en ander wordt omgebouwd?

Nee. De servers zijn al zo ver mogelijk getweaked en geoptimaliseerd als mogelijk, met het huidige OS en capaciteiten.

Wat betreft die smp kwestie: het is wel degelijk mogelijk om smp met mysql te gebruiken, maar door een ongelukkige samenloop van omstandigheden is dat niet mogelijk. huiswerk had beter gedaan moeten worden op dat gebied.

Daar was geen tijd voor. Zie ook mijn reply in <a href=http://gathering.tweakers.net/forum/list_messages/130074>deze thread</a>.

Los daarvan ligt het probleem nu meer bij het niet continue monitoren van de servers. Als Rick er niet op tijd bij kan zijn moet er gewoon een tweede server administrator bijkomen (vrijwilligerswerk), niets ten nadele van Rick, maar voor een site van deze omvang is het gewoon 'not done' om relatief lang onbereikbaar te blijven.

Mijn telefoon staat altijd aan, en toch word ik niet (wakker)gebeld als er wat aan de hand is. Ook stuurt de monitor software emails, ipv smsjes. Hoe moet ik dan ruiken dat er wat mis is? Een tweede serverbeheerder is wellicht een goed idee, en dat zal dan ook (zeer) binnenkort gebeuren (zij het door wat andere redenen).

[alt-92]

Op zaterdag 10 maart 2001 15:29 schreef RickJansen het volgende:
Mijn telefoon staat altijd aan, en toch word ik niet (wakker)gebeld als er wat aan de hand is. Ook stuurt de monitor software emails, ipv smsjes. Hoe moet ik dan ruiken dat er wat mis is?

Simpel:
forward instellen naar je [e-mail] (eerst even aanmelden.)

Had je zelf ook op I&T forum kunnen vinden btw...

[RvdH]

Op zaterdag 10 maart 2001 15:28 schreef wildhagen het volgende:
Kijk, zo'n reply gaat al heel erg de goede kant op. Jammer alleen van die laatste paar regels, dat daar nog een sneer gegeven moet worden.

Wie de bal kaatst...

Toch heb ik nog wel wat opmerkingen.
[..]

Dan moet er dus een andere RAID-controller in. OK, dat gebeurt binnenkort, maar dat had natuurlijk ook al eerder gekund...

"Eerder", was het nog niet nodig. Was er ook geen geld voor. Het regelen van nieuwe hardware, nieuwe servers etc kost veel tijd. We zijn er ook al een hele tijd terug aan begonnen. Daarbij komt het feit dat met een nieuwe RAID-controller, er een nieuw besturingssysteem op moest. Dat kost al aardig wat tijd. Wil je dan de downtime zo klein mogelijk houden, en er staan ook nieuwe webservers op de planning, dan doe je dat in 1 keer. Zodat je niet 3 keer een paar uur downtime krijgt.

[..]

En hier ben ik het niet helemaal mee eens, wel gedeeltelijk. Maar er zijn op dit forum wel vaker goede ideeën geuit, met name door Onno, Chaos, en nog enkele anderen. Waarom komt daar zelden (dus niet nooit) een (zinnige) reactie op c.q. word er wat mee gedaan?
[..]

De personen die je noemt, staan iig bij de crew bekent als, op zijn vriendelijkst gezegt, kritiekvolle bezoekers. En dan heb ik het niet over constructieve, opbouwende kritiek. (Heel) vaak gaan de "tips" die zij geven over Topix, en ook heel vaak wordt er vroeger of later wel zeker wat mee gedaan. Kijk maar naar de uitgebreide search van nu, of iets kleins als focus op zoekveldjes, of het kunnen submitten van je prefs door een druk op de enter-toets. Ik kan me goed voorstellen dat Arjen af en toe een beetje moe wordt van die kritiek, en dus geen zin heeft om erop te reageren. Of dat de juiste manier van handelen is..

Om Code #55's of 'Koffieleut'-meldingen te zien hoef je geen shell-access te hebben, een browser met Internet-toegang is al voldoende.

Waar haal je het dan in hemelsnaam vandaan dat die meldingen het gevolg zijn van een slechte systeembeheerder?! Code #55, 'Koffieleut'-meldingen zijn meldingen die betrekking hebben over het down zijn van een MySQL server. De MySQL server is, systeemwijd gezien, maar een klein onderdeel van een server. Systeembeheer is zoveel meer dan het starten, of laten draaien, van een MySQL server. Erg kromme conclusie die je trekt.

[Onno]

niet constructief

vs.

en ook heel vaak wordt er vroeger of later wel zeker wat mee gedaan

Goh. Hier spreek je jezelf toch behoorlijk tegen.

[RvdH]

Op zaterdag 10 maart 2001 15:48 schreef Onno het volgende:

[..]
Goh. Hier spreek je jezelf toch behoorlijk tegen.

Nee, hier zeg ik dat wij zelfs naar de lastigste en meest irritante bezoekers luisteren.

[Verwijderd]

sorry kan me er beter niet mee bemoeien

[Verwijderd]

Blech .. net weer spontaan uitgelogd en me prefs kwijt.

[PokkeNoise]

Lezen en de zin begijpen zijn hier duidelijk 2 dingen.

De interpretatie die Onno maakt van de alinea van Rick leest * PokkeNoise toch anders.

edit:

reactie te traag door problemen met de database server

[RvdH]

Op zaterdag 10 maart 2001 15:36 schreef BackSlash32 het volgende:

[..]

Simpel:
forward instellen naar je [e-mail] (eerst even aanmelden.)

Had je zelf ook op I&T forum kunnen vinden btw...

Net geprobeerd, werkt niet (Dutchtone pre-pay suckt ).

[Verwijderd]

Op zaterdag 10 maart 2001 15:29 schreef RickJansen het volgende:

[..]

Nee. De servers zijn al zo ver mogelijk getweaked en geoptimaliseerd als mogelijk, met het huidige OS en capaciteiten.
[..]

Beetje verwarrend, ik had het niet zozeer over het tweaken van de bestaande machines, maar over het opzetten van een logischer structuur van het server park (FreeBSD vs. Linux)

Laten we nu voor de rest wat aardiger tegen elkaar zijn, T-net crew (incl. Rick) doet wat zij kan, en dat weet iedereen. Dat er af en toe wat irritaties zijn is logisch, maar geen reden tot de huidige malaisestemming die er nu door een aantal mensen over t-net/GoT wordt uitgeroepen...

ps, rick, sms notificatie van genie.nl al geprobeerd?

[Chaos]

ps, rick, sms notificatie van genie.nl al geprobeerd?

Pfff.. wat doen we weer moeilijk zeg, plak gewoon Ricks foonnummer onder alle mogelijke foutmeldingen.

[Verwijderd]

heheh.... *lol*

de 'call me back' button!

[MoBi]

ik denk dat een hoop problemen hadden kunnen voorkomen, als de db server van te voren was getest op zijn werking. Dan maar 1 of 2 dagen extra last, maar dan weet je gelijk of er problemen voordoen (SMP b.v.). Bij bedrijven worden productie servers (wat dit zijn) altijd getest! Waarom hier dan niet?? JA tijds druk word er gegeven als antwoord, maar denk na, een hoop van deze ellende die er nu is, had verkomen kunnen worden als er getest had, dan had je geweten dat mysql onder freebsd niet lekker loopty in een smp omgeving!

[Mr. B.]

Op zaterdag 10 maart 2001 16:48 schreef Chaos het volgende:

[..]

Pfff.. wat doen we weer moeilijk zeg, plak gewoon Ricks foonnummer onder alle mogelijke foutmeldingen.

LOL

[alt-92]

Op zaterdag 10 maart 2001 16:32 schreef RickJansen het volgende:

Net geprobeerd, werkt niet (Dutchtone pre-pay suckt ).

Tja.. toch maar eens tijd voor een echte mobiele provider dan

[Verwijderd]

Ja Femme! Wordt het niet eens tijd dat Rick een echte provider krijgt.

[RvdH]

Op zaterdag 10 maart 2001 17:17 schreef MoBi het volgende:
ik denk dat een hoop problemen hadden kunnen voorkomen, als de db server van te voren was getest op zijn werking. Dan maar 1 of 2 dagen extra last, maar dan weet je gelijk of er problemen voordoen (SMP b.v.). Bij bedrijven worden productie servers (wat dit zijn) altijd getest! Waarom hier dan niet?? JA tijds druk word er gegeven als antwoord, maar denk na, een hoop van deze ellende die er nu is, had verkomen kunnen worden als er getest had, dan had je geweten dat mysql onder freebsd niet lekker loopty in een smp omgeving!

Lees mijn reply's in [topic=130074] nog eens door.

[klaaz]

Zonder inhoudelijk op de discussie in te willen gaan (weinig verstand van): Vuurwerk biedt op haar eigen hostingservers de mogelijkheid om email->SMS te versturen.

Wellicht kunnen zij je verder helpen.

[McVirusS]

Hoge bomen vangen veel wind.

[McVirusS]

Nog eentje:
De beste stuurlui staan aan wal.

[RvdH]

Op zaterdag 10 maart 2001 17:47 schreef [BoerQ] het volgende:
Ja Femme! Wordt het niet eens tijd dat Rick een echte provider krijgt.

Helemaal mee eens

[alt-92]

Gheh.. Stap eens een telecom zaakje binnen en vraag maar eens wat abbo's op.
Of vraag het ff in I&T

Serieus.. ook minder gezeik (kaart op enz..) en met een goeie deal heb je 60-120 belminuten gratizzz.

[Mr. B.]

Op zaterdag 10 maart 2001 15:58 schreef HlpDsK het volgende:
Blech .. net weer spontaan uitgelogd en me prefs kwijt.

Hier ook weer... ik open LA en *poef* dag login/prefs

[RvdH]

Op zaterdag 10 maart 2001 16:42 schreef Paz het volgende:

[..]

Beetje verwarrend, ik had het niet zozeer over het tweaken van de bestaande machines, maar over het opzetten van een logischer structuur van het server park (FreeBSD vs. Linux)

Dat willen we dus dinsdag gaan doen.

ps, rick, sms notificatie van genie.nl al geprobeerd?

werkt perfect, thanks!

[mavink]

Op zaterdag 10 maart 2001 15:29 schreef RickJansen het volgende:

Een tweede serverbeheerder is wellicht een goed idee, en dat zal dan ook (zeer) binnenkort gebeuren (zij het door wat andere redenen).

Cool, wie wordt het? Wat moet je doen om zo'n baantje te krijgen?

[Verwijderd]

Op zaterdag 10 maart 2001 23:02 schreef RickJansen het volgende:

[..]

Dat willen we dus dinsdag gaan doen.

en dat bedoelde ik ook. cirkeltje is weer rond

[Femme]

Ik heb niet zoveel zin om te reageren op alle uitspraken van Wildhagen omdat ze over het algemeen nergens op slaan (niet optimaliseren, verweten worden te dom zijn om zelf te checken hoeveel geheugen een webserver nodig heeft enz.). Als je niet over de informatie beschikt om zinnige uitspraken te doen kun je IMO beter je mond houden.

Maar het is heel simpel te verhelpen door vooruit te kijken. Als organisatie (dus niet alleen de sysbeh) kun je ongeveer wel bepalen hoe de ontwikkelingen zullen verlopen. Pieken houd je natuurlijk altijd, maar de normale lijn is doodsimpel te extrapoleren aan de hand van de bezoek-cijfers van de afgelopen maanden.

En op die cijfers zou je dus vantevoren moeten inspelen, en niet als de problemen al optreden (zoals nu dus). Dat laatste is gewoon symptoombestrijding i.p.v.
probleembestrijding.

De problemen met Artemis waren moeilijk in te schatten. Toen Artemis eenmaal draaide (wat dus echt snel moest gebeuren ivm load problemen eind november) was het moeilijk om snel om te switchen naar een ander OS, daarvoor moeten eerst die extra servers er zijn. In het begin waren er absoluut geen MySQL problemen op Artemis, dus geen vooruitzicht op problemen in februari.

Het is echt wel onze doelstelling om load problemen in de toekomst voor te zijn. Als Artemis met de nieuwe configuratie goed loopt moet dat ook best mogelijk zijn. Extra webservers kunnen vrij snel gebouwd worden (hoewel de sponsoring/barter deals die het bouwen van de servers wat betaalbaar maken het regelen van de hardware vaak wat vertragen). Een 'slank' geconfigureerde MySQL replication server met snelle CPU, veel geheugen, snelle SCSI harddisk en verder simpele hardware zou bijv. een idee zijn voor de komende 3 maanden. Een load balancer zou ook erg prettig zijn (bijv. van Foundy Networks). Voorwaarde is wel dat dit financieel mogelijk moet zijn. Wat dat betreft zien de vooruitzichten er niet heel erg gunstig uit.

Dit is naar mijn mening een van de grote problemen. t.net en GoT groeit nog flink, en daardoor stijgt het aantal requests/sec. Maar daarnaast wordt er nog zowat elke dag aan de scripts gesleuteld, terwijl de server up is.

Dit lijkt een logische redenering maar ik de praktijk gaat 't niet op IMO. Het probleem dat we nu hebben is dat MySQL gewoon de load niet kan trekken, daardoor in 2 daemons opgesplitst moest worden en dat loopt niet erg stabiel. De problemen worden veroorzaakt door de hoeveelheid traffic die de servers te verwerken krijgen, niet door bugfixes en nieuwe features die rare problemen veroorzaken. Op het forum zijn het vaak problemen met het session gebeuren, ook dat komt door de database server en niet door de scripts. De verandering hebben betrekking op bugfixes of optimalisaties (om problemen te verhelpen, is alleen maar ten goede), of nieuwe features maar die laten MySQL niet hangen. Mijn scripsels op t.net lopen prima heb ik de indruk. Dat komt ook omdat Athena vrijwel nooit overbelast is. Een beheerder kan een niet overbelaste server wekenlang ongemoeid laten terwijl hij dezelfde server met exact dezelfde configuratie onder zware overbelasting de hele dag moet babysitten.

Het is bdw vrijwel onmogelijk om een releastische situatie (megaload zoals hier op GoT) te testen in een gesimuleerde omgeving en dan ook nog de exacte oorzaak te herleiden van een Apache hangup (kan overal aan liggen).

En zoals je zelf al schreef, wordt van ons ook verwacht dat fixes en features zo snel mogelijk ingevoerd worden en dan is goed testen onmogelijk. Dat een regex niet optimaal werkt is minder prettig voor de bezoeker, maar levert geen load problemen op.

[PsychoG]

Aangezien ik geen Ad'je ben en het me eigenlijk geen fuck kan schelen wat iedereen van me denkt, en omdat ik geen zin heb om een gigantisch verhaal te typen het volgende:

Ik vind (let op hé een mening) die Wildhagen maar een ontzettend arrogante galbak die alles beter denkt te weten en continu de hele T.net crew loopt af te kankeren omdat hij niets beters te doen heeft.

I rest my case......

<-- Staat waarin ik nu verkeer.

PS: Het woordje begrip schijnt Wildhagen ook niet te kennen (niet alleen Wildhagen trouwens).

[Verwijderd]

Ik bedoel niet dat je een regex schrijft die foute uitkomsten geeft, maar een regex die excessief backtracked, en daardoor traag wordt en load veroorzaakt. Ik weet niet genoeg over php en topix om te kunnen oordelen of dat het geval is.

Als jullie echt problemen hebben met MySQL ondanks genoeg hardware capaciteit, kan het heel goed aan het OS liggen, maar ook heel goed aan MySQL. Het is een bekend probleem met MySQL, dat als je veel inserts doet op een table, en er ondertussen selects op draait, de performance keldert. Dat was een ontwerp keuze: http://www.mysql.com/doc/D/e/Design_Limitations.html

<edit>woordje vergeten</edit>

[GaMeOvEr]

Scheelt het niet gigantisch in de Server load als je een nieuwe UserDB opzet, waarin de Accounts voor GoT _en_ T.net staan ?

Al die login-crap is toch een Server-side gebeuren ? Dus als ik ingelogd ben op T.net en GoT, dan heb ik dus twee sessies openstaan ?

Als hier nu een grote DB achterzit, scheelt dat niet gigantisch in de load ? Een keer inloggen, en ingelogt zijn op GoT enT.net... Scheelt ook weer op MySQL lijkt mij.

[Cyphax]

dan is het misschien nog wel beter om ze samen te voegen.. dan ben je maar met 1 enkele sessie bezig?

[tabaqui]

Op zaterdag 10 maart 2001 15:21 schreef RickJansen het volgende:
[..]
Er draait een monitoring systeem, maar deze stuurt meldingen via e-mail. En dat lees ik niet als ik slaap. Een goede sms-monitor heb ik nog niet kunnen vinden.
[..]

big brother
Met dit programma wordt een IRC netwerk in de gaten gehouden. Het kan ook sms'jes versturen naar bepaalde personen als dat gewenst is.

[GaMeOvEr]

Op maandag 12 maart 2001 14:57 schreef Cyphax het volgende:
dan is het misschien nog wel beter om ze samen te voegen.. dan ben je maar met 1 enkele sessie bezig?

Euh....

Ja ! Dat zeg ik toch ?

[picobyte]

Als er nog mensen nodig zijn, wil ik mij ook wel opgeven om waar nodig een server een trap te geven

[biobak]

Zo lang ik niet voor de site hoef te betalen, ga ik me niet druk maken om die downtime
Doet ie het niet, dan ga je toch lekker wat anders doen. Je leven hangt er toch niet vanaf....
* biobak begrijpt het probleem niet helemaal