Thor de backupper

[Verwijderd]

Ik zou graag willen weten wie er nu eigenlijk allemaal de backup server gebruiken voor hun stats. Vandaag merkte ik een traagheid op bij mijn website's en het bleek dat er door 7 mensen gelijktijdig een statsrun werd gedaan. Vooral de seti en F@H tabellen zijn zeer groot. Seti bijna 4 en F@H zelfs ruim 7.000.000 entries.

Niet dat ik het erg vind maar ten tijde van zwaar weer / onweer ect.. graag hier rekening mee houden. Die site moet ten allertijden snel blijven namelijk .

Ik dank u

ik zal vanaf vandaag elke dag rond half 6 's ochtends de 2 grootste tabellen automatisch optimaliseren. Dit moet de performance ten goede komen. De grootste tabel van F@H is iig van 1gb naar 550mb gegaan.

[ Voor 17% gewijzigd door Verwijderd op 13-01-2007 11:32 ]

[Witlof]

Ik moet zeggen dat ik www.dpchserver.nl meer gebruik dan tadah.mine.nu ivm snelheid. De pagina's laden net wat sneller bij met name SETI@Home.

[Black Piet]

Met Witlof

ALS ik een keer post open ik de links van beide servers. Diegene die het eerst reageert is de winnaar om de stats te verzorgen.... Bij mij wisselt het dus wel eens

[ColdFusion]

Als ik het goed begrijp, bedoeld Soulmaster niet het opvragen van de stats, maar het gebruiken van de stats voor eigen subteam stats? Iig gebruikt TCF de officieële bronnen van de projecten zelf.

[Verwijderd]

Ik gebruik 9 van de 10 keer de backupserver aangezien deze net iets sneller is aangezien niet veel mensen die gebruiken

[DukeBox]

Verwijderd schreef op zaterdag 13 januari 2007 @ 11:18:
ik zal vanaf vandaag elke dag rond half 6 's ochtends de 2 grootste tabellen automatisch optimaliseren. Dit moet de performance ten goede komen. De grootste tabel van F@H is iig van 1gb naar 550mb gegaan.

Ik wil je wel helpen optimaliseren... db structuur en query's..

[Swaptor]

Ik gebruik, op 1 project ook voor de subteamstats, de stats van dpchserver.
Dus voor alle projecten die wij in ons subteam hebben gebruiken onze eigen ontwikkelde (mijn dus ) statsparsers die de betreffende DPCH's van dpchserver.nl trekt.

Ik heb overigens nooit toestemming gevraagd, 't zijn overigens max. 10 hits per dag. Bij deze dus een pretty please voor 't gebruik

[Witlof]

Wij gebruiken de servers om stats te bekijken en om hitparades te posten. Hoeveel hits per dag er afkomstig zijn van Division Brabant leden weet ik niet, maar ik verwacht dat er toch wel een aantal van in de tientallen of misschien 100-tallen hits per dag van ons afkomstig zullen zijn. Dat krijg je met zo'n verslagving

Als er een mogelijkheid zou zijn dat we op een andere manier stats op onze website zouden kunnen krijgen, zonder de server van een ander te zwaar te belasten zou dat mooi zijn. Ik heb echter geen flauw idee hoe we dat moeten gaan doen

[Verwijderd]

DukeBox schreef op zaterdag 13 januari 2007 @ 12:22:
[...]

Ik wil je wel helpen optimaliseren... db structuur en query's..

gebeurd vanaf heden automagisch

Witlof schreef op zaterdag 13 januari 2007 @ 12:36:
Wij gebruiken de servers om stats te bekijken en om hitparades te posten. Hoeveel hits per dag er afkomstig zijn van Division Brabant leden weet ik niet, maar ik verwacht dat er toch wel een aantal van in de tientallen of misschien 100-tallen hits per dag van ons afkomstig zullen zijn. Dat krijg je met zo'n verslagving

Als er een mogelijkheid zou zijn dat we op een andere manier stats op onze website zouden kunnen krijgen, zonder de server van een ander te zwaar te belasten zou dat mooi zijn. Ik heb echter geen flauw idee hoe we dat moeten gaan doen

draaide vanochtend 2 minuten lang een load van 13.74 , net even te veel van het goede he

[ Voor 63% gewijzigd door Verwijderd op 13-01-2007 12:58 ]

[Verwijderd]

Ik zit er sterk aan te denken om de backupserver offline te halen tot dat speedkikker een oplossing heeft gevonden voor het load en geheugen vreet probleem. Ik krijg te veel klachten van mijn leden op de diverse site's die ik er op draai. .

[JohFraEl]

Ik dacht dat dat een dedicated server was....

iig wordt er druk gebruik van gemaakt, meer nog als tadah volgens mij

Maar jij moet natuurlijk de prioriteiten stellen (tis immers jouw server!)

[DukeBox]

Verwijderd schreef op maandag 15 januari 2007 @ 22:29:
Ik zit er sterk aan te denken om de backupserver offline te halen tot dat speedkikker een oplossing heeft gevonden voor het load en geheugen vreet probleem. Ik krijg te veel klachten van mijn leden op de diverse site's die ik er op draai. .

Ik doe dan niet zoveel projecten meer, maar als ik alleen naar sob en dpad kijk is dat echt een load van vrijwel 0,0.. toen ik net begon maakte in nog databases niet realiserend dat deze ook gingen groeien.

Gelukkig heb ik het relationeel opbouwen en geen redundante gegevens gebruiken aardig onder de knie, samen met goede cache instellingen, wat mysql instellingen, vooral niet te vergeten 'goede en GEEN overbodige of foute indexes', goed nadenken over de query's die je gaat gebruiken..

Ik weet zeker dat als er iemand bij mij naar kijkt er vast nog het een en ander verbeterd kan worden (het is ook niet mijn werk) maar ik weet ook dat veel statsbouwers dezelfde problemen hebben (gehad). Ik vermoed dat het bij andere statsbouwers ook niet anders is.

[Verwijderd]

ik wacht speedkikker zijn werkzaamheden even af en tot die tijd is de backupserver uit. Geen updates tot er iets aan gedaan is.

[ Voor 44% gewijzigd door Verwijderd op 16-01-2007 07:24 ]

[Witlof]

Jammer

[Verwijderd]

tja sorry maar vanochtend stond hij weer 10min met een load van boven de 10 te draaien. speedkikker moet het eerst oplossen .

[Witlof]

Ik begrijp het wel maar blijf het wel jammer vinden

[Verwijderd]

Verwijderd schreef op dinsdag 16 januari 2007 @ 07:54:
tja sorry maar vanochtend stond hij weer 10min met een load van boven de 10 te draaien. speedkikker moet het eerst oplossen .

ik ben nieuw in dit alles maar ik hoop dat er snel een oplossing gevonden word

[smoking2000]

Geen historische data meer bewaren of zo min mogelijk, De immense berg data voor een aantal projecten maken de betreffende tabellen groter dan nodig is.

[TommyGun]

DukeBox schreef op zaterdag 13 januari 2007 @ 12:22:
[...]

Ik wil je wel helpen optimaliseren... db structuur en query's..

Kun je mij daar eens wat meer info over verschaffen? Dank

[Verwijderd]

ask speedkikker ik lever alleen de server

[DukeBox]

TommyGun schreef op dinsdag 16 januari 2007 @ 18:18:
[...]
Kun je mij daar eens wat meer info over verschaffen? Dank

Ikweet niet precies wat je bedoeld, maar optimaliseren in de zin van database zo compact mogelijk, logische indexen, geen redundante gegevens, juiste table instellingen (geen text voor een integer enz)..
Vervolgens ook je query's optimaliseren, aangeven de juiste indexes te gebruiken, geen dubbele gegevens binnehalen.. locks voorkomen enz..

[TommyGun]

DukeBox schreef op dinsdag 16 januari 2007 @ 18:23:
[...]

Ikweet niet precies wat je bedoeld, maar optimaliseren in de zin van database zo compact mogelijk, logische indexen, geen redundante gegevens, juiste table instellingen (geen text voor een integer enz)..
Vervolgens ook je query's optimaliseren, aangeven de juiste indexes te gebruiken, geen dubbele gegevens binnehalen.. locks voorkomen enz..

True, maar ik mag aannemen dat de database input e.d. van Speedkikker toch aardig geoptimaliseerd is / wordt ?

[DukeBox]

Misschien moet je even die andere posts van mij lezen.

[Verwijderd]

sorry meiden maar de backup site gaat offline. Gisteren had ik elk uur een kleine 5 minuten een enorm trage server met een load die naar ruim 13 schoot . Tijdens deze statsrun werd al het geheugen in beslag genomen door het script van de statsrun. Speedkikker moet eerst maar de boel fixen en zorgen dat het een gewoon werkend script wordt.

de statsrun cronjobs zijn uitgezet tot er een oplossing is gevonden.

[ Voor 9% gewijzigd door Verwijderd op 19-01-2007 15:11 ]

[Verwijderd]

ik zie die speedkikker alleen nergens posten is ti op vakantie of zo???

[TommyGun]

Laatst nog wat getest met backup stats, krijg het helaas niet werkend onder PHP en MySQL 4. Jammer, had het wel willen draaien. Update naar PHP en MySQL 5 uitgevoerd, wat zorgde voor stress, en een Linux-pro om het weer te fixen...... waarna ik dus gewoon weer 4 draai.

Heb er een mooie bak voor (4x 700mhz 2mb cache CPU's, 8x 512mb ECC SD ram, 4x 37 GB 10k RPM disks RAID 5). Helaas...

[ Voor 15% gewijzigd door TommyGun op 04-02-2007 01:14 ]

[Verwijderd]

wacht ook nog steeds op antwoord van speedkikker . dus tot die tijd blijft de backup site niet geupdate.