belasting server met cronjobs

[rmfloris]

Ik heb een aantal cronjobs draaien, mijn vraag is, in hoeverre hebben bewerkingen die door de cronjobs worden gedaan invloed op de snelheid waarmee een bezoeker mijn site bezoekt. Oftewel, merkt de bezoeker of er een cronjob draait of niet? Mijn idee is dat de cronjobs gebruik maken van de rekenkracht van de server en dus geen invloed hebben op de gebruikerskant, maar ik ben er niet helemaal zeker over, dus vandaar dat ik mijn vraag hier plaats.

[whoami]

Wat heeft dit met P&W te maken?

P&W -> NOS

[Emmeau]

Als je een cron job uitvoert, zal dit door een CPU gebeuren.
De processortijd gebruikt door de cronjob, kan op dat moment niet door gebruikers gebruikt worden.
Afhankelijk van het type cronjob zullen gebruikeres het wel of niet merken. Zware cronjobs zullen wel degelijk merkbaar zijn

[blaataaps]

Ik snap je vraag niet? Je hebt een aantal dingen die cron elke minuut doet? Het hangt er natuurlijk van af wat voor dingen dat zijn of je server er trager van wordt of niet lijkt me. En wat is precies het verschil tussen 'rekenkracht van de server' en de 'gebruikerskant'? Met andere woorden: leg eens uit wat je precies doet, en wat je denkt dat je probleem is.

[rmfloris]

een groot aantal gegevens worden in een bestand weggeschreven door PHP. Deze gegevens worden 1x per uur in de database gegooid. Voordat ze de database worden ingegooid worden de gegevens eerst gescreend.
Een van de velden moeten worden gecontroleerd tegen 15000 records of ze daar in voor komen. Hier heb ik nog geen goede oplossing gevonden om dit efficient te doen (dus mochten daar nog ideeen over zijn, ze zijn welkom). Ik wou dit dus niet via een loop doen, maar voorlopig laat mijn creatieve geest mij in de steek. Dus iedere keer moet er een selectie uit de database worden gedaan. Het gaat hier over ongeveer 200 regels die worden gecontroleerd ieder uur.

In hoeverre merkt een bezoeker als hij op de site komt en de cronjob word net uitgevoerd als hij langskomt?

P.s. Ik had hem toch echt in programming and webscripting geplaatst. Mod, kan je deze voor mij verplaatsen? Sorry voor de overlast.

[ Voor 9% gewijzigd door rmfloris op 11-09-2003 15:25 ]

[Janoz]

Hij is juist uit P&W gegooid omdat dit er niks mee te maken heeft.

Tuurlijk heeft een zware job invloed op de rest van de processen. Dat lijkt me in principe niet meer dan logisch. Of de gebruiker het merkt is een ander verhaal. Dit hangt helemaal af van de job en de kracht van de server.

Over je probleem : Er zijn toch veel betere manieren om een uniek veld te garanderen?

[sirdupre]

Het heeft theoretisch altijd invloed als er een cron job loopt ja. Iets uitvoeren kost altijd processorkracht en daardoor blijft er minder over voor andere applicaties. Of de vertraging voor mensen die een page requesten bij je webserver 'merkbaar' is, is afhankelijk van de vertraging die de cron job met zich meebrengt. Dit kan een miljarste seconde zijn, dit kan ook veel meer zijn. Wát die vertraging is, is afhankelijk van de webserver software en evt. dynamische pagina's die geparset moeten worden, je besturingssysteem, de kracht die het cronscript wat je draait kost en natuurlijk ook gewoon hoe krachtig de hardware van de webserver is waar het allemaal op loopt.

[rmfloris]

het hoeft geen uniek veld te zijn, maar een referentie. In die 15000 records staan de ip adressen met hun land erbij. Hij moet dus het ip adres vervangen, door een landcode. Anders moet je het via een query dadelijk op 100.000 records gaan doen.
Maar omdat IP adressen niet logisch zijn geordend moet alle velden af. Je kan ze nog wel een beetje inperken, maar toch hou je er een heleboel over.

[Arnout]

praktijkvoorbeeldje: als ik aan het compileren ben stijgt de load naar 1.00 (logisch). Maar dit heeft geen _merkbare_ invloed op snelheid van het serveren van een dynamische pagina, die blijft nagenoeg gelijk. Dit is o.a. te danken aan de scheduler van de kernel.

[Wilke]

rmfloris schreef op 11 september 2003 @ 15:23:
P.s. Ik had hem toch echt in programming and webscripting geplaatst. Mod, kan je deze voor mij verplaatsen? Sorry voor de overlast.

Nee, een mod heeft hem juist uit P&W hierheen verplaatst omdat het niks met P&W te maken heeft.

Natuurlijk kun je het aan de clientkant merken als een server heel zwaar belast is, well duhhh. Aan de andere kant, als dat script maar 1 query tegelijk uitvoert belast dat de server waarschijnlijk niet zo zwaar. Zolang je maar zorgt dat er in de database een index is op het veld waarop je selecteert, valt dit best mee.

Sequentieel 15.000 records aflopen en dat 200 keer achter elkaar, dat is niet al te best

[Verwijderd]

Ga eerst eens je systeem monitoren om uit te vinden wat de daadwerkelijke belasting is. Mocht de job teveel resources gebruiken, zou je mischien "nice 10" voor je script in de crontab kunnen zetten.

edit:

De systeem specs van de machine zelf zijn mischien ook handig.

[ Voor 36% gewijzigd door Verwijderd op 11-09-2003 17:18 ]