[Debian] Wat te doen met de CPU load

[Verwijderd]

Hi,

Ik heb bij TransIP een X1 VPS en draai daar nu 2 Python3 scripts.
De load is als volgt:




Wat betekent dit concreet? Dat ik over de 100% ga? En wat nu? Upgraden?

[Rmg]

een load avg van > 1 is reden om op onderzoek uit te gaan.

Of dit in jouw geval een probleem is kunnen wij niet echt zeggen.

Hangt ook af van wat je scripts doen.

[Cyphax]

Wat de load betekent zou je eigenlijk gewoon even op kunnen zoeken (bijvoorbeeld https://www.howtogeek.com...-other-unix-like-systems/). Of je dat moet upgraden hangt af van hoe ie draait nu onder die load.

Kun je proberen je situatie en probleem iets meer te omschrijven?

[Korvaag]

Rmg schreef op donderdag 13 januari 2022 @ 21:35:
een load avg van > 1 is reden om op onderzoek uit te gaan.

Waarom ? Dat is afhankelijk van hoeveel CPU's er in je systeem zitten.

[ Voor 18% gewijzigd door Korvaag op 13-01-2022 21:39 ]

[Rmg]

Korvaag schreef op donderdag 13 januari 2022 @ 21:39:
[...]


Waarom ? Dat is afhankelijk van hoeveel CPU's er in je systeem zitten.

En wat is een x1? Juist een single core vps.

Dat houdt dus in dat er altijd wel een process zit te wachten opneen cpu.

[ Voor 13% gewijzigd door Rmg op 13-01-2022 21:42 ]

[Korvaag]

Rmg schreef op donderdag 13 januari 2022 @ 21:40:
[...]


En wat is een x1? Juist een single core vps.

Het mag wel wat vriendelijker hoor. Ik ken niet alle VPS'en van alle aanbieders uit m'n hoofd...

[Verwijderd]

Nou, een van de scripts is verbonden met mijn Outlook omgeving en voert Outlook regels uit. Maakt gebruik van de Exchangelib library en die lijkt best heftig in de load te zijn.

[ Voor 4% gewijzigd door Verwijderd op 13-01-2022 21:42 ]

[Korvaag]

Is het een bestaand script? Zo ja: met hoeveel CPU's/threads in gedachten is dat script gemaakt? Het kan zijn dat je simpelweg een script runt wat niet bedoeld is voor 1 CPU. Ik ken deze specifieke library niet echt, maar als ik wat zoek kom ik tegen dat je iig kan spelen met session_poolsize.

[Verwijderd]

Nee, ik heb het script zelf geschreven, session_poolsize zegt me niets?

[Morzzz]

Maar wat is je vraag of probleem nu?

Het systeem wordt 100% belast met hetgeen je het laat doen.

Gaat dat je niet snel genoeg? Dan moet je of je code aanpassen/efficiënter maken, of er meer hardware tegenaan gooien.

[Verwijderd]

Ik wil er meer hardware tegenaan gooien inderdaad. Probleem is dat ik niet weet hoeveel / wat precies en dat maakt het lastig.

Vraag 2; iemand bekend met een benchmark tool die een score afgeeft op een linux terminal?

[arjanvr]

sysbench

sudo yum install sysbench
sysbench --test=cpu --cpu-max-prime=20000 run

[Verwijderd]

arjanvr schreef op vrijdag 14 januari 2022 @ 19:47:
sysbench

sudo yum install sysbench
sysbench --test=cpu --cpu-max-prime=20000 run

Thnx! Had inmiddels Geekbench gevonden.

[CAPSLOCK2000]

Uit het plaatje blijkt dat je CPU 100% belast is. Of dat een probleem is of niet kunnen wij niet beoordelen want wij weten niet wat die scripts moeten doen. Als je een of andere zware klus is wil je natuurlijk dat je CPU 100% bezig is. De load van 1.07, 1.13, 1.16 vertelt dat in de afgelopen 1, 5 en 15 minuten niet veel verschil in belasting is geweest en dat de CPU voortdurend bezig is geweest.
Eerlijk gezegd is dat vaak een teken dat er iets door staat te draaien, de meeste software heeft het niet zo druk dat de CPU langere tijd voor de volle 100% is belast.

[Verwijderd]

CAPSLOCK2000 schreef op vrijdag 14 januari 2022 @ 21:38:
Uit het plaatje blijkt dat je CPU 100% belast is. Of dat een probleem is of niet kunnen wij niet beoordelen want wij weten niet wat die scripts moeten doen. Als je een of andere zware klus is wil je natuurlijk dat je CPU 100% bezig is. De load van 1.07, 1.13, 1.16 vertelt dat in de afgelopen 1, 5 en 15 minuten niet veel verschil in belasting is geweest en dat de CPU voortdurend bezig is geweest.
Eerlijk gezegd is dat vaak een teken dat er iets door staat te draaien, de meeste software heeft het niet zo druk dat de CPU langere tijd voor de volle 100% is belast.

Ah top!! Alles boven de 1 is dus 100% load en dus upgraden eigenlijk. Scriptje logt in op mijn Exchange mail en voert geautomatiseerd opdrachten uit. Alleen de load is enorm hoog en dat maakt het een kostbaar plaatje wat niet rendabel meer is helaas…

Edit:
Het script hangt zichzelf op de laatste tijd en herstart zich constant.

[ Voor 4% gewijzigd door Verwijderd op 14-01-2022 22:21 ]

[DutchKel]

Met top kun je zien welke processen een hoge load hebben (eventueel sudo ervoor zetten).

[Verwijderd]

DutchKel schreef op vrijdag 14 januari 2022 @ 22:25:
Met top kun je zien welke processen een hoge load hebben (eventueel sudo ervoor zetten).

Ja maar dat weet ik wel, da’s mijn Python script

[DutchKel]

Verwijderd schreef op vrijdag 14 januari 2022 @ 22:31:
[...]


Ja maar dat weet ik wel, da’s mijn Python script

Je script draait zeker continue zonder tussendoor te wachten, is dat nodig? Anders zou ik zeggen: draai hem eens per uur of eens per 2 uur.

[Verwijderd]

DutchKel schreef op vrijdag 14 januari 2022 @ 22:33:
[...]

Je script draait zeker continue zonder tussendoor te wachten, is dat nodig? Anders zou ik zeggen: draai hem eens per uur of eens per 2 uur.

Correct, hij checkt mijn mail en voert aan de hand daarvan de benodigde acties uit. Kan erover nadenken om hem trager te laten draaien maar wat dan? Op het moment dat hij draait dan draait hij toch alsnog op volle toeren?

[Baazie]

Als jou python programma een while loop is zonder enige vertraging probeerd de machine deze zo vaak mogelijk uit te voeren,

Je kunt een sleep introduceren en waarschijnlijk doet hij dan een stuk minder.

[jeroen3]

Baazie schreef op vrijdag 14 januari 2022 @ 22:56:
Als jou python programma een while loop is zonder enige vertraging probeerd de machine deze zo vaak mogelijk uit te voeren,

Je kunt een sleep introduceren en waarschijnlijk doet hij dan een stuk minder.

Hoeveel requests per uur zou zo’n script doen?

[Baazie]

Dat ligt er aan hoe het script geschreven is zonder, source code kan ik niet bepalen waarom hij alle CPU verbruikt, wat ik wel weet is dat vaker verkeerd gaat bij een while loop.

[Hero of Time]

Houd er ook rekening mee dat als je script constant dingen doet, het niet gek zou zijn dat het IP adres van je VPS of wellicht je hele account geblokkeerd wordt door O365.

Wat is de noodzaak om elke milliseconde een Outlook regel uit te voeren? Als je die goed hebt ingesteld, hoef je zelf niets meer te doen en wordt het al direct toegepast.

Als je niets logt van wat er wordt gedaan en wat je als antwoord terug krijgt van acties, ga je nooit weten of je script überhaupt iets doet.

[Schnupperpuppe]

Als je het mij vraagt, zit het probleem gewoon in je script.
Je hebt denk ik ergens een tight loop gebouwd.
Jouw use case (mail checken) klinkt mij niet heel erg CPU-intensief.
Dus, check je script nog eens goed en bespaar je de hardware-upgrade.

[Jaap-Jan]

Zoiets denk ik ook. Als het gaat om het checken van nieuwe binnenkomende mail, check dan of de Python library die je gebruikt misschien iets vergelijkbaars als IMAP IDLE heeft om 'lui' te kunnen wachten op nieuwe emails.

[c-nan]

Ga voor het geld wat je betaalt eens shoppen bij Contabo. Meer voor minder.

[c-nan]

Trouwens wat is het load op je systeem als je het lokaal draait? Als lokaal je script ook al het resources opvreet dan helpt het hebben van meer cores niet echt

[Verwijderd]

Thanks all! Ik merk dat exchangelib vrij zwaar is, ga proberen het script om te bouwen met imaplib.