Toon posts:

[Debian] Wat te doen met de CPU load

Pagina: 1
Acties:

Vraag


Anoniem: 1179574

Topicstarter
Hi,

Ik heb bij TransIP een X1 VPS en draai daar nu 2 Python3 scripts.
De load is als volgt:




Wat betekent dit concreet? Dat ik over de 100% ga? En wat nu? Upgraden?

Alle reacties


  • Rmg
  • Registratie: November 2003
  • Laatst online: 11:05
een load avg van > 1 is reden om op onderzoek uit te gaan.

Of dit in jouw geval een probleem is kunnen wij niet echt zeggen.

Hangt ook af van wat je scripts doen.

  • Cyphax
  • Registratie: November 2000
  • Laatst online: 15:32

Cyphax

Moderator LNX
Wat de load betekent zou je eigenlijk gewoon even op kunnen zoeken (bijvoorbeeld https://www.howtogeek.com...-other-unix-like-systems/). Of je dat moet upgraden hangt af van hoe ie draait nu onder die load.

Kun je proberen je situatie en probleem iets meer te omschrijven?

Saved by the buoyancy of citrus


  • Korvaag
  • Registratie: Januari 2000
  • Laatst online: 13:51
Rmg schreef op donderdag 13 januari 2022 @ 21:35:
een load avg van > 1 is reden om op onderzoek uit te gaan.
Waarom ? Dat is afhankelijk van hoeveel CPU's er in je systeem zitten.

[Voor 18% gewijzigd door Korvaag op 13-01-2022 21:39]

UNOX: The worst operating system


  • Rmg
  • Registratie: November 2003
  • Laatst online: 11:05
Korvaag schreef op donderdag 13 januari 2022 @ 21:39:
[...]


Waarom ? Dat is afhankelijk van hoeveel CPU's er in je systeem zitten.
En wat is een x1? Juist een single core vps.

Dat houdt dus in dat er altijd wel een process zit te wachten opneen cpu.

[Voor 13% gewijzigd door Rmg op 13-01-2022 21:42]


  • Korvaag
  • Registratie: Januari 2000
  • Laatst online: 13:51
Rmg schreef op donderdag 13 januari 2022 @ 21:40:
[...]


En wat is een x1? Juist een single core vps.
Het mag wel wat vriendelijker hoor. Ik ken niet alle VPS'en van alle aanbieders uit m'n hoofd...

UNOX: The worst operating system


Anoniem: 1179574

Topicstarter
Nou, een van de scripts is verbonden met mijn Outlook omgeving en voert Outlook regels uit. Maakt gebruik van de Exchangelib library en die lijkt best heftig in de load te zijn.

[Voor 4% gewijzigd door Anoniem: 1179574 op 13-01-2022 21:42]


  • Korvaag
  • Registratie: Januari 2000
  • Laatst online: 13:51
Is het een bestaand script? Zo ja: met hoeveel CPU's/threads in gedachten is dat script gemaakt? Het kan zijn dat je simpelweg een script runt wat niet bedoeld is voor 1 CPU. Ik ken deze specifieke library niet echt, maar als ik wat zoek kom ik tegen dat je iig kan spelen met session_poolsize.

UNOX: The worst operating system


Anoniem: 1179574

Topicstarter
Nee, ik heb het script zelf geschreven, session_poolsize zegt me niets?

  • Morzzz
  • Registratie: Januari 2006
  • Laatst online: 26-01 23:36
Maar wat is je vraag of probleem nu?

Het systeem wordt 100% belast met hetgeen je het laat doen.

Gaat dat je niet snel genoeg? Dan moet je of je code aanpassen/efficiënter maken, of er meer hardware tegenaan gooien.

Anoniem: 1179574

Topicstarter
Ik wil er meer hardware tegenaan gooien inderdaad. Probleem is dat ik niet weet hoeveel / wat precies en dat maakt het lastig.

Vraag 2; iemand bekend met een benchmark tool die een score afgeeft op een linux terminal?

  • arjanvr
  • Registratie: September 2003
  • Laatst online: 30-01 14:00
sysbench

sudo yum install sysbench
sysbench --test=cpu --cpu-max-prime=20000 run

Anoniem: 1179574

Topicstarter
arjanvr schreef op vrijdag 14 januari 2022 @ 19:47:
sysbench

sudo yum install sysbench
sysbench --test=cpu --cpu-max-prime=20000 run
Thnx! Had inmiddels Geekbench gevonden.

  • CAPSLOCK2000
  • Registratie: Februari 2003
  • Laatst online: 14:48

CAPSLOCK2000

zie teletekst pagina 888

Uit het plaatje blijkt dat je CPU 100% belast is. Of dat een probleem is of niet kunnen wij niet beoordelen want wij weten niet wat die scripts moeten doen. Als je een of andere zware klus is wil je natuurlijk dat je CPU 100% bezig is. De load van 1.07, 1.13, 1.16 vertelt dat in de afgelopen 1, 5 en 15 minuten niet veel verschil in belasting is geweest en dat de CPU voortdurend bezig is geweest.
Eerlijk gezegd is dat vaak een teken dat er iets door staat te draaien, de meeste software heeft het niet zo druk dat de CPU langere tijd voor de volle 100% is belast.

This post is warranted for the full amount you paid me for it.


Anoniem: 1179574

Topicstarter
CAPSLOCK2000 schreef op vrijdag 14 januari 2022 @ 21:38:
Uit het plaatje blijkt dat je CPU 100% belast is. Of dat een probleem is of niet kunnen wij niet beoordelen want wij weten niet wat die scripts moeten doen. Als je een of andere zware klus is wil je natuurlijk dat je CPU 100% bezig is. De load van 1.07, 1.13, 1.16 vertelt dat in de afgelopen 1, 5 en 15 minuten niet veel verschil in belasting is geweest en dat de CPU voortdurend bezig is geweest.
Eerlijk gezegd is dat vaak een teken dat er iets door staat te draaien, de meeste software heeft het niet zo druk dat de CPU langere tijd voor de volle 100% is belast.
Ah top!! Alles boven de 1 is dus 100% load en dus upgraden eigenlijk. Scriptje logt in op mijn Exchange mail en voert geautomatiseerd opdrachten uit. Alleen de load is enorm hoog en dat maakt het een kostbaar plaatje wat niet rendabel meer is helaas…

Edit:
Het script hangt zichzelf op de laatste tijd en herstart zich constant.

[Voor 4% gewijzigd door Anoniem: 1179574 op 14-01-2022 22:21]


  • DutchKel
  • Registratie: Mei 2002
  • Laatst online: 03-02 20:37
Met top kun je zien welke processen een hoge load hebben (eventueel sudo ervoor zetten).

Don't drive faster than your guardian angel can fly.


Anoniem: 1179574

Topicstarter
DutchKel schreef op vrijdag 14 januari 2022 @ 22:25:
Met top kun je zien welke processen een hoge load hebben (eventueel sudo ervoor zetten).
Ja maar dat weet ik wel, da’s mijn Python script :*)

  • DutchKel
  • Registratie: Mei 2002
  • Laatst online: 03-02 20:37
Anoniem: 1179574 schreef op vrijdag 14 januari 2022 @ 22:31:
[...]


Ja maar dat weet ik wel, da’s mijn Python script :*)
Je script draait zeker continue zonder tussendoor te wachten, is dat nodig? Anders zou ik zeggen: draai hem eens per uur of eens per 2 uur.

Don't drive faster than your guardian angel can fly.


Anoniem: 1179574

Topicstarter
DutchKel schreef op vrijdag 14 januari 2022 @ 22:33:
[...]

Je script draait zeker continue zonder tussendoor te wachten, is dat nodig? Anders zou ik zeggen: draai hem eens per uur of eens per 2 uur.
Correct, hij checkt mijn mail en voert aan de hand daarvan de benodigde acties uit. Kan erover nadenken om hem trager te laten draaien maar wat dan? Op het moment dat hij draait dan draait hij toch alsnog op volle toeren?

  • Baazie
  • Registratie: Februari 2008
  • Niet online
Als jou python programma een while loop is zonder enige vertraging probeerd de machine deze zo vaak mogelijk uit te voeren,

Je kunt een sleep introduceren en waarschijnlijk doet hij dan een stuk minder.

  • jeroen3
  • Registratie: Mei 2010
  • Laatst online: 14:28
Baazie schreef op vrijdag 14 januari 2022 @ 22:56:
Als jou python programma een while loop is zonder enige vertraging probeerd de machine deze zo vaak mogelijk uit te voeren,

Je kunt een sleep introduceren en waarschijnlijk doet hij dan een stuk minder.
Hoeveel requests per uur zou zo’n script doen?

  • Baazie
  • Registratie: Februari 2008
  • Niet online
Dat ligt er aan hoe het script geschreven is zonder, source code kan ik niet bepalen waarom hij alle CPU verbruikt, wat ik wel weet is dat vaker verkeerd gaat bij een while loop.

  • Hero of Time
  • Registratie: Oktober 2004
  • Laatst online: 15:39

Hero of Time

Moderator LNX

There is only one Legend

Houd er ook rekening mee dat als je script constant dingen doet, het niet gek zou zijn dat het IP adres van je VPS of wellicht je hele account geblokkeerd wordt door O365.

Wat is de noodzaak om elke milliseconde een Outlook regel uit te voeren? Als je die goed hebt ingesteld, hoef je zelf niets meer te doen en wordt het al direct toegepast.

Als je niets logt van wat er wordt gedaan en wat je als antwoord terug krijgt van acties, ga je nooit weten of je script überhaupt iets doet.

Commandline FTW | Tweakt met mate


  • Schnupperpuppe
  • Registratie: Maart 2008
  • Laatst online: 11:23
Als je het mij vraagt, zit het probleem gewoon in je script.
Je hebt denk ik ergens een tight loop gebouwd.
Jouw use case (mail checken) klinkt mij niet heel erg CPU-intensief.
Dus, check je script nog eens goed en bespaar je de hardware-upgrade.

  • Jaap-Jan
  • Registratie: Februari 2001
  • Laatst online: 10:31

Jaap-Jan

Geen IPv6- ready check meer :(

Zoiets denk ik ook. Als het gaat om het checken van nieuwe binnenkomende mail, check dan of de Python library die je gebruikt misschien iets vergelijkbaars als IMAP IDLE heeft om 'lui' te kunnen wachten op nieuwe emails.

| Last.fm | "Mr Bent liked counting. You could trust numbers, except perhaps for pi, but he was working on that in his spare time and it was bound to give in sooner or later." -Terry Pratchett


  • c-nan
  • Registratie: Juni 2008
  • Laatst online: 15:10
Ga voor het geld wat je betaalt eens shoppen bij Contabo. Meer voor minder.

  • c-nan
  • Registratie: Juni 2008
  • Laatst online: 15:10
Trouwens wat is het load op je systeem als je het lokaal draait? Als lokaal je script ook al het resources opvreet dan helpt het hebben van meer cores niet echt :P

Anoniem: 1179574

Topicstarter
Thanks all! Ik merk dat exchangelib vrij zwaar is, ga proberen het script om te bouwen met imaplib.
Pagina: 1


Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee