[linux]load average zeer hoog door prog lynx

[Verwijderd]

Wij gebruiken lynx in de crontab om 2 bestanden van nu.nl en een van knmi.nl weg te trekken. via de crontab wordt het volgende aangeroepen:

* * * * * /usr/bin/lynx -dump http://www.mijndomein.ml/index.php

deze wordt om de minuut geladen zoals die nu draait...
(dit moet overigens nog om het uur, maar ik moet dat nog even uitzoeken hoe dat zo werkt :-)

Het php-bestand ziet er als volgt uit:

PHP:

<?
copy("weer.txt","weer_oud.txt");
$WebFile = "http://www.knmi.nl/voorl/weer/aktueel.html";
$LocalFile = "weer.txt";

$handle = fopen ($WebFile, "r");
$outhandle=fopen ($LocalFile,"w");
while (!feof($handle)) {
     $buffer=fread($handle,4096);
     fputs($outhandle,$buffer);
}

fclose($handle);
fclose($outhandle);


$WebFile = "http://nu.nl/deeplink.xml";
$LocalFile = "nu.txt";

$handle = fopen ($WebFile, "r");
$outhandle=fopen ($LocalFile,"w");
while (!feof($handle)) {
     $buffer=fread($handle,4096);
     fputs($outhandle,$buffer);
}
fclose($handle);
fclose($outhandle);
?>

Het probleem is het volgende...
eens in de de zoveel tijd, 5 keer per dag ofzo stijgt de load averages hoger dan 5.5.5, en normaal is die een dikke 0.0.0 met het commando "top" heb ik gekeken wat dit was....

hij neemt tijdens het laden van lynx 99% van de processor in gebruik en meer dan 50% van de swap file??? lynx wordt 2 keer uitgevoerd te gelijk op de een of andere manier, tenminste het process was 2 keer zichtbaar in "top" dus dubbele server load? wie kan mijn vertellen waar dit aan kan liggen?

het is een Dual PIII 800 met 512MB geheugen.

[Verwijderd]

Vaag. Kheb ut ook effe geprobeerd op slashdot, en bij mij doet ie niks bijzonders.

Probeer anders links effe, die geeft ook niet zo'n rare uitvoer...

[_JGC_]

Wrom lynx gebruiken als je ook wget hebt?

[Verwijderd]

Op vrijdag 08 februari 2002 11:13 schreef _JGC_ het volgende:
Wrom lynx gebruiken als je ook wget hebt?

wget is niet geinstalleerd....
waar kan ik die vandaan halen?

[Verwijderd]

Op vrijdag 08 februari 2002 11:06 schreef Prophet_van_Kleunen het volgende:
Vaag. Kheb ut ook effe geprobeerd op slashdot, en bij mij doet ie niks bijzonders.

Probeer anders links effe, die geeft ook niet zo'n rare uitvoer...

Tja, elke minuut wordt dit script geladen, en hij geeft maar 5 keer per dag een hoge server load... misschien ligt het wel aan nu.nl of knmi.nl ??? dat die slecht bereikbaar ofzo zijn op dat moment????

weet iemand btw een goeie uitleg van crontab?

[0siris]

Op vrijdag 08 februari 2002 11:16 schreef aarninkron het volgende:
wget is niet geinstalleerd....
waar kan ik die vandaan halen?

apart dat je wél weet hoe crontabjes werken en hoe je met lynx kan doen wat je er nu mee doet, maar geen idee hebt hoe je aan wget kan komen
Als je geen Debian gebruikt, moet je eens gaan kijken op www.rpmfind.net, .rpm downen en installen. Als je wél Debian gebruikt, ben je klaar met "apt-get install wget"

[Verwijderd]

Op vrijdag 08 februari 2002 11:17 schreef aarninkron het volgende:

[..]
weet iemand btw een goeie uitleg van crontab?

http://gathering.tweakers.net/forum/find
www.google.com

ontopic:
als het maar 5x per dag is en het script elke minuut draait, dan lijkt me het probleem niet door lynx te komen... heb je al is gedacht aan andere oorzaken?

[Verwijderd]

Met wget heb je weer ut probleem dat je alleen de source krijgt, en niet de gerenderde pagina. Ut is maar net wat je wil...

[blaataaps]

man 5 crontab
staat een prima uitleg van crontab. Veel mensen denken dat crontab een slechte manpage heeft, omdat man crontab ze niet vertellen wat ze willen weten, man 5 crontab helpt een stuk beter.

[Verwijderd]

Op vrijdag 08 februari 2002 11:22 schreef Kertje het volgende:

[..]

http://gathering.tweakers.net/forum/find
www.google.com

ontopic:
als het maar 5x per dag is en het script elke minuut draait, dan lijkt me het probleem niet door lynx te komen... heb je al is gedacht aan andere oorzaken?

we houden de server nu al een tijd in de gaten, en het enige wat het doet is lynx. is ga hem eens om het half uur of uur die pagina's laten ophalen, kijken wat die dan doet.

[Verwijderd]

Op vrijdag 08 februari 2002 11:27 schreef aarninkron het volgende:

[..]

we houden de server nu al een tijd in de gaten, en het enige wat het doet is lynx. is ga hem eens om het half uur of uur die pagina's laten ophalen, kijken wat die dan doet.

gebeurd het op vaste tijden (die hoge load?), gebeurd het altijd? is de load altijd (ongeveer) evenhoog? duur het altijd even lang?

[ACM]

ANS -> NOS

[deadinspace]

Op vrijdag 08 februari 2002 11:24 schreef Prophet_van_Kleunen het volgende:
Met wget heb je weer ut probleem dat je alleen de source krijgt, en niet de gerenderde pagina. Ut is maar net wat je wil...

'lynx -dump' doet ook source geven hoor.

[Verwijderd]

wget is niet geinstalleerd....
waar kan ik die vandaan halen?

debian:
apt-get install wget

anders:
http://freshmeat.net en de search daar gebruiken

[CyBeR]

ftp://ftp.gnu.org/pub/gnu/wget/



[edit]
freshmeat? je weet toch dat wget van GNU is

[Verwijderd]

freshmeat? je weet toch dat wget van GNU is

Of course maar op freshmeat krijg je een mooie GNU URL

[_JGC_]

Op vrijdag 08 februari 2002 11:24 schreef Prophet_van_Kleunen het volgende:
Met wget heb je weer ut probleem dat je alleen de source krijgt, en niet de gerenderde pagina. Ut is maar net wat je wil...

Cool, dus als ik met wget GoT ga downloaden heb ik de sourcecode . Moet je ff aan Femme vertellen, heeft ie ook geen last meer van die Zend Encoder

ff serieus: waarom zou je elke minuut een pagina ophalen en deze op het beeldscherm renderen?