[RH9 Linux] Server loopt uit resources

[asing]

Mede forummers!

Ik draai sinds een tijdje een Red Hat 9 systeem. Het geheel draait op een AMD Athlon 550 met 256MB, 80 GB en een NVidia Riva TNT-2. De bedoeling van het systeem was om het in te zetten als firewall, mail, FTP en HTTP server.

Out of the box heb ik dit erop gezet, waarbij alles wat niet nodig was er ook niet op ging. Wel heb ik alle updates van RH9 erop gezet. Ik had toen de volgende config:

- Red Hat 9
- VSFTPD : meegeleverde versie
- apache : 2.0.40 (meegeleverde versie)
- FireStarter 0.9.3
- WebMin
- VNC Server (meegeleverd)
- GKrellM
- Samba 2.27

Voor mail:
- MailScanner-4.31.6-1
- F-Prot 4.4.2
- SendMail 8.12.11
- FetchMail 6.2.5+INET6

Met de eerste pakketten erop was het ding echt enorm stabiel. Alleen, ik wil meer! Dus ik heb er met wat hulp van docjes mijn eigen mail server van gemaakt. En toen begon de ellende. Om onverklaarbare reden schiet de CPU Load ineens naar 100%, dan weer een tijdje normaal, en weer naar 100%. Naarmate de server langer aanstaat, neemt het 100% vretende proces de overhand.

Na een reboot heb ik volgens de gegevens ongeveer 150 MB RAM vrij. Na een paar dagen neemt dit snel af, waarbij de swap file binnen een dag of 4 van 0MB tot 150 MB groeit. Kortom, iets knaagt aan mijn server. Ik heb in de performance monitor al gekeken wat het zou kunnen zijn, maar er is geen enkel proces wat veel geheugen neemt of veel van de CPU vraagt.....


Heeft één van jullie enig idee waar ik het zoeken moet?

[blaataaps]

Wat geheugen betreft, heb je FAQ Non-Windows Operating Systems - Overige vragen al eens gelezen?
En wat zegt top van het cpu-gebruik?

[TukkerTweaker]

asing schreef op 23 juni 2004 @ 18:10:
Heeft één van jullie enig idee waar ik het zoeken moet?

In de configuratie van je mailserver wellicht?

[asing]

Ik heb effe gespiekt.....

Het blijkt dus idd dat Linux kernels alles proberen te cachen om het sneller te maken. Dat zou top zijn. Echter, die van mij wordt compleet onhandelbaar op deze manier. Ik bedoel, het voelt aan als een Pentium I met windows 2000 erop. Niet vooruit te branden.

Is er een methode om de zaak effe te flushen?

[asing]

TukkerTweaker schreef op 23 juni 2004 @ 18:45:
[...]


In de configuratie van je mailserver wellicht?

Dat zou je denken.... Maar waar zou het dan in moeten zitten? Ook zonder vorm van virusscanning doet hij dit overigens.

[Spider.007]

Even een aantal zaken. Een Athlon500 met 256 Mb geheugen is al niet erg snel. Het lijkt erop dat je hier zelfs X op geinstalleerd hebt (?) wat dus ook alleen maar je performance omlaag zal halen. Als ik jou was zou ik in ieder geval een installtie zonder grafische schil installeren.

Vervolgens; welk proces pakt precies die CPU-kracht; hou de output van top bijvoorbeeld eens in de gaten en vertel ons wat daar precies staat. Over dat geheugen; je swap is in linux een aparte partitie, dus ik weet niet hoe jij 'het bestand' kan zien groeien? Ik denk zelf dat je het probleem niet bij het geheugen hoeft te zoeken (in ieder geval niet in de manier waarop Linux dit gebruikt)

[asing]

even erop inhaken:

Ik weet dat een 550 niet snel is. Hoeft ook niet. Het enige waarvoor ik hem gebruik is als router en server. Meer is niet nodig. Na een reboot is het ding dus lekker vlot en voelt goed aan. Na een paar dagen (nu dus) ben ik een kwartier bezig om van het inlogscherm op mijn desktop te komen. Het enige wat je merkt is een ratelende disk.

Ik heb wel gelezen dat kernel 2.6 beter omgaat met het geheugen dan mijn 2.4. Alleen nu nog een fatsoenlijke distro....

[asing]

zo ziet het eruit na een boot. De processor doet weinig, er is 140 MB geheugen "vrij" en de 510 MB swap wordt niet gebruikt. De processen laten ook weinig zien. Ook voor de reboot zag het er zo uit.

[Wilke]

asing schreef op 23 juni 2004 @ 18:47:
Het blijkt dus idd dat Linux kernels alles proberen te cachen om het sneller te maken.

Dat maakt het ook

Dat zou top zijn.

Dat is het ook (trouwens, alle Windows-versies vanaf 2000 doen dit ook, zij het met een ander algoritme).

Echter, die van mij wordt compleet onhandelbaar op deze manier.

Aan caching zal dat niet liggen, dus zo'n cache flushen zou compleet zinloos zijn. ALs er geheugen echt nodig is gaat dat toch al van de cache af. Lees die FAQ entry nog maar eens goed door, volgens mij staat het daar helemaal uitgelegd.


Als je nu gewoon even met 'top' kijkt welk proces dan steeds alle CPU-tijd gebruikt (zoals al 2 keer is voorgesteld in dit topic), kun je vervolgens proberen af te leiden hoe dat zou kunnen komen.


Edit: verder is 'top' gewoon een console programma, hoef je ook geen plaatjes te posten. En als je dat toch met alle geweld wilt, schaal 'm dan graag even zo dat het ook in het forum past

Bovenstaande screenshot is sowieso van geen waarde omdat er gesorteerd is op geheugengebruik, terwijl je zelf zegt dat het probleem zit in CPU-gebruik.

[ Voor 20% gewijzigd door Wilke op 23-06-2004 19:59 ]

[Verwijderd]

Hier wil ik ook even op inhaken.

Een 550 Mhz processor en 256 MB zou voor deze toepassing echt ruim voldoende moeten zijn. Ik lees nog niet welk proces voor die 100% load zorgt. Ik zou het als eerste in de richting van deze "verbruiker" zoeken.

Waar is dit proces mee bezig?
Biedt dit proces de mogelijkheid tot verbose logging?
Hoeveel geheugen neemt dit proces in, en blijft dit konstant, of loopt het juist kontinue op?
Loopt de machine als een zonnetje wanneer dit ene proces niet opgestart is?
Ook een paar dagen achter elkaar?

Maak je over dat swappen inderdaad geen zorgen. Ook een 2.4.xx kernel weet goed om te gaan met geheugen en swapping. Maar ja, als je een progje hebt waar een memory-leak in zit, dan is je geheugen op een gegeven moment geheel in gebruik, en dan wordt een machine een stuk trager....

[asing]

550 MHz is idd genoeg. Het is geen Microsoft .

Top staat nu lekker te draaien en het geeft idd een hoop weer. Ik heb al eerder geprobeerd te zien welk proces steeds de CPU naar 100% trok, maar Nautilus was steeds één van de hoogste met een procentje of 15. Kortom, ik zag niet wat het opvrat. Ik ga dit een paar dagen aankijken en dan schop ik dit draadje wel weer omhoog.

Het heeft er alle schijn van dat het proces steeds meer geheugen inneemt, waardoor het OS er op een gegeven moment op vastloopt. Dit neemt zulke vormen aan dat zelf mijn ADSL verkeer vertraagt/stopt.

[ Voor 22% gewijzigd door asing op 23-06-2004 20:27 ]

[Verwijderd]

Ik ben benieuwd of je toevallig vreemde meldingen in je logfiles tegenkomt.

_{/offtopic
Die (kleine weliswaar) flame naar Microsoft vind ik niet op zijn plek trouwens, als er nou juist een OS is waarvan de GUI óók op langzamere systemen best redelijk performt, dan is het Windows wel... Gnome2.0 is traag, veel trager dan explorer.exe...}

[ajvdvegt]

Met 'top' kan je ook sorteren op CPU gebruik hoor. Als je een oude versie hebt kan dat gewoon door op 'm' te drukken, bij nieuwere versies moet je eerst hoofdletter F in drukken, en dan %CPU kiezen (k) (en dan afsluiten met enter).

offtopic:
Ik merk net dat er wel een lek in Epiphany lijkt te zitten (104MB met enkel dit GoT venster open.... )

[_JGC_]

Niet stiekum een open relay mailserver draaien nu?

Als ik een tijdje geen verbinding heb gehad, en vervolgens op mijn backup MX de queue met zo'n 100 berichten erin flush, staat mn K6/3+ 450 met 13GB IDE disk en 384MB geheugen ook flink te rammelen met hoge load.

Als een spammer heeft ontdekt hoe je mailserver werkt, krijg je hetzelfde effect.

[asing]

@Max : probeer eens een Windows 2000 webserver te draaien incl mail service met deze specs. MS maakt mooie produkten, en explorer is idd sneller als GNome, maar noch Explorer, noch GNome ZIJN je os. Daarbij, ik kon een kernel update doen zonder reboot. Dat maakte me effe stil . Verder niks negatiefs over MS.

Verder heb ik uiteraard mijn logfiles ingekeken. Het system log wordt overigens volgekwakt door FireStarter met meldingen over dataverkeer. Could be the problem. Verder heb ik weinig aparts gezien.

Mijn SMTP server staat zeker niet te relayen . Dat is uitgebreid getest. Het ding was zelfs zo paranoia dat ik hem moest vertellen dat mijn desktopje wel mail mocht versturen. En ik heb een relay check gedaan op internet. De bak slaagde.

[Verwijderd]

Hmz, zonder dat we wat meer informatie over je processen en resources krijgen, kunnen we hier weinig tot niets over zeggen. Start top eens, probeer een 100% situatie te triggeren en kijk welke processen bovenaan staan. Tevens is met vmstat/iostat/sar/lsof/strace soms ook nog wel nuttige informatie te achterhalen.

Nogmaals, zonder dat we weten welk proces je server over de zeik trekt, kunnen we hier weinig mee.

offtopic:
Mensen, laten we de win vs lnx discussie svp rusten, dat is verspilling van energie en nog offtopic ook

[ Voor 17% gewijzigd door Verwijderd op 24-06-2004 09:48 ]

[Verwijderd]

asing schreef op 23 juni 2004 @ 19:35:
even erop inhaken:

Ik weet dat een 550 niet snel is. Hoeft ook niet. Het enige waarvoor ik hem gebruik is als router en server. Meer is niet nodig. Na een reboot is het ding dus lekker vlot en voelt goed aan. Na een paar dagen (nu dus) ben ik een kwartier bezig om van het inlogscherm op mijn desktop te komen. Het enige wat je merkt is een ratelende disk.

Als je hem toch alleen gebruikt als router en server, waarom zet je dan niet je default runlevel op 3 (textmode)? Dan worden de geheuhenvretende Xserver en Window Manager (Gnome) tenminste niet geladen. Inloggen is trouwens ook niet nodig (en nog potentieel onveilig ook).

Een Athlon (K6 bedoel je zeker) 550 met 256 MB ram is inderdaad genoeg voor wat jij er mee wil doen. BTW ik weet niet hoe jij je partities hebt ingedeeld, maar ik zou een aparte partitie voor '/var' nemen.

[deepbass909]

550Mhz is een oude K7, maar dat terzijde

die machine moet zwaar genoeg zijn. Ik draai zelf een html/ftp/file/printer server op een Dual PPro 200 Mhz. Maar wel zonder X, want dat vreet gewoon simpel weg te veel, en is ook niet nodig.

[asing]

Ik was tot voor kort newbie, en heb eerst met wat simpele functies Linux verkend. Denk aan HTTP en FTP. Ook GNome gebruik ik puur ter gemak. Normaal is er ook geen gebruiker ingelogd, maar als het ding zichzelf ophangt kom je er niet meer in.

Ik verwacht dat er vanavond al wat piekjes te zien zijn. De tip van R3Boot zal ik ook f proberen!

[ajvdvegt]

asing schreef op 23 juni 2004 @ 23:53:
Daarbij, ik kon een kernel update doen zonder reboot. Dat maakte me effe stil .

Dat zou wel heel mooi zijn ja! Maar zo goed is Linux ook weer niet hoor . Je kan je kernel wel overschrijven terwijl die draait, maar om hem te 'activeren' moet je echt rebooten hoor; tot die tijd is heb je helemaal niets geupdate.

[asing]

Ik ben nu 25 uur onderweg and ze doet het nog steeds uitstekend! Top is echt Top . Meer nieuws in het weekend

[Verwijderd]

Wat heb je veranderd dan? top is alleen maar een tool waarmee CPU en geheugen gebruik zichtbaar maakt...

[asing]

Ik heb niets veranderd

Het probleem ontstaat in een paar dagen. Beetje cumulatief. Het mooie van top is dat je idd ziet welk process schuldig is. Het is nu een kwestie van afwachten tot het ding zichzelf in de weg gaat zitten. Dat zal zaterdag/zondag wel gebeuren.

[Verwijderd]

Welke poorten en services draaien er nu uiteindelijk precies op het systeem (netstat -pan) en hoe ziet je firewall-configuratie eruit?

Heb je de updates van Red Hat wel een beetje bijgehouden? Oh en bovendien is Red Hat 9 niet meer supported door Red Hat, dus zie ook www.fedoralegacy.org voor recentere updates. Verder is met name je mailserver configuratie interessant (in verband met de eerder gesuggereerde open relay).

[asing]

Daar was ik weer!

Het ding draait nu zowat 3 dagen. Het maffe is dat hij tot nu toe erg stabiel is. Het 100% cpu probleem doet zich niet voor en het geheugengebruik (RAM dan hé?) staat ook rotsvast bij de 100MB. Nog 160-170 MB vrij dus. SWAP groeit wel een beetje, maar dat is normaal en niet zorgwekkend.

Het enige verschil tussen de poging hiervoor en deze is dat ik de sessie open laat staan. Dit omdat ik er niet meer bij kan als het fout gaat, waardoor ik niets kan zien. Normaliter is het dus log off na erop gewerkt te hebben en nu niet. Zou GNome een hangende sessies hebben?

Verder mijn firewall : eth0 is public (Demon), eth1 is trusted (LAN). Port forwarding staat aan voor poort 4661,4662 en 4665 (eMule). De firewall staat toe dat verkeer over die poorten mag, en dat poort 21, 25, 80 en 443 naar binnen mag. Voor webmail en outlook staat IMAP en POP3 ook aan, maar alleen trusted. Ik heb overigens jaren met AtGuard gewerkt. Nu staat Outpost op mijn PC. Op het werk heb ik een FireWall-1 van CheckPoint in beheer .

Relayen van mail is niet toegestaan. Dat kan ik hier http://dnsreport.com/ controleren. Dank voor jullie info en ik ga ff op de legacy pagina kijken .

[_JGC_]

DNSReport zegt helemaal nix over open relay draaien, heb daar geen test kunnen vinden iig. Om zeker te zijn, kan je deze proberen:

http://www.abuse.net/relay.html

Bij mij breekt ie bij test 11 af na 5 minuten testen

[asing]

Test gedaan. Kom tot test nr 17.

Relay test result
All tests performed, no relays accepted.

Hell it won't relay!

Ik ben nu 3 dagen en 15 uur onderweg. Ik heb al een paar pieken gezien van 100%. TOP toonde geen abnormale dingen. Het geheugengebruik is echter minimaal. Dus ik denk dat ik de oorzaak heb . Ik gebruikte namelijk een VNC sessie om een beetje beheer te doen. Op het moment dat ik de VNCServer service startte, maakte GNome (X) een extra sessie aan. Die sessie vrat na een tijd flink geheugen. kill server:1 gedaan en alles werd weer normaal.

Is er een methode om X/Gnome niet op te starten bij het booten, maar in de text interface in te loggen? Dan kan ik daarna GNome wel met het handje starten als ik het nodig heb .

[Papillon]

Om het grafische scherm af te zetten bij het booten moet je de runlevel aanpassen in inittab. Die staat nu hoogstwaarschijnlijk op 5 en moet je op 3 zetten.

Ergo: Pas in /etc/inittab de regel initdefault aan.

[asing]

problem ** SOLVED **

Na 6 dagen continue draaien nam het systeem op 7 MB na al het geheugen. Kortom, het lek zat er weer. Ik heb vervolgens op advies het Runlevel op 3 gezet. Vervolgens in de command prompt "init 3" gedaan en ik zat in de tekst-schil.

Toen bleek dat er nog steeds iets was wat geheugen vrat. TOP toonde aan dat er 2 users opzaten. StartX en ik kwam in een oude sessie terecht. Daarvan maar eens afgelogd en ik had direct 50 MB extra.

Mijn download snelheid is nu ook weer fors hoger.