Apache "crasht" zonder aanleiding

[Robert]

Ik heb sinds een tijdje een raar probleem. Ik heb een aantal webservers (lamp installaties) waar redelijk wat klanten op staan. Echter de afgelopen weken is het op 3 webservers al 1 of meer keren misgegaan met apache 1.3 (Alle machines draaien al 1-3 jaar zonder problemen tot nu). Apache lijkt constant nieuwe processen te spawnen, en hierdoor wordt de load op de server dusdanig hoog dat er weinig meer gebeurt. Apache serveert op dat moment dus niets meer. Na een -harde- (killall) restart van Apache werkt alles weer perfect, en apache is dan ook direct rustig dus aan te grote bezoekersaantallen ligt het niet.

In eerste instantie dacht ik dat het probleem wellicht te wijten was aan een script of htaccess bestand van een klant, maar doordat het op 3! losstaande webservers al is gebeurd in korte tijd lijkt me die kans eigenlijk vrij klein. In de logfiles van zowel apache als andere (syslog/kernel e.d.) komt niets te staan, geen errormeldingen van childs geen rare requests op dat tijdstip..daardoor weet ik eigenlijk weinig raad..

Is dit wellicht een nieuw soort aanval? Dan had ik er toch onderhand wel iets over gelezen?


Een klein voorbeeld van de open files van een apache proces op zo'n moment (kan ook de volledige listing geven). Die [heap] (stat: No such file or directory) lijkt me raar, maar dat kan natuurlijk aan de load op dat moment liggen:

code:

COMMAND   PID     USER   FD   TYPE   DEVICE       SIZE     NODE NAME
apache  31289 www-data  cwd    DIR      8,1       4096        2 /
apache  31289 www-data  rtd    DIR      8,1       4096        2 /
apache  31289 www-data  txt    REG      8,1     284876   572355 /usr/sbin/apache
apache  31289 www-data  mem    REG      0,0                   0 [heap] (stat: No such file or directory)
apache  31289 www-data  mem    REG      8,1     499136   376144 /usr/lib/locale/locale-archive
apache  31289 www-data  DEL    REG      0,7            19595267 /SYSV00000000
apache  31289 www-data  DEL    REG      0,7            20086785 /SYSV00000000

De processlist laat (uiteraard) een enorme hoop apache processen zien (in S/R/D toestand lijkt me vrij normaal bij een load van 50+). Helaas heb ik nog geen /server-status op kunnen vragen omdat apache gewoonweg niet meer reageert.

Apache: 1.3.33-6sarge3 (debian stable dus)
Apache is "redelijk" geoptimalizeerd (geen rare dingen), en ik heb redelijk wat ervaring met drukke webservers. Dezelfde config gebruik ik eigenlijk al geruime tijd op meerdere servers zonder problemen. Ik kan uiteraard de MaxClients wat omlaag gooien, want de server gaat nu swappen met 150+ processen, maar de oorzaak ligt daar natuurlijk niet..

Heeft iemand een idee wat nog handig is om te checken op het moment dat het fout gaat, of meer mensen met dit probleem recentelijk? Ik ben er meestal vrij snel bij, maar ja..meestal wil ik de machine zo snel mogelijk weer up hebben dus voor onderzoek is er dan ook minder tijd plus dat het wat moeizaam gaat met een enorme load. Volgende keer wil ik wel tcpdump uitvoeren, die post ik dan uiteraard nog

[ Voor 10% gewijzigd door Robert op 15-01-2007 15:48 ]

[capedro]

zijn er bijzonderheden in je

• /var/log/messages
• /var/log/httpd-error.log

Of in ieder geval logs die er mee te maken hebben...

[Robert]

capedro schreef op maandag 15 januari 2007 @ 20:43:
zijn er bijzonderheden in je

• /var/log/messages
• /var/log/httpd-error.log

Of in ieder geval logs die er mee te maken hebben...

Nee, niets dus op het eerste gezicht..wat de diagnose hiervan ook erg lastig maakt

Hierwat logfiles van apache (niet van de vhosts, maar daar staat ook niets bijzonders in). Het hele loggen houd gewoon op om 9 uur en begint pas weer na mijn ingrijpen:

access.log

code:

IPADRES - - [15/Jan/2007:09:00:31 +0100] "GET /server-status/?auto HTTP/1.0" 200 4140 "-" "ApacheStats/0.4 wget/1.8" "-"
IPADRES - - [15/Jan/2007:09:17:06 +0100] "GET /server-status HTTP/1.1" 200 5773 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.1) Gecko/20061204 Firefox/2.0.0.1" "-"

error.log

code:

[Mon Jan 15 07:21:13 2007] [error] [client 64.246.165.150] File does not exist: /var/www/default/robots.txt
[Mon Jan 15 09:15:21 2007] [warn] child process 14849 did not exit, sending another SIGHUP

messages/kern.log:
niets

[igmar]

Wat zegt de uitvoer van

code:

ps aux | grep apache

Vaak kun je een process tracen om te zien waar ie hangt :

code:

strace -p <pidvanproces>

[Robert]

zal volgende keer dat het gebeurt inderdaad een strace runnen, nog niet aan gedacht

Ik heb veel van wat ik gemonitored heb genoteerd, dus de ps aux heb ik gelukkig ook

code:

load: 52.8
##### Processes ####
USER       PID %CPU %MEM   VSZ  RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0  1588  492 ?        S     2006   0:07 init [2]  
root         2  0.0  0.0     0    0 ?        S     2006   0:10 [migration/0]
root         3  0.0  0.0     0    0 ?        SN    2006   0:00 [ksoftirqd/0]
root         4  0.0  0.0     0    0 ?        S     2006   0:00 [watchdog/0]
root         5  0.0  0.0     0    0 ?        S     2006   1:10 [migration/1]
root         6  0.0  0.0     0    0 ?        SN    2006   0:00 [ksoftirqd/1]
root         7  0.0  0.0     0    0 ?        S     2006   0:00 [watchdog/1]
root         8  0.0  0.0     0    0 ?        S<    2006   0:00 [events/0]
root         9  0.0  0.0     0    0 ?        S<    2006   0:00 [events/1]
root        10  0.0  0.0     0    0 ?        S<    2006   0:00 [khelper]
root        11  0.0  0.0     0    0 ?        S<    2006   0:00 [kthread]
root        14  0.0  0.0     0    0 ?        S<    2006   0:23 [kblockd/0]
root        15  0.0  0.0     0    0 ?        S<    2006   0:23 [kblockd/1]
root        16  0.0  0.0     0    0 ?        S<    2006   0:00 [kacpid]
root       138  0.0  0.0     0    0 ?        S     2006   7:56 [kswapd0]
root       139  0.0  0.0     0    0 ?        S<    2006   0:00 [aio/0]
root       140  0.0  0.0     0    0 ?        S<    2006   0:00 [aio/1]
root       735  0.0  0.0     0    0 ?        S<    2006   0:00 [kseriod]
root       801  0.0  0.0     0    0 ?        S     2006   0:00 [shpchpd_event]
root       820  0.0  0.0     0    0 ?        S<    2006   0:00 [scsi_eh_0]
root       862  0.0  0.0     0    0 ?        S     2006   8:20 [kjournald]
root      1143  0.0  0.0     0    0 ?        S<    2006   0:00 [kpsmoused]
root      1437  0.0  0.0     0    0 ?        S<    2006   0:00 [ata/0]
root      1438  0.0  0.0     0    0 ?        S<    2006   0:00 [ata/1]
root      1450  0.0  0.0     0    0 ?        S<    2006   0:00 [scsi_eh_1]
root      1457  0.0  0.0     0    0 ?        S<    2006   0:00 [scsi_eh_2]
root      1515  0.0  0.0     0    0 ?        S<    2006   0:00 [khubd]
root      1789  0.0  0.0     0    0 ?        S     2006   0:00 [kedac]
root      2994  0.0  0.0  2328  744 ?        Ss    2006  11:07 /sbin/syslogd
root      2997  0.0  0.0  2456  412 ?        Ss    2006   0:00 /sbin/klogd
root      3060  0.0  0.0  1756  324 ?        S     2006   0:00 /usr/sbin/courierlogger -pid=/var/run/courier/authdaemon/pid -start /usr/lib/courier/authlib/authdaemond.mysql
root      3061  0.0  0.0  2428  544 ?        S     2006   0:00 /usr/lib/courier/authlib/authdaemond.mysql
root      3063  0.0  0.0  3168  848 ?        S     2006   3:42 /usr/lib/courier/authlib/authdaemond.mysql
root      3064  0.0  0.0  3168  848 ?        S     2006   3:48 /usr/lib/courier/authlib/authdaemond.mysql
root      3065  0.0  0.0  3168  848 ?        S     2006   3:45 /usr/lib/courier/authlib/authdaemond.mysql
root      3066  0.0  0.0  3168  848 ?        S     2006   3:41 /usr/lib/courier/authlib/authdaemond.mysql
root      3067  0.0  0.0  3168  848 ?        S     2006   3:53 /usr/lib/courier/authlib/authdaemond.mysql
root      3085  0.0  0.0  2556  644 ?        S     2006   0:00 /usr/sbin/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -stderrloggername=imapd-ssl -maxprocs=40 -maxperip=20 -pid=/var/run/courier/imapd-ssl.pid -nodnslookup -noidentlookup 993 /usr/bin/couriertls -server -tcpd /usr/lib/courier/courier/imaplogin /usr/lib/courier/authlib/authdaemon /usr/bin/imapd Maildir
root      3087  0.0  0.0  1752  472 ?        S     2006   0:00 /usr/sbin/courierlogger imapd-ssl
root      3110  0.0  0.0  2584 1032 ?        S     2006   0:00 /bin/sh /usr/bin/mysqld_safe
root      3146  0.0  0.0  2584  352 ?        S     2006   0:00 /bin/sh /usr/bin/mysqld_safe
mysql     3147  1.2 15.6 364300 162408 ?     S     2006 2096:07 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --skip-locking --port=3306 --socket=/var/run/mysqld/mysqld.sock
root      3148  0.0  0.0  1568  504 ?        S     2006   0:00 logger -p daemon.err -t mysqld_safe -i -t mysqld
root      3295  0.0  0.2  6560 2712 ?        S     2006   3:21 /usr/sbin/snmpd -Lsd -Lf /dev/null -p /var/run/snmpd.pid
daemon    3322  0.0  0.0  1768  304 ?        Ss    2006   0:00 /usr/sbin/atd
root      3325  0.0  0.0  1824  724 ?        Ss    2006   0:09 /usr/sbin/cron
root      3405  0.0  3.9 61556 40456 ?       S     2006   0:09 /usr/sbin/apache-ssl
root      3420  0.0  0.0  1584  412 tty1     Ss+   2006   0:00 /sbin/getty 38400 tty1
root      3427  0.0  0.0  1580  412 tty2     Ss+   2006   0:00 /sbin/getty 38400 tty2
root      4026  0.0  0.0     0    0 ?        S     2006   0:01 [pdflush]
amavis    7695  0.0  3.5 54452 36308 ?       Ss    2006   0:26 amavisd (master)
root     23166  0.0  0.0  2552  676 ?        S     2006   0:05 /usr/sbin/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -maxprocs=40 -maxperip=20 -pid=/var/run/courier/imapd.pid -nodnslookup -noidentlookup 143 /usr/lib/courier/courier/imaplogin /usr/lib/courier/authlib/authdaemon /usr/bin/imapd Maildir
root     23168  0.0  0.0  1756  480 ?        S     2006   0:04 /usr/sbin/courierlogger imaplogin
root     23190  0.0  0.0  2552  676 ?        S     2006   1:35 /usr/sbin/couriertcpd -pid=/var/run/courier/pop3d.pid -stderrlogger=/usr/sbin/courierlogger -maxprocs=40 -maxperip=4 -nodnslookup -noidentlookup -address=0 110 /usr/lib/courier/courier/courierpop3login /usr/lib/courier/authlib/authdaemon /usr/lib/courier/courier/courierpop3d Maildir
root     23192  0.0  0.0  1752  476 ?        S     2006   1:37 /usr/sbin/courierlogger courierpop3login
clamav   11638  0.0  0.1  4324 1300 ?        Ss    2006   0:03 /usr/bin/freshclam -d --quiet -p /var/run/clamav/freshclam.pid
clamav   11822  0.0  5.0 72376 52420 ?       Ss    2006  19:10 /usr/sbin/clamd
root     10043  0.0  0.0  3136  840 ?        Ss    2006   0:01 /usr/sbin/vsftpd
root      1469  0.0  0.1  3740 1340 ?        Ss    2006   5:00 /usr/lib/postfix/master
postfix   1472  0.0  0.1  3200 1316 ?        S     2006   0:40 qmgr -l -t fifo -u -c
root     19296  0.0  0.0  3552  904 ?        Ss    2006   0:03 /usr/sbin/sshd
root     13289  0.0  0.3  4024 4024 ?        SLs  Jan04   0:00 /usr/sbin/ntpd -p /var/run/ntpd.pid
nagios   11712  0.0  0.0  3012  868 ?        Ss   Jan04   0:00 /usr/sbin/nrpe -c /etc/nagios/nrpe.cfg -d
root     28247  0.0  2.2 40192 23740 ?       S    Jan10   0:04 /usr/sbin/apache
root     28265  0.0  0.0     0    0 ?        S    Jan10   0:00 [pdflush]
www-data 14844  0.0  2.6 44188 26980 ?       R    Jan14   1:24 /usr/sbin/apache
www-data 14845  0.0  2.6 44612 27796 ?       R    Jan14   1:16 /usr/sbin/apache
www-data 14846  0.0  2.7 45220 27992 ?       R    Jan14   1:09 /usr/sbin/apache
www-data 14847  0.0  2.6 44228 27340 ?       R    Jan14   1:06 /usr/sbin/apache
www-data 14848  0.1  2.6 44488 27592 ?       R    Jan14   1:35 /usr/sbin/apache
www-data 14849  0.0  2.8 47116 29940 ?       R    Jan14   1:26 /usr/sbin/apache
www-data 14850  0.0  2.6 44164 26928 ?       R    Jan14   1:22 /usr/sbin/apache
www-data 14851  0.0  2.6 44148 26924 ?       R    Jan14   1:30 /usr/sbin/apache
www-data 14852  0.1  2.6 44128 27136 ?       R    Jan14   1:39 /usr/sbin/apache
www-data 14853  0.1  2.6 44276 27096 ?       R    Jan14   2:13 /usr/sbin/apache
www-data 14854  0.0  2.6 44184 27112 ?       R    Jan14   1:00 /usr/sbin/apache
www-data 14855  0.0  2.6 44484 27588 ?       R    Jan14   1:16 /usr/sbin/apache
www-data 14856  0.1  2.6 44696 27464 ?       R    Jan14   1:38 /usr/sbin/apache
www-data 14857  0.1  2.6 44232 26996 ?       R    Jan14   2:02 /usr/sbin/apache
www-data 14858  0.1  2.6 44512 27328 ?       R    Jan14   1:35 /usr/sbin/apache
www-data 14860  0.0  0.0  4164  996 ?        S    Jan14   0:00 /usr/lib/apache-ssl/gcache 33 /var/run/gcache_port
www-data 14861  0.0  4.0 65132 42328 ?       S    Jan14   0:00 /usr/sbin/apache-ssl
www-data 14862  0.0  4.1 65160 42452 ?       S    Jan14   0:01 /usr/sbin/apache-ssl
www-data 14863  0.0  4.1 65236 42520 ?       S    Jan14   0:01 /usr/sbin/apache-ssl
www-data 14864  0.0  4.0 65132 42360 ?       S    Jan14   0:00 /usr/sbin/apache-ssl
www-data 14865  0.0  4.1 65336 42616 ?       S    Jan14   0:00 /usr/sbin/apache-ssl
www-data 14874  0.1  2.5 43892 26656 ?       R    Jan14   2:14 /usr/sbin/apache
www-data 14906  0.1  2.5 44184 26864 ?       R    Jan14   1:35 /usr/sbin/apache
www-data 14907  0.0  2.9 47176 30472 ?       R    Jan14   1:13 /usr/sbin/apache
www-data 15428  0.0  4.1 65424 42676 ?       S    Jan14   0:01 /usr/sbin/apache-ssl
www-data 16387  0.0  4.0 65156 42416 ?       S    Jan14   0:00 /usr/sbin/apache-ssl
www-data 16459  0.0  2.6 44448 27092 ?       R    Jan14   0:53 /usr/sbin/apache
www-data 20281  0.0  2.6 44180 26940 ?       R    Jan14   0:58 /usr/sbin/apache
www-data 21283  0.0  2.6 44160 27108 ?       R    Jan14   1:19 /usr/sbin/apache
www-data 21285  0.1  2.5 44064 26720 ?       R    Jan14   2:09 /usr/sbin/apache
www-data 23170  0.2  2.5 44212 26868 ?       R    Jan14   3:14 /usr/sbin/apache
www-data 23171  0.1  2.6 44204 27180 ?       R    Jan14   1:30 /usr/sbin/apache
www-data 23183  0.0  2.6 44288 27408 ?       R    Jan14   1:23 /usr/sbin/apache
www-data 24480  0.1  2.6 44168 26928 ?       R    Jan14   1:25 /usr/sbin/apache
www-data 24489  0.1  2.6 44556 27308 ?       R    Jan14   1:46 /usr/sbin/apache
www-data 24491  0.1  2.6 44256 27396 ?       R    Jan14   1:52 /usr/sbin/apache
www-data 24492  0.1  2.5 43708 26428 ?       R    Jan14   2:09 /usr/sbin/apache
www-data 24493  0.1  2.6 44388 27376 ?       R    Jan14   1:23 /usr/sbin/apache
#5247    16090  0.0  0.1  4740 1580 ?        S    Jan14   0:00 /usr/bin/imapd Maildir
www-data  9051  0.0  4.0 65092 42252 ?       S    Jan14   0:00 /usr/sbin/apache-ssl
#5247    18900  0.0  0.1  4740 1476 ?        S    03:15   0:00 /usr/bin/imapd Maildir
postfix    624  0.0  0.1  3048 1188 ?        S    07:42   0:00 pickup -l -t fifo -u -c
postfix   3686  0.0  0.1  3700 1460 ?        S    08:40   0:00 trivial-rewrite -n rewrite -t unix -u -c
amavis    4934  0.2  4.5 57876 47288 ?       S    08:58   0:01 amavisd (child)
amavis    5006  0.1  4.4 56856 45668 ?       S    08:59   0:01 amavisd (child)
www-data  5336  3.0  1.9 40192 20328 ?       R    09:03   0:12 /usr/sbin/apache
www-data  5338  3.2  2.1 41048 22528 ?       R    09:03   0:13 /usr/sbin/apache
www-data  5339  3.0  1.8 40192 19632 ?       R    09:03   0:11 /usr/sbin/apache
www-data  5340  3.0  1.8 40192 19632 ?       R    09:03   0:12 /usr/sbin/apache
www-data  5357  3.5  1.8 40196 19636 ?       R    09:04   0:13 /usr/sbin/apache
www-data  5358  3.2  1.9 40192 20328 ?       R    09:04   0:12 /usr/sbin/apache
www-data  5359  3.2  1.9 40192 20328 ?       R    09:04   0:12 /usr/sbin/apache
www-data  5367  3.2  2.2 41872 23588 ?       R    09:04   0:11 /usr/sbin/apache
www-data  5380  3.2  2.0 40192 20864 ?       R    09:04   0:11 /usr/sbin/apache
www-data  5383  3.1  1.8 40192 19628 ?       R    09:04   0:10 /usr/sbin/apache
www-data  5387  3.3  2.2 41980 23656 ?       R    09:04   0:11 /usr/sbin/apache
www-data  5405  3.3  1.8 40192 19616 ?       R    09:04   0:10 /usr/sbin/apache
www-data  5411  3.0  2.6 46196 27944 ?       R    09:04   0:09 /usr/sbin/apache
www-data  5476  3.3  1.8 40192 19624 ?       R    09:05   0:09 /usr/sbin/apache
www-data  5478  3.5  2.4 43360 25164 ?       R    09:05   0:10 /usr/sbin/apache
www-data  5490  3.6  2.4 44080 25532 ?       R    09:05   0:10 /usr/sbin/apache
www-data  5492  3.3  1.8 40192 19636 ?       R    09:05   0:09 /usr/sbin/apache
www-data  5493  3.6  2.3 42188 23888 ?       R    09:05   0:10 /usr/sbin/apache
www-data  5494  3.1  2.0 40192 20864 ?       R    09:05   0:09 /usr/sbin/apache
www-data  5495  3.1  2.6 46100 27884 ?       R    09:05   0:08 /usr/sbin/apache
www-data  5496  3.2  1.8 40196 19636 ?       R    09:05   0:08 /usr/sbin/apache
www-data  5497  3.1  1.8 40196 19660 ?       R    09:05   0:08 /usr/sbin/apache
www-data  5545  3.3  2.3 42392 24088 ?       R    09:05   0:08 /usr/sbin/apache
www-data  5546  0.0  1.8 40192 19552 ?       S    09:05   0:00 /usr/sbin/apache
www-data  5547  0.0  1.8 40192 19552 ?       S    09:05   0:00 /usr/sbin/apache
www-data  5570  0.0  1.8 40192 19560 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5571  0.0  1.8 40192 19560 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5572  0.0  1.8 40192 19580 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5578  0.0  1.8 40192 19560 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5579  0.0  1.8 40192 19608 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5581  0.0  1.8 40192 19608 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5582  0.0  1.8 40192 19608 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5591  0.0  1.8 40192 19608 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5599  0.0  1.8 40192 19608 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5603  0.0  1.8 40192 19512 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5604  0.0  1.8 40192 19560 ?       S    09:06   0:00 /usr/sbin/apache
www-data  5608  0.0  1.8 40192 19560 ?       S    09:07   0:00 /usr/sbin/apache
www-data  5617  0.0  1.8 40192 19560 ?       S    09:07   0:00 /usr/sbin/apache
www-data  5618  0.0  1.8 40192 19560 ?       S    09:07   0:00 /usr/sbin/apache
www-data  5619  0.0  1.8 40192 19560 ?       S    09:07   0:00 /usr/sbin/apache
www-data  5624  0.0  1.8 40192 19560 ?       S    09:07   0:00 /usr/sbin/apache
www-data  5626  0.0  1.8 40192 19560 ?       S    09:07   0:00 /usr/sbin/apache
www-data  5631  0.0  1.8 40192 19580 ?       S    09:07   0:00 /usr/sbin/apache
postfix   5632  0.0  0.1  4140 1904 ?        S    09:07   0:00 smtpd -n smtp -t inet -u -s 2 -o content_filter smtp-amavis:[127.0.0.1]:10024
postfix   5633  0.0  0.1  4392 1608 ?        S    09:07   0:00 proxymap -t unix -u
www-data  5639  0.0  1.8 40192 19580 ?       S    09:07   0:00 /usr/sbin/apache
www-data  5655  0.0  1.8 40192 19560 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5656  0.0  1.8 40192 19560 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5657  0.0  1.8 40192 19560 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5660  0.0  1.8 40192 19560 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5661  0.0  1.8 40192 19560 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5662  0.0  1.8 40192 19560 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5665  0.0  1.8 40192 19560 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5666  0.0  1.8 40192 19552 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5667  0.0  1.8 40192 19580 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5668  0.0  1.8 40192 19552 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5679  0.0  1.8 40192 19560 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5681  0.0  1.8 40192 19560 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5690  0.0  1.8 40192 19260 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5694  0.0  1.8 40192 19260 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5695  0.0  1.8 40192 19260 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5696  0.0  1.8 40192 19260 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5701  0.0  1.8 40192 19260 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5702  0.0  1.8 40192 19260 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5703  0.0  1.8 40192 19260 ?       S    09:08   0:00 /usr/sbin/apache
www-data  5706  0.0  1.8 40192 19260 ?       S    09:08   0:00 /usr/sbin/apache
postfix   5709  0.1  1.3 16140 14312 ?       S    09:08   0:00 cleanup -z -t unix -u -c
postfix   5710  0.0  0.1  3092 1252 ?        S    09:08   0:00 smtp -n smtp-amavis -t unix -u -o smtp_data_done_timeout 1200 -o disable_dns_lookups yes
www-data  5758  0.0  1.8 40192 19260 ?       S    09:09   0:00 /usr/sbin/apache
www-data  5762  0.0  1.8 40192 19260 ?       S    09:09   0:00 /usr/sbin/apache
www-data  5771  0.0  1.8 40192 19260 ?       S    09:09   0:00 /usr/sbin/apache
www-data  5772  0.0  1.8 40192 19260 ?       S    09:09   0:00 /usr/sbin/apache
www-data  5781  0.0  1.8 40192 19260 ?       S    09:09   0:00 /usr/sbin/apache
www-data  5786  0.0  1.8 40192 19260 ?       S    09:09   0:00 /usr/sbin/apache
www-data  5787  0.0  1.8 40192 19260 ?       S    09:09   0:00 /usr/sbin/apache
root      5791  0.0  0.0  2112  736 ?        S    09:10   0:00 /USR/SBIN/CRON
root      5792  0.0  0.1  2992 1284 ?        Rs   09:10   0:00 /bin/bash /root/scripts/system/chkm8
postfix   5826  0.0  0.1  3048 1164 ?        S    09:10   0:00 showq -t unix -u -c
root      5839  0.0  0.0  2992  764 ?        R    09:10   0:00 /bin/bash /root/scripts/system/chkm8
root      5840  0.0  0.0  2568  868 ?        R    09:10   0:00 ps aux
##### mySQL Processes ######
Id  User    Host    db  Command Time    State   Info
3788641 robert  localhost   NULL    Query   0   NULL    show processlist
#### STAT ####
Linux 2.6.16-2-686-smp (hostname)   01/15/2007

avg-cpu:  %user   %nice    %sys %iowait   %idle
           3.07    0.03    0.77    3.84   92.29

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               9.05       154.00        77.27 1522334498  763855248

procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
55  0 194712  18812  71168 164416    0    0     2     2    1     2  3  1 92  4