[ubuntu 6.06] Server load veel te hoog bij IMAP+Outlook

Pagina: 1
Acties:

Onderwerpen


Acties:
  • 0 Henk 'm!

  • OruBLMsFrl
  • Registratie: Juni 2001
  • Laatst online: 23:38

OruBLMsFrl

Silence Promo Crew

Topicstarter
Ik ben bezig met een migratie van een Exchange server naar een Ubuntu 6.06 server met Shorewall firewall, Courier IMAP, Postfix, een MySQL server en apache voor een website. De clients draaien allemaal nog gewoon Outlook, dat wil ik voorlopig ook zo houden. Ze verbinden secure via imaps met de server, uitgaande mail gaat ook secure via smtps. De server is een vrij krachtige machine met een Opteron 165 1.8GHz dual core, 2 GB ram en 2x200GB 7200rpm Maxtor DiamondMax 10 SATA harddisks in soft RAID1. Ik gebruik Ubuntu 6.06 LTS vanwege de 3 jaar ondersteuning die ze voor deze release bieden.
Tot vorige week was de server load altijd tussen 0.00 en 0.05. Echter, sinds ik bezig ben met mailboxen kopieeren naar de server gaat de load enorm omhoog, het kopieeren duurt ook zeer lang. Na het kopieeren gaat de load weer omlaag naar de 'normale' niveaus. Een outlook map met 5000 mailtjes, totaal 200MB aan mail duurt zomaar een uur of langer om te kopieeren, terwijl ik normaal met zoiets 200 kilobyte per seconde upload, waarmee dit in een kwartier klaar zou moeten zijn. Outlook reageerd ook pas na enkele seconden als ik het kopieervenstertje actief maak nadat ik een ander scherm actief had, hier lijkt iets niet lekker te gaan.
De server load gaat tijdens het kopieeren omhoog naar tussen de 0.5 en 1.0, dit is dus als slechts 1 user tegelijk bezig is. De processor tijd blijft echter tussen de 5-15% en is dus niet echt de oorzaak. Ik heb zelf op internet gezocht, onder andere heb ik bij Courier 100 connections vanaf hetzelfde IP toegestaan met een totaal van 200 connections, wat voor middelgrote bedrijven zelfs voldoende zou moeten zijn, wij hebben maar 10 users totaal. Ik verwacht dat er ergens iets op IO aan het wachten is, dus heb ik sysstat geinstalleerd en gedraaid, maar die geeft:

Linux 2.6.15-26-amd64-generic (smtp.doornvd.com) 02/28/07

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.05    0.00    0.04    0.01    0.00   99.90

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               3.08         0.15        48.93     420589  138374752
sdb               3.08         0.15        48.93     422397  138374752
md0               0.00         0.00         0.00       3482       1896
md1               0.00         0.00         0.01        224      15904
md2               0.52         0.11         4.13     323434   11668752
md3               0.43         0.01         3.44      39362    9720960
md4               4.55         0.09        36.37     255074  102847304
md5               0.22         0.06         1.72     181810    4866416
md6               0.03         0.01         0.27      38122     777128


waarbij

code:
1
2
3
4
5
6
/dev/md2              19228180    690592  17560844   4% /
/dev/md0               3842296     75704   3571408   3% /boot
/dev/md6              99888616    150052  94664440   1% /home
/dev/md5              19228180    411596  17839840   3% /var
/dev/md3              19228180    151916  18099520   1% /var/log
/dev/md4              30755712   1402176  27791224   5% /var/spool/mail


de output van top als ik een paar minuten aan het kopieeren ben is als volgt

code:
1
2
3
4
5
6
7
8
9
10
top - 10:08:47 up 32 days, 17:40,  1 user,  load average: 1.03, 0.86, 0.62
Tasks: 104 total,   1 running, 103 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.8% us,  0.2% sy,  0.0% ni, 98.8% id,  0.0% wa,  0.0% hi,  0.2% si
Mem:   2061120k total,  2048804k used,    12316k free,   352624k buffers
Swap:  3903672k total,    21616k used,  3882056k free,  1126412k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
16986 virtual   16   0 14660 3140  892 D    1  0.2   7:19.84 imapd
16985 root      15   0  9992 1804 1380 S    1  0.1   0:11.84 couriertls
18615 root      16   0 10568 1280  952 R    0  0.1   0:00.03 top

Dit is slecht te lezen, maar couriertls heeft 1% cpu en 0.2% mem en imapd ook 1% cpu, maar 0.2% mem.

Er is zoiets 1.4 GB in gebruik voor buffers en cache, dus er is slechts ongeveer 600MB in gebruik door programma's, daar zou dus geen vertraging in moeten zitten.
Mijn grootste vraag is of de server werkbaar blijft met onze 10 gebruikers. Als 5 gebruikers tegelijk Outlook starten en de load gaat naar 5.x vertraagd dat de boel enorm toch? Is dat normaal is met een IMAP server en Outlook, exchange had hier nooit in deze mate last van bij mijn beste weten? En is Courier IMAP wel een handige keus is in combinatie met Outlook, of is bijvoorbeeld dovecot echt veel sneller, want op internet kom ik veel verschillende meningen hierover tegen.
Ik lees op internet ook veel over inetd en xinetd, maar die gebruik ik bij mijn beste weten niet, ik zie in ieder geval in /etc/inetd.conf helemaal niets staan. Ook geeft man aan dat ie ze niet kan vinden als ik man inetd of man xinetd draai.
Iets anders wat nog van belang kan zijn: bij netstat -lt zie ik imap en imaps alleen bij tcp6 staan (net zoals ssh, www en https overigens, dat werkt allemaal prima), niet bij gewoon tcp zoals bijvoorbeeld smtp en mysql. Ik kan echter wel gewoon verbinden als ik via IP4 naar de server ga, dus daar snap ik iets niet helemaal 8)7

tcp6 0 0 *:imaps *:* LISTEN
tcp6 0 0 *:imap2 *:* LISTEN
tcp6 0 0 *:www *:* LISTEN
tcp6 0 0 *:ssh *:* LISTEN
tcp6 0 0 *:https *:* LISTEN

Ik hoop dat iemand me hiermee kan helpen, want mijn linux kennis reikt niet veel verder dan dit vrees ik.

Cooling is silver, silence is golden!
Wat je denkt is niet wat je zegt. Wat je zegt wordt anders begrepen.
Main: AMD RX 9070XT Sapphire Pure, 2e PC: Nvidia RTX3080 EVGA FTW3


Acties:
  • 0 Henk 'm!

  • OruBLMsFrl
  • Registratie: Juni 2001
  • Laatst online: 23:38

OruBLMsFrl

Silence Promo Crew

Topicstarter
Ik ben nu wat langer aan het kopieeren, zoiets 30 minuten, dan ziet top er zo uit:

top - 10:37:42 up 32 days, 18:09, 1 user, load average: 1.02, 0.94, 0.82
Tasks: 104 total, 1 running, 103 sleeping, 0 stopped, 0 zombie
Cpu(s): 5.2% us, 0.2% sy, 0.0% ni, 94.7% id, 0.0% wa, 0.0% hi, 0.0% si
Mem: 2061120k total, 2031040k used, 30080k free, 312868k buffers
Swap: 3903672k total, 21616k used, 3882056k free, 1145088k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
16986 virtual 16 0 14640 3140 892 D 11 0.2 9:44.81 imapd
1 root 16 0 2636 496 420 S 0 0.0 0:03.44 init

Die load averages zijn dus zonder andere gebruikers :'(

De mailboxen staan trouwens in directories, per mailtje een file. Het bestandssysteem is ext3 op alle schijven.

[ Voor 7% gewijzigd door OruBLMsFrl op 28-02-2007 10:53 ]

Cooling is silver, silence is golden!
Wat je denkt is niet wat je zegt. Wat je zegt wordt anders begrepen.
Main: AMD RX 9070XT Sapphire Pure, 2e PC: Nvidia RTX3080 EVGA FTW3


Acties:
  • 0 Henk 'm!

  • wzzrd
  • Registratie: Februari 2000
  • Laatst online: 26-06 17:09

wzzrd

The guy with the Red Hat

Heel raar dit. Dat van die IPv6 verbindingen kun je uitzetten. Mogelijk dat je daar wat performancewinst mee haalt, maar ik denk niet dat dat je probleem oplost. Doe eens een ps xau of ps xauf?

Acties:
  • 0 Henk 'm!

  • bunneh
  • Registratie: Januari 2003
  • Laatst online: 11-09 10:24
Wat voor netwerkkaarten heb je ?

idd ook ff ipv6 uitzetten

Acties:
  • 0 Henk 'm!

  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
bunneh schreef op woensdag 28 februari 2007 @ 14:46:
Wat voor netwerkkaarten heb je ?

idd ook ff ipv6 uitzetten
Waarom?

En load averages gaan (volgens mij) alleen over CPU tijd. En met een load average van 1 is toch ook niks mis?

[ Voor 9% gewijzigd door Olaf van der Spek op 28-02-2007 17:02 ]


Acties:
  • 0 Henk 'm!

  • wzzrd
  • Registratie: Februari 2000
  • Laatst online: 26-06 17:09

wzzrd

The guy with the Red Hat

IPv6 heeft een nadelige invloed op de prestaties van IPv4 verkeer onder (iig) Ubuntu LTS. Waarom weet ik eerlijk gezegd niet, ik meen me te herinneren dat er iets gebeurde met hostname resolving. Als IPv6 aanstaat werd geloof ik eerst geprobeerd dat te gebruiken of zo. Daarna pas met gewoon IPv4. Zoiets. Kweenie precies meer. Er zijn redelijk wat draadjes over slechte internet performance met IPv6 onder Ubuntu op hun forums.

Load averages gaan over het aantal gelijktijdige draaiende processen in de laatste 1, 5 en 15 minuten. Da's niet helemaal hetzelfde als CPU tijd. Een load average van 1 is bepaald niet heel hoog idd. Tijdens een stevige compile-en-desktop-sessie zit ik trouwens ook maar op een load average van 3.6 of zo. Nog niet eens.

@TS: kun je die imap daemon niet eens met een hogere verbosity draaien en de logs posten?

Acties:
  • 0 Henk 'm!

  • OruBLMsFrl
  • Registratie: Juni 2001
  • Laatst online: 23:38

OruBLMsFrl

Silence Promo Crew

Topicstarter
Met het uitschakelen van ipv6 via /etc/modprobe.d/blacklist is de load gedaald van ongeveer 1 naar ongeveer 0.5 tijdens kopieeren, ook lijkt een en ander iets sneller. Hieronder nog alles van courier uit ps xau tijdens het kopieeren:

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root      6583  0.0  0.0  13320   864 ?        S    18:42   0:00 /usr/lib/courier/authlib/auth
root      6588  0.0  0.0  13320   436 ?        S    18:42   0:00 /usr/lib/courier/authlib/auth
root      6589  0.0  0.0  13320   436 ?        S    18:42   0:00 /usr/lib/courier/authlib/auth
root      6590  0.0  0.0  13320   436 ?        S    18:42   0:00 /usr/lib/courier/authlib/auth
root      6591  0.0  0.0  13320   464 ?        S    18:42   0:00 /usr/lib/courier/authlib/auth
root      6592  0.0  0.0  14388  1160 ?        S    18:42   0:00 /usr/lib/courier/authlib/auth
root      6603  0.0  0.0   6000   508 ?        S    18:42   0:00 /usr/sbin/couriertcpd -addres
root      6607  0.0  0.0   3716   348 ?        S    18:42   0:00 /usr/sbin/courierlogger imapl
root      6625  0.0  0.0   5996   516 ?        S    18:42   0:00 /usr/sbin/couriertcpd -addres
root      6627  0.0  0.0   3852   496 ?        S    18:42   0:00 /usr/sbin/courierlogger imapd
root      7076  0.1  0.0   9992  1896 ?        S    18:43   0:01 /usr/bin/couriertls -server -
virtual   7077  1.3  0.1  13868  2372 ?        D    18:43   0:09 /usr/bin/imapd Maildir


Ik zal later op de avond nog even kijken hoe ik courier meer kan laten loggen, dat zou echter geen groot probleem moeten zijn neem ik aan.

Cooling is silver, silence is golden!
Wat je denkt is niet wat je zegt. Wat je zegt wordt anders begrepen.
Main: AMD RX 9070XT Sapphire Pure, 2e PC: Nvidia RTX3080 EVGA FTW3


Acties:
  • 0 Henk 'm!

  • OruBLMsFrl
  • Registratie: Juni 2001
  • Laatst online: 23:38

OruBLMsFrl

Silence Promo Crew

Topicstarter
Ik heb zitten zoeken naar een mogelijkheid om debug output uit courier-imapd te krijgen, maar ik heb echt niets kunnen vinden. In /etc/syslog.conf heb ik een mail.debug file gespecificeerd, maar daar komt niet echt meer informatie in dan in de mail.info file naar mijn idee. In de config files kun je alleen opgeven hoe logins gelogd worden, maar ik zou juist de imap commando's willen zien, om een idee te krijgen of daar nog winst te halen valt (wacht de client op de server of andersom). Google en ook de courier website zelf melden daar echter niets over.
Wel ben ik voor squirrelmail nog een optie tegengekomen waarbij die de imap server gebruikt om lijsten van mails te sorteren, in plaats van een eigen php script. Dat maakt voor mappen met duizenden mails zeer veel uit (in de configurator onder 4. general options de server thread en sort (4.10 en 4.11) activeren. Het normale gebruik door zowel outlook als de webmail is wat betreft load nu wel goed te doen. Zeker met de opmerking op zak dat tijdens het compileren de load wel naar 3.6 kan schieten zonder dat er iets mis is lijkt er bij mij dan ook niet veel meer aan de hand te zijn.
Iedereen bedankt voor het meedenken en zeker voor de ipv6 tip, maakt het leven toch net wat sneller. Als er nog goede ideen zijn voor het versnellen/verbeteren van de setup heb ik zeker nog wel interesse, maar anders mag er van mij een slotje op dit topic.

Cooling is silver, silence is golden!
Wat je denkt is niet wat je zegt. Wat je zegt wordt anders begrepen.
Main: AMD RX 9070XT Sapphire Pure, 2e PC: Nvidia RTX3080 EVGA FTW3


Acties:
  • 0 Henk 'm!

  • _-= Erikje =-_
  • Registratie: Maart 2000
  • Laatst online: 10-09 12:08
Je kan beter met iostat -x 1 kijken, dan zie je ook de queue depth etc van de schijven

Acties:
  • 0 Henk 'm!

  • smesjz
  • Registratie: Juli 2002
  • Niet online
Bas van der Doorn schreef op woensdag 28 februari 2007 @ 21:25:
Ik heb zitten zoeken naar een mogelijkheid om debug output uit courier-imapd te krijgen, maar ik heb echt niets kunnen vinden. In /etc/syslog.conf heb ik een mail.debug file gespecificeerd, maar daar komt niet echt meer informatie in dan in de mail.info file naar mijn idee. In de config files kun je alleen opgeven hoe logins gelogd worden, maar ik zou juist de imap commando's willen zien, om een idee te krijgen of daar nog winst te halen valt (wacht de client op de server of andersom). Google en ook de courier website zelf melden daar echter niets over.
Wel ben ik voor squirrelmail nog een optie tegengekomen waarbij die de imap server gebruikt om lijsten van mails te sorteren, in plaats van een eigen php script. Dat maakt voor mappen met duizenden mails zeer veel uit (in de configurator onder 4. general options de server thread en sort (4.10 en 4.11) activeren. Het normale gebruik door zowel outlook als de webmail is wat betreft load nu wel goed te doen. Zeker met de opmerking op zak dat tijdens het compileren de load wel naar 3.6 kan schieten zonder dat er iets mis is lijkt er bij mij dan ook niet veel meer aan de hand te zijn.
Iedereen bedankt voor het meedenken en zeker voor de ipv6 tip, maakt het leven toch net wat sneller. Als er nog goede ideen zijn voor het versnellen/verbeteren van de setup heb ik zeker nog wel interesse, maar anders mag er van mij een slotje op dit topic.
Om Courier te debuggen kan je ook kijken naar strace uitvoer. Op een hoger niveau kan je tcpdump gebruiken of ethereal (of diens opvolger). Maar Outlook is niet de meest goede IMAP client zo is het bijv. onmogelijk om daar goede shared folders (van Courier IMAP ) werkend te krijgen als je virtual shared folders wil gebruiken.
Verder heeft of had Outlook issues met IDLE e.d. en het server-side opslaan van verzonden items kan ook niet zo maar. Wat dat betreft levert Thunderbird een stuk minder problemen op.

Aan Courier kan je verder weinig tweaken qua configuratie, je zou verder nog Dovecot (imap/pop3 server) kunnen overwegen. Een migratie van Courier naar Dovecot is vrij simpel.

Acties:
  • 0 Henk 'm!

  • OruBLMsFrl
  • Registratie: Juni 2001
  • Laatst online: 23:38

OruBLMsFrl

Silence Promo Crew

Topicstarter
Over Outlook ben ik ook niet helemaal tevreden inderdaad. Probleem is dat de nodige gebruikers de notities, agenda en ingebouwde contactpersonen gebruiken. Ook wordt er met telefoons en PDA's gesynchroniseerd vanuit Outlook. Moet ik dat weer allemaal gaan migreren en een nieuw programma aan de man brengen... Outlook 2007 schijnt in ieder geval wat betreft verzonden items beter te zijn, over de rest van de problemen heb ik weinig kunnen vinden. Ik ga in ieder geval eerst nog even naar Outlook 2007 kijken voordat ik het roer helemaal om gooi. Helaas zijn niet alle gebruikers tweakers ;)

iostat -x 1 geeft tijdens kopieeren het volgende:

code:
1
2
3
4
5
6
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    0.00    0.00    0.00  100.00

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          0.00  16.00  0.00 20.00    0.00  288.00     0.00   144.00    14.40     0.00    0.00   0.00   0.00
sdb          0.00  16.00  0.00 20.00    0.00  288.00     0.00   144.00    14.40     0.00    0.00   0.00   0.00


Util blijft steevast 0-0.4%, queue size varieert tussen de 10-50, maar geeft ook vaak even 0 aan. wsec/s is meestal tussen 100-500, vaak 0 en soms piekt hij boven de 1000.
Bij strace is trouwens de bedoeling dat ik de imapd met behulp van strace start en dan de output naar een bestand verstuur? Totaal onbekend programma voor mij, nu start ik hem altijd via /etc/init.d/courier-imapd-ssl, mis ik dan geen parameters vanaf de command line?

[ Voor 46% gewijzigd door OruBLMsFrl op 02-03-2007 10:25 ]

Cooling is silver, silence is golden!
Wat je denkt is niet wat je zegt. Wat je zegt wordt anders begrepen.
Main: AMD RX 9070XT Sapphire Pure, 2e PC: Nvidia RTX3080 EVGA FTW3


Acties:
  • 0 Henk 'm!

  • CyBeR
  • Registratie: September 2001
  • Niet online

CyBeR

💩

Kijk eens bij 'iostat 1' zonder -x? Want dit soort dingen zie je vaak als je IO performance gewoon brak is. Welke schijven heb je en belangrijker, op wat voor'n controller?

All my posts are provided as-is. They come with NO WARRANTY at all.


Acties:
  • 0 Henk 'm!

  • OruBLMsFrl
  • Registratie: Juni 2001
  • Laatst online: 23:38

OruBLMsFrl

Silence Promo Crew

Topicstarter
iostat 1 ziet er zo uit, cpu en de rest is hetzelfde als boven, allemaal 0, behalve idle:

code:
1
2
3
4
5
6
7
8
9
10
Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              80.00         0.00      1152.00          0       1152
sdb              80.00         0.00      1152.00          0       1152
md0               0.00         0.00         0.00          0          0
md1               0.00         0.00         0.00          0          0
md2               0.00         0.00         0.00          0          0
md3               0.00         0.00         0.00          0          0
md4             128.00         0.00      1024.00          0       1024
md5               0.00         0.00         0.00          0          0
md6               0.00         0.00         0.00          0          0


Daarbij is Blk_wrtn tussen de 900-1500 en tps tussen de 70-100 als je hem een minuut in de gaten houdt.
De schijven zijn 2 identieke Maxtor Diamondmax 10 schijven van 200GB op een onboard SATA controller van een nforce 4 moederbord. Deze staan in linux softraid mirror. md4 is de mail partitie.

Als ik trouwens mail download door een volledige en niet alleen header sync te doen, dan ziet iostat 1 er zo uit:

code:
1
2
3
4
5
6
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           7.96    0.00    2.49   13.43    0.00   76.12

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             289.11     21116.83         7.92      21328          8
sdb             283.17     12293.07         7.92      12416          8


De harddisks lijken dus harder te kunnen dan ze gaan bij het uploaden, aangezien lezen en schrijven redelijk proportioneel zijn?

[ Voor 24% gewijzigd door OruBLMsFrl op 02-03-2007 14:12 ]

Cooling is silver, silence is golden!
Wat je denkt is niet wat je zegt. Wat je zegt wordt anders begrepen.
Main: AMD RX 9070XT Sapphire Pure, 2e PC: Nvidia RTX3080 EVGA FTW3

Pagina: 1