Qmail en vpopmail clusteren

[Snow_King]

Beste Tweakers,

Op dit moment draait het bedrijf waar ik werk Qmail + vpopmail (MySQL backend) voor hun mail services.

Aangezien de single server waar het nu op draait problemen krijgt qua load, willen we dit gaan opsplitsen.

Nu dacht ik aan het volgende:

Server 1:
- NFS
- MySQL

Server 2:
- Qmail
- Vpopmail
- Courier-IMAP

Server 3:
- Zelfde als server 2

vpopmail gebruikt een MySQL backend, dat laat ik dus centraal regelen door server 1.

server 2 en 3 starten hun services vanaf de server 1.

Nu moet Qmail worden herladen op het moment dat er een nieuw domein bij komt, dat is opzich niet zo'n probleem, echter denk ik dat dit makkelijker moet kunnen

Na wat Google'n kwam ik bijv dit tegen: http://www.shupp.org/maps/ispcluster.html

Daar staat beknopt uitgelegt wat te doen.

Heeft iemand hier ervaring mee? Zo ja, heeft iemand tips waar op te letten?

[pierre-oord]

Persoonlijk vind ik xmail een erg goede mailserver, maar ik weet niet zeker of je daar de pop en smtp gedeeltes van elkaar kunt scheiden maar volgens mij kan dat wel

Jouw idee begrijp ik alleen even niet, want mysql wordt toch alleen gebruikt voor users in te zetten, of slaat het ook mail op in de database? NFS begrijp ik ook niet, er hoeft toch niets te worden overgezet of wel?

Xmail is verder goed te gebruiken icm Dovecot als IMAP client. Zie ook http://xmailforum.homelinux.net/ en http://www.xmailserver.org/

[ Voor 4% gewijzigd door pierre-oord op 05-11-2005 18:54 ]

[Snow_King]

pierre-oord schreef op zaterdag 05 november 2005 @ 18:53:
Persoonlijk vind ik xmail een erg goede mailserver, maar ik weet niet zeker of je daar de pop en smtp gedeeltes van elkaar kunt scheiden maar volgens mij kan dat wel

Jouw idee begrijp ik alleen even niet, want mysql wordt toch alleen gebruikt voor users in te zetten, of slaat het ook mail op in de database? NFS begrijp ik ook niet, er hoeft toch niets te worden overgezet of wel?

Xmail is verder goed te gebruiken icm Dovecot als IMAP client. Zie ook http://xmailforum.homelinux.net/ en http://www.xmailserver.org/

Ik wil meerdere IMAP, POP3 en SMTP servers. De mail moet dus centraal worden opgeslagen via NFS.

De usernames en passwords staan opgeslagen in een MySQL database.

Er moeten dus meerdere servers zijn die zich voordoen als 1 mailserver.

[_JGC_]

Mail op NFS is FOUT! Onbetrouwbaar als de pest, ondanks dat het Maildir is.
Als je toch wilt gaan clusteren, kijk eens naar Cyrus IMAP, en dan met name met Cyrus Murder:

- Master server die weet welke mailbox op welke server staat
- backend servers die de mail hosten
- frontend servers/proxies die toegang tot de backends toestaan.

Het mooie aan dit systeem: het maakt geen flikker uit op welke host er mail binnenkomt of opgehaald wordt, mail komt gewoon aan en kan vanaf elke server gepopt/imapt worden omdat de frontends altijd weten welke backend de data heeft.

Mocht je bij qmail/vpopmail blijven: je load komt zeer waarschijnlijk niet van de mail zelf, maar van het scannen ervan. Zorg dat qmail iig met chkuser werkt, vervang evt brakke dingen zoals qmail-scanner (perl ) door simscan (native C).

Edit: mocht je je virus/spamscanning door losse frontend servers willen doen: zet ze op met postfix en knoop die dingen met relay_recipient_maps aan je vpopmail MySQL database, pleur er wat header checks, body checks en dat soort dingen erop. Alles wat niet gescand wordt kost ook geen CPU kracht. qmail zonder chkuser is wat dat betreft nogal stom: neemt sowieso mail aan, voert het door de queue, probeert het op vpopmail af te leveren en moet dan de hele weg nog eens afleggen om een bounce te genereren.

[ Voor 24% gewijzigd door _JGC_ op 05-11-2005 21:04 ]

[Coen Rosdorff]

_JGC_ schreef op zaterdag 05 november 2005 @ 21:02:
Mail op NFS is FOUT! Onbetrouwbaar als de pest, ondanks dat het Maildir is.

Oh? Is dat zo?
Werkt bij XS4ALL met al hun netapps toch best aardig hoor. En dan gaat het niet om een paar servers.

Mij lijkt een setup met 1 Mysql server, 1 NFS server, 1 SMTP server (qmail dan voor jou) en 1 POP3/IMAP server een goed begin.

Als 1 enkele SMTP of POP3 server het niet meer trekt kan je dat uitbreiden naar meerdere, al dan niet voorzien van een loadbalancer ervoor, maar dan heb je al heel wat mail te verwerken.

Verder zou ik voor de authenticatie eens naar een ldap oplossing gaan zoeken, ik denk dat dat beter schaalt dan mysql, want dat blijft toch een spof. Tenzij je daar ook met cluster/replicatie gaat werken. Een pop3 server die enkel leest kan makkelijk de database op een slave gebruiken...

[JMW761]

Qmail/vpopmail clusteren is erg eenvoudig.
Ik kan je aanraden je te abboneren op de toaster-list.

je moet je vpopmailaccounts inderdaad in mysql zetten.
Daarna mount je via NFS op je frontends de vpopmail/domains dir en de
/var/qmail/control en de /var/qmail/users dir van de master-server.

Inderdaad performed simscan veel beter dan andere spam/virus checkers (natuurlijk wel in combinatie met clamav en spamassassin.)

Dergelijke oplossingen draaien wij al jaren tot volle tevredenheid.
domains aanmaken doe je op je master (in ons geval meestal de NFS server zelf (deze ontvangt zelf geen mail)) en accounts aanmaken kan gewoon via de regular vpopmail tools (ook qmailadmin).

[ Voor 3% gewijzigd door JMW761 op 06-11-2005 12:58 . Reden: ff NFS toegevoegd na mounten; je zou eens de verkeerde indruk kunnen krijgen ]

[zeroxcool]

_JGC_ schreef op zaterdag 05 november 2005 @ 21:02:
Mocht je bij qmail/vpopmail blijven: je load komt zeer waarschijnlijk niet van de mail zelf, maar van het scannen ervan. Zorg dat qmail iig met chkuser werkt, vervang evt brakke dingen zoals qmail-scanner (perl ) door simscan (native C)

offtopic:
Bedankt voor de tip, ik ken veel van Inter7, maar dat nog niet. Ga ik zeker een keer mee spelen!

Bij 'ons' hebben we het zo geregeld. Je hebt enkele aparte virus/spam machines die als MX klaar staan voor de domeinen. Ze accepten mail, scannen het en forwarden het naar machines die als POP-server dienen (storage en delivery dus eigenlijk).

Die virus machines hebben dus (als je daar qmail gaat gebruiken) de gehele lijst met alle domeinen als rcpthosts (+ morercpthosts) en een smtproutes met daarin bijvoorbeeld:

a.nl:eerstepopserver
b.nl:tweedepopserver
c.nl:derdepopserver
d.nl:tweedepopserver

Zo sturen die machines het hele zootje door naar de goede 'storage' machine. Die ook de POP-requests van users afhandelt. Mocht je dat overigens onder één hostname aanbieden, bijv. pop.bedrijf.nl, dan plaats je daar een 'simpele' POP-proxy op die de e-mail transfert vanuit de POP-server naar je client toe.

Zo splits je de load over meerdere servers en is het hele gedoe makkelijk uitbreidbaar:

• Load te hoog op je virusmachines? Zet er een machine bij en voeg aan ieder domein een MX toe, of zet de machine in een round-robin met een andere.
• Load te hoog op je storage (POP) servers? Zet er een machine bij en zorg ervoor dat nieuwe accounts bij wijze van spreken daar op aangemaakt worden en de lijst van domeinen bij de virus machines bekend zijn.

Zo heb je niets met NFS te maken, en bouw je redelijk goedkoop een 'cluster' voor je mail. Er kan namelijk best een virus machine uitvallen, dat is goed op te vangen. Je POP-server is echter wel kwetsbaar, die moet je natuurlijk met een RAID-config en alle andere redundancy dingen uitrusten...

[ Voor 2% gewijzigd door zeroxcool op 06-11-2005 22:23 . Reden: typo's ]

[Snow_King]

Ik heb zo een berg informatie

Bedankt allemaal.

Ik denk toch dat we bij Qmail en vpopmail moeten blijven, het huidige systeem draait er op en alles converten gaat helaas niet zo 1,2,3

[RupS]

Ik vind de opmerking over het fout zijn van NFS erg kort door de bocht...
Wij hebben ruim 30000 mailboxen draaien, op een NFS backend met Qmail en Vpopmail.
Vooropgesteld dat ik alles behalve een fan ben van Vpopmail (leuk idee, maar verschrikkelijk brak uitgewerkt), vind ik toch dat het nu prima werkt!

We hebben een NFS file "cluster" met daarvoor drie Qmail/Vpopmail bakken die daar gebruik van maken en hun database uit een apart mysql "cluster" halen. Virus checks vangen we af door een sendmail cluster wat er voor hangt (ge loadbalanced met IPVS).

Er kunnen in principe twee qmail machines wegrennen en nog blijft het allemaal draaien, wel met een load van 20, maar het gaat om het idee. Os van alle servers is bij ons overigens FreeBSD, naar wat ik weet is het NFS verhaal wel een stuk stabieler onder FreeBSD dan onder Linux.