[FreeBSD / Plesk / qmail] Spamtoename => hoge load

Pagina: 1
Acties:

  • drm
  • Registratie: Februari 2001
  • Laatst online: 09-06-2025

drm

f0pc0dert

Topicstarter
Ik zit met een probleem; d.w.z. het bedrijf waar ik werk. De situatie is als volgt: We draaien sinds een paar jaar met Plesk op een Linux systeem eigenlijk heel goed op 1 server, met een steeds groter wordend aantal klanten waaraan we zowel hosting van websites als email aanbieden.

We zijn sinds een maand of 2 overgestapt naar een server met iets grotere capaciteit, op een ander besturingssysteem namelijk FreeBSD 4.11. Verder is de software zo goed als hetzelfde gebleven.

De server heeft sinds die tijd kuren. Soms krijgt hij een enorm hoge load (voornamelijk door disk activiteiten) en soms zo hoog dat hij er de brui aan geeft. Nu lijkt de conclusie eenvoudig om te stellen dat de server minder goed is gaan presteren vanwege de verandering in de software. Maar alles wijst erop dat er in die periode ook een enorme toename is gekomen in spam. Het blijkt in ieder geval, dat door uitschakeling van qmail in zijn geheel (de smtp software) de load averages aanzienlijk dalen (dit hebben we geprobeerd). Hetzelfde hebben we geprobeerd door de webserver uit te schakelen (httpd) en daarmee was vrijwel geen effect te merken. Aan risicovolle software zoals php-scripts en/of cgi's kan het dus niet liggen.

Kortom; het probleem blijkt mail te zijn.

Uiteraard hebben we spamfiltersoftware draaien (SpamAssassin) en die doet z'n werk heel prima. Maar, dat kost ook de nodige power van de server. De aanname wordt dus voorzichtig gedaan dat door uitschakeling van de spamsoftware, de server het veel minder druk zou krijgen, en daardoor weer z'n handjes vrij krijgt om de dingen te doen waar hij voor staat. Maar als we dat proberen staat de telefoon roodgloeiend van alle klanten die sowieso al miepen als ze meer dan 2 spam-mailtjes per dag binnen krijgen (:Z)

Er is dan eigenlijk maar 1 mogelijkheid, en dat is zorgen dat de spam vóór de server wordt afgevangen, door bijvoorbeeld een Barracuda o.i.d.. Dat zou ik dus erg graag doen, al is het alleen al dat de server überhaupt minder mail te verwerken krijgt, laat staan spam.

Alleen, dat gaat niet op korte termijn. Het bedrijf waar we onze server huren kan ze (Barracuda's) niet op korte termijn leveren, en een server ernaast zetten om de load te verdelen (d.m.v. loadbalancing) gaat niet of heel lastig i.c.m. Plesk. Een tweede ernaast zetten en de websites / mail verdelen over de twee servers is kostentechnisch niet al te fijn....

Een andere mogelijkheid is om SpamAssassin verder te optimaliseren / verbeteren, etc, met het risico dat de spamfilter inlevert aan secuurheid, en het risico dat je de server er niet (voldoende) mee ontlast.

Ik ben op zoek naar tips in de volgende "rubrieken" :P
• Andere mogelijke oorzaken / dieper liggende problemen die ervoor zouden kunnen zorgen dat de server (te) zwaar belast wordt;
• Mogelijkheden om de spamfiltering te verbeteren / optimaliseren zonder dat de effectiviteit eronder lijdt
• Ervaringsdeskundigen die de situatie herkennen en brainstormend mee kunnen denken
• Adviezen over capaciteitsuitbreiding.
• Alternatieve oplossingen / oplossingsrichtingen?

Voor dat laatste hebben jullie natuurlijk wat stats / specs nodig, vandaar het volgende:
FreeBSD 4.11 met Plesk 7 (qmail, apache, mysql, php ...)
Server is een p4, 1024MB ram, 2 x 60 gb in raid
Ca 260 domeinnamen, waarvan ca 160 daadwerkelijk hosting hebben (meer zijn dan een alias), waaronder max 20 met meer dan 50 bezoekers per dag
Ca 750 e-mailadressen, waarvan ca 30% redirects, 70% pop-boxen (naar schatting, als het interessant is zou ik het even uit kunnen zoeken).

SMTP Relaying is uiteraard niet mogelijk, bouncen wordt niet gedaan (dus tijdens de SMTP verbinding worden mailadressen al geweigerd), tenzij het doorstuuradressen zijn (logisch).

Ik denk dat ik het hier even bij laat. Als er mensen zijn die meer info willen, zeg het gerust en vooral gauw ;) En alle tips zijn welkom.

Dank voor jullie hulp en tijd alvast.

Music is the pleasure the human mind experiences from counting without being aware that it is counting
~ Gottfried Leibniz


Verwijderd

Even kort door de bocht dan maar postgrey is je vriend :-)

Korte uitleg:
- Alle mail wordt in eerste instantie niet doorgelaten met een server configuration error (dus probeer het later nog eens, ik heb een probleem).
- Als dezelfde mailserver met hetzelfde bericht het later nog eens probeert dan wordt hij herkend en doorgelaten
- Mailserver waar je vaker mail van ontvangt komen op een whitelist (automatisch) en worden voortaan de 1e keer doorgelaten.

Dit plaatje heeft de maker op zijn site staan, greylisting op dinsdag (tue) aangezet.

Afbeeldingslocatie: http://isg.ee.ethz.ch/tools/postgrey/mailgraph_greylisting.png

Best effectief. Ik gebruik het nu zelf ook in combinatie met blacklist servers en de spam is echt heel erg veel minder geworden.

  • smesjz
  • Registratie: Juli 2002
  • Niet online
Postgrey werkt met Postfix en niet met qmail zo ver ik weet, dus tenzij de TS aan de gang wil met Postfix is dit geen optie. Ik vind Postgrey maar niks (nog een Perl daemon).

Als ik TS was zou ik wel voor Postfix gaan, maar de discussie qmail/postfix is al zo vaak gevoerd.

Maar wat je wel gemakkelijk kan doen is zorgen dat je niet iedere keer 'spamassassin' binary (/usr/bin/spamassassin) aanroept maar dit via spamc/spamd doet. Dit scheelt gigantisch veel performance en afhankelijk van het aantal mails dat je binnenkrijgt kan je het aantal child processen uitbereiden.

Ik zou juist verbeteringen zoeken in maatregelen op MTA niveau: blacklists (mits met zorg gekozen), HELO restricties, zelf filteren op hostnames e.d. Ik weet niet of qmail daar de meest makkelijke SMTP server voor is, overweeg ook eens verder te kijken naar Postfix of exim.

Voor Postfix heb je bijv. http://jimsun.linxnet.com/misc/postfix-anti-UCE.txt

Volgens mij wordt qmail nou niet echt hard ontwikkeld en heb je overal patches voor nodig om fatsoenlijke functionaliteit te krijgen voor standaard zaken als het weigeren van niet bestaande adressen bij RCPT TO.

  • Powermage
  • Registratie: Juli 2001
  • Laatst online: 12-02 23:08
Ik weet niet of ik je verder kan helpen, maar volgens mij kan ik via mijn groothandel relatief snel een barracuda krijgen voor enkele weken, (verhuur basis) die is dan bruikbaar tot je eigen barracuda binnen is.

Join the club


  • Asteroid9
  • Registratie: Maart 2002
  • Laatst online: 19:50

Asteroid9

General Failure

Licht off-topic, maar persoonlijk ben ik niet echt te spreken over Barracuda.

Een tijdje geleden werden we ineens door ongeveer alle Barracuda firewalls van klanten gebounced, vermoedelijk door een of andere woordcombinatie.
Aan de default tekst van de bounces zag ik dat het allemaal Barracuda devices waren. Het ging niet om 1 mailing maar om allerlei verschillende emails.
Na 2 weken was het ook weer helemaal over, maar als bedrijf hebben we er fors last van gehad.

Zo'n Barracuda is weinig transparant qua foutopsporing, alhoewel ik zelf op een losse Barracuda aan het tracen ben geweest was het probleem niet echt te vinden.
Het zijn geen reguliere blacklists of open mechanismes die je kan controleren.
Als je een probleem tegenkomt kun je moeilijk al je relaties af gaan bellen om te vragen of ze je kunnen whitelisten...

- = Simpele oplossingen zijn vaak vermomd als schier onoplosbare problemen.... = -


  • JMW761
  • Registratie: Oktober 2001
  • Laatst online: 16-02 14:14
wij draaien veel qmail-mailservers in combinatie met spamassassin.
Ik heb geen ervaring met qmail onder plesk


qmail is in staat op een weinig cpu-intensieve manier enorm veel mail af te handelen; je mag er dus vanuit gaan dat het probleem zit in de configuratie of in de config van spamassassin.

Als de load enorm oploopt door het afhandelen van mail, zou je er voor kunnen kiezen om de treshhold waarmee de mail wordt afgehandeld te verlagen. Met andere woorden: je limit het max aantal concurrent qmail processes.

wat gebeurt er als er een mail binnenkomt terwijl qmail aan zijn max zit : dan zegt je tcp-server "sorry, ik ben ff druk, stuur je mail later nog een keer op" deze melding is een valid RFC melding en daar kunnen andere mailservers gewoon mee omgaan.

ik check nu je servers specs; 60gb disks lijken met IDE/SATA, zijn die op een echte raid-controller aangesloten of is het een zogenaamde "softraid-controller" of wellicht zelfs een complete "softraid" setup?

[ Voor 12% gewijzigd door JMW761 op 16-11-2006 12:10 ]


  • MoBi
  • Registratie: Oktober 1999
  • Laatst online: 14-01 16:44
Waarom is er gekozen voor Freebsd 4.11 en niet een nieuwere versie? 5 of 6?

Volgens mij zit je te lullen, want ik voel nattigheid....


  • zeroxcool
  • Registratie: Januari 2001
  • Laatst online: 16-02 15:03
Zoals anderen al aangeven is het draaien van een aparte spamd als daemon en spamc als client een verademing voor je server. Je configs e.d. hoeven niet telkens opnieuw ingeladen worden.

Nou weet ik niet of je tijdens de SMTP conversation al iets aan RBL checks doet (rblsmtpd is dat onder qmail/tcpserver)? Dat scheelt denk ik een kwart van je incoming connections als die direct geblocked worden.

zeroxcool.net - curity.eu


  • Lmax
  • Registratie: Februari 2001
  • Laatst online: 02-02 14:28
Je server specs moeten deze load makkelijk aankunnen. Ik heb servers gehad met 600 domeinen en 2000 actieve email adressen op soortgelijke specificaties. Geen probleem. Alleen wel altijd redhat/fedora, met freebsd heb ik minder ervaring.

Aangezien het een plesk installatie betreft kan je misschien beter eens bij plesk zelf kijken. Heb je hun knowledge base al bekeken. Die is best goed tegenwoordig. Veel problemen staan erin.
Check eens:
http://kb.swsoft.com/category6.php

Of natuurlijk het forum van hun, daar haalde ik in mijn plesk tijd ook erg veel oplossingen vandaan.
http://forum.swsoft.com/

Daar is altijd wel een andere gebruiker die het ook had.

[ Voor 21% gewijzigd door Lmax op 20-11-2006 11:33 ]

Pagina: 1