server-side spam filter

[Sir Isaac]

Ik ben bezig met het opzetten van server-side spam filteren. Ik heb een en ander min of meer werkend maar ben niet erg tevreden met de resultaten:
Wat ik nu heb:
- maildrop haalt met spamc de mail door spamassassin en filtert het uit.
- Als spam level tussen de 2 en 5 ligt kijk ik er zelf nog naar.
- Ik heb SA getraind met een paar honderd berichten, spam en ham.
Nog steeds heeft de meeste spam een score tussen de 2 en 5. Niet erg effectief dus. Daarbij vreet spamassasssin geheugen en cpu (perl ).

Ik ben dus op zoek naar iets beters.
- Ik wil het kunnen integreren in maildrop (dus mail stdin -> filter -> stdout)
- licht dus geschreven in C of een andere gecompileerde taal
- effectief
- niet te moeilijk te configureren
- trainbaar zijn (verg sa-learn voor spamassassin)
Dit zijn een heleboel criteria, maar iedere goede suggestie is welkom.

Nu zijn er vele tientallen spamfilters, en daarom wil ik jullie om ervaringen vragen. Op freshmeat staat bijvoorbeeld een leuke review, maar die is te oud. Verder zijn er weinig vergelijkingen te vinden.

[cool_zero]

Sir Isaac schreef op maandag 18 juli 2005 @ 21:54:
maar iedere goede suggestie is welkom.

Naast de Bayesian filtering voor het leren van spam in spamassassin kun je ook de Collaborative spam identification databases (DCC, Pyzor, Razor2) gebruiken. Dit helpt meestal ook behoorlijk mee in de spamscore die je dan krijgt.

[Trax_Digitizer]

Ik gebruik zelf bogofilter. Moet ook ingeleerd worden en is even werk met opzetten (in de zin van: moeilijk te vinden op inet wat je precies moet doen), maar als het werkt, dan werkt het goed.
Ik heb zelf geen levels ingesteld..... alleen spam en ham...
Het is te merken als je spamfilter wat langer hebt. Hij is dan 'beter' geworden en houd echt veel tegen. Mijn totaal zit nu op (vanaf februari dit jaar): 8461 spam berichten en 5288 ham berichten....

www.bogofilter.org

[axis]

Op http://www.freespamfilter.org staan guides voor je favoriete distro, hoe spamassassin te configureren met die DCC, Pyzer, Razor2, etc, misschien vind je dat iets om inspiratie op te doen?

[Klaus_1250]

CRM114 schijnt wel goed te werken, maar het is moeilijk configureren en is TOE (Train on Error).

Vooral dat laatste is lastig als je een hoop accounts host. Is niet echt mogelijk om mensen zelf te laten trainen zonder een berg supporting scripts te schrijven en vraag me ook af hoe goed het werkt in een server-wide setup.

Verder heb je natuurlijk ook nog DSPAM.

Overigens, SpamAssassin kan vrij goed werken. Gebruik zeker Bayes en Razor2 (let op de licentie-voorwaarden) en de diverse RBL/ SURBL test. Een paar extra rule-sets van SARE kan ook geen kwaad, maar dat vreet wel geheugen
Als laatste zou ik ook zeker multi.uribl toevoegen. Na Bayes en Razor is het samen met Spamhaus's XBL-SBL de beste spam-indicator. Let er wel op dat als je extra zaken toevoegd, je ook je spamscore ophoogt! (Zit zelf nu op 10, maar zie bij zeer hoge uitzondering nog wel eens "ham" tegen 9 scoren)

[ Voor 45% gewijzigd door Klaus_1250 op 19-07-2005 15:09 ]