spamassassin lijkt niet te leren

dinsdag 6 januari 2009 09:23

Check of de spamd daemon die je draait ook onder dezelfde user draait als van wie de systemhomedir /var/lib/amavis/ is, anders heeft die een andere bayes database natuurlijk.
Met Amavis heb ik geen ervaring, aangezien me dat nooit netjes is gelukt i.c.m. Exim op Debian Etch.
Wel heb ik een soortgelijke ervaring met het blocken van afzenders als het gaat om mails die ranzig worden geforward door andere mailservers. SPF check gaat al mis door brakke config van de meeste mailservers en de remote host check is natuurlijk niks waard. Ik zie inmiddels scores van 7+ verschijnen puur op de Auto White List (AWL) test, met name op bounces (mailer-daemon@...)... En ik weet ook niet zo goed wat ik eraan moet doen, behalve in local.cf de hele AWL uitschakelen...
Dit is natuurlijk analoog aan jouw probleem met fetchmail. Die mails komen binnen via localhost doorgeduwd naar je MTA en dan snapt Spamassassin dat niet helemaal vrees ik.

Semyon schreef op dinsdag 06 januari 2009 @ 02:13:
is het geen oplossing/workaround om gewoon een whitelist te gebruiken?

Dat is het verradelijke juist bij Spamassassin. De AWL kan ook positieve scores geven! Een Manual White List is geen optie gewoonweg omdat je niet alle inkomende mail gaat checken op afzenders...

[ Voor 27% gewijzigd door gertvdijk op 06-01-2009 04:23 ]

Kia e-Niro 2021 64kWh DynamicPlusLine. 3x Victron MP-II op 15kWh US5000 3f thuisbatterij met 3x25A→3x40A PowerAssist, Victron EVCS, 3200Wp HoyMiles zp. my GitHub, my blog

Acties:

dinsdag 6 januari 2009 11:37

AWL lijkt vreemd, vooral als je niet snapt hoe het werkt. AWL houdt per afzender per IP-range een gemiddelde score bij. Als er vervolgens een mail met die combinatie binnenkomt, scant spamassassin die mail op spam en neemt hierbij het gemiddelde van de AWL score en de score die het mailtje heeft. Als de AWL zegt dat de gemiddelde score 5 is en een mailtje -10 blijkt te scoren, gaat spamassassin een extra score als AWL toevoegen die zorgt dat het mailtje op -2,5 punten uitkomt. Je ziet dan idd 7.5 voor AWL verschijnen.

Acties:

dinsdag 6 januari 2009 13:51

Topicstarter

dank voor de reacties en het meedenken, wat betreft de eigenaar van het proces spamd, dat is natuurlijk amavis. Dit komt omdat amavis als communicatieslag geldt tussen je MTA en spamassassin/clamav.

Wat betreft het feit dat de boel wordt doorgegeven door mn fetchmail en dat spamassassin het daarom niet snapt, daar kan ik absoluut inkomen, de meeste hits die ik krijg hebben dan ook inderdaad betrekking op hotmail, gmail en de yahoo groups, ik zal die scores (dus spf_softtail en alle RFC hits) maar eens nulscoren.

De mensen voor wie de mailboxen zijn houden ze best aardig schoon, weet iemand een manier om via spamassassin een hele inbox te whitelisten. Heb gelezen hoe het kon voor het mbox formaat maar ik gebruik maildir.

alsvast bedankt voor de hulp en het meedenken

*edit*

ik heb in mn scores.cf alle rfc tests en de spf_softtail test op 0 gezet, maar hij bllijft ze scoren, vanzelfsprekend amavis gerestart maar het mocht niet baten, weet iemand waar de juiste scores.cf bestanden staan?

[ Voor 12% gewijzigd door nielsl op 06-01-2009 12:27 ]

Acties:

dinsdag 6 januari 2009 14:50

nielsl schreef op dinsdag 06 januari 2009 @ 11:37:
Wat betreft het feit dat de boel wordt doorgegeven door mn fetchmail en dat spamassassin het daarom niet snapt, daar kan ik absoluut inkomen, de meeste hits die ik krijg hebben dan ook inderdaad betrekking op hotmail, gmail en de yahoo groups, ik zal die scores (dus spf_softtail en alle RFC hits) maar eens nulscoren.

SPF checks zijn er niet voor niks. Fetchmail en mailforwarders zouden dan ook de Envelope-from moeten rewriten, zoals het Sender Policy Framework het ook aanraadt. Zo blijven ook bounces werken.

nielsl schreef op dinsdag 06 januari 2009 @ 11:37:
ik heb in mn scores.cf alle rfc tests en de spf_softtail test op 0 gezet, maar hij bllijft ze scoren, vanzelfsprekend amavis gerestart maar het mocht niet baten, weet iemand waar de juiste scores.cf bestanden staan?

Je moet absoluut *niet* in scores.cf gaat frutten. Al je wijzigingen zullen weg zijn na de regelmatige updates (sa-update) die je draait. Er staat niet voor niks een grote waarschuwing bovenaan die file.

code:

1
2
3

# Please don't modify this file as your changes will be overwritten with
# the next update. Use /etc/spamassassin/local.cf instead.
# See 'perldoc Mail::SpamAssassin::Conf' for details.

Ik raad je sterk aan die manpage te bekijken. Daardoor heb ik SA prima weten te customizen.

offtopic:
Een standaard mailtje afkomstig van Hotmail krijgt al 4.6 als score hier!

Wat is hotmail toch brak!

[ Voor 7% gewijzigd door gertvdijk op 06-01-2009 13:55 ]

Kia e-Niro 2021 64kWh DynamicPlusLine. 3x Victron MP-II op 15kWh US5000 3f thuisbatterij met 3x25A→3x40A PowerAssist, Victron EVCS, 3200Wp HoyMiles zp. my GitHub, my blog

Acties:

dinsdag 6 januari 2009 15:29

Topicstarter

maar als hotmail een score van 4.6 krijgt bij jou, hoe scheid jij dan het kaf van het koren? en hoe hoog zet jij / jullie dan je tag/tag2/kill drempels? gewoon pure interesse.

Je tip mbt het rewrite vande scores neem ik absoluut ter harte, en ik zal eens gaan wroeten in die man page

Acties:

dinsdag 6 januari 2009 15:40

nielsl schreef op dinsdag 06 januari 2009 @ 14:50:
maar als hotmail een score van 4.6 krijgt bij jou, hoe scheid jij dan het kaf van het koren? en hoe hoog zet jij / jullie dan je tag/tag2/kill drempels? gewoon pure interesse.

Ik had hem altijd op 5.0 staan met SA-exim, maar ik vond SA-exim een beetje stom toen ik merkte dat Exim het prima zelf kan afhandelen met SA zonder SA-exim. Dom tutorials volgen of de meute volgen is niet altijd even handig...
Nu heb ik hem op 6.0 (vanwege hotmail - dat is toch een significant deel van de inkomende mail helaas) gezet voor perm reject (reden hieronder), ondanks waarschuwingen voor false positives voor zo'n lage score en ik heb andere scores wat omhoog gezet, met name de URI_BL's en PBL. Ik acht de kans dat iemand mij een link stuurt die geblacklist is minimaal en een mail vanaf een PBL adres kan ook wel wat punten gebruiken. Verder doet Exim voor mij al de SPF check op SMTP tijd (maar ik vond de PBL in zen.spamhaus wat ver gaan dus doe SBL+XBL) en dat scheelt samen met het niet hebben van een catch-all adres 85% CPU tijd voor spamd in mijn geval.
Helaas komt veel spam door fowards en die krijgen vaak scores tussen de 3 en 6 en in sommige gevallen zelfs 0. Daar valt dan weinig tegen te doen, denk ik.
Persoonlijk denk ik dat het beter is om een mail te permanent rejecten dan te accepteren en in een Spam folder te zetten, omdat de ontvanger dan netjes een mailtje krijgt met de melding dat zijn mail als spam is geclassificeerd. Ik ben zelf namelijk niet echt geneigd om regelmatig in mijn Spam folder te gaan speuren naar false positives...

nielsl schreef op dinsdag 06 januari 2009 @ 14:50:
Je tip mbt het rewrite vande scores neem ik absoluut ter harte, en ik zal eens gaan wroeten in die man page

Sowieso... manpages ftw!

En zeker bij Debian door het goede beleid eromtrent.

Voor wat betreft je bayes, zou je het sa-learn commando kunnen geven? Dat is nogal tricky, want alleen een user (amavis in jouw geval) opgeven is niet afdoende, je moet expliciet databasepad e.d. opgeven. En als je het als Cronscriptje draait moet je al helemaal gaan bedenken welke environmental variables je nog meer moet opgeven. Kan je ook checken of je database echt groeit na een sa-learn? (de .spamassassin dir du'en)

[ Voor 23% gewijzigd door gertvdijk op 06-01-2009 15:38 ]

Kia e-Niro 2021 64kWh DynamicPlusLine. 3x Victron MP-II op 15kWh US5000 3f thuisbatterij met 3x25A→3x40A PowerAssist, Victron EVCS, 3200Wp HoyMiles zp. my GitHub, my blog

Acties:

dinsdag 6 januari 2009 15:52

Topicstarter

hier een snippet uit mn scriptje, het bayes pad is /var/lib/amavis/.spamassassin/bayes

Als ik sa-learn draai dan lijken de bestanden in de map te worden aangepakt en ook mn bayes_journal komt in die map te staan en wordt nettjes bijgewerkt als ik sa-learn --sync uitvoer aan het einde van mn script, maar suggesties zijn natuurlijk altijd welkom

code:

//hierboven een rijtje met daarin de accounts
for account in $gebruikers
do
        echo "ham van ${account} wordt nu verwerkt"
        sa-learn -u amavis --ham  --progress --no-sync /home/${account}/.Maildir/{cur,new}
        echo "spam van ${account} wordt nu verwerkt"
        sa-learn -u amavis --spam --progress --no-sync /home/${account}/.Maildir/.Spam/{cur,new}
done

Verder heb ik de mensen die de email gebruiken vrij goed opgeleid en sorteren ze hun spam netjes uit. Zeker false positives laten ze minimaal 24 uur in de hamfolder staan die wordt gescand dmv mn cronjob.

Acties:

dinsdag 6 januari 2009 16:07

nielsl schreef op dinsdag 06 januari 2009 @ 15:40:
Als ik sa-learn draai dan lijken de bestanden in de map te worden aangepakt en ook mn bayes_journal komt in die map te staan en wordt nettjes bijgewerkt als ik sa-learn --sync uitvoer aan het einde van mn script, maar suggesties zijn natuurlijk altijd welkom
code:
1
        sa-learn -u amavis --ham  --progress --no-sync /home/${account}/.Maildir/{cur,new}

Hoewel het er goed uitziet dat er dingen gebeuren met je bayes db, zeg ik toch even dat het bij mij nodig was om

code:

1	--dbpath /var/spool/exim4/.spamassassin/

mee te geven.

nielsl schreef op dinsdag 06 januari 2009 @ 15:40:
Verder heb ik de mensen die de email gebruiken vrij goed opgeleid en sorteren ze hun spam netjes uit. Zeker false positives laten ze minimaal 24 uur in de hamfolder staan die wordt gescand dmv mn cronjob.

Goed voor mekaar. Wat een droomplek om te werken als sysadmin.

offtopic:
Gebruik je bewust .Maildir? (met punt) Geeft dat geen problemen aangezien je overal Maildir (zonder punt) tegenkomt als default?

[ Voor 6% gewijzigd door gertvdijk op 06-01-2009 15:56 ]

Kia e-Niro 2021 64kWh DynamicPlusLine. 3x Victron MP-II op 15kWh US5000 3f thuisbatterij met 3x25A→3x40A PowerAssist, Victron EVCS, 3200Wp HoyMiles zp. my GitHub, my blog

Acties:

dinsdag 6 januari 2009 16:12

Topicstarter

ik weet niet waarom er ooit gekozen is voor /.Maildir maar het levert in ieder geval geen problemen op. Voor de rest, zo'n systeembeheerders droomplek is het ook weer niet, een studentenvereniging, daar wordt alles tot de limit getest

Dit gaat gelukkig over de email van het bestuur dus die zijn vrij netjes maargoed, sommige mensen

terug ontopic. ik zou dus de parameter --dbpath /var/lib/amavis/.spamassassin moeten toevoegen (zonder de /bayes) omdat in deze map mn bayes_* bestanden staan? Het gaat me niet over hoe we hetmoeten doen maar overal wordt gesproken over de map /var/amavis/.spamassassin/bayes... kortom, welk pad moet ik aangeven?

[ Voor 3% gewijzigd door nielsl op 06-01-2009 16:10 ]

Acties:

dinsdag 6 januari 2009 16:23

Bij hotmail scores van 4 lijkt me echt dat er iets mis is met je setup:

code:

X-Virus-Scanned: Debian amavisd-new at server.jantheman.be
X-Spam-Flag: NO
X-Spam-Score: -2.599
X-Spam-Level: 
X-Spam-Status: No, score=-2.599 tagged_above=-999 required=6
 tests=[BAYES_00=-2.599, HTML_MESSAGE=0.001, SPF_PASS=-0.001]
X-Amavis-OS-Fingerprint: Windows 2000 SP4, XP SP1+, (distance 12, link:
 ethernet/modem), [65.54.246.88:39200]

Acties:

dinsdag 6 januari 2009 16:26

Topicstarter

_JGC_ schreef op dinsdag 06 januari 2009 @ 16:12:
Bij hotmail scores van 4 lijkt me echt dat er iets mis is met je setup:

code:

X-Virus-Scanned: Debian amavisd-new at server.jantheman.be
X-Spam-Flag: NO
X-Spam-Score: -2.599
X-Spam-Level: 
X-Spam-Status: No, score=-2.599 tagged_above=-999 required=6
 tests=[BAYES_00=-2.599, HTML_MESSAGE=0.001, SPF_PASS=-0.001]
X-Amavis-OS-Fingerprint: Windows 2000 SP4, XP SP1+, (distance 12, link:
 ethernet/modem), [65.54.246.88:39200]

dank je voor je bijdrage, maar misschien heb jij een idee over de hoe en de wat van het een of ander? Waarom scoort ie bij jou dan zo lekker laag, en heb je misschien dingen aangepast die je met mij hier wilt delen zodat ik een trapje in de goede richting zou krijgen?

Acties:

dinsdag 6 januari 2009 16:31

nielsl schreef op dinsdag 06 januari 2009 @ 16:07:
terug ontopic. ik zou dus de parameter --dbpath /var/lib/amavis/.spamassassin moeten toevoegen (zonder de /bayes) omdat in deze map mn bayes_* bestanden staan? Het gaat me niet over hoe we hetmoeten doen maar overal wordt gesproken over de map /var/amavis/.spamassassin/bayes... kortom, welk pad moet ik aangeven?

Ik durf niet te zeggen of het echt nodig is en wat je moet opgeven. Bij mij gebeurde er namelijk niks in de bayes database met sa-learn zonder --dbpath.

_JGC_ schreef op dinsdag 06 januari 2009 @ 16:12:
Bij hotmail scores van 4 lijkt me echt dat er iets mis is met je setup:

Dat denk ik niet. De mails, mailservers en vooral het beleid van hotmail zijn echt brak. (draai je wel sa-update?)

code:

X-Spam_report: Content analysis details:   (4.2 points, 6.0 required)
    pts rule name              description
    ---- ---------------------- -------------------------------------------
    2.2 FORGED_HOTMAIL_RCVD    Forged hotmail.com 'Received:' header found
    0.0 HTML_MESSAGE           BODY: HTML included in message
    0.5 DNS_FROM_RFC_ABUSE     RBL: Envelope sender in abuse.rfc-ignorant.org
    1.4 DNS_FROM_RFC_POST      RBL: Envelope sender in
    postmaster.rfc-ignorant.org
    0.1 AWL                    AWL: From: address is in the auto white-list

Dit was een mailtje heel simpel verstuurd vanuit Hotmail. Geen fratsen, alleen normale tekst.

[ Voor 6% gewijzigd door gertvdijk op 06-01-2009 16:32 ]

Kia e-Niro 2021 64kWh DynamicPlusLine. 3x Victron MP-II op 15kWh US5000 3f thuisbatterij met 3x25A→3x40A PowerAssist, Victron EVCS, 3200Wp HoyMiles zp. my GitHub, my blog

Acties:

dinsdag 6 januari 2009 16:36

Post eens de hele headers (excl mailadressen, inclusief relays) van zo'n mailtje die dat soort scores geeft?

en ja, ik draai elke dag sa-update met de nieuwste versie van spamassassin. Ik maak gebruik van een aantal extra rulesets, OCR detectie in plaatjes en diverse RBLs. False positives heb ik weinig tot helemaal niet, doorgelaten spam is hooguit 1%.

Acties:

dinsdag 6 januari 2009 18:41

_JGC_ schreef op dinsdag 06 januari 2009 @ 16:31:
Post eens de hele headers (excl mailadressen, inclusief relays) van zo'n mailtje die dat soort scores geeft?

Alstu. geanonimiseerd natuurlijk, verder pure message source.

code:

Return-path: <user@hotmail.com>
Envelope-to: gert@domein.tld
Delivery-date: Tue, 06 Jan 2009 02:02:51 +0100
Received: from col0-omc4-s4.col0.hotmail.com ([65.55.34.206])
    by server.domein.tld with esmtp (Exim 4.63)
    (envelope-from <user@hotmail.com>)
    id 1LK0LL-0007L4-HD
    for gert@domein.tld; Tue, 06 Jan 2009 02:02:51 +0100
Received: from COL102-W39 ([65.55.34.199]) by col0-omc4-s4.col0.hotmail.com with Microsoft SMTPSVC(6.0.3790.3959);
     Mon, 5 Jan 2009 17:02:45 -0800
Message-ID: <COL102-W39E4F10E3209430905AEE8A3DE0@phx.gbl>
Content-Type: multipart/alternative;
    boundary="_3cfaf410-c297-414a-9f5a-cee7fc2e5eff_"
X-Originating-IP: [24.132.x.x]
From: Hotmail gebruiker <user@hotmail.com>
To: <gert@domein.tld>
Subject: RE: Forum
Date: Tue, 6 Jan 2009 02:02:45 +0100
Importance: Normal
In-Reply-To: <20090105223342.gstu5uk00www0ws4@domein.tld>
References: <COL102-W65EFDD9494CF43F41EDF15A3E10@phx.gbl>
 <20090105223342.gstu5uk00www0ws4@domein.tld>
MIME-Version: 1.0
X-OriginalArrivalTime: 06 Jan 2009 01:02:45.0117 (UTC) FILETIME=[7BE742D0:01C96F9A]
Received-SPF: pass
X-SPF-Guess: pass
X-Spam_score: 4.2
X-Spam_score_int: 42
X-Spam_bar: ++++
X-Spam_report: Content analysis details:   (4.2 points, 6.0 required)
    pts rule name              description
    ---- ---------------------- -------------------------------------------
    2.2 FORGED_HOTMAIL_RCVD    Forged hotmail.com 'Received:' header found
    0.0 HTML_MESSAGE           BODY: HTML included in message
    0.5 DNS_FROM_RFC_ABUSE     RBL: Envelope sender in abuse.rfc-ignorant.org
    1.4 DNS_FROM_RFC_POST      RBL: Envelope sender in
    postmaster.rfc-ignorant.org
    0.1 AWL                    AWL: From: address is in the auto white-list

edit: nu met zelfde mailtje als vorige post.

[ Voor 13% gewijzigd door gertvdijk op 06-01-2009 16:42 ]

Kia e-Niro 2021 64kWh DynamicPlusLine. 3x Victron MP-II op 15kWh US5000 3f thuisbatterij met 3x25A→3x40A PowerAssist, Victron EVCS, 3200Wp HoyMiles zp. my GitHub, my blog

Acties:

dinsdag 6 januari 2009 21:06

Ziet er uit als een normale hotmail header zoals ik die ook krijg als ik vanaf een live.com adres stuur. Welke versie van Spamassassin draai je? Toevallig nog een 3.1.x versie?
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=435441

Acties:

woensdag 7 januari 2009 00:54

_JGC_ schreef op dinsdag 06 januari 2009 @ 18:41:
Ziet er uit als een normale hotmail header zoals ik die ook krijg als ik vanaf een live.com adres stuur. Welke versie van Spamassassin draai je? Toevallig nog een 3.1.x versie?
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=435441

Ah, scerp! Dat is een bug in de Debian Etch versie inderdaad en er is een patch, maar die wordt dus niet toegepast en in 3.2 is de hele HOTMAIL rule er niet meer. Workaround is, zou ik voorstellen, is dus ook om gewoon die FORGED_HOTMAIL_RCVD regel op nul te zetten in local.cf.

Kia e-Niro 2021 64kWh DynamicPlusLine. 3x Victron MP-II op 15kWh US5000 3f thuisbatterij met 3x25A→3x40A PowerAssist, Victron EVCS, 3200Wp HoyMiles zp. my GitHub, my blog

Acties:

woensdag 7 januari 2009 02:04

Wat denk je van etch-volatile of etch-backports te gebruiken? De oudere spamassassin 3.1.x versies zijn lang niet zo effectief in het vangen van spam dan de nieuwere 3.2.x versies. Ik weet niet of je clamav ook gebruikt, maar het is aan te raden om vooral clamav uit etch-volatile te installeren. Die repository is officieel door debian opgezet om updates uit te delen voor applicaties waarbij je het over het algemeen niet kunt veroorloven dat ze versies achterlopen.

Acties:

woensdag 7 januari 2009 09:03

_JGC_ schreef op woensdag 07 januari 2009 @ 00:54:
etch-volatile

Briljant. Ik gebruik geen ClamAV (praktijk is 0 virusmails afgelopen maand door XBL gebruik en daarnaast heeft iedereen wel een virusscanner of geen Windows), maar ik dacht om een of andere reden dat etch-volatile alleen voor ClamAV was...
ClamAV is sowieso niet handig op een billige VPS... geheugengebruik van ClamAV...

[ Voor 13% gewijzigd door gertvdijk op 07-01-2009 02:06 ]

Kia e-Niro 2021 64kWh DynamicPlusLine. 3x Victron MP-II op 15kWh US5000 3f thuisbatterij met 3x25A→3x40A PowerAssist, Victron EVCS, 3200Wp HoyMiles zp. my GitHub, my blog

Acties:

woensdag 7 januari 2009 12:54

Clamav neemt hier iets van een MB of 90. Zelfs op een OpenBSD machine met 256MB geheugen draait dat goed.
Clamav haalt er hier vnml phishing mails uit, echte virussen zie ik nauwelijks.

[ Voor 27% gewijzigd door _JGC_ op 07-01-2009 09:03 ]

Acties:

woensdag 7 januari 2009 21:11

_JGC_ schreef op woensdag 07 januari 2009 @ 09:03:
Clamav neemt hier iets van een MB of 90. Zelfs op een OpenBSD machine met 256MB geheugen draait dat goed.
Clamav haalt er hier vnml phishing mails uit, echte virussen zie ik nauwelijks.

Gaat hier toch anders (wel volatile machine).
clamav 15 0 318m 275m 1232 S 0 13.7 21:03.75 clamd
op machine met 2GB.

Kia e-Niro 2021 64kWh DynamicPlusLine. 3x Victron MP-II op 15kWh US5000 3f thuisbatterij met 3x25A→3x40A PowerAssist, Victron EVCS, 3200Wp HoyMiles zp. my GitHub, my blog

Acties: