[RH9] spamassassing + fetchmail lijkt niet te werken

[jsiegmund]

Heb het boeltje proberen te installeren volgens de volgende guide:
http://evillair.netdojo.com/howto/spamassassin.html
alles goed en wel, krijg geen fouten voorgeschoteld, het werkt alleen simpelweg niet? Als je alle stappen uit de guide netjes opvolgt, waar kan het dan nog aan liggen dat je nog steeds +/- 50 spammailtjes per dag in je mailbox mag ontvangen? En de mailbox van het spam account nog steeds netjes leeg blijft?

[urk_forever]

Blijkbaar heb je het niet goed gedaan

Maar wat meer informatie zou wel lekker zijn. Draai je bv zelf een mail servertje? Of gebruik je procmail/fetchmail voor je pop3 accounts?
Geef even wat meer informatie dan kunnen wij je ook beter helpen

[jsiegmund]

Ik gebruik fetchmail om een paar POP accounts op te halen, en die worden dan in mijn email box gedumpt (met ~/.fetchmailrc filetje dus). Wat ik wil is dat de mails opgehaald worden, gescand op SPAM en vervolgens de goeie mailtjes in mijn emailbox, en de rommel in de box van een spam account (zodat ik nog wel kan checken dat er niet te veel weggegooid wordt). Dat is volgens mij exact wat er in het artikel gebeurd, maar het lijkt dus niet echt te werken.

[jsiegmund]

Niemand die me kan helpen? Of misschien een andere tutorial weet die wat duidelijk is / wel werkt?

[moto-moi]

Wat voor headers hebben die spam-mailtjes die je toch binnen krijgt ?
Ennuh, dat URL doet het hier niet

[PowerSp00n]

By default, Sendmail should be configured to send all mail through Procmail, so there is no need to set up a ~/.forward file. To verify, you can check your /etc/mail/sendmail.rf. You should see an entry like: FEATURE(local_procmail,`',`procmail -t -Y -a $h -d $u')dnl.

Weet je zeker dat het door je procmail heen gaat?

[jsiegmund]

Jep die entry staat er letterlijk in, dus dat lijkt me wel?

En wat moet je met die headers als ik vragen mag? Zie niet echt in wat voor interessants daar in zou moeten staan?

Hmmm ik zie nu wel een vaag verschil; die regel staat bij mijn config in sendmail.mc? sendmail.rf bestaat niet; sendmail.cf dan weer wel?

[ Voor 30% gewijzigd door jsiegmund op 25-04-2004 14:06 ]

[moto-moi]

in de headers kun je zien wat er met de email gebeurt, en of hij dus wel uberhaupt wordt gescanned door spamassassin

[jsiegmund]

Bij deze dan; heb mn eigen e-mail adres eruit gehaald maar neem niet aan dat je dat nodig hebt.

code:

Return-Path: <[e-mail]>
Received: from localhost (SIEGSERVER [127.0.0.1])
    by localhost.localdomain (8.12.8/8.12.8) with ESMTP id i3PBe56Q002917
    for <ice@localhost>; Sun, 25 Apr 2004 13:40:06 +0200
Received: from smtp.wanadoo.nl [194.134.35.175]
    by localhost with POP3 (fetchmail-6.2.0)
    for ice@localhost (single-drop); Sun, 25 Apr 2004 13:40:06 +0200 (CEST)
Received: from mx1.wanadoo.nl (mx1.wanadoo.nl [194.134.193.43])
    by pop03.wanadoo.nl (Postfix) with ESMTP id 3F5DE1048B
    for <[e-mail]>; Sun, 25 Apr 2004 14:38:03 +0200 (CEST)
Received: by mx1.wanadoo.nl (Postfix)
    id F0A92189C4; Sun, 25 Apr 2004 14:38:02 +0200 (MEST)
Received: from workstation-135.cheerfulpromotions.com (workstation-135.cheerfulpromotions.com [69.42.104.135])
    by mx1.wanadoo.nl (Postfix) with SMTP id 43C23189C8
    for <[e-mail]>; Sun, 25 Apr 2004 14:38:02 +0200 (MEST)
From: "Valuable Daily Savings" <[e-mail]>
To: "[e-mail]" <[e-mail]>
Subject: The Lowest Just Got Lower
Date: Sun, 25 Apr 2004 05:38:35 -0800
MIME-Version: 1.0
Content-type: text/html; charset="ISO-8859-1"
Content-transfer-encoding: 7bit
Message-Id: <0771687A776C79357A706C6E747C756B477E6875686B7676357573$[e-mail]>
X-UIDL: afb4bf53e01ee7f1f103d577939869f0
Status:

[Arzie]

Als dat alle headers zijn is hij ws. niet door SpamAssassin gescand. Kijk eens in je config of hij headers toevoegt of de subjectregel aanpast.

[jsiegmund]

config file van spamassassin bevat het volgende:

code:

required_hits 5
rewrite_subject 1
subject_tag [SPAM]

Hoe kun je daaraan zien dat er gescanned wordt dan? Heb er verder zelf niks aan veranderd; dit is de default file.

[ Voor 36% gewijzigd door jsiegmund op 26-04-2004 17:42 ]

[Verwijderd]

scan je mail die van je localhost komt ook op spam? dat had ik namelijk vergeten aanzetten toen ik gisteren qmail/vpopmail/spamassassin/fetchmail installeerde, meestal disabled men dat, maar aangezien je mail ophaalt met fetchmail is het nodig dat aan te zetten (/etc/tcp.smtp)

[Arzie]

Het zou kunnen dat bovenstaand mailtje geen 5 hits haalt, maar dat kun je dus nergens zien als je alleen het subject laat rewriten. Mooier is het laten toevoegen van headers, daar kun je met de meeste clients ook op filteren en je kunt altijd zien of er gescand is.

[jsiegmund]

Vraag 1: /etc/tcp.smtp heb ik niet?
Vraag 2: headers toevoegen.. waar stel je dat dan in? Spamassassin neem ik aan?

[DAzN]

iCe01 schreef op 26 april 2004 @ 20:23:
Vraag 2: headers toevoegen.. waar stel je dat dan in? Spamassassin neem ik aan?

system-wide in /etc/mail/spamassasin en voor 1 gebruiker in .spamassassin/user_prefs

Heb jij je procmail-log al aangezet? Het lijkt me dat je daar ook nog wel wat info uit kunt halen.

[jsiegmund]

Configfile gegenereerd via: http://www.yrex.com/spam/spamconfig.php

code:

# SpamAssassin config file for version 2.5x
# generated by http://www.yrex.com/spam/spamconfig.php (version 1.01)

# How many hits before a message is considered spam.
required_hits           5.0

# Whether to change the subject of suspected spam
rewrite_subject         1

# Text to prepend to subject if rewrite_subject is used
subject_tag             [SPAM]

# Encapsulate spam in an attachment
report_safe             1

# Use terse version of the spam report
use_terse_report        0

# Enable the Bayes system
use_bayes               1

# Enable Bayes auto-learning
auto_learn              1

# Enable or disable network checks
skip_rbl_checks         0
use_razor2              1
use_dcc                 1
use_pyzor               1

# Mail using languages used in these country codes will not be marked
# as being possibly spam in a foreign language.
# - dutch english 
ok_languages            nl en 

# Mail using locales used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_locales              en 

report_header 1

en dat laatste regeltje is dus van mezelf, eens kijken of dat helpt dan... procmail log zal ik ook even checken of het aanstaan / wat erin staat.

[jsiegmund]

Kleine kick... niemand nog een idee?

[Arzie]

Je moet zelf ook iets doen, probeer eens een mailtje met de hand te scannen (cat mailtje | spamc geloof ik), kijk in de logs van procmail of SA überhaupt wordt aangeroepen...

[Verwijderd]

IK neem aan dat je in je procmail de spamc aanroept, en dat je de spamd hebt draaien?
(kan die HowTo die je gebruikt niet benaderen, vandaar deze vraag)

[jsiegmund]

/etc/procmail:

code:

OPPRIVS=yes
#Uncomment the following lines to allow for logging
#
LOGFILE=/var/log/procmail
VERBOSE=ON

:0fw
# The following line tells Procmail to send messages to Spamassassin only if 
they are less thatn 256000 bytes. Most spam falls well below this size and a 
larger size could seriously affect performance.)
* < 256000

| /usr/bin/spamassassin -P

:0e
{
EXITCODE=$?
}

/var/log/procmail is wel heel verdacht leeg... moet daar voor elke mail een entry komen te staan (lijkt me van wel?), dan werktie blijkbaar niet. Dat gedeelte van "met de hand" scannen vat ik even niet: waar moet ik die cat op uitvoeren om dat te doen?

[ Voor 24% gewijzigd door jsiegmund op 30-04-2004 12:28 ]

[Arzie]

iCe01 schreef op 30 april 2004 @ 12:27:
Dat gedeelte van "met de hand" scannen vat ik even niet: waar moet ik die cat op uitvoeren om dat te doen?

Op een mailtje dat als textfile is opgeslagen (zoals in het maildirformaat gebeurt).

[jsiegmund]

Je bent me kwijt nu, ik kan mn mailtjes nergens als bestanden terugvinden?

[Arzie]

OK, open dan eens een mailtje in je client en bekijk de source. Kopieer dit naar een teksteditor en save het als normale tekstfile. Die kun je dmv 'cat bestandsnaam | spamassassin' laten checken.

[jsiegmund]

Dat werkt prima, worden inderdaad headers aan het mailtje toegevoegd:

code:

X-Spam-Status: No, hits=3.7 required=5.0
        tests=DATE_MISSING,FROM_MISSING,MISSING_HEADERS,
              SPAM_PHRASE_05_08,SUBJ_MISSING
        version=2.44
X-Spam-Level: ***

Lijkt er dus op dat spamc niet aangeroepen wordt... maar waar gaat het dan precies mis? Nog steeds 0 entries in mn log van procmail?

[moto-moi]

het lijkt erop dat procmail niet aangeroepen wordt.

[Verwijderd]

Misschien moet de TS ipv /etc/procmailrc gewoon de ~/.procmailrc gebruiken ?

[jsiegmund]

Dat is een kwestie van die config in /etc/procmail verschuiven naar ~/.procmailrc?

Daar staat namelijk dit al in:

code:

:0:

* ^X-Spam-Status: Yes

/var/mail/spam

En hoe ik daar aan kom snap ik zelf ook even niet Zal wel ergens in een poging gekopieerd hebben ofzo

[ Voor 56% gewijzigd door jsiegmund op 01-05-2004 11:34 ]

[EdwinW]

Ik heb een tijdje geleden precies hetzelfde probleem gehad. Na een tijdje was ik het zat en heb MailScanner geinstalleerd (http://www.sng.ecs.soton.ac.uk/mailscanner/). Deze controleert naast spam ook op virussen (externe scanners). MailScanner maakt dan gebruik van SpamAssassin en o.a. Postfix. Mailscanner kun je achteraf ook met Webmin beheren. Met hulp van Fetchmail, postfix, mailscanner en spamassassin worden de berichten nu wel goed gescand.

[jsiegmund]

Vooruitgang!!
Ik kreeg na die config. gekopieerd te hebben een mailtje met [SPAM] in de topictitel (en dat klopte nog ook!) oftewel: erg wordt nu ergens gescanned blijkbaar, alleen nog niet gekopieerd naar de juiste mailbox.

[Arzie]

Misschien is het handiger om spamd+spamc gebruiken, dat werkt over het algemeen sneller. Moet verder niet uitmaken voor de werking trouwens.

Het spamgedeelte van mijn ~/.procmailrc:

code:

$ cat spam.rc
:0 fw
| /usr/bin/spamc -f

:0
* X-Spam-Status: Yes
.Spam/

Ik gebruik het maildirformaat (zoals in de laatste regel te zien is). Jouw mail komt normaalgesproken in /var/mail?

[jsiegmund]

Jep daar komtie standaard, zal eens kijken of het beter werkt met jou code. Moet ik dan aan die laatste regel iets veranderen? Ik neem aan daar /var/mail/spam weggooien?

[ Voor 39% gewijzigd door jsiegmund op 02-05-2004 14:13 ]

[Arzie]

Die moet veranderd worden in /var/mail/spam lijkt me.

[jsiegmund]

Dat bedoelde ik ook excuus, ik wacht op het volgende binnenkomende spammailtje (zal niet lang zijn )

[jsiegmund]

Mocht helaas niet helpen... maar we komen steeds dichterbij Die andere oplossing zal misschien best werken maar dit kan ook werken en dus moet het dat ook, tja komaan... the easiest way isn't always the best way out

[Arzie]

Weet je eigenlijk wel zeker of je mailtjes door procmail geprocessed worden?

[jsiegmund]

Daar twijfel ik ook aan aangezien de nogal lege logs... waar zou dat fout kunnen zitten? 't staat toch in de config van sendmail...

[MetalRush]

Ik heb hetvolgende staan in mijn cron:

code:

/usr/sbin/spamassassin-filter

Deze draait om de 15 minuten bij mij (heb toch een eigen mailserver en een TweakDSL Ultra, dus what the heck )
Ook nog:

code:

fetchmail -f '/root/.fetchmailrc' -m "/usr/bin/procmail -d %T" -L '/root/fetchmail.log'>/dev/null

Draait ook om de 15 minuten...
_{(Met dank aan Huub die deze zoektochten altijd uitzoekt en waarvan ik heerlijk mee kan genieten )}

Indien je de filters eens wilt vergelijken: Klik hier

Disclaimer: wij (Huub en ik) maken gebruik van ClarkConnect 2.1 Office. Deze is gebaseerd op RH 9 maar er kunnen dus verschillen aanwezig zijn!

Ik hoop dat het je wat kan helpen...

[ Voor 12% gewijzigd door MetalRush op 04-05-2004 02:00 . Reden: Add + typo's ]

[jsiegmund]

Die -m optie miste ik, dat zou wel eens een goeie kunnen zijn inderdaad. Ik snap alleen dat spamassassin-filter deel niet helemaal; wat doet die en waar vind ik die? Zo'n bestandje is op mijn systeem niet terug te vinden.
Eens kijken wat er nu weer gebeuren gaat

[Arzie]

Volgens mij heb je dat spamassassin-filter niet nodig, omdat je mail al door procmail (en dus door SA) gescand wordt.

[jsiegmund]

Beetje raar, maar jou crontab werkt bij mij niet:

code:

/bin/sh: -c: line 1: unexpected EOF while looking for matching `"'
/bin/sh: -c: line 2: syntax error: unexpected end of file

[MetalRush]

Daarom zei ik al:

MetalRush schreef op 04 mei 2004 @ 01:57:
Disclaimer: wij (Huub en ik) maken gebruik van ClarkConnect 2.1 Office. Deze is gebaseerd op RH 9 maar er kunnen dus verschillen aanwezig zijn!

Jij zult spamassasin ergens anders hebben geinstalleerd... ik heb (voor mijn gemak) ook Webmin geinstalleerd... is makkelijker in dit soort gevallen...

Arzie schreef op 04 mei 2004 @ 15:28:
Volgens mij heb je dat spamassassin-filter niet nodig, omdat je mail al door procmail (en dus door SA) gescand wordt.

Procmail 'filtert' niet op SPAM...

[ Voor 24% gewijzigd door MetalRush op 04-05-2004 23:44 ]

[jsiegmund]

Sorry had het procent teken in de cron over het hoofd gezien, ben nu aan het proberen... maar weer wachten op spam

[Arzie]

MetalRush schreef op 04 mei 2004 @ 23:43:
Daarom zei ik al:

[...]

Procmail 'filtert' niet op SPAM...

Daarom zei ik dus dat procmail het door SA liet doen .

[jsiegmund]

Anyways... nog steeds geen werkende setup; [SPAM] getagde mailtjes komen nog steeds aan in mijn email box. Heb in de crontab nu het volgende staan:

code:

*/10 * * * * fetchmail -a -s -m "/usr/bin/procmail -d \%T" >/dev/null

En een procmail log geeft:

code:

procmail: Error while writing to "/var/log/procmail"
procmail: [21695] Wed May  5 17:10:06 2004
procmail: Match on "< 256000"
procmail: Executing "/usr/bin/spamc,-f"
procmail: [21695] Wed May  5 17:10:38 2004
procmail: Bypassed locking "/var/spool/mail/jasper.lock"
procmail: Assigning "LASTFOLDER=/var/spool/mail/jasper"
procmail: Opening "/var/spool/mail/jasper"
procmail: Acquiring kernel-lock
procmail: Notified comsat: "jasper@42870:/var/spool/mail/jasper"
>From jasper  Wed May  5 17:10:05 2004
 Subject: Thank you!
  Folder: /var/spool/mail/jasper                      42030

what's wrong? Dat scannen gebeurd blijkbaar wel aangezien ik wel mailtjes met tag krijg... toch?

[Verwijderd]

misschien ff een huidige procmailrc hierneer zetten? (weet niet wat je allemaal verandert hebt)

[jsiegmund]

~/.procmailrc:

code:

OPPRIVS=yes
#Uncomment the following lines to allow for logging
#
#LOGFILE=/var/log/procmail
#VERBOSE=ON

:0fw
# The following line tells Procmail to send messages to Spamassassin only if they are less thatn 256000 bytes. Most spam falls well below this size and a larger size could seriously affect performance.)
* < 256000

| /usr/bin/spamc -f

:0e
{
EXITCODE=$?
}

[Verwijderd]

moet er achter regel 11 niet iets van:

code:

:0: IsSpam
* ^X-Spam-Status: Yes
/var/spool/mail/spam

Nu scan je alleenmaar en doe je niets met het resultaat (lijkt mij).

[ Voor 25% gewijzigd door Verwijderd op 06-05-2004 11:06 ]

[jsiegmund]

Ok dat lijkt inderdaad logisch... denk dat ik het nu bijna voor elkaar heb, krijg nu alleen van cron steeds de volgende foutmelding:

code:

procmail: Unable to treat as directory "/var/mail/spam"

wat moet ik daar dan precies kwijt?

[jsiegmund]

De volgende regel in mn crontab:

code:

 fetchmail -a -s -m "/usr/bin/procmail -d \%T" >/dev/null

Leverde vannacht

code:

fetchmail: socket error while fetching from pop.cablewanadoo.nl

Als foutmelding. Ik heb de mail nu laten doorsturen naar:

code:

:0: IsSpam
* ^X-Spam-Status: Yes
.spam/

Omdat ie over die andere regels nogal moeilijk zat te doen. Krijg nu geen mails met [SPAM] tag meer (althans nog niet gezien), maar waar ze dan wel heen gaan ben ik weer even kwijt aangezien het spam account nog geen mailtjes heeft mogen ontvangen!

[Verwijderd]

Je gooit ze nu naar een maildir, en van wat ik begrepen heb gebruik jij mbox ipv maildir, dus moet je ff zoeken op "procmail mbox" ofzo.

[jsiegmund]

Hmm ja dat heb ik al veranderd naar /var/spool/mail/spam inderdaad, was nog geknipt uit een reactie hier... foutje Nu maar weer wachten dan...

[jsiegmund]

Alle [SPAM] gemarkeerde post verdwijnt nu, of ik moet de afgelopen 24 uur ineens niks meer gehad hebben (wat dan weer erg onwaarschijnlijk is!). Ik krijg iig geen mailtjes meer in m'n mailbox met hits => 5.0 maar waar die dan wel blijven is me ook weer een raadsel. Stuur die mail nu richting /var/spool/mail/spam maar dat was meer een gokje dan een fatsoenlijk onderbouwd argument

[Verwijderd]

Kijk nog eens in je procmail log dan

[jsiegmund]

Dat blijft op een of andere manier gewoon erg leeg... heb nu dit staan;

code:

LOGFILE=/home/jasper/procmaillog
VERBOSE=ON

in m'n procmailrc bestandje, het procmaillog netjes aangemaakt, maar er komt maar geen tekst in... heb nog steeds 0 spammailtjes ontvangen, niet in mn inbox maar ook niet in mn spamacount, dus ik hoop maar van harte dat dat filter echt goed werkt en niks serieus weg gaat zitten gooien!

[Verwijderd]

Ik zie dat je nu spamc gebruikt, heb je wel de spamd (de spamassassin daemon) de lucht in gegooid (gestart dus?).

Heb je geen rare dingen in andere logfiles staan?
(/var/log/daemon.log ofzo)

[ Voor 27% gewijzigd door Verwijderd op 11-05-2004 00:52 ]

[jsiegmund]

Verwijderd schreef op 11 mei 2004 @ 00:51:
Ik zie dat je nu spamc gebruikt, heb je wel de spamd (de spamassassin daemon) de lucht in gegooid (gestart dus?).

Heb je geen rare dingen in andere logfiles staan?
(/var/log/daemon.log ofzo)

Absoluut, die zit standaard in mn opstartreeks. Heb dat filetje even opnieuw aangemaakt en in mn config gezet; nu werkt het ineens wel (zal blijkbaar toch ergens een foutje gezeten hebben). Het log voor een mailtje:

code:

procmail: [29193] Tue May 11 07:40:05 2004
procmail: Match on "< 256000"
procmail: Executing "/usr/bin/spamc,-f"
procmail: [29193] Tue May 11 07:40:38 2004
procmail: No match on "^X-Spam-Status: Yes"
procmail: Bypassed locking "/var/spool/mail/jasper.lock"
procmail: Assigning "LASTFOLDER=/var/spool/mail/jasper"
procmail: Opening "/var/spool/mail/jasper"
procmail: Acquiring kernel-lock
procmail: Notified comsat: "jasper@758794:/var/spool/mail/jasper"
From jasper  Tue May 11 07:40:05 2004
 Subject: The best way to find Happiness! colonial
  Folder: /var/spool/mail/jasper                                          19176
"/home/jasper/procmaillog" 135L, 5835C

hetzelfde, maar dan voor een mailtje dan SPAM bevat:

code:

procmail: [28545] Tue May 11 07:20:05 2004
procmail: Match on "< 256000"
procmail: Executing "/usr/bin/spamc,-f"
procmail: [28545] Tue May 11 07:20:37 2004
procmail: Match on "^X-Spam-Status: Yes"
procmail: Locking "IsSpam"
procmail: Assigning "LASTFOLDER=/var/spool/mail/spam"
procmail: Opening "/var/spool/mail/spam"
procmail: Acquiring kernel-lock
procmail: Unlocking "IsSpam"
procmail: Notified comsat: "jasper@667629:/var/spool/mail/spam"
From jasper  Tue May 11 07:20:05 2004
 Subject: [SPAM] TECHNOLOGY Sector UPDATE - (IT) Hiring UP 200%, S&P Opinion On
  Folder: /var/spool/mail/spam                                             7959

Waar ik nu zelf ineens aan denk; die oude procmail configuratie staat nog in /etc/procmail... wat dus betekend dat wanneer er daar iets fout gaat, het spam account inderdaad de soep in gaat; zou dat kloppen? Heb m nu in ieder geval even ergens anders weggezet om te kijken of dat gaat helpen.

/var/log/daemon.log heb ik niet...

[Arzie]

Ik heb het idee dat het met de directories te maken heeft. Is /var/spool/mail/spam nu een mbox-file? Kan user 'jasper' die ook accessen?

[jsiegmund]

Gelukt, met een chmod werkte het inderdaad! Krijg netjes mail op het spam account, iedereen bedankt voor de hulp