Mailer-deamons bij postfix

[trinite_t]

Ik ben op mijn webserver overgestapt van Qmail naar Postfix, dit wegens beter te configureren. Het probleem is nu ineens dat veel domeinen extreem veel last hebben van spam mailer-daemons.
(Dus spam mailtjes met als FROM: header een bestaand email adres op dat domein, naar niet bestaande email adressen die daardoor dus bouncen).

Als spamfilter hangt er amavisd-new met spamassassing achter. Dit werkt erg goed voor "gewone" spam mailtjes, maar de mailer-deamon houdt hij dus niet tegen. Dit is natuurlijk logisch, maar email adressen die 200+ mailer daemons per minuut binnenkrijgen is erg onwerkbaar. Probeer er de paar goede mailtjes dan maar eens tussen uit te filteren.

Hoe kan het dat ik dit probleem op de qmail server niet had en wel op postfix. Ook op Qmail gebruikte ik spamassassin, maar deze was toen volgens mij aan mailscanner gekoppeld.

Ik heb zelf geen idee meer naar welke settings ik moet kijken, en of het wel aan de settings ligt.

Is hier iemand die een idee heeft? Ik ben onderhand al een paar weken aan het instellingen uitproberen maar niets lijkt te helpen.

[jant]

Als ik je verhaal zo lees, dan geef je al een mogelijke oorzaak/oplossing: mailscanner

Ik heb zelf geen ervaring met mailscanner, maar misschien moet je eens een setup maken met postfix en mailscanner.

http://howtoforge.com/pos...mailscanner_clamav_ubuntu

[CyBeR]

Scant spamassassin ze nu ueberhaupt wel? Mijne pakt ze er af en toe nog wel uit hoor (maar 't is wel lastiger omdat die dingen niet altijd lijken op spam-- soms is het originele bericht niet eens meegeleverd.)

Die dingen heten trouwens bounces.

[ Voor 8% gewijzigd door CyBeR op 25-04-2008 23:00 ]

[_JGC_]

Post eens de volledige headers van zo'n spambericht?

Wat betreft mailscanner een oplossing: qua spamcontrole gebruiken amavisd-new en mailscanner gewoon spamassassin. Als je beide goed instelt moet het helemaal niks uitmaken welke van beide je gebruikt. Persoonlijk moet ik overigens niks hebben van een scanner die met zijn tengels in de mailqueue van je MTA prutst.

[CyBeR]

_JGC_ schreef op zaterdag 26 april 2008 @ 00:34:
Persoonlijk moet ik overigens niks hebben van een scanner die met zijn tengels in de mailqueue van je MTA prutst.

Amavisd-new prutst niet in de mailqueue van je MTA, maar is gewoon een daemon die SMTP praat met je MTA en dan gescande en doorgelaten e-mailtjes via SMTP ook weer ergens aflevert. Dat kan dezelfde MTA nog een keer zijn (dan moet je even zorgen dat je geen loop creëert natuurlijk) maar het mag ook prima een andere zijn. Enige 'nadeel' (niet echt boeiend imo) zijn de twee extra Received: headers.

[ Voor 6% gewijzigd door CyBeR op 26-04-2008 01:56 ]

[trinite_t]

jant schreef op vrijdag 25 april 2008 @ 22:30:
Als ik je verhaal zo lees, dan geef je al een mogelijke oorzaak/oplossing: mailscanner

Waarom zou amavisd-new het niet kunnen? Het idee van de setup is hetzelfde, enige verschil is dat amavisd erg netjes configureerbaar is, iets wat bij mailscanner (weet nog steeds niet zeker of het echt mailscanner was) naar mijn gevoel ontbrak. Het filteren ed gebeurt gewoon nog door spamassassin dus an sich is er niets veranderd aan het mailfilteren.

CyBeR schreef op vrijdag 25 april 2008 @ 22:45:
Scant spamassassin ze nu ueberhaupt wel? Mijne pakt ze er af en toe nog wel uit hoor (maar 't is wel lastiger omdat die dingen niet altijd lijken op spam-- soms is het originele bericht niet eens meegeleverd.)

Die dingen heten trouwens bounces.

Ook wordt er ook nog netjes gefiltert aangezien er dik 3000+ mailtjes in m'n quarantine terecht komen. Verder worden er netjes X-Spam headers aan alle mail toegevoegd. Dus dat werkt allemaal wel, alleen die bounces komen er aan spam eigenlijk ook maar door.

Ik zal ondertussen eens een paar headers opzoeken.

edit:
Hier zijn er al twee, intresse in meer?

code:

Return-Path: <>
X-Original-To: [e-mail]
Delivered-To: [e-mail]
Received: from localhost (mail.mijnserver.nl [127.0.0.1])
        by mail.mijnserver.nl (Postfix) with ESMTP id 9FBC54BCCD
        for <[e-mail]>; Fri, 25 Apr 2008 23:17:37 +0200 (CEST)
X-Virus-Scanned: amavisd-new at bergict.nl
X-Spam-Flag: NO
X-Spam-Score: 2.502
X-Spam-Level: **
X-Spam-Status: No, score=2.502 required=6.31 tests=[BAYES_50=0.001,
        HTML_MESSAGE=0.001, RAZOR2_CF_RANGE_51_100=0.5,
        RAZOR2_CF_RANGE_E8_51_100=1.5, RAZOR2_CHECK=0.5]
Received: from mail.mijnserver.nl ([127.0.0.1])
        by localhost (mail.mijnserver.nl [127.0.0.1]) (amavisd-new, port 10024)
        with LMTP id S8oO2d5x64CL for <[e-mail]>;
        Fri, 25 Apr 2008 23:17:35 +0200 (CEST)
Received: from inbound.srcp.com (inbound.sourcecorptax.com [208.65.4.47])
        by mail.mijnserver.nl (Postfix) with ESMTP id 610F639DDD
        for <[e-mail]>; Fri, 25 Apr 2008 23:17:35 +0200 (CEST)
Received: from inbound.srcp.com (unknown [127.0.0.1])
        by inbound.srcp.com (Symantec Mail Security) with ESMTP id 15225201CC
        for <[e-mail]>; Fri, 25 Apr 2008 16:17:34 -0500 (CDT)
X-AuditID: 0a96012f-a9ed8bb000005767-ed-48124a6ddf4b
Received: from mail.srcp.com (corpdallmsg03a.na.srcp.net [10.150.10.103])
        by inbound.srcp.com (Symantec Mail Security) with ESMTP id D9AD020C86
        for <[e-mail]>; Fri, 25 Apr 2008 16:17:33 -0500 (CDT)
Received: from bprsenglmsg02.na.srcp.net ([10.200.225.1]) by mail.srcp.com with Microsoft SMTPSVC(6.0.3790.1830);
         Fri, 25 Apr 2008 16:17:33 -0500
From: [e-mail]
To: [e-mail]
Date: Fri, 25 Apr 2008 15:17:33 -0600
MIME-Version: 1.0
Content-Type: multipart/report; report-type=delivery-status;
        boundary="9B095B5ADSN=_01C8A313A434C70C0003E2E7bprsenglmsg02.na"
X-DSNContext: 335a7efd - 4523 - 00000001 - 80040546
Message-ID: <[e-mail]>
Subject: Delivery Status Notification (Failure)
X-OriginalArrivalTime: 25 Apr 2008 21:17:33.0754 (UTC) FILETIME=[C72AA1A0:01C8A719]
X-Brightmail-Tracker: AAAAAA==
This is an automatically generated Delivery Status Notification.

Delivery to the following recipients failed.

       [e-mail]


This message (including any attachments) may contain confidential or otherwise
privileged information and is intended only for the individual(s) to which it is
addressed. If you are not the named addressee you should not disseminate, distribute
or copy this e-mail. Please notify the sender immediately by e-mail if you have
received this e-mail by mistake and delete this e-mail from your system. E-mail
transmission cannot be guaranteed to be secured or error-free as information could
be intercepted, corrupted, lost, destroyed, arrive late or incomplete, or contain
viruses. The sender therefore does not accept liability for any errors or omissions
in the contents of this message or that arise as a result of e-mail transmission. 
If verification is required please request a hard-copy version from the sender.

SOURCECORP, Incorporated 
www.srcp.com

Attachment:
Reporting-MTA: dns;bprsenglmsg02.na.srcp.net
Received-From-MTA: dns;83.5.135.92
Arrival-Date: Fri, 25 Apr 2008 15:17:30 -0600

Final-Recipient: rfc822;[e-mail]
Action: failed
Status: 5.1.1

code:

Return-Path: <>
X-Original-To: [e-mail]
Delivered-To: [e-mail]
Received: from localhost (mail.mijnserver.nl [127.0.0.1])
        by mail.mijnserver.nl (Postfix) with ESMTP id 433214BAE5
        for <[e-mail]>; Fri, 25 Apr 2008 21:51:43 +0200 (CEST)
X-Virus-Scanned: amavisd-new at bergict.nl
X-Spam-Flag: NO
X-Spam-Score: -0.176
X-Spam-Level: 
X-Spam-Status: No, score=-0.176 required=6.31 tests=[AWL=-0.177,
        BAYES_00=-2.599, RAZOR2_CF_RANGE_51_100=0.5,
        RAZOR2_CF_RANGE_E8_51_100=1.5, RAZOR2_CHECK=0.5, RDNS_NONE=0.1]
Received: from mail.mijnserver.nl ([127.0.0.1])
        by localhost (mail.mijnserver.nl [127.0.0.1]) (amavisd-new, port 10024)
        with LMTP id v3Lfz3oha2kF for <[e-mail]>;
        Fri, 25 Apr 2008 21:51:42 +0200 (CEST)
Received: from mail2.wappi.com (unknown [84.253.177.196])
        by mail.mijnserver.nl (Postfix) with SMTP id 793644BA33
        for <[e-mail]>; Fri, 25 Apr 2008 21:51:42 +0200 (CEST)
Received: (qmail 25908 invoked for bounce); 25 Apr 2008 19:08:10 -0000
Date: 25 Apr 2008 19:08:10 -0000
From: [e-mail]
To: [e-mail]
Subject: failure noticeHi. This is the qmail-send program at wappi.com.
I'm afraid I wasn't able to deliver your message to the following addresses.
This is a permanent error; I've given up. Sorry it didn't work out.

<[e-mail]>:
 L'indirizzo email [e-mail] non esiste

--- Below this line is a copy of the message.

Return-Path: <[e-mail]>
Received: (qmail 15841 invoked from network); 25 Apr 2008 10:13:31 -0000
Received: from dl-dsl-188-155.seark.net (66.138.188.155)
  by mail2.wappi.com with SMTP; 25 Apr 2008 10:13:31 -0000
Message-ID: <000501c8a6bd$033ea500$e17564ae@veiwa>
From: "beltran alok" <[e-mail]>
To: <[e-mail]>
Subject: We caught you naked hkjgr
Date: Fri, 25 Apr 2008 08:26:07 +0000
MIME-Version: 1.0
Content-Type: multipart/alternative;
        boundary="----=_NextPart_000_0002_01C8A6BD.033B5F92"
X-Priority: 3
X-MSMail-Priority: Normal
X-Mailer: Microsoft Outlook Express 6.00.2900.3138
X-MimeOLE: Produced By Microsoft MimeOLE V6.00.2900.3198

This is a multi-part message in MIME format.

------=_NextPart_000_0002_01C8A6BD.033B5F92
Content-Type: text/plain;
        charset="iso-8859-1"
Content-Transfer-Encoding: quoted-printable

Watch it:)=20
BoDAvkeIOMH
------=_NextPart_000_0002_01C8A6BD.033B5F92
Content-Type: text/html;
        charset="iso-8859-1"
Content-Transfer-Encoding: quoted-printable

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=3DContent-Type content=3D"text/html; =
charset=3Diso-8859-1">
<META content=3D"MSHTML 6.00.2900.3199" name=3DGENERATOR>
<STYLE></STYLE>
</HEAD>
<BODY bgColor=3D#ffffff>
<center><a =
href=3D"http://www.google.com/pagead/iclk?sa=3Dl&ai=3DzSYkOf&num=3D25022&=
adurl=3Dhttp://gpm10.com/video.exe">Watch it:) =
<a><br><style>BoDAvkeIOMH</style></center></BODY></HTML>
------=_NextPart_000_0002_01C8A6BD.033B5F92--

Message-Id: <[e-mail]>

[ Voor 97% gewijzigd door trinite_t op 26-04-2008 10:52 ]

[_JGC_]

CyBeR schreef op zaterdag 26 april 2008 @ 01:56:
[...]


Amavisd-new prutst niet in de mailqueue van je MTA, maar is gewoon een daemon die SMTP praat met je MTA en dan gescande en doorgelaten e-mailtjes via SMTP ook weer ergens aflevert. Dat kan dezelfde MTA nog een keer zijn (dan moet je even zorgen dat je geen loop creëert natuurlijk) maar het mag ook prima een andere zijn. Enige 'nadeel' (niet echt boeiend imo) zijn de twee extra Received: headers.

Ik heb het niet over amavisd-new maar over mailscanner die in je queue rommelt zodat postfix/sendmail/qmail degene is die de mailtjes verwerkt ipv mailscanner zelf. Ik ben juist voorstander van amavisd-new, aangezien dit een mailserver-onafhankelijke scanner is die je bij wijze van spreken ook aan exchange kunt hangen als je wilt.
Overigens schijnt amavisd-new tegenwoordig ook een policy daemon te hebben, waardoor je het gewoon in postfix zou kunnen integreren net zoals je met diverse greylisting daemons kunt doen.

[_JGC_]

Ik heb je mails hier eens door spamassassin gehaald, dit zijn de resultaten:

code:

 pts rule name              description
---- ---------------------- --------------------------------------------------
 2.5 MISSING_HB_SEP         Missing blank line between message header and body
-2.6 BAYES_00               BODY: Bayesian spam probability is 0 to 1%
                            [score: 0.0000]
 2.1 MISSING_MIME_HB_SEP    BODY: Missing blank line between MIME header and
                            body
 4.0 JM_SOUGHT_3            JM_SOUGHT_3
 -10 SMTP_AUTH              Message sent using SMTP Authentication


 pts rule name              description
---- ---------------------- --------------------------------------------------
 0.0 MISSING_MID            Missing Message-Id: header
 0.2 SARE_SUB_OBFU_Q1       FVGT - subject contains odd letter combination
 2.5 MISSING_HB_SEP         Missing blank line between message header and body
 1.9 URIBL_AB_SURBL         Contains an URL listed in the AB SURBL blocklist
                            [URIs: gpm10.com]
 1.5 URIBL_JP_SURBL         Contains an URL listed in the JP SURBL blocklist
                            [URIs: gpm10.com]
 2.0 URIBL_BLACK            Contains an URL listed in the URIBL blacklist
                            [URIs: gpm10.com]
 0.0 BAYES_50               BODY: Bayesian spam probability is 40 to 60%
                            [score: 0.5000]
 0.1 RDNS_NONE              Delivered to trusted network by a host with no rDNS
 4.0 JM_SOUGHT_2            JM_SOUGHT_2
 -10 SMTP_AUTH              Message sent using SMTP Authentication

De -10 SMTP_AUTH regels kan je negeren, hier voegt postfix altijd headers toe als er geen SMTP authenticatie gebruikt wordt. Staan die headers er niet in, dan scoort een mail -10 punten.

Beide mails scoren hoog op JM_SOUGHT rules, welke je hier kunt vinden: http://taint.org/2007/08/15/004348a.html
Dit zijn rules van een spamassassin dev die ze automatisch genereert uit mail die binnenkomt bij de spamassassin spamtraps. Deze rules trek ik elke nacht binnen via sa-update, tegelijk met de SARE rulesets en de officiele spamassassin updates. Verder raad ik je aan om de laatste 3.2 versie van spamassassin te installeren.

Verder raad ik je aan om alle hosts die bij jou mail verwerken in trusted_networks te zetten in /etc/spamassassin/local.cf, zodat amavisd-new en spamassassin weten welke hosts in je Received regels de eerste externe is.

[trinite_t]

_JGC_ schreef op zaterdag 26 april 2008 @ 14:28:
[...]

Beide mails scoren hoog op JM_SOUGHT rules, welke je hier kunt vinden: http://taint.org/2007/08/15/004348a.html
Dit zijn rules van een spamassassin dev die ze automatisch genereert uit mail die binnenkomt bij de spamassassin spamtraps. Deze rules trek ik elke nacht binnen via sa-update, tegelijk met de SARE rulesets en de officiele spamassassin updates. Verder raad ik je aan om de laatste 3.2 versie van spamassassin te installeren.

Verder raad ik je aan om alle hosts die bij jou mail verwerken in trusted_networks te zetten in /etc/spamassassin/local.cf, zodat amavisd-new en spamassassin weten welke hosts in je Received regels de eerste externe is.

Ik heb de JM_SOUGHT regels via sa-update toegevoegd, (die draait toch elke nacht, een extra ruleset kan geen kwaad ), nog een stom vraagje, moet je amavisd herstarten nadat je de rulesets geupdate hebt?. Op dit moment draai ik de laatste versie die via m'n package manager beschikbaar is. 3.2.1 als ik het goed heb.

Verder heb ik nu de VBounce ruleset geactiveerd, en bounce messages krijgen een paar puntjes extra. Dit is wel niet helemaal de bedoeling van deze ruleset, maar het lijkt met m'n huidige configuratie nog geen false positives op te leveren.

[_JGC_]

Na elke run van sa-update die updates ophaalt moet je amavisd-new opnieuw starten. Ik raad je ook aan om je rules te compileren met sa-compile, dit compileert de rules naar native code waardoor spam scannen weer een stuk sneller gaat.

[trinite_t]

sa-compile wil ik nog naar kijken. Maar eerst dit probleem verhelpen. Is er ook een manier om je AWL gegevens te resetten? Aangezien deze er nu nog voor zorgt dat bounces soms wel -7 omlaag getrokken worden waardoor bounces met spam er in niet als spam gemarkeerd worden...

[Valium]

Waar jij last van hebt heet "Backscatter". Er is een hele pagina aan gewijd op de spamassassin website.

Voor de luie mensen: http://wiki.apache.org/spamassassin/VBounceRuleset

Bedankt voor deze draad. Nu ben ik ook even mijn spamassassin set-up aan het doorlopen.

[smesjz]

Je kan natuurlijk ook zelf scores overriden, ik zou daar ook eens naar kijken. Ik heb zelf goede ervaringen gehad met het zelf aanpassen van scores als in mijn ogen de standaard scores te laag waren. Je kan natuurlijk ook die SMTP-Auth een lagere score geven aangezien spammers dat vaak niet gebruiken. Nu is zo'n header vrij eenvoudig toe te voegen door spammers en pas relevant als je eigen Postfix SMTP-Auth heeft gebruikt voor het ontvangen van mail.

Verder is er op de Postfix site ook een onderwerp over backscatter:
http://www.postfix.org/BACKSCATTER_README.html De beschreven technieken zijn wat moeilijker dan Amavis rulesets, maar je stopt spam voordat spam in de mailqueue komt. Veel eerder dan wanneer amavis zich er nog mee moet bemoeien.

Verder heb je met Postfix ook kans op backscatter indien je bijvoorbeeld op je secundaire MX alles opvangt voor je eigen domeinen en die relayt naar je primairy waar je pas gaat controleren of de adressen daadwerkelijk bestaan. Verder moet je zorgen dat je niets bounced in Amavis, als je mail accepteert in postfix bezorg je deze (in quarantine of direct naar de ontvanger) OF je dropt deze. Bouncen is bad practise.

[_JGC_]

De SMTP_AUTH rule is niet te faken in de mailsetup die ik gebruik. Postfix voegt hier standaard altijd "X-SMTP-Auth: no" toe aan elk mailtje dat door postfix gaat. Alleen bij SMTP authenticatie wordt die regel overgeslagen en komt er geen X-SMTP-Auth regel in de headers te staan. Bij het ontbreken van deze header geeft Spamassassin hier dus -10 punten omdat er blijkbaar wel gebruik is gemaakt van SMTP Authenticatie.
Zelf heb ik weinig last van backscatter hier, maar ik ga er binnenkort wel naar kijken. Elke mogelijkheid om een spamfilter te omzeilen is er nml weer eentje... (en sowieso mogen van mij alle vanilla qmail installaties van het internet verdwijnen, welke gek heeft ooit bedacht om standaard alle mail aan te nemen en dan de hele mail te quoten in een bounce mail).

[trinite_t]

Zoals ik ook al gezegd had, ik had nooit last van backscatter, maar dus sinds de postfix installatie is het opeens extreme vormen gaan aannemen. Die VBounce rule die ik nu gebruik begint nu echt zijn vruchten af te werpen, Zeker nu de AWL lijst zich aan begint te passen.