GMail herkent mijn mail als Spam

[gertvdijk]

Enige tijd heb ik mijn eigen VPS, draaiende een debian-etch, up-to-date standaard systeem. Ik draai een drietal domeinen op mijn VPS. (domein1.nl als default uitgaande domein). Op één van die domeinen is een probleem ontstaan met betrekking tot spam, maar ik weet niet zeker of dit komt door het domein of door de forum software (UseBB) die de e-mails verstuurt. De forum software heb ik overigens ingesteld zodat e-mail wordt verstuurd met als afzender [e-mail].
De headers van een email gestuurd vanaf domein3.nl (ik anonimiseer alle domeinen en IPs even) naar een GMail account. Deze e-mail werd dus gestuurd met de forum software en als spam gemarkeerd in GMail.

code:

Delivered-To: [e-mail]
Received: by 10.70.58.15 with SMTP id g15cs248288wxa;
        Thu, 6 Sep 2007 07:24:00 -0700 (PDT)
Received: by 10.66.249.11 with SMTP id w11mr226314ugh.1189088639019;
        Thu, 06 Sep 2007 07:23:59 -0700 (PDT)
Return-Path: <[e-mail]>
Received: from vps-reverse-dns.nl ([83.149.x.x])
        by mx.google.com with ESMTP id e34si1881232ugd.2007.09.06.07.23.45;
        Thu, 06 Sep 2007 07:23:59 -0700 (PDT)
Received-SPF: error  (google.com: error in processing during lookup of [e-mail]: DNS timeout) client-ip=83.149.x.x;
Authentication-Results: mx.google.com; spf=temperror smtp.mail=[e-mail]
Received: from www-data by vps-reverse-dns.nl with local (Exim 4.63)
    (envelope-from <[e-mail]>)
    id 1ITIIt-0006AI-67
    for [e-mail]; Thu, 06 Sep 2007 16:25:57 +0200
To: [e-mail]
Date: Thu, 06 Sep 2007 14:25:55 +0000
Message-Id: <[e-mail]>
X-Mailer: UseBB
From: {Board name} <[e-mail]>
MIME-Version: 1.0
Content-Type: text/plain; charset=iso-8859-1
Content-Transfer-Encoding: 7bit
X-SA-Exim-Connect-IP: <locally generated>
X-SA-Exim-Mail-From: [e-mail]
X-Spam-Checker-Version: SpamAssassin 3.1.7-deb (2006-10-05) on 
    vps-reverse-dns.nl
X-Spam-Level: 
X-Spam-Status: No, score=-2.1 required=5.0 tests=AWL,BAYES_00,NO_RELAYS 
    autolearn=ham version=3.1.7-deb
Subject: Account-activatie
X-SA-Exim-Version: 4.2.1 (built Tue, 09 Jan 2007 17:23:22 +0000)
X-SA-Exim-Scanned: Yes (on vps-reverse-dns.nl)

De volgende e-mail verstuur ik met de webmail applicatie Roundcube, met als identiteit/afzender: [e-mail]. Deze wordt niet als spam beschouwd door GMail.

code:

Delivered-To: [e-mail]
Received: by 10.70.58.15 with SMTP id g15cs249961wxa;
        Thu, 6 Sep 2007 07:51:53 -0700 (PDT)
Received: by 10.67.21.11 with SMTP id y11mr248525ugi.1189090311898;
        Thu, 06 Sep 2007 07:51:51 -0700 (PDT)
Return-Path: <[e-mail]>
Received: from vps-reverse-dns.nl (vps-reverse-dns.nl [83.149.x.x])
        by mx.google.com with ESMTP id y1si760097uge.2007.09.06.07.51.51;
        Thu, 06 Sep 2007 07:51:51 -0700 (PDT)
Received-SPF: neutral (google.com: 83.149.x.x is neither permitted nor denied by best guess record for domain of [e-mail]) client-ip=83.149.x.x;
Authentication-Results: mx.google.com; spf=neutral (google.com: 83.149.x.x is neither permitted nor denied by best guess record for domain of [e-mail]) smtp.mail=[e-mail]
Received: from www-data by vps-reverse-dns.nl with local (Exim 4.63)
    (envelope-from <[e-mail]>)
    id 1ITIk7-0004lq-GL
    for [e-mail]; Thu, 06 Sep 2007 16:54:03 +0200
To: [e-mail]
MIME-Version: 1.0
Date: Thu, 6 Sep 2007 16:54:03 +0200
From: {Board name} <[e-mail]>
Message-ID: <[e-mail]>
X-Sender: [e-mail]
User-Agent: RoundCube Webmail/0.1-rc1
Content-Type: text/plain; charset="UTF-8"
Content-Transfer-Encoding: 8bit
X-SA-Exim-Connect-IP: <locally generated>
X-SA-Exim-Mail-From: [e-mail]
X-Spam-Checker-Version: SpamAssassin 3.1.7-deb (2006-10-05) on 
    vps-reverse-dns.nl
X-Spam-Level: 
X-Spam-Status: No, score=-2.1 required=5.0 tests=AWL,BAYES_00,NO_RELAYS 
    autolearn=ham version=3.1.7-deb
Subject: test
X-SA-Exim-Version: 4.2.1 (built Tue, 09 Jan 2007 17:23:22 +0000)
X-SA-Exim-Scanned: Yes (on vps-reverse-dns.nl)

Ik vermoed dat het iets te maken heeft met de afzender (envelope-from) die in geval1 is: [e-mail] en als 'From:' heeft [e-mail].
Moet ik nu die forum software gaan aanpassen of ligt het mogelijk ergens anders aan?

[leuk_he]

Received: from vps-reverse-dns.nl ([83.149.x.x])
by mx.google.com with ESMTP id e34si1881232ugd.2007.09.06.07.23.45;
Thu, 06 Sep 2007 07:23:59 -0700 (PDT)
(envelope-from <[e-mail]>)
id 1ITIIt-0006AI-67
for [e-mail]; Thu, 06 Sep 2007 16:25:57 +0200

Zegt hij hier juist niet dat hij denkt dat het het van domein1 afkomt terwijl de from op domein3 staat

En gaat roendcube niet zelf rechtstreekt naar buiten praten? of gaat die ook via domein 1 naar buiten?

is de 83.149.x.x]) in beide mails WEL gelijk?

[Bastien]

Het zou kunnen dat ie er spam van maakt omdat in het eerste geval de SPF-lookup niet werkt(e). Geen idee hoe strict gmail daarmee is. Wat ook een mogelijkheid is is dat ze 'm als spam markeren door 'X-Mailer: UseBB'. Ik heb dit ook met een ander emailprogramma bij een aantal mensen (geen gmail, maar bedrijfsservers), en heb dat opgelost door X-mailer niet mee te laten sturen met de email.

[gertvdijk]

leuk_he schreef op donderdag 06 september 2007 @ 18:13:
Zegt hij hier juist niet dat hij denkt dat het het van domein1 afkomt terwijl de from op domein3 staat

Jup, de envelope-from staat op domein1, omdat Exim daar de default instelling aan hangt als hij geen envelope-from meekrijgt. Blijkbaar geeft UseBB niet een envelop-from mee en Roundcube wel.
update: ik laat UseBB nu ook een keurige envelop-from meegeven, identiek aan het 'from' adres.

leuk_he schreef op donderdag 06 september 2007 @ 18:13:
En gaat roendcube niet zelf rechtstreekt naar buiten praten? of gaat die ook via domein 1 naar buiten?

Nee, die praat keurig via poort 25 localhost, net als de php mailer. En gaat dus op dezelfde manier naar buiten als de php mailer.

leuk_he schreef op donderdag 06 september 2007 @ 18:13:
is de 83.149.x.x]) in beide mails WEL gelijk?

Ja, natuurlijk, alle domeinen draaien op 1 server!

Bastien schreef op donderdag 06 september 2007 @ 18:22:
Het zou kunnen dat ie er spam van maakt omdat in het eerste geval de SPF-lookup niet werkt(e).

Ja, dit lijkt me een logische verklaring, maar dan snap ik niet waarom een simpele DNS lookup failed Zie updates hieronder.

(google.com: error in processing during lookup of [e-mail]: DNS timeout)

Bastien schreef op donderdag 06 september 2007 @ 18:22:
Wat ook een mogelijkheid is is dat ze 'm als spam markeren door 'X-Mailer: UseBB'. Ik heb dit ook met een ander emailprogramma bij een aantal mensen (geen gmail, maar bedrijfsservers), en heb dat opgelost door X-mailer niet mee te laten sturen met de email.

Hmmmz.. lijkt me niet logisch, maar kan het proberen.

update 1:
Okee.... ik heb nog even wat onderzoek gedaan. Blijkbaar gaat er wat mis bij Google's DNS lookups. Die probeert een DNS lookup te doen op domein1.nl wat faalt en wat wel lukt op domein3.nl. Zie de SPF error en neutral melding in de header.
Ik heb alle domeinen geplaatst op TransIP (registrar) en ik heb ze allemaal gelijk geconfigureerd.
Dezelfde DNS lookup gaat hier gewoon goed en timed niet out! Beide resolven ze naar hetzelfde IP, zowel A als MX records)
Ik snap dus niet waarom een compleet symmetrisch opgezet setje domeinen blijkbaar toch anders resolvet op de dns server die googlemail gebruikt...
Vanavond ga ik proberen die forumsoftware aan te passen zodat hij ook netjes een envelope-from meegeeft.

update 2:
Inmiddels heb ik de forumsoftware zo geschopt dat ie de -f parameter meegeeft in sendmail, waardoor de envelope-from nu indentiek is (domein3).
De SPF DNS lookup timeout lijkt overigens random en domein onafhankelijk! Meerdere identieke mails geven verschillende resultaten. Desondanks komt de mail nog steeds in de Spam box aan! (ook de X-Mailer verwijderd)
Ik ben nu eigenlijk wel ten einde raad. Waarom markeert GMail mijn mail als spam?

• Is het dan inhoud gebaseerd? Onwaarschijnlijk, want Spamassassin geeft een negatieve score op die mail. Bovendien heb ik de inhoud radicaal aangepast voor de betreffende forum mailings.
• Sta ik op een blacklist? Nee, want mail verstuurd vanaf webmail (zelfde server & headers) komt wel aan in de Inbox

Probleem is nu dat enkele mensen zich aanmelden op het forum, maar niet reageren op het activerings e-mailtje. Hieronder vallen mensen onder de hotmail.com, msn.com, gmail.com, xs4all.nl domeinen.

Samengevat: waarom wordt onderstaande mail als spam gezien bij GMail?

code:

Delivered-To: [e-mail]
Received: by 10.78.144.6 with SMTP id r6cs286567hud;
        Thu, 6 Sep 2007 11:38:41 -0700 (PDT)
Received: by 10.66.217.2 with SMTP id p2mr432199ugg.1189103920709;
        Thu, 06 Sep 2007 11:38:40 -0700 (PDT)
Return-Path: <[e-mail]>
Received: from vps-reverse-dns (vps-reverse-dns [83.149.x.x])
        by mx.google.com with ESMTP id h1si922608ugf.2007.09.06.11.38.40;
        Thu, 06 Sep 2007 11:38:40 -0700 (PDT)
Received-SPF: neutral (google.com: 83.149.x.x is neither permitted nor denied by best guess record for domain of [e-mail]) client-ip=83.149.x.x;
Authentication-Results: mx.google.com; spf=neutral (google.com: 83.149.x.x is neither permitted nor denied by best guess record for domain of [e-mail]) smtp.mail=[e-mail]
Received: from www-data by vps-reverse-dns with local (Exim 4.63)
    (envelope-from <[e-mail]>)
    id 1ITMHc-00056F-MW
    for [e-mail]; Thu, 06 Sep 2007 20:40:53 +0200
To: [e-mail]
Date: Thu, 06 Sep 2007 18:40:52 +0000
Message-Id: <[e-mail]>
From: (Board name) <[e-mail]>
MIME-Version: 1.0
Content-Type: text/plain; charset=iso-8859-1
Content-Transfer-Encoding: 7bit
X-SA-Exim-Connect-IP: <locally generated>
X-SA-Exim-Mail-From: [e-mail]
X-Spam-Checker-Version: SpamAssassin 3.1.7-deb (2006-10-05) on 
    vps-reverse-dns
X-Spam-Level: 
X-Spam-Status: No, score=-2.1 required=5.0 tests=AWL,BAYES_00,NO_RELAYS 
    autolearn=ham version=3.1.7-deb
Subject: Account-activatie
X-SA-Exim-Version: 4.2.1 (built Tue, 09 Jan 2007 17:23:22 +0000)
X-SA-Exim-Scanned: Yes (on vps-reverse-dns)

[ Voor 92% gewijzigd door gertvdijk op 06-09-2007 23:57 ]

[gertvdijk]

code:

Received-SPF: pass (google.com: domain of [e-mail] designates 83.149.x.x as permitted sender) client-ip=83.149.x.x;
Authentication-Results: mx.google.com; spf=pass (google.com: domain of [e-mail] designates 83.149.x.x as permitted sender) smtp.mail=[e-mail]

Nu heb ik zelfs een werkend SPF record en nog steeds worden de mails als Spam gemarkeerd!
Maar eigenlijk wil ik geen SPF records, want dat geeft weer problemen wanneer mail van mij wordt geforward...

[ Voor 12% gewijzigd door gertvdijk op 06-09-2007 23:59 ]