Gmail gooit alles wat van mijn mailserver komt in spam

[Jeroen]

Hey,

Ik lijk mezelf een beetje in de nesten gewerkt te hebben bij Google. Ik heb een gmailaccount wat ik gebruik als mailclient, en een aantal emailadressen op verschillende domeinen die via mijn eigen mailserver lopen. Die mailserver stond eerst zo ingesteld dat hij alles gewoon vrolijk doorstuurde naar mijn gmailadres. Dat houdt echter ook in dat hij de laatste tijd enorm veel spam per dag doorstuurde naar mijn gmailadres, en nu krijg ik telkens als ik iets doorstuur de volgende melding:

421-4.7.0 Our system has detected an unusual rate 421-4.7.0 of unsolicited mail originating from your IP address. To protect our 421-4.7.0 users from spam, mail sent from your IP address has been temporarily 421-4.7.0 rate limited. Please visit 421-4.7.0 http://www.google.com/mail/help/bulk_mail.html to review our Bulk 421 4.7.0 Email Senders Guidelines. (in reply to end of DATA command)

Ik heb intussen al een week de spam er tussenuit gefilterd, maar ongeveer op dat moment merk ik dat bij mijn gmail nu alles wat via mijn mailserver aankomt de spambox in gaat, terwijl dit voornamelijk geen spam is.

Komt dit doordat ik mijn setup verkeerd heb geconfigureerd, of is het normaal dat Google niet verder kijkt dan het laatste IP waar een mail vanaf kwam?

[Compizfox]

Tja, waarschijnlijk is je IP gewoon geblocked bij Google wegens het versturen (doorsturen) van spam.

Het was misschien een slimmer idee geweest om GMail de mail via pop3/imap laten fetchen van jouw mailserver, dan heb je dat probleem niet

[Jeroen]

Compizfox schreef op vrijdag 27 juni 2014 @ 00:12:
Tja, waarschijnlijk is je IP gewoon geblocked bij Google wegens het versturen (doorsturen) van spam.

Het was misschien een slimmer idee geweest om GMail de mail via pop3/imap laten fetchen van jouw mailserver, dan heb je dat probleem niet

Dat is inderdaad een optie, maar dat doe ik met een ander account en daar zit een flinke lag in (halfuur?). Heel onhandig dus.

Het lijkt me alleen dat het mogelijk zou moeten zijn om de mail door te sturen waarbij de 'afzender server' nog steeds de originele is, nu denkt Google dat ik al die mail zelf verzin maar dat is natuurlijk niet zo.

[Gomez12]

Oftewel even simpel gezien : Een mail server stuurde allerlei spam naar Google en is daardoor geclassificeerd als spam email-server. En alle mail van een bekende spam email-server komt in jouw spam-map?
Klinkt mij in de oren als volkomen terecht en normaal. En niet iets is wat wenselijk is om (vanuit de google kant) om na een weekje al stop te zetten, een spammer kan ook tijdelijk even stoppen.

Waarschijnlijk heeft Google jouw server ook nog aangemeld op verschillende blacklists en dan moet je in eerste instantie al niet meer bij google zijn maar bij die blacklists (want ook al haalt google je van hun eigen blacklist af omdat je geen spam meer verstuurd dan krijgen ze hem toch weer van een externe blacklist door)

Dus stappenplan :
- Zorg eerst dat je daadwerkelijk geen spam meer verstuurt
- Check verschillende blacklists of je erop voorkomt en hoe je jezelf eraf kan halen
- Pas als je van de blacklists af bent, dien een verzoek in bij Google of ze jou ervanaf kunnen halen (weinig kans, maar niet geschoten is altijd mis)
- Markeer in gmail al jouw mail actief als not-spam zodat het filter bij google bij kan leren (=traag proces)

Jeroen schreef op vrijdag 27 juni 2014 @ 00:23:
[...]
Het lijkt me alleen dat het mogelijk zou moeten zijn om de mail door te sturen waarbij de 'afzender server' nog steeds de originele is, nu denkt Google dat ik al die mail zelf verzin maar dat is natuurlijk niet zo.

Dus eigenlijk wil jij hebben dat nigerianen gewoon tegen google kunnen zeggen dat hun mailtjes van MS/Bing afkomen en dat GMail het maar moet vertrouwen ook al komt het van een overbekende nigeriaanse spam-emailserver af? Dan kan gelijk het hele labeltje spam uit GMail gesloopt worden, want dan beland daar niets meer in.

Jij hebt simpelweg overduidelijk (onbedoeld) een spam-emailserver gehad en GMail behandelt jouw server dan ook als een willekeurige andere spam-emailserver. Elke simpele oplossing zou direct aangegrepen worden door spammers , oftewel je moet het standaard traject door.

[Whatson]

Jeroen schreef op vrijdag 27 juni 2014 @ 00:23:
[...]


Dat is inderdaad een optie, maar dat doe ik met een ander account en daar zit een flinke lag in (halfuur?). Heel onhandig dus.

Het lijkt me alleen dat het mogelijk zou moeten zijn om de mail door te sturen waarbij de 'afzender server' nog steeds de originele is, nu denkt Google dat ik al die mail zelf verzin maar dat is natuurlijk niet zo.

Nee dat kan niet. Google wil namelijk verifiëren dat de mail die jouw mailserver stuurt ook legitiem van de afzender is (dmv MX records). Als jij gaat doen alsof je een andere server bent (bijvoorbeeld Google zelf) dan kom je zeker direct op een blacklist te staan.

[Jeroen]

Whatson schreef op vrijdag 27 juni 2014 @ 00:34:
[...]

Nee dat kan niet. Google wil namelijk verifiëren dat de mail die jouw mailserver stuurt ook legitiem van de afzender is (dmv MX records). Als jij gaat doen alsof je een andere server bent (bijvoorbeeld Google zelf) dan kom je zeker direct op een blacklist te staan.

Het is niet mijn bedoeling om te masqueraden als de daadwerkelijk afzender, maar het zou in het voordeel van deze setup zijn als Google uitgaat van de eerste afzender in plaats van de laatste. Als je de headers van die mails bekijkt die binnenkomen dan zie je ongeveer zoiets:

code:

Return-Path: <[e-mail]>
Received: from mail.mijndomein.nl ([137.430.999.52])
        by mx.google.com with ESMTP id ba6si979225wib.17.2014.06.24.05.54.45
        for <[e-mail]>;

...

code:

Received: from mailc-ba.linkedin.com (mailc-ba.linkedin.com [108.174.3.169])
    by mail.mijndomein.nl (Postfix) with ESMTPS id CED93200CF
    for <[e-mail]>; Tue, 24 Jun 2014 14:54:11 +0200 (CEST)

Dus het is wel zichtbaar dat de mail slechts is doorgestuurd door mij. Natuurlijk reden genoeg om alsnog mijn server te weren, maar niet reden om die mail onafhankelijk van de originele afzender of de inhoud aan te merken als spam.

Gomez12 schreef op vrijdag 27 juni 2014 @ 00:34:
Oftewel even simpel gezien : Een mail server stuurde allerlei spam naar Google en is daardoor geclassificeerd als spam email-server. En alle mail van een bekende spam email-server komt in jouw spam-map?
Klinkt mij in de oren als volkomen terecht en normaal.

Vind ik inderdaad ook normaal, maar ik zie ook verschillen. Zo stuurt mijn server alleen mail naar 1 gmailadres i.p.v. veel adressen, en qua spam is het nooit meer dan 20 berichten per dag geweest. Misschien sta ik dus nog op een greylist, zo ongeveer wat de waarschuwing ook aangeeft (temporarily rate-limited). Dat laatste lijkt trouwens los te kunnen staan van het feit dat die mails allemaal als spam worden aangemerkt onafhankelijk van hun inhoud, dus dat is ook apart.

[ Voor 3% gewijzigd door Jeroen op 27-06-2014 00:48 ]

[Xander]

Jeroen schreef op vrijdag 27 juni 2014 @ 00:46:
[...]


Het is niet mijn bedoeling om te masqueraden als de daadwerkelijk afzender, maar het zou in het voordeel van deze setup zijn als Google uitgaat van de eerste afzender in plaats van de laatste. Als je de headers van die mails bekijkt die binnenkomen dan zie je ongeveer zoiets:

code:

Return-Path: <[e-mail]>
Received: from mail.mijndomein.nl ([137.430.999.52])
        by mx.google.com with ESMTP id ba6si979225wib.17.2014.06.24.05.54.45
        for <[e-mail]>;

...

code:

Received: from mailc-ba.linkedin.com (mailc-ba.linkedin.com [108.174.3.169])
    by mail.mijndomein.nl (Postfix) with ESMTPS id CED93200CF
    for <[e-mail]>; Tue, 24 Jun 2014 14:54:11 +0200 (CEST)

Dus het is wel zichtbaar dat de mail slechts is doorgestuurd door mij.

toon volledige bericht

En hoe moet gmail controleren of die headers kloppen? Een spammer kan die net zo makkelijk toevoegen.

[Jeroen]

Xander schreef op vrijdag 27 juni 2014 @ 00:49:
[...]


En hoe moet gmail controleren of die headers kloppen? Een spammer kan die net zo makkelijk toevoegen.

code:

DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=linkedin.com;
    s=proddkim1024; t=1403614474;
    bh=GvEFjWdDyj1AKLiIi1dbBsoVwr2+PzGf6w7h/PJVC0o=;
    h=From:Subject:MIME-Version:Content-Type:To:Date:X-LinkedIn-Class:
     X-LinkedIn-Template:X-LinkedIn-fbl;
    b=jlEh7TEL2SwU8O/kzzXDtob/4kgCMhmzwHn2yjuDD3fY3SWH9pkPg5VdtbMa2dLCD
     zWgKFO0oaeCU1f0jj42e1ZWpos1YIM8RHrGy/GdOrji44u5GuyJtxZRhoBpM0hm0Vn
     p9Q2IGnsLZPtAxmDO9XvUoUTQrsjpr824W5JGMMk=

In dit voorbeeld wordt dat blijkbaar ook genegeerd. Veel verstand heb ik er niet van maar volgens mij is het de bedoeling dat DKIM precies dat probleem oplost.

[Compizfox]

Klopt, aan de headers kun je wel zien dat een mail doorgestuurd wordt maar dat maakt Google voor de classificatie van spam niks uit. Het feit dat een mailserver spam verstuurt is in principe genoeg: waar die spam vandaan komt is niet zo relevant.

Zou mooi makkelijk zijn voor spammers als Google ineens mailservers die spam doorsturen gaat tolereren: dan zet je als spammer gewoon een mailserver X op die de spam doorstuurt naar mailserver Y, die de spam dan weer doorstuurt naar de wereld.

Conclusie: als je een MTA draait, zorg dan dat ie geen spam verstuurt.

[ Voor 8% gewijzigd door Compizfox op 27-06-2014 01:07 ]

[Gomez12]

Jeroen schreef op vrijdag 27 juni 2014 @ 00:46:
[...]
Het is niet mijn bedoeling om te masqueraden als de daadwerkelijk afzender, maar het zou in het voordeel van deze setup zijn als Google uitgaat van de eerste afzender in plaats van de laatste.

De complete inhoud van een mail (dus ook de headers) wordt gefabriceerd door jouw mail-server, oftewel enkel de laatste (en dan weer enkel als die overeenkomt met reverse dns / ip-adres etc van de server zelf) is van enige waarde, alles daarboven is leuke additionele info voor een spam-score, maar jouw server kan standaard bij elk mailtje wel 100 van die afzenders toevoegen dat weet Google niet.

[...]
Dat laatste lijkt trouwens los te kunnen staan van het feit dat die mails allemaal als spam worden aangemerkt onafhankelijk van hun inhoud, dus dat is ook apart.

Rate limiting op de server kant is slechts een onderdeel van de spamscore berekening en niet het definitieve antwoord.
Heel erg simplistisch gezegd : Als er rate-limiting (vanwege unsollicited mail) van toepassing is dan beland het bijna gegarandeerd in de spam-folder, maar als het niet van toepassing is dan gelden er nog andere regels die hem ook als spam kunnen markeren (bijv een laatste afzender header maar nog tig andere regels ook)
De enige definitieve oplossing is massaal als not-spam markeren zodat het filter bij kan leren (duurt wel enige tijd en is zo weer ongedaan gemaakt als je weer gaat spammen)

Daarnaast heb je nog dingen als dat het definitieve spam-algoritme van google niet bekend is (en redelijk continu verandert) en dat bijv volgorde uitmaakt, als jij eerst van alles als not-spam gaat markeren en daarna vindt google pas jouw server een spam-server om te graylisten dan gelden alle not-spams daarna weer minder hard (want je wordt enigszins gezien als een misbruiker aangezien jij eerst iets als not-spam beoordeelde terwijl daarna een mechanisme de server wel als spam beoordeelde)

Maar sowieso zou ik persoonlijk eens naar je mail-server logs gaan kijken, rate-limiting bij 20 spam-messages op een dag klinkt mij extreem vreemd in de oren, het lijkt mij apart dat rate-limiting minder gaat dan 20 messages per uur. En je hebt het in de TS ook over meerdere forwards ipv 1 forward zoals je nu zegt?

@DKIM : Heb jij dat uberhaupt wel op jouw mailserver juist geconfigureerd? Anders heb je weer een kans op een hogere spam-score, foutieve DKIM is weer contra het hele DKIM idee.

[Jeroen]

Ik heb DKIM zelf niet draaien maar dat zat toevallig in die ene mail van LinkedIN.

De afgelopen week of twee heb ik juist best veel naar m'n logs gekeken om de configuratie te verbeteren maar dit is bijvoorbeeld een analyse van de log daarvoor:

code:

Per-Day Traffic Summary
-----------------------
    date          received  delivered   deferred    bounced     rejected
    --------------------------------------------------------------------
    Jun  8 2014        16         14         90          6          2 
    Jun  9 2014        19         14        115         11 
    Jun 10 2014        32         23         80         21          2 
    Jun 11 2014        40         33        110         17          2 
    Jun 12 2014        48         37        182         28          5 
    Jun 13 2014        29         22        216         12 
    Jun 14 2014        25         21        243          9          1 
    Jun 15 2014         6          3         73          6         27

Het propleem met deferrals is ook opgelost (dat was dus backscatter). Nu ziet het er zo uit:

code:

    date          received  delivered   deferred    bounced     rejected
    --------------------------------------------------------------------
    Jun 22 2014        27         26          0          0          3 
    Jun 23 2014        61         60          0          0          4 
    Jun 24 2014        73         73          0          0          4 
    Jun 25 2014        39         40          0          0          4 
    Jun 26 2014        61         60          0          0         46 
    Jun 27 2014        13         13          0          0          4

Nog een verschil wat hier niet zichtbaar is is dat lang niet alle mail meer wordt doorgestuurd naar gmail maar alleen mail die zeker geen spam is, de rest wordt lokaal in een mailbox gedaan.

Het gaat om meerdere adressen op meerdere domeinen die allemaal in een trechter komen en nu worden verdeeld over /dev/null, een spam-mailbox, een misschien-spam-mailbox, en forward naar mijn gmail adres.

[Croga]

De bottom line is dat je een methode hanteerd die er voor zorgt dat je zelf geen controle meer hebt...... Simpelweg alles naar een andere mail server doorsturen zorgt er voor dat je volledig overgeleverd bent aan de Spam-goden.

Het enige wat je kunt doen om dit op te lossen is serieus onmiddelijk stoppen met die auto-forward. Dat is namelijk de doodsteek voor je EMail-credit-score. Alleen als je zeker weet dat je op je eigen server een waterdichte spam- en virus beveiliging hebt kun je dit doen.

Je kunt GMail heel goed instellen om de mail via IMAP van je eigen server af te halen. Ja, dat doet GMail maar eens per kwartier en dus zit je gemiddeld 7.5 minuten te wachten op je mailtje maar het voorkomt wel je huidige probleem.

Een andere oplossing is zelf een fatsoenlijke mail interface draaien zodat je GMail helemaal niet meer nodig hebt. Gebruik, bijvoorbeeld, Zarafa en je kunt al je devices gewoon zelf de mail van je eigen server af laten halen.

[Xander]

Of gebruik Google Apps for Domains als dat mogelijk is? Dan komt je mail gewoon direct bij google binnen en hoeft je eigen server niets meer door te sturen.

Gaat natuurlijk niet als je op datzelfde domein adressen hebt die niet bij gmail moeten aankomen. Of je moet dat andersom gaan doorsturen. Dat zou ook wel je huidige probleem oplossen...

[ Voor 14% gewijzigd door Xander op 27-06-2014 11:29 ]

[Compizfox]

Xander schreef op vrijdag 27 juni 2014 @ 11:28:
Of gebruik Google Apps for Domains als dat mogelijk is? Dan komt je mail gewoon direct bij google binnen en hoeft je eigen server niets meer door te sturen.

Gaat natuurlijk niet als je op datzelfde domein adressen hebt die niet bij gmail moeten aankomen. Of je moet dat andersom gaan doorsturen. Dat zou ook wel je huidige probleem oplossen...

Zarafa is hier waarschijnlijk overkill voor, tenzij je al die groupware-zooi e.d. ook nodig hebt.

Ik host ook m'n eigen mail en ik doe dat met Postfix als MTA, Dovecot als MDA, Dspam als spamfilter en Roundcube als webmail. Ik gebruik PostfixAdmin om alle accounts centraal te beheren in een MySQL-database met een webinterface. Als je nog email wilt ophalen uit andere mailboxes kun je daarvoor Fetchmail gebruiken (heeft PostfixAdmin ook support voor!)

@Xander: Google Apps is helaas niet meer gratis.