Is spamfilter Microsoft te streng voor kleine mailservers?

[Jim80]

Ik verdenk Microsoft er van, hetzij bewust of onbewust (bijvoorbeeld door incompetentie), inkomende mails van bedrijven met een eigen mailserver resoluut naar de JUNK folder te sturen.

Hierdoor worden (meestal kleinere) bedrijven, die hun mail niet laten beheren door een groot, commercieel bedrijf zoals Google, Microsoft, Yahoo, ... enorm benadeeld omdat JUNK mails in de praktijk verloren gaan en je dus klanten en omzet kan mislopen.

Heb je dus een eigen mailserver (zoals Postfix) en stuur je een mail naar een persoon of bedrijf die zijn mail bij Microsoft heeft gehost, kan je in de praktijk die persoon of dat bedrijf nooit per mail bereiken (indien het een eerste contact betreft).

Ik ben hierin niet alleen, ik hoor gelijkaardige verhalen van allerlei personen of bedrijven die in een gelijkaardige situatie zitten. Velen beseffen het wellicht niet eens en gaan ervan uit dat indien er geen antwoord komt, de persoon of bedrijf geen interesse heeft.

Dit is natuurlijk extreem frustrerend, en ronduit machtsmisbruik van Microsoft, want op die manier verplichten ze iedereen om een betalende account te nemen bij een tech gigant en dan nog het liefst bij Microsoft zelf.

Ik doe uiteraard geen beweringen zonder de nodige bewijzen. Die zal ik hieronder toelichten met een voorbeeld van een mail die ik heb gestuurd naar een kleine KMO die werkt met outlook/office365

Deze mail voldoet werkelijk aan ALLE gangbare standaarden, en een testmail naar mail-tester geeft dan ook een perfecte score.

Een opsomming van de feiten over mijn mail die in de JUNK folder is beland:

• Verstuurd met Postfix vanuit een NL VPS server gehost bij TransIP
• Dedicated IP adres, enkel gebruikt voor www en smtp. Niet blacklisted
• SPF, DKIM en DMARC correct geconfigureerd en gebruikt
• Bericht bevat geen links of verdacht taalgebruik
• Geen bulk mail, gemiddeld 1 mail per dag naar Microsoft gehoste ontvangers
• Zowel IPv4 als IPv6 heeft een reverse DNS die verwijzen naar de EHLO host
• Bericht verstuurd over een TLS-versleutelde SMTP verbinding

Resultaat van mail-tester:












Relevante headers uit de afleverbevestiging:

code:

delivered Status: 2.0.0 Diagnostic-Code: smtp;250 2.0.0 OK

Authentication-Results: spf=pass (sender IP is 37.97.xxxxxxx)
 smtp.mailfrom=xxx.be; xxxxxxxxxx.be; dkim=pass (signature was verified)
 header.d=xxx.be;xxxxxxxxx.be; dmarc=pass action=none
 header.from=xxx.be;compauth=pass reason=100
Received-SPF: Pass (protection.outlook.com: domain of xxx.be designates
 37.97.xxx.xxx as permitted sender) receiver=protection.outlook.com;
 client-ip=37.97.xxx.xxx; helo=vps.xxx.be;
Received: from vps.xxx.be (37.97.xxx.xxx) by
 HE1EUR04FT064.mail.protection.outlook.com (10.152.26.226) with Microsoft SMTP
 Server (version=TLS1_2, cipher=TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384) id
 15.20.4394.16 via Frontend Transport; Thu, 5 Aug 2021 16:52:52 +0000
DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=xxx.be; s=mail;
    t=1628182371; bh=AaanTItxzQ3pt5gBbSLV5GuGLA/928ZMz3I77kY4yp0=;
    h=Date:From:To:Subject:From;
    b=xxxxx
X-MS-Exchange-Organization-Originating-Country: NL
X-MS-Exchange-Organization-Auth-ExtendedDmarcStatus: Pass
X-MS-Exchange-Organization-SenderRep-Score: 3
X-MS-Exchange-Organization-SenderRep-Data:
 IpClassSmallGrayOther_SmallGrayOther_unknown
X-MS-Exchange-Organization-VBR-Class: SmallGrayOther
X-MS-Exchange-Organization-HMATPModel-Spf: 1
X-MS-Exchange-Organization-OrderedPrecisionLatencyInProgress:
    LSRV=DB8P194MB0662.EURP194.PROD.OUTLOOK.COM:TOTAL-HUB=1.040|SMRE=0.198(RENV=0.052|REOH=0.038|CMSGC=0.086|R-CMSG=0.092(R-HS=0.038(R-HSXD=0.037
 )|R-CMSGC=0.053(R-HSRR=0.053)|XR-DR=0.038))|CAT=0.840(CATOS=0.166(CATSM=0.149(CATSM-DC
 Pre Content Filter Agent=0.100 |CATSM-Journal
 Agent=0.030))|CATRESL=0.051(CATRESLLR=0.033)|CATORES=0.568(CATRS=0.567
 (CATRS-DC Pre Content Filter Agent=0.095|CATRS-Transport Rule
 Agent=0.032(X-ETRLD=0.032 )|CATRS-DLP Policy
 Agent=0.032(X-DLPLD=0.031)|CATRS-Retention Policy Agent=0.032|CATRS-DC
 Content Filter Agent=0.224 |CATRS-Spam Filter
 Agent=0.112))|CATORT=0.035(CATRT=0.035));2021-08-05T16:52:54.004Z
X-MS-Exchange-Organization-AuthAs: Anonymous
X-MS-Exchange-Organization-FromEntityHeader: Internet
X-MS-Exchange-Organization-MessageScope: 12c80e97-6ae1-4b8a-a965-971f774a6a17
X-MS-Exchange-Forest-MessageScope: 12c80e97-6ae1-4b8a-a965-971f774a6a17
X-MS-Exchange-Organization-Antispam-ProtocolFilterHub-ScanContext:
    ProtocolFilterHub:SmtpOnEndOfData;
X-MS-Office365-Filtering-Correlation-Id: d725a380-2f38-4be1-b463-08d9583176fb
X-MS-Exchange-Organization-Auth-DmarcStatus: Pass
X-MS-Exchange-Organization-VerifiedDkimDomainsList: xxx.be
X-MS-Exchange-Organization-Antispam-PreContentFilter-PolicyLoadTime:
    PSOSUB:16;PSOSUBLOAD:15;PSOSUBRUN:0;PSOSUBCOUNT:0;MAOSUB:30;MAOSUBLOAD:15;SMORES:15;SMORESLOAD:15;SMORESRUN:0;SMORESCOUNT:0;SAORES:29;SAORESLOAD:14;SLORES:15;RSORES:14;SLORESLOAD:15;
X-MS-Exchange-Organization-MessageFingerprint:
    FCBC4AA9.C6D2BF33.C1CC5EBB.626C9951.2016E
X-MS-Exchange-Organization-Antispam-PreContentFilter-ScanContext:
    CategorizerOnSubmitted;CategorizerOnResolved;
X-MS-Exchange-Organization-AVScannedByV2: true
X-MS-Exchange-Organization-AVScanComplete: true
X-MS-Exchange-Organization-Recipient-Limit-Verified: True
X-MS-Exchange-Organization-TotalRecipientCount: 1
X-MS-Exchange-Organization-HMATPModel-SpfAuthStatus: 1
X-MS-Exchange-Organization-HMATPModel-DkimAuthStatus: 1
X-MS-Exchange-Organization-HMATPModel-DmarcAuthStatus: 1
X-MS-Exchange-Organization-SkipAttachmentDetonation: DS:1
X-MS-Exchange-Organization-SenderRecipientCommunicationState: FC
X-MS-Exchange-Organization-Antispam-ContentFilter-ScanContext:
    CategorizerOnResolved;
X-MS-Exchange-Organization-CommunicationStateSummary: FC
X-MS-Exchange-Organization-FirstContactSummary:
    ST=3;MRG=0;EXT=0;UN=1;ORCT=1;EV=1;FC=1;NESI=0;NES=0;ESTI=0;EST=0;INS=0;MP=0;UD=0;QE=0;ERR=0
X-MS-Exchange-Organization-CompAuth-Eop: compauth=pass reason=100
X-MS-Exchange-Organization-Feature-Long: 0    201:896    202:661    203:1    205:3    208:34
    215:892    235:2    236:1    238:1    239:1    241:1    243:1    244:3    245:1    246:1    247:1    248:1
    252:1    255:1    1007:Latn    1014:xxx.be    1015:xxx.be    1020:xxx.be    1030:xxx.be
    1034:[e-mail]    1035:xxx.be
X-MS-Exchange-Organization-HDRFeatureV2:
    11;-1;-1;0;0;-1;-1;-1;-1;-1;29;28;0;5;29;0;109;-1;-1;938;938;-1;-1;-1;-1;-1;209;207;21;370;209;21;1;1;1;-1;-1;-1;-1;-1;-1;-1;-1;-1;-1
X-MS-Exchange-Organization-FeatureTable:
    {343:938,344:0,345:938,346:0,355:370,356:5,384:"xxx.be",385:"xxx.be",386:"True",387:"True",423:21,424:0,425:209,426:29,427:207,428:28,429:209,430:29,452:1,453:1,454:"xxxx0xxxxxx.be",455:"FC",501:1,502:1,503:1,504:1,506:1,507:1,508:"xxx.be",509:"xxx.be",510:"xxx.be",511:"pass",512:100,601:109,602:11,651:2,653:1,656:1,721:"2.95",722:"2.82",723:1,725:3,728:34,735:"2.95",738:1,740:1,742:1,743:3,744:1,749:"Latn",838:"html:1;head:1;meta:1;body:1;p:7",951:8,952:104,956:10000,957:10000,963:9,964:990,965:8,966:2136,967:1661,1101:"0.041"}
X-MS-Exchange-Organization-SpamScore: 0
X-MS-Exchange-Organization-Antispam-AnalystRuleHits:
    (3480700007)(356005)(1096003)(36756003)(22186003)(58800400005)(336012)(426003)(8676002)(5660300002)(6286002)(7696005)(26005)(108616005)(86362001)(33964004)(24736004)(6916009)(7596003)(55016002)(83380400001)(6266002)(2616005)
X-MS-Exchange-Organization-Antispam-ScanContext: DIR:Incoming;SFV:NSPM;SKIP:0;
X-MS-Exchange-Organization-Antispam-PostContentFilter-ScanContext:
    CategorizerOnResolved;CategorizerOnRouted;CategorizerOnCategorized;
X-MS-Exchange-Organization-IncludeInSla: False:AS-Message-Spam
X-MS-Exchange-Organization-Prioritization: 2:AS-Message-Spam
X-Forefront-Antispam-Report:
    CIP:37.97.xxx.xxx;CTRY:NL;LANG:nl;SCL:5;SRV:;IPV:NLI;SFV:SPM;H:vps.xxx.be;PTR:vps.xxx.be;CAT:SPM;SFS:(3480700007)(356005)(1096003)(36756003)(22186003)(58800400005)(336012)(426003)(8676002)(5660300002)(6286002)(7696005)(26005)(108616005)(86362001)(33964004)(24736004)(6916009)(7596003)(55016002)(83380400001)(6266002)(2616005);DIR:INB;

Uit deze header zie je dat MS de mail als SPAM categoriseert:
X-Forefront-Antispam-Report: ....;CAT:SPM;.......


Om enkele antwoorden voor te zijn, hierbij een mini FAQ:
Q: Heb je Microsoft al gecontacteerd?
A: Meerdere keren

Q: Heb je al een "false-positive" melding gedaan (+ upload mail met headers) via de online tools van Microsoft?
A: Meerdere keren

Q: Hebben bovenstaande acties iets opgelost?
A: Neen

Q: Wordt je maildomain gebruikt door spoofers? (valse from @mijndomein)
A: Soms, maar dat zou voor de echte domain owner geen impact mogen hebben gezien SPF en DKIM actief is.

Q: Wordt je mailserver niet misbruikt, gehacked of is het geen open-relay?
A: Neen, Postfix logging bevestigt dat geen andere berichten worden verstuurd

Q: Heeft je ontvanger niet een te streng spamfilter ingesteld?
A: Neen, ik heb dit bij alle ontvangers, inclusief standaard gratis outlook en hotmail adressen waar niks specifieks is ingesteld

Tot slot:

Als een grote provider zoals Microsoft een unieke mail ontvangt vanaf een IP waarvan 1 mail per dag wordt ontvangen, in welk universum kan dit ooit als spam worden aanzien?

Met Gmail, Yahoo, Telenet, Proximus, ... ontvangers heb ik nooit een probleem, dus dit is Microsoft specifiek.

Ik ben dit zo beu dat ik veel zin heb om een collectieve rechtszaak te starten tegen Microsoft, want dit is blijkbaar het enige communicatiemiddel dat grote, logge bedrijven aanzetten om eens serieus het probleem te bekijken. Maar dit is mijn tijd, geld en moeite niet waard.

Wie heeft ideëen of tips hoe ik best dit probleem kan aanpakken zonder naar een mailprovider over te stappen?

Soms zit er niks anders op dan de persoon op te bellen om in z'n junk folder te kijken, of vanuit een gratis outlook account te mailen. Maar dit is absoluut niet het antwoord dat ik verwacht.

(Update 09/08/2021)
Microsoft behandelt elke kleine mailserver zonder opgebouwde reputatie blijkbaar anders. Om te onderzoeken waar het verschil zit zou ik graag een poll starten bij iedereen met een eigen low volume mailserver met een dedicated IP:

POLL:

1. Welke mailserver gebruik je? (Postfix, Exchange, Exim, Sendmail, ...)
2. Welke mail client of app gebruik je? (Outlook, Thunderbird, Roundcube, Mac / iPhone mail)
3. Bij welke provider is je mailserver/vps gehost?
4. Bij welke providers naar wie je mails stuurt beland je meestal NIET in de spam (Microsoft, Google, Yahoo, Apple (iCloud), Protonmail, ...
5. Bij welke providers naar wie je mails stuurt beland je meestal WEL in de spam
6. Welke score krijg je op https://mail-tester.com ? (indien geen 10/10: welke opmerkingen?)
7. Hoeveel mails verstuur je ongeveer per dag, ruw geschat?

Geen zin in zoveel vragen? Als alternatief mag je me ook een PB sturen, ik bezorg je mijn @hotmail adres waar je een testmail naar mag sturen en dan post ik de geanonimiseerde gegevens hier. Als bedankje duid ik je mail aan als "geen spam" wat misschien kan helpen voor je reputatie bij MS.

[ Voor 9% gewijzigd door Jim80 op 22-12-2022 11:31 ]

[Jim80]

En dan ontvangen we doodleuk gewoon zo'n mails direct in de inbox...

[HKLM_]

Ik en @Jim80 hebben even wat mailtjes uitgewisseld en zijn mail komt in de spam folder zoals verwacht. Helaas zegt de message trace van EXO na het afleveren van de mail in de junk folder, dat er geen informatie beschikbaar is waarom...

Echter heb ik voor @Jim80 binnen Threat Management zijn e-mail geupload en voor analyse aangeboden met de opmerking dat dit not junk zou moeten zijn. Microsoft is het na het analyseren i.i.g eens dat het eigenlijk niet geblokkeerd had moeten worden.





Als er meer tweakers zijn die behoefte hebben hun domein een keer door deze molen te laten stuur mij dan even een DM

[ Voor 38% gewijzigd door HKLM_ op 07-08-2021 17:04 ]