Bouw de perfecte nieuwsbrief server

[Timo002]

Hallo,

Momenteel ben ik zelf bezig met het maken van een nieuwsbrief systeem. Om direct te beginnen, ik weet dat er diensten als MailChimp zijn, daar hoef ik niet op gewezen te worden.

Momenteel heb ik een VPS en daarop draai ik nu een eigen geschreven code in Laravel. Hiermee kan ik net zoveel e-mails versturen als dat de server aan capaciteit toestaat.

Ik heb een "test" gedraaid met een nieuwsbrief voor 90.000 abonnees. Alle e-mails waren in 90 minuten verstuurd, maar met een iets krachtigere VPS kan dit wel sneller. Deze nieuwsbrief komt natuurlijk van een domein af, hiervoor hebben we de volgende zaken ingesteld:

• SPF
• DKIM
• DMARC

Voor het bewuste domein zijn al deze zaken goed ingesteld. Verder is ingesteld:

• PTR records
• Niet op een blacklist

Toch komt de nieuwsbrief (soms) aan in de SPAM box bij gmail / hotmail (microsoft). Het is gevarieerd, bij sommige ontvangers komt de nieuwsbrief gewoon in de inbox, bij anderen in de spam en bij weer anderen komt de nieuwsbrief uberhaupt niet aan.

Via www.mail-tester.com en www.isnotspam.com heb ik de e-mail gecontroleerd en daar scoren de e-mails maximaal. Ook SpamAssassin score is goed (0.1).

Wat kan ik nu nog meer doen om er voor te zorgen dat de e-mails niets als spam gezien worden.

_{Note: ik weet dat je heel eenvoudig gebruik kunt maken van MailChimp e.d. Maar ik wil gewoon proberen dit zelf te doen.}

[Vorkie]

De nieuwsbrief zelf? Deze dient zich ook qua opmaak te houden aan de "nieuwbrief" regels?

[Timo002]

Vorkie schreef op donderdag 24 maart 2016 @ 14:12:
De nieuwsbrief zelf? Deze dient zich ook qua opmaak te houden aan de "nieuwbrief" regels?

De nieuwsbrief zelf is perfect, SpamAssassin score van 0.1.

[Creepy]

Gmail/Hotmail en andere grotere mail services zullen je IP limiteren op hoeveelheid (!) als je pas begint met mailen vanaf een IP aangezien het IP niet kennen. Je IP zal reputatie moeten opbouwen. Je zult een IP dan ook moeten "opwarmen": dus een klein beetje versturen, en dan langzaam aan steeds meer. O.a. via http://www.barracudacentral.org/lookups en https://www.senderscore.org/ kan je de reputatie van een IP in de gaten houden.

Daarnaast hoeft een nieuwbrief zeker niet perfect te zijn als je SA score laag is, hotmail en gmail scoren mails op hun eigen manier

[Timo002]

Barracuda geeft geen problemen.
Senderscore geeft wel een lage rating (48), maar begrijp nog niet goed wat er nu precies aan de hand is.

Wat ik in de historie kan zien geniet ik op dit IP adres ook nog van wat history van de vorige gebruiker.

[CodeCaster]

Mjah, wat is nu je vraag? Als je het wiel opnieuw wil uitvinden, zul je dat dan ook moeten doen.

Er is niet één lijst van regels waaraan je moet voldoen om je spam niet als spam te laten herkennen, want dan zouden alle spammers zich simpelweg aan die lijst houden.

[begintmeta]

Ik neem aan dat je bijvoorbeeld Bulk Senders Guideline en postmaster hebt doorgelezen en gekeken of iets te veranderen valt?

[ Voor 17% gewijzigd door begintmeta op 24-03-2016 14:48 ]

[Timo002]

Nou, ik duik in ieder geval even in de output van Senderscore en probeer daar meer informatie uit te halen. Ik probeer er met dit topic achter te komen waar ik allemaal naar moet kijken, beter kan doen, checks die ik kan uitvoeren etc etc. Senderscore kom ik wellicht alweer iets verder mee.

@begintMeta, ja, beide pagina's al bestudeerd, en toegepast uiteraard

[ Voor 3% gewijzigd door Timo002 op 24-03-2016 14:52 ]

[begintmeta]

Timo002 schreef op donderdag 24 maart 2016 @ 14:48:
...
@begintMeta, ja, beide pagina's al bestudeerd

Misschien dan eens naar https://support.google.com/mail/contact/bulk_send en https://returnpath.com/so...ization/ip-certification/ ? Of dat heb je misschien dan ook al gedaan natuurlijk.

[ Voor 8% gewijzigd door begintmeta op 24-03-2016 14:53 ]

[Creepy]

En nog maar een open deur intrappen dan: Je verwerkt ook de feedbackloops van hotmail, yahoo etc?

[begintmeta]

Creepy schreef op donderdag 24 maart 2016 @ 14:55:
En nog maar een open deur intrappen dan: Je verwerkt ook de feedbackloops van hotmail, yahoo etc?

Die staan duidelijk vermeld op/via de pagina's die zijn gelinkt, dus als het goed is wel...

[Creepy]

.. dus als het goed is ..

Een aanname dus. Daarom vraag ik er naar, zodat we het zeker weten

[Timo002]

@Creepy, aangezien ik niet precies begrijp wat je bedoelt, denk ik het niet. Wat zijn feedbackloops?

[begintmeta]

Creepy schreef op donderdag 24 maart 2016 @ 15:00:
[...]

Een aanname dus. Daarom vraag ik er naar, zodat we het zeker weten

Dan weet je't nog niet zeker, iets zekerder zou je wel kunnen stellen.

Timo002 schreef op donderdag 24 maart 2016 @ 15:03:
@Creepy, aangezien ik niet precies begrijp wat je bedoelt, denk ik het niet. Wat zijn feedbackloops?

Staat in de info via de door mij gelinkte paginas (feedback loop FBL) Heb je als het goed is gelezen.

[ Voor 37% gewijzigd door begintmeta op 24-03-2016 15:04 ]

[P_de_B]

Timo002 schreef op donderdag 24 maart 2016 @ 15:03:
@Creepy, aangezien ik niet precies begrijp wat je bedoelt, denk ik het niet. Wat zijn feedbackloops?

Ik weet dat je gezegd hebt dat je geen informatie wilt over bestaande oplossingen zoals MailChimp of MailPlus, maar gezien je vragen heb je je misschien onvoldoende gerealiseerd hoe complex dit is? Het maken van een applicatie die mail verstuurd is echt het minste van je problemen.

Misschien toch heroverwegen?

[Timo002]

P_de_B schreef op donderdag 24 maart 2016 @ 15:14:
[...]

Ik weet dat je gezegd hebt dat je geen informatie wilt over bestaande oplossingen zoals MailChimp of MailPlus, maar gezien je vragen heb je je misschien onvoldoende gerealiseerd hoe complex dit is? Het maken van een applicatie die mail verstuurd is echt het minste van je problemen.

Misschien toch heroverwegen?

Ik had inderdaad niet gerealiseerd hoe complex dit is. Het bouwen van een applicatie is niet zo spannend, wel het in de inbox laten komen van een e-mail.

Heroverwegen, misschien. Geef het nog niet zo heel snel op. Maar ik heb altijd wel in het achterhoofd gehouden dat het gebruik van bijvoorbeeld mailgun een opties moet zijn. Met Laravel is het erg eenvoudig om dat toe te passen. Verandert alleen het verdien model een beetje

[Freeaqingme]

Je hebt nu 90K abonnee's, hoeveek ontvangen die een email van je?

Also, hoeveel van die abonnee's opent uberhaupt jullie mail?

[Creepy]

En dan heb je nog zaken als automatische bounce afhandeling, automatisch verwerken van afmeldingen, aanmeldingen, open tracking, click tracking, bijbehorende rapportages, blacklistings in de gaten houden, en ik vergeet vast nog wel wat zaken

[ Voor 17% gewijzigd door Creepy op 24-03-2016 15:55 ]

[Timo002]

Freeaqingme schreef op donderdag 24 maart 2016 @ 15:50:
Je hebt nu 90K abonnee's, hoeveek ontvangen die een email van je?

Also, hoeveel van die abonnee's opent uberhaupt jullie mail?

Ik verwacht een kleine 500.000 emails per maand. Maar dat aantal zal groeien.

Voor de specifieke klant met 90k abonnees, worden de nieuwsbrieven nu via een erg basale manier verstuurd, zonder DKIM ondertekening en heeft het een open percentage van 12,5%. Volgens mailchimp is voor eCommerse 16,8% gemiddeld, niet super slecht dus. Maar ook niet echt goed.

[begintmeta]

Timo002 schreef op donderdag 24 maart 2016 @ 15:29:
... Ik had inderdaad niet gerealiseerd hoe complex dit is. ...

Op zich ben je al een eindje gevorderd aangezien je alles hebt toegepast wat op/via de troubleshootingpagina's van Google en Microsoft te vinden is.

[Freeaqingme]

Timo002 schreef op donderdag 24 maart 2016 @ 15:55:
[...]

Ik verwacht een kleine 500.000 emails per maand. Maar dat aantal zal groeien.

Het probleem wat je nu een beetje hebt met 1 mailing is dat Google dus in 1 keer een heleboel mail ziet afkomen van een ip dat 't anders nooit ziet, en dan is het al snel spam. Het is dus zaak om een continue stroom aan email te hebben, en niet zo af en toe een enorme piek. Zoek bijvoorbeeld eens op 'smtp warming' om te kijken hoe andere partijen hier mee omgaan.

Timo002 schreef op donderdag 24 maart 2016 @ 15:55:
[...]

Voor de specifieke klant met 90k abonnees, worden de nieuwsbrieven nu via een erg basale manier verstuurd, zonder DKIM ondertekening en heeft het een open percentage van 12,5%. Volgens mailchimp is voor eCommerse 16,8% gemiddeld, niet super slecht dus. Maar ook niet echt goed.

Ik zit zelf niet in de ecommerce branch (doe wel het nodige met mailservers), maar ook 12.5% lijkt me laag. Dan nog, is het sowieso 25 procentpunt lager dan die 16.8. Je kan ook focussen op het omhoog krijgen van dat percentage. Naar mate meer mensen je mail ook daadwerkelijk lezen zal google het minder snel als spam markeren.

[Douweegbertje]

Creepy schreef op donderdag 24 maart 2016 @ 15:52:
En dan heb je nog zaken als automatische bounce afhandeling, automatisch verwerken van afmeldingen, aanmeldingen, open tracking, click tracking, bijbehorende rapportages, blacklistings in de gaten houden, en ik vergeet vast nog wel wat zaken

Dit.

Vooral de bounce is erg belangrijk. Wat is je ratio daar?

Verder is de inhoud ook erg belangrijk. Je kan content in je nieuwsbrief hebben wat domweg als spam gezien kan worden. Dan kunnen al je server settings en heel de meuk eromheen nog zo goed zijn, als de inhoud crap is dan wordt het alsnog spam.

Daarnaast ben je nog afhankelijk van de users. Stel dat een percentage je nieuwsbrief als spam markeert, dan kan je op een gegeven moment bij veel meer users in de spam terecht komen. Dat probleem heb je al redelijk snel bij gmail, outlook etc.

Ik zat me helemaal lam te zoeken naar een blog van volgens mij een mailchimp gast die eens goed had uitgelegd hoe moeilijk het wel niet is om een super laag spam percentage te krijgen e.d. Zelfs met alle juiste settings blijft het mail protocol gewoon ronduit kut, met name de afhandelingen ervan e.d.

Mijn best bet is om eens contact te proberen te krijgen met bedrijven die dit al een tijd doen. In feite als je echt veel gaat versturen zijn hun de enige die de trucjes kennen. Heel erg open zullen ze er echter niet over zijn..

[Waster]

Volgens mij ben je goed op weg, maar aflevering van nieuwsbrieven is lastig. Ik heb me laten vertellen dat emailmarketing software allemaal trucjes hebben om niet als spam gezien te worden. Bijv. vanaf veel verschillende IP's mails versturen. Of counters die tellen hoeveel mails je hebt verstuurd naar welke mail services binnen een bepaalde tijd. En er is dus ook throttling aanwezig om de mailstroom te reguleren. Dit is heel complex en er zal ook eindeloze finetuning in dit soort pakketten aanwezig zijn om dit goed in te stellen.

In de meeste emailmarketing pakketten kun je email profielen en selecties beheren, mailings opstellen, mailings personaliseren en statistieken bekijken en meer. Dat je dit als ontwikkelaar in eigen hand wil houden begrijp ik. Maar voor het afleveren van grote hoeveelheden bulkmail zou ik niet mijn vingers aan branden.

[Timo002]

Bounce ratio is me zo niet bekend. De 90k emailadressen zijn vrij recentelijk door middel van een dienst gevalideerd of ze nog steeds bestaan. Dat bounce ratio lijkt me dus extreem laag.

Ik moet zeggen dat ik dit een zeer fijne discussie vind! Voor veel coding vragen en oplossingen zoek ik op stackoverflow, maar een discussie als deze krijg je daar niet op gang zonder afgebrand te worden.

Of mijn "projectje" nu een succes wordt of niet. Ik vind het alleen al gaaf om er mee bezig te zijn. Het is alleen wel erg frustrerend om tegen een probleem aan te lopen waar geen duidelijke oplossing voor is.

Het grootste probleem zal waarschijnlijk zijn dat, vanwege het lage gebruik, de reputatie opbouwen (van het IP / domein) erg moeizaam zal zijn.

[Douweegbertje]

Uh nou ja, een email verstuur service is gewoon moeizaam, frustrerend en wat dan ook nog meer.. Dat kun je wel google'n want dat is een beetje het standaard verhaaltje omtrent het mail protocol
Op het moment dat het allemaal zo simpel was, zouden we niet eens bedrijven nodig hebben om onze mail te versturen. Dus ja, zie het van twee kanten: omdat het zo kut is, heb je eventueel 'werk'.

Read: http://stackoverflow.com/...end-100-000-emails-weekly

[Barryvdh]

Heb je deze ook gezien al? https://sendy.co/
Gebruikt Amazon SES, volgens mij is dat een van de goedkoopste (maar beperkte functionaliteit) en voegt daar zelf een deel aan toe.
Kost een dollar per 10.000 e-mails, dus 9 euro voor die 90.000 e-mails. Weet niet wat je VPS kost per maand?