[alg/php] Massa mailer maken

[BierPul]

Ik ben al een tijdje bezig met nieuwsbrieven te versturen voor het bedrijf waar ik voor werk, inmiddels gaat et aantal gepersonaliseerde mails over de 400.000 heen .

Ik begin me nu te beseffen dat het gewone als het maar werkt niet meer goed genoeg is en wil gaan kijken naar de beste oplossing die voor handen is.

Wat ik tot nu toe deed was gewoon een while loopje door alle adressen -> personaliseren -> mail();

Dit duurt lang en is zwaar dus ik wil naar een andere oplossing

Ik lees veel topics over het direct aanspreken van je locale smtp server via fsockopen en zo alle mails druit stampen.

Wat mij opvalt is dat het allemaal om de locale smtp server gaat (of 1 die je kan kiezen).

Waar ik aan zat te denken is via getmxrr() het mx record te achterhalen en direct de smtp aan te spreken om zo 1 connectie per smtp te maken en die vol te storten met mijn mail.

Ik ben hier ff mee aan het stoeien geweest en dat gaat best aardig

voorbeeld

code:

indigo:~# telnet mx1.xs4all.nl 25
Trying 194.109.6.50...
Connected to mxzilla2.xs4all.nl.
Escape character is '^]'.
220 mxzilla2.xs4all.nl ESMTP Sendmail 8.12.10/8.12.10; Tue, 28 Oct 2003 21:46:04 +0100 (CET)
HELO bier
250 mxzilla2.xs4all.nl Hello indigo.trueserver.nl [213.239.129.60], pleased to meet you
MAIL FROM: [e-mail]
250 2.1.0 [e-mail]... Sender ok
RCPT TO: [e-mail]
550 5.7.1 [e-mail]... Relaying denied
RCPT TO: [e-mail]
550 5.7.1 [e-mail]... Relaying denied
RCPT TO: [e-mail]
553 5.3.0 [e-mail]... No such user
RCPT TO: [e-mail]
250 2.1.5 [e-mail]... Recipient ok

^{De bovenstaande info komt van mn broertje die voor trueserver werkt hij gaf me de tip}

Duidelijk is dat je ineens weet of een mail ja of nee wordt afgeleverd en je je eigen smtp niet belast en volgens mij vele malen efficienter is

Echter zie ik nergens terug dat het gebruikt wordt en daar zal vast een reden voor zijn

Heeft iemand een idee wat de nadelen zijn en waarom deze methode niet vaker wordt toegepast of misschien andere ideen

[ Voor 8% gewijzigd door BierPul op 28-10-2003 22:01 ]

[Verwijderd]

Je voordeel is dat je 1 connectie kan maken en meerdere mails kan trappen.

code:

Trying 213.239.178.72...
Connected to jimbo.holycrap.nl.
Escape character is '^]'.
220 jimbo.holycrap.nl ESMTP
HELO sjaak
250 jimbo.holycrap.nl
MAIL FROM: [e-mail]
250 ok
RCPT TO: [e-mail]
250 ok
DATA
354 go ahead
lalalalalala
.
250 ok 1067374990 qp 4789
MAIL FROM: [e-mail]
250 ok
RCPT TO: [e-mail]
250 ok
DATA
354 go ahead
djkdfjkdfdldf
.
250 ok 1067375004 qp 4794
QUIT
221 jimbo.holycrap.nl
Connection closed by foreign host.

Het SMTP principe behoord dat voor lokale adressen dus toe te staan.
In principe moet dit werken en snel ook, maar d'r zal vast een addertje zijn.

oh, je hebt nu 2 mails

[BierPul]

Het zijn nieuwsbrieven waar mensen zelf op in geschreven hebben en zich zonder adders duidelijk op uit kunnen schrijven en dan ook daadwerkelijk geen mail meer ontvangen.

[ Voor 48% gewijzigd door curry684 op 29-10-2003 00:50 ]

[jvhaarst]

Lees eerst de specs van smtp eens door:
http://www.ietf.org/rfc/rfc2821.txt

Dan krijg je vast goede idee-en

Maar je wilt denk ik idd je eigen smtp-server omzeilen, die zit in dit geval toch maar in de weg.
En dan per server connectie meerdere berichten droppen.

Slim : voeg de mx-records toe aan je db, per domein, en dan per mx-host de mail droppen.
Dat natuurlijk wel zo af en toe checken...

[Verwijderd]

getmxrr() e.d. geven trouwens allemaal integers terug, dus je kan wel raden wat je daar uit vist

dns_get_record(); daarintegen is wat je wilt.
Maar die zit in php5 CVS

[Verwijderd]

jvhaarst schreef op 28 October 2003 @ 22:32:
Lees eerst de specs van smtp eens door:
http://www.ietf.org/rfc/rfc2821.txt

Dan krijg je vast goede idee-en

Maar je wilt denk ik idd je eigen smtp-server omzeilen, die zit in dit geval toch maar in de weg.
En dan per server connectie meerdere berichten droppen.

Slim : voeg de mx-records toe aan je db, per domein, en dan per mx-host de mail droppen.
Dat natuurlijk wel zo af en toe checken...

Wat ie moet doen is sorteren op maildomein, daarvan on the fly het MX record pakken met de laagste (dus hoogste) pref, werkt die niet, dan steeds hoger, mocht er niks meer zijn dan een error terugkaatsen, connectie openen, maximaal stampen, connectie sluiten.

Ik zie mogelijkheden

[LauPro]

Ik neem aan dat je dat php-bestand commandline aanroept? Want dan is er toch geen probleem? Ik denk dat die stap die php maakt bij mail() nauwelijks extra tijd kost.

[Verwijderd]

LauPro schreef op 28 oktober 2003 @ 22:36:
Ik neem aan dat je dat php-bestand commandline aanroept? Want dan is er toch geen probleem? Ik denk dat die stap die php maakt bij mail() nauwelijks extra tijd kost.

mail() is niet zo'n heel groot probleem, wat wel een probleem is is natuurlijk die machine, die heeft een maximaal aantal mails die die tegelijk remote kan afleveren, voor elke mail maakt ie 1 connectie, hotmail e.d. hebben vaak de neiging om niet direct bereikbaar te zijn, vanwege de drukte en zeker nu met al die virussen, hotmail staat natuurlijk veel in die adressenlijst.

Als je 1 connectie kan maken en daar 50.000 mails naar toe kan trappen in 1 rits door, of je kan 50.000 keer een connectie PROBEREN te maken om dan steeds 1 mail af te leveren, wie is er dan sneller?

Voorbeeldje van het hotmail probleem, 1 connectie per seconde, dit is het gedrag wat je zou zien tijdens een DDoS op hotmail, en met zoals ik al zei die virussen van nu.....

code:

telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
Connected to mc9.bay6.hotmail.com (65.54.166.99).
Escape character is '^]'.
220 mc9-f19.hotmail.com Microsoft ESMTP MAIL Service, Version: 5.0.2195.5600 rea dy at Thu, 23 Oct 2003 07:43:42 -0700
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
220 mc9-f38.hotmail.com Microsoft ESMTP MAIL Service, Version: 5.0.2195.5600 rea dy at Thu, 23 Oct 2003 07:48:06 -0700
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
telnet: connect to address 65.54.166.99: Connection refused
220 mc9-f17.hotmail.com Microsoft ESMTP MAIL Service, Version: 5.0.2195.5600 rea dy at Thu, 23 Oct 2003 07:48:56 -0700

I rest my case

[BierPul]

LauPro schreef op 28 October 2003 @ 22:36:
Ik neem aan dat je dat php-bestand commandline aanroept? Want dan is er toch geen probleem? Ik denk dat die stap die php maakt bij mail() nauwelijks extra tijd kost.

Jep klopt maar die mail(); Blijft mega traag like 400.000 mails in 10 uur en het is geen klein servertje op een kleine verbinding (dikke penIII - 512mb -q-mail @100mbit trueserver verbinding )

[Verwijderd]

Is het met zulke aantallen mails ook niet handiger om ze in groepen te splitsen en meerdere mailservers te gebruiken?

Ik hou dit topic overigens goed in de gaten. Binnenkort moet ik een mailtool voor tussen de 30 en 50.000 mail adressen herstructureren.

[jvhaarst]

Handige code: http://zend.com/codex.php?id=347&single=1

[LauPro]

Je wil per host die e-mail gaan sorteren en sturen oke. Ik denk echter wel dat er mailservers zullen zijn die zullen kappen na de 100ste mail oid (ivm met spam e.d.). Dat moet je dan wel allemaal afvangen.

[Verwijderd]

LauPro schreef op 28 October 2003 @ 22:53:
Je wil per host die e-mail gaan sorteren en sturen oke. Ik denk echter wel dat er mailservers zullen zijn die zullen kappen na de 100ste mail oid (ivm met spam e.d.). Dat moet je dan wel allemaal afvangen.

misschien een idee om er steeds bijv 50 tegelijk te sturen en dan weer 50 achter elkaar.. (dus de 50 die erop komen) dat is volgens mij veel sneller of 100 achter elkaar of 10000 ect etc dus dat hij het in soort van blokken verdeelt

[rollebol]

Exim is standaard geconfigureerd om niet meer dan 9 mails te pikken per connectie. Of 10. Maar sorteren op hostname en dan per MX mail sturen scheelt inderdaad al een boel in het aantal connecties.

[curry684]

Ik heb even een aantal offtopic replies over potentiele spammerij verwijderd. BierPul legt netjes uit waarvoor het is bedoeld en hoe het in mekaar zit, en ik wil dan ook niet dat een serieus topic als dit verziekt wordt door dat soort geneuzel. Alvast bedankt

[BierPul]

jvhaarst schreef op 28 October 2003 @ 22:53:
Handige code: http://zend.com/codex.php?id=347&single=1

Dat ziet er waardig uit om even wat lering van te trekken.

Ik denk dat het vooral erg belangerijk is om goede error reporting op te nemen per record zodat je altijd weet of iets verstuurd is.

Volgens mij heb je dan veel meer controle als dat ik hem in een que plaats.

Ik kan nu direct rapporteren hoeveel er verstuurd zijn wanneer door welke mail server

Die que van qmail bleef maar lopen en verder moest ik dan alle logs door om het na te zoeken

* BierPul vraagt zich af of andere mensen deze materie wel eens hebben toegepast en of ze daar positieve of negatieve meningen over hebben

[hennink]

Wat doe je nu precies? Mailtjes versturen.
Wie is daar goed in? PHP of een mailprogramma.
Het laatste, sendmail, qmail of welke exoot dan ook kan dit sneller dan PHP.

Nu kom je op een leuk punt, is de mail die je verstuurd per gebruiker uniek of verstuur je 400.000 keer hetzelfde mailtje?
Is het het laatste , overweg dan eens om te kijken of majordomo, of mijn favouriet ezmlm-idx je kan helpen.
Je gooit je gebruikers gewoon in een MySQL tabel en je verstuurd voortaan een mailtje richting ezmlm. Ezmlm weet donders goed hoe hij massa's mail moet versturen want hij kopieert direct in de mailqueue van qmail.
Je script is nu nog maar 1 sec bezig maximaal om de mail op te maken en te versturen en je bent klaar.
Ezmlm houdt voor je bij of de mail aankomt, gooit gebruikers weg waarvan de mail niet goed aankomt en je kan het netjes over meerdere servers uitbreiden als je daar eens goed voor gaat zitten.
Mensen doen te vaak alles met PHP terwijl het vaak zoveel makkelijker en efficienter kan.

[BierPul]

Nope de mails zijn per gebruiker uniek

Wat mij stoort en wat lang duurt is dat een mail progals sendmail of qmail (deze gebruik ik nu) elke keer een connectie opend, verstuurd, connectie sluit en dat 400.000x

Ik heb het idee dat dit efficeinter kan dus zoeken naar de smtp connectie openen 10.000 mails naar smtp.planet.nl bonjouren en klaar op naar chello bijvoorbeeld.

Ik geef je wel gelijk dat mensen (waaronder ik ook) alles aan PHP overdragen misschien is het interessant om te kijken of ik een mailerdeamon kan ontwikkelen die hetzelfde doet als bovenstaande

Tis maar een idee en het staat vrij om het te verbeteren of om ver te skuppen

[stekkel]

BierPul schreef op 29 oktober 2003 @ 09:46:
[...]


Dat ziet er waardig uit om even wat lering van te trekken.

Ik denk dat het vooral erg belangerijk is om goede error reporting op te nemen per record zodat je altijd weet of iets verstuurd is.

Volgens mij heb je dan veel meer controle als dat ik hem in een que plaats.

Ik kan nu direct rapporteren hoeveel er verstuurd zijn wanneer door welke mail server

Die que van qmail bleef maar lopen en verder moest ik dan alle logs door om het na te zoeken

* BierPul vraagt zich af of andere mensen deze materie wel eens hebben toegepast en of ze daar positieve of negatieve meningen over hebben

Zelf heb ik nooit anders gemaild met php. Ik heb ook eens zo'n smtp class gemaakt die ook nog eens de error codes van smtp controleerde, authentication ondersteunde en de hele mime structure genereerde op basis van een object wat een beetje lijkt op wat imap_fetchstructure returned en doormiddel van een leuke recursive functie de body uitspuugde met de juiste mimeheaders, boundaries (paste deze aan ingeval van embedded multipart messages). De output werd on the fly naar de smtp stream geschreven zodat de het geheugen niet te veel belast werd in geval van grote attachments.

Nu ik nog eens beter kijk naar dat zend voorbeeld kan ik mededelen dat het zuigt.
Ze zijn vergeten om te controleren op \r\n.\r\n sequences in de body. Die sequence hadden ze door \r\n\..\r\n moeten vervangen. Wanneer je dat niet doet dan stopt de smtp stream voortijdig en lever je dus maar halve berichten af.

[BierPul]

stekkel schreef op 29 oktober 2003 @ 23:14:
[...]
Nu ik nog eens beter kijk naar dat zend voorbeeld kan ik mededelen dat het zuigt.
Ze zijn vergeten om te controleren op \r\n.\r\n sequences in de body. Die sequence hadden ze door \r\n\..\r\n moeten vervangen. Wanneer je dat niet doet dan stopt de smtp stream voortijdig en lever je dus maar halve berichten af.

Wat bedoel je in dit geval met de body

Bedoel je daarmee dat

HTML:

<html>
<body>
blaat
</body>
</html>

Moet worden

HTML:

<html>\r\n
<body>\r\n
blaat\r\n
</body>\r\n
</html>\r\n

oid

[ Voor 6% gewijzigd door BierPul op 29-10-2003 23:42 ]

[wasigh]

Nee hij bedoeld dat een . op een lege regel met een enter erachter het teken voor de SMTP server is dat dat het einde van het bericht is.
Daarom moet je als je mail wilt versturen ervoor zorgen dat dat niet ergens middenin je bericht staat want dan kapt de server de connectie af

[stekkel]

wasigh schreef op 29 oktober 2003 @ 23:55:
Nee hij bedoeld dat een . op een lege regel met een enter erachter het teken voor de SMTP server is dat dat het einde van het bericht is.
Daarom moet je als je mail wilt versturen ervoor zorgen dat dat niet ergens middenin je bericht staat want dan kapt de server de connectie af

Yep

code:

email bericht

.

de rest van het bericht

de rest van het bericht zal dan niet vertuurd worden.

en de body van een bericht is dus alles na de rfc822 header. Dit staat dus helemaal los van de indeling van die body. Dat kan gewoon text/plain zijn maar ook multipart/mixed met een text/html part en eventuele attachments.

[ Voor 13% gewijzigd door stekkel op 30-10-2003 01:15 ]

[BierPul]

Ok duidelijk

* BierPul heeft nog niet echt naar de haken en ogen gekeken en de RFC's doorgespit

Het is natuurlijk netter om dat geval af te vangen.

Gelukkig test ik wel altijd eerst de mailing die eruit gaat dus voor die verassing hoef ik verder niet bang te zijn

[ Voor 18% gewijzigd door BierPul op 30-10-2003 10:11 ]

[hennink]

BierPul schreef op 29 oktober 2003 @ 22:50:
Nope de mails zijn per gebruiker uniek

Wat mij stoort en wat lang duurt is dat een mail progals sendmail of qmail (deze gebruik ik nu) elke keer een connectie opend, verstuurd, connectie sluit en dat 400.000x

Ik heb het idee dat dit efficeinter kan dus zoeken naar de smtp connectie openen 10.000 mails naar smtp.planet.nl bonjouren en klaar op naar chello bijvoorbeeld.

Ik geef je wel gelijk dat mensen (waaronder ik ook) alles aan PHP overdragen misschien is het interessant om te kijken of ik een mailerdeamon kan ontwikkelen die hetzelfde doet als bovenstaande

Tis maar een idee en het staat vrij om het te verbeteren of om ver te skuppen

Tja, wat je wel zou kunnen doen in dat geval is inderdaad een SMTP verbinding maken met een locale SMTP server dicht bij je in de buurt, dus niet van je ISP maar van jezelf. Verder kan ervoor zorgen dat op die SMTP server een dns draait die alles cached voor je, zodat een MX check geen grote delay geeft per domein. Als laatste stel je hem natuurlijk in als relay voor mail van je server die de mail verstuurd. Ook hier hoef je je verder geen zorgen te maken en problemen zoals eerder beschreven bij hotmail zijn niet meer voor jou maar voor de mailserver zelf. Enigste vereiste is en blijft natuurlijk bandbreedte en voorkomen dat andere servers deze server gaan blokken.

[ Voor 15% gewijzigd door hennink op 30-10-2003 11:22 ]

[BierPul]

hennink schreef op 30 oktober 2003 @ 11:06:
[...]
Ook hier hoef je je verder geen zorgen te maken en problemen zoals eerder beschreven bij hotmail zijn niet meer voor jou maar voor de mailserver zelf. Enigste vereiste is en blijft natuurlijk bandbreedte en voorkomen dat andere servers deze server gaan blokken.

Het gaat mij er niet om of het mijn probleem is of die van de mailserver
Voor mij is het enigste belang dat het snel gaat.

En volgens mij (correct me if Im wrong) is het zo dat als ik mn lokale SMTP blijf gebruiken of die in het Trueserver netwerk dan ben ik eigenlijk nog geen stap verder want die zal toch nooit de verbinding openhouden en alle mailtjes voor mij afleveren.

Qua bandbreedte is het in ieder geval geen probleem ze hebben bij Trueserver heel wat Mbitjes over

[hennink]

BierPul schreef op 30 oktober 2003 @ 13:30:
[...]


Het gaat mij er niet om of het mijn probleem is of die van de mailserver
Voor mij is het enigste belang dat het snel gaat.

En volgens mij (correct me if Im wrong) is het zo dat als ik mn lokale SMTP blijf gebruiken of die in het Trueserver netwerk dan ben ik eigenlijk nog geen stap verder want die zal toch nooit de verbinding openhouden en alle mailtjes voor mij afleveren.

Qua bandbreedte is het in ieder geval geen probleem ze hebben bij Trueserver heel wat Mbitjes over

Het voordeel van je lokale is dat je de SMTP server nog wel kan tweaken, je PHP script bijna niet meer.
Dus proberen om in een reeks je mail lokaal erin te krijgen, en dan eens gaan kijken hoe je je mailserver zo snel mogelijk mail kan laten bezorgen. Je zou ook kunnen kijken of het mogelijk is om de mail als txt op te slaan op je server en deze handmatig in de queue te kunnen proppen.
Je zou dan een groot bestand kunnen maken met daarin je mail commando's en deze dan via sendmail -bs < mail.txt inlezen.
Uit de man van sendmail
-bs Stand-alone SMTP server mode. Read SMTP commands from standard
input, and write responses to standard output. In stand-alone
SMTP server mode, UCE restrictions and access controls are dis-
abled by default. To enable them, run the process as the
mail_owner user.

This mode of operation is implemented by running the smtpd(
daemon


Kortom, ruimte zat voor snelheidswinst.

[ Voor 20% gewijzigd door hennink op 30-10-2003 14:43 ]

[Dutch_guy]

Even iets anders.

Ik heb een script gemaakt in ASP om HMTL nieuwsbrieven mee te verzenden.

Wat als er nu een stuk of 30 hotmail adressen in de database staan en die worden in 1x verzonden.

Gaat Hotmail dan tegensputteren, of komen ze allemaal aan ? (i.v.m. SPAM)

De verzending gebeurt overigens vanaf een eigen webserver.

[ Voor 3% gewijzigd door Dutch_guy op 30-10-2003 15:20 ]