[email] bounced mails detecteren

[cappie]

Ik ben een PHP script aan het schrijven wat adressen uit een mailinglist automagisch kan disable'en of deleten zodra het adres niet bestaat.. (wanneer er dus een z.g.n. 'email bounce' optreedt) (het php script leest de mail files uit voor de return data)

Maar... helaas werken niet alle mailservers hetzelfde en heb ik totop heden nog geen fatsoenlijke manier gevonden om gebounce'de mailtjes te herkennen..


Exim gooit er zelf een veld bij met het niet bestaande adres:

code:

X-Failed-Recipients: [e-mail]

Sendmail pleurt er iedere keer een 550 bij:

code:

550 5.1.1 <[e-mail]>... User unknown

Weet iemand hier een truukje wat wel werkt om zo'n mailtje te herkennen? I'm outta ideas...

[ Voor 0% gewijzigd door cappie op 31-07-2002 13:15 . Reden: extra info toevoegen ]

[martinvw]

Als het alleen die twee manieren zijn moet het toch makkelijk af te vangen zijn, misschien moet je ff rond zoeken om te kijken of er anderen zijn geweest die dit al hebben uitgezicht *lijkt me wel* Zow nee, dan zal ik vanavond eens gaan kijken of ik wat leuks kan bednken want dit is wel een erg makkelijk feature.

[Verwijderd]

het valideren van email adressen is niet echt gestandaardiseerd, en er is dan ook geen goede oplossing voor.
wat ook gebruikt wordt, is aktief contact opnemen met de pop/smtp server van de ontvanger (via mx record), en dan vragen of de user bestaat. probleem hierbij is echter dat sommige mailservers dit weer niet ondersteunen (zeggen altijd dat een user bestaat), en natuurlijk dat dit moet gebeuren _voor_ verzending (schonen van de lijst), itt je vraag obv bounces.

[cappie]

M4rt1nvW schreef op 31 juli 2002 @ 13:30:
Als het alleen die twee manieren zijn moet het toch makkelijk af te vangen zijn, misschien moet je ff rond zoeken om te kijken of er anderen zijn geweest die dit al hebben uitgezicht *lijkt me wel* Zow nee, dan zal ik vanavond eens gaan kijken of ik wat leuks kan bednken want dit is wel een erg makkelijk feature.

Als het alleen maar bij deze 2 foutmeldingen bleef, zou ik d'r zo iets voor kunnen coden.. helaas is het in de Real World meestal anders en zullen Exim en Sendmail niet de enige mailservers zijn die er nu zijn en/of die er later nog gaan komen.

[Grum]

Je kan een bounce-to adres instellen en alles wat daar binnen komt uit de lijst smijten.

Zie SMTP RFC voor de headers

[Verwijderd]

Grum schreef op 31 juli 2002 @ 13:38:
Je kan een bounce-to adres instellen en alles wat daar binnen komt uit de lijst smijten.

ware het niet dat een (groot) deel van de mailservers zich hier weer helemaal niets van aantrekt...

[ Voor 0% gewijzigd door Verwijderd op 31-07-2002 13:40 . Reden: typo ]

[cappie]

Verwijderd schreef op 31 juli 2002 @ 13:34:
het valideren van email adressen is niet echt gestandaardiseerd, en er is dan ook geen goede oplossing voor.
wat ook gebruikt wordt, is aktief contact opnemen met de pop/smtp server van de ontvanger (via mx record), en dan vragen of de user bestaat. probleem hierbij is echter dat sommige mailservers dit weer niet ondersteunen (zeggen altijd dat een user bestaat), en natuurlijk dat dit moet gebeuren _voor_ verzending (schonen van de lijst), itt je vraag obv bounces.

aha.. je bedoelt dus actief zoeken naar het domain van de user en DAAR het MX record van, en daar vervolgens een tcp connectie op de mailserver naar openen en checken of de user bestaat..

hmm.. dat is natuurlijk een optie, maar 't staat inderdaad niet vast of die mailserver nou liegt of niet

code:

rcpt to: [e-mail]
OK, WHATEVER

[TheRookie]

ezmlm heeft hier wel een methode voor, misschien kan je daar wijzer van worden ?
[edit]
betere link

[Verwijderd]

klopt, de hotmail servers zeggen bijvoorbeeld altijd dat de user bestaat, ongeacht de accountnaam. helaas is dit in mijn ervaring 1 van de meest betrouwbare methodes.

wat je met bounces nl ook nog eens krijgt is antwoorden als: "out of office" en "mailbox full"...dus een bounce zelf is niet genoeg, je moet de reden weten.

[cappie]

bah

Dat ze hier nu NOGSTEEDS geen standaard voor hebben... dat SMTP is ook hopeloos flaky zeg .. echt laksigheid.. om van te -en

[Verwijderd]

cappie schreef op 31 juli 2002 @ 13:48:
bah

Dat ze hier nu NOGSTEEDS geen standaard voor hebben... dat SMTP is ook hopeloos flaky zeg .. echt laksigheid.. om van te -en

tja, daar kan ik het inderdaad alleen maar mee eens zijn..

[TheRookie]

cappie schreef op 31 juli 2002 @ 13:48:
bah

Dat ze hier nu NOGSTEEDS geen standaard voor hebben... dat SMTP is ook hopeloos flaky zeg .. echt laksigheid.. om van te -en

doe er wat aan

[gridfox]

klopt, de hotmail servers zeggen bijvoorbeeld altijd dat de user bestaat, ongeacht de accountnaam.

Dit gaat volgens mij niet altijd op. Ik heb recentelijk zitten stoeien met een perl module welke niet via het gebruikelijke VRFY command werkt.

Hotmailaccounts worden goed gefilterd, maar wederom werkt dit script niet op alle typen servers

Linkje: http://martynov.org/checkuser/

Mocht je tot een betere oplossing komen, dan hou ik me van harte aanbevolen

[cappie]

Hmm... net al effe gekeken, maar 't is een perl module.. en wat dat ding doet, kan ik eigenlijk ook.. beetje jammer.. zo maar es aan 't coden slaan... tenzij iemand nog iets nuttigs te melden heeft?

[Verwijderd]

http://www.network-tools.com/
http://www.legitima.com/evalidator/

[Verwijderd]

tenzij iemand nog iets nuttigs te melden heeft?

Vlgns mij werken alle mailservers wel hetzelfde. Een e-mail kan twee verschillende afzenders hebben. Als eerste is er de echte afzender, deze kan je zetten door de optie -f voor sendmail te gebruiken, of door "MAIL FROM" te gebruiken bij SMTP. Dan heb je nog een tweede afzender, dit is de "From: " regel in je mailtje zelf. Zo gaan bouncers naar het eerstgenoemde e-mailadres en replies naar dat tweede e-mailadres.

De vraag is dan ook *hoe* verstuur je de mailtjes. Doe je het via de functie van PHP, spreek je sendmail aan, of open je een socket en spreek je de localhost op port 25 aan.

Op extra toevoegingen als "return-path" en "errors-to" zou ik als ik jou was maar niet vertrouwen.

[Marzman]

Is het niet vrij standaard dat het orginele bericht als atachment aan het bounce-bericht hangt? Dan moet daar toch het e-mailadres uit te halen zijn?

Bij een out-of-office melding en dergelijke hangt dat attachment er niet aan.

[B-Man]

Marzman schreef op 31 juli 2002 @ 18:22:
Is het niet vrij standaard dat het orginele bericht als atachment aan het bounce-bericht hangt? Dan moet daar toch het e-mailadres uit te halen zijn?

Bij een out-of-office melding en dergelijke hangt dat attachment er niet aan.

Nee dus

Ik heb al een aantal high-volume mail oplossingen ontwikkeld in java, die ook bouncemail moesten kunnen verwerken, en de oplossing die ik daarvoor heb gebruikt is in 95% van de gevallen effectief. 95% van 100-duizenden mails is een hoop.
Het werkt met behulp van VERP (Variable Envelope Return Path) adressen. Je kan op twee punten een afzender opgeven: in de e-mail zelf (From:-header), en bij het verzenden van het bericht.

Ik geef bij het verzenden van een mail (voor de java mensen: met JavaMail kun je dit per sessie instellen in je properties) een unieke VERP op, die er als volgt uitziet:

bounce-[id in database]-[user%domein.nl uit database, @ vervangen door %]@mijn_server_domein.nl

Vervolgens filter ik alle mail die met "bounce-" begint naar een bepaalde mailbox, die ik regelmatig geautomatiseerd uit laat lezen.

95% van alle mails die ik terugkrijg bevatten als To: het VERP adres. De overige 5% gebruikt het adres dat in de mail zelf als "From:" was opgegeven als adres. Hier kan ik echter nog steeds het VERP adres uit de headers filteren. De 1% die ik dan nog niet heb "herkend", haal ik door een aantal filters heen, zoals jij nu zoekt. Gelukkig heb ik dan al 99% van de e-mails verwerkt.

[B-Man]

Nog even een linkje met info over VERP.

[cappie]

B-Man schreef op 31 juli 2002 @ 20:51:
Nog even een linkje met info over VERP.

Dude!!.. dit begint er al aardig op te lijken.. thnx voor de info