[php] maillijst adressen checken

[assass]

ik kreeg laatst een korte, totaal niet storende e-mail van geenstijl, met als enige boodschap: u kunt deze mail gelijk weer weggooien, we moesten alleen even kijken of uw mailadres nog bestond/gebruikt wordt. ideaal!

ik onderhoud een mailinglijst, maar ondertussen zijn daar een paar duizend spamadressen tussengekomen als gevolg van al die klote bots op internet die al je formulieren invullen - ik ga deze vanaf heden beschermen, maar nu wil ik alsnog mijn mailinglijst opschonen

heeft iemand enig idee wat voor systeem/truukje geenstijl gebruikt heeft om die mailadressen te laten testen? is er een script dat automatisch rebound mailadressen opslaat en weggooit ofzo? heeft iemand hier vermoedens over?

[Noork]

Je zou b.v. een image in de mail kunnen gooien met iets als image.php?email=[e-mail]. Echter werkt dit niet 100%, je krijgt dan alleen de informatie over werkende emailadressen waarvan 1) de mail is geopend en 2) de mailclient html ondersteund en 3) afbeeldingen/html niet wordt geblokkeerd.

[Kalentum]

Ik gebruik om mailings te versturen PHPlist en daar zit bounce handling in. Na een aantal keer bouncen wordt iemand op inactief gezet en gaat er geen mail meer heen.

[sub0kelvin]

Alle adressen die bouncen opvangen en het bijbehorende adres wegdonderen is inderdaad een vaak toegepaste methode (al is speciaal daar een mailtje voor sturen wel een beetje overdreven, je kunt ook de bounces op je reguliere mailings gebruiken natuurlijk).

Wat spammers wel gebruiken om te kijken of een adres nog gebruikt wordt is het includen van een (1px) plaatje met een unieke ID welke gekoppeld is aan dat e-mailadres. En dat dan loggen en indien niet binnen X dagen/weken het plaatje is gedownload het adres verwijderen. Dat werkt tegenwoordig niet goed meer omdat de meeste e-mailclients externe afbeeldingen e.d. standaard blokkeren.

edit:
* sub0kelvin is traag

[ Voor 3% gewijzigd door sub0kelvin op 09-02-2009 11:05 ]

[posttoast]

Zoek anders eens op VERP.

[xtra]

Eigenlijk is het vrij simpel. Stuur een mail en als hij terug komt is er een probleem met het adres. Het mooiste is als je dit met een uniek SMTP-from adres kunt doen. Dan voorkom je dat iemand die op reply drukt er ook uit wordt gegooid.

Er zijn componentjes (bijv. Chilkat) die kijken om wat voor soort bounce het gaat. (Bestaat niet, mailbox vol etc.)

Houdt er wel rekening mee dat als je naar 100 niet bestaande hotmail-adressen mailt de kans groot is dat de mailtjes aan de goede hotmail-adressen ook niet meer aankomen of dat je zelfs helemaal op een blacklist komt.

Dit zou je moeten toepassen bij iedere mailing die je stuurt. Je houdt dan gewoon een schoon bestand.

[swtimmer]

Je zou ook gewoon netjes een bij het aanmelden op de nieuwbrief eerst een mail moeten sturen waarop mensen moeten klikken om het te "confirmen". Scheelt enorm in het aantal foutieve email adressen in je lijst!

[JJerome]

swtimmer schreef op maandag 09 februari 2009 @ 11:08:
Je zou ook gewoon netjes een bij het aanmelden op de nieuwbrief eerst een mail moeten sturen waarop mensen moeten klikken om het te "confirmen". Scheelt enorm in het aantal foutieve email adressen in je lijst!

Het kan natuurlijk ook zijn dat eerder geverifieerde e-mailadressen inmiddels zijn verwijderd.

[assass]

swtimmer schreef op maandag 09 februari 2009 @ 11:08:
Je zou ook gewoon netjes een bij het aanmelden op de nieuwbrief eerst een mail moeten sturen waarop mensen moeten klikken om het te "confirmen". Scheelt enorm in het aantal foutieve email adressen in je lijst!

dit is idd een simpele, maar zeer effectieve manier om te zorgen dat je mailinglist zuiver is - deze optie heb ik ondertussen ingebouwd, maar nu moet ik nog de duizenden oude fouten adressen zuiveren

[swtimmer]

Je zou eenmalig een mailing kunnen versturen met de vraag of ze alsnog willen confirmen?

[CH4OS]

swtimmer schreef op maandag 09 februari 2009 @ 12:05:
Je zou eenmalig een mailing kunnen versturen met de vraag of ze alsnog willen confirmen?

En wat voor tijdsspanne geef je dan waarbinnen mensen gereageerd moeten hebben, vooraleer de opschoonactie plaats gaat vinden? Anders heb je er nog niets aan natuurlijk.

[ Voor 6% gewijzigd door CH4OS op 09-02-2009 12:34 ]

[TommyGun]

swtimmer schreef op maandag 09 februari 2009 @ 12:05:
Je zou eenmalig een mailing kunnen versturen met de vraag of ze alsnog willen confirmen?

Inderdaad. Mailtje naar iedereen:

"Wegens een opschoonactie is uw e-mail adres verwijderd en ontvangt u daardoor geen nieuwsbrief meer. U kunt u opnieuw aanmelden door simpelweg naar $site te gaan / een mailtje te sturen naar $adres. Onze excuses voor het ongemak."

Vervolgens alle e-mail adressen verwijderen. Als ze echt die nieuwsbrief of whatsoever willen dan komen ze heus wel opnieuw aanmelden, vooral als je een simpele kant-en-klare link meegeeft. (Natuurlijk wel iets met Captcha oid).

[posttoast]

TommyGun schreef op maandag 09 februari 2009 @ 12:42:
[...]


Inderdaad. Mailtje naar iedereen:

"Wegens een opschoonactie is uw e-mail adres verwijderd en ontvangt u daardoor geen nieuwsbrief meer. U kunt u opnieuw aanmelden door simpelweg naar $site te gaan / een mailtje te sturen naar $adres. Onze excuses voor het ongemak."

Vervolgens alle e-mail adressen verwijderen. Als ze echt die nieuwsbrief of whatsoever willen dan komen ze heus wel opnieuw aanmelden, vooral als je een simpele kant-en-klare link meegeeft. (Natuurlijk wel iets met Captcha oid).

En die Captcha hoeft dan juist niet meer, omdat je dit keer wel om bevestiging vraagt

[Kalentum]

Als je mensen opnieuw laat aanmelden loop je de kans dat je veel leden kwijt raakt, domweg omdat ze het mailtje niet lezen, niet op de link klikken, niet reageren. Eigen schuld van die mensen misschien, maar toch ben je ze dan kwijt.
Bovendien zul je die opschoonactie dan regelmatig moeten houden. Emailadressen kunnen ophouden te bestaan en voordat je het weet heb je weer teveel ongeldige emailadressen.

[doeternietoe]

Misschien is het een idee om met verschillende lijsten te werken:

-een lijst met e-mailadressen waarvan je in weet dat ze werken. Deze lijst zou je kunnen vullen door de methode van een plaatje in je html-mail plaatsen met in de naam een uniek ID. Achter dit plaatje zit dan in werkelijkheid een php-script dat gegevens naar je database schrijft. Je kunt ook links in je e-mail zetten met hetzelfde unieke ID en hopen dat mensen deze aanklikken. In de trant van: "voor meer informatie klik".
-een lijst met e-mailadressen die niet aankomen. Hier zet je de adressen in die "bouncen"
-een lijst met twijfelgevallen. Hier zitten alle e-mailadressen in totdat één van de bovenstaanden kan worden aangetoond. Als je na een wat langere termijn nog steeds geen duidelijkheid over het bestaan van die adressen hebt, zou je een e-mail kunnen sturen waarin mensen gevraagd wordt om zich opnieuw te verifiëren.

Het voordeel is dat je enerzijds mensen met een e-mailadres waarvan je weet dat het bestaat niet lastig valt met een e-mail om zich opnieuw te verifiëren en anderzijds niet bestaande e-mailadressen niet onnodig zo'n mail stuurt.

Jammer genoeg hebben spammers de mogelijkheden voor dergelijke controle grondig verpest. De meeste e-mailprogramma's proberen te voorkomen dat spammers registreren kunnen of een mailadres nog wel gelezen wordt. Om dit nog enigszins te kunnen voorkomen zou je het unieke ID het beste niet als GET parameter kunnen meegeven, maar deze beter gewoon in de URL zetten en dan met behulp van rewrite/multiview kunnen uitlezen. Je plaatjes hebben dan zeg maar niet deze link: "http://domain.tld/emptyPicture.php?ID=15" maar "http://domain.tld/emptyPicture/15.jpeg". Hetzelfde geldt voor links die je in e-mails plaatst.

Je gaat altijd een grote groep "twijfel" overhouden, maar daar ontkom je niet aan, helaas.

Misschien moet je gewoon accepteren dat je een aantal e-mails voor niets verstuurt.

[markvt]

Je kan je hele lijst valideren op de mx dan weet je of het "adres" kan bestaan.

Daarnaast de hele lijst langs een dns check halen
- bestaat het domein
- is er een mx record voor het domein

[CH4OS]

markvt schreef op maandag 09 februari 2009 @ 13:09:
Je kan je hele lijst valideren op de mx dan weet je of het "adres" kan bestaan.

Daarnaast de hele lijst langs een dns check halen
- bestaat het domein
- is er een mx record voor het domein

Wat imo allemaal veel omslachtiger is dan gewoon een mailtje te sturen, met een link er in om te valideren, dan weet je bovenstaande ook en je weet 100% zeker dat de mailbox (nog) bestaat.

[markvt]

GJtje schreef op maandag 09 februari 2009 @ 13:13:
[...]
Wat imo allemaal veel omslachtiger is dan gewoon een mailtje te sturen, met een link er in om te valideren, dan weet je bovenstaande ook en je weet 100% zeker dat de mailbox (nog) bestaat.

Het nadeel van mailtjes sturen is de gigantische load die je gaat maken op niet meer bestaande domeinen etc. vind a je eigen mailserver niet leuk en de dns ook niet bepaald. Gezien de retries etc. als je van te voren al kan deleten op slechte domeinnamen gaat de mailingsactie een stuk sneller.

[doeternietoe]

GJtje schreef op maandag 09 februari 2009 @ 13:13:
[...]
Wat imo allemaal veel omslachtiger is dan gewoon een mailtje te sturen, met een link er in om te valideren, dan weet je bovenstaande ook en je weet 100% zeker dat de mailbox (nog) bestaat.

Veel mensen zullen afhaken als ze opnieuw moeten valideren, anderen zullen precies dit ene mailtje niet lezen en zich afvragen waar de nieuwsbrief is gebleven, andere mensen snappen niet wat valideren is, etc.

Als je een whitelist kunt bouwen van adressen die zeker bestaan, zonder daarvoor mensen weer door een validatieproces te sturen(catchpa, etc), dan is dat toch veel gebruiksvriendelijker?

En als je andere adressen zo kunt afschrijven omdat je zonder validatieproces al zeker weet dat ze terug komen, of omdat je zo al kunt detecteren dat er geen dns-record voor bestaat, dan doe je dat toch gewoon?

Het is voor jezelf misschien het simpelst om alle mensen opnieuw te laten valideren, maar besef wel dat je nu van een groot aantal mensen(honderden, duizenden, tienduizenden?) allemaal stuk voor stuk vraag om moeite te doen, zodat jij ze kunt blijven informeren via de mail. De gemiddelde internetten wil maar bar weinig moeite ergens voor doen. Je gaat dus onnodig mensen kwijtraken.

Overigens, het is imho ook niet zo heel erg om een aantal e-mails te versturen die nooit worden gelezen, probeer alleen die hoeveelheid zo veel mogelijk te beperken.

[ Voor 18% gewijzigd door doeternietoe op 09-02-2009 13:21 ]

[Creepy]

posttoast schreef op maandag 09 februari 2009 @ 11:04:
Zoek anders eens op VERP.

En vergeet AUB dit niet. VERP is de techniek om bounces op te kunnen vangen en verwerken. Zo kan je vrij snel alle harde bounces uit je bestand verwijderen. Overigens is het niet slim om bounces nooit te verwerken. Dus als je dat nog nooit hebt gedaan begin daar dan aub zo snel mogelijk mee. Hoe meer foute adressen je hebt hoe meer dit gaan inwerken op je mailreputatie en hoe slechter de aflevering wordt.

[ Voor 29% gewijzigd door Creepy op 09-02-2009 14:22 ]

[mocean]

Ik zou me niet druk maken om paar-duizend bounces, en ze lekker naar een apart adres laten gaan, of filteren. Je gaat je abonnees toch niet lastig vallen met een validatie-mail met de kans dat je geldige adressen kwijtraakt?

De bounce box kan je vervolgens om de zoveel tijd gebruiken om evt mensen te filteren en uit je list te halen, maar zoveel load veroorzaakt een bounce nu ook weer niet.

[RobIII]

mocean schreef op maandag 09 februari 2009 @ 14:23:
Ik zou me niet druk maken om paar-duizend bounces, en ze lekker naar een apart adres laten gaan, of filteren. ...
maar zoveel load veroorzaakt een bounce nu ook weer niet.

Nee, maar je staat wel eerder op een blacklist