[Python regexp] E-mail adres filteren uit tekst.

[DeMoN]

Ik ben bezig met een e-mail harvester. Begrijp me goed, niet om te spammen Maar puur om van te leren Is gewoon grappig.

Ok, nu is het zo dat mijn programma een source van een site uitleest.. die source doorkijkt en de e-mail adressen netjes onder elkaar uitspuugt.

Het werkt bijna helemaal. Losse mailadressen e.d. heb ik er zo uit.. ik loop pas tegen de problemen aan bij bijv dit:

<a href="mailto:[e-mail]">test account e-mail</a>

Ik wil dus dat mijn programma dmv een regexp [e-mail] kan filteren

Om snel te kijken of ik een goede regexp heb geschreven gebruik ik het programma kodos Wat zeer lekker is

Hiermee heb ik bijv dit al gemaakt, en wat dus ook lijkt de matchen:

code:

(?<=\<a href\=\"mailto\:).+@[a-zA-Z0-9_-]+.[a-zA-Z]{2,4}

Maar als ik dat dan in mijn python code als regexp zegt dmv een re.compile("(?<=\<a href\=\"mailto\:).+@[a-zA-Z0-9_-]+.[a-zA-Z]{2,4}") en match werkt het niet.

Terwijl het me wel lukt om adressen zoals
[e-mail],
[e-mail]
[e-mail]>
test(at)test.com

Te filteren met natuurlijk weer andere regexpjes

Waarom pakt hij deze niet? Terwijl kodos aangeeft dat ie wel matched? Ik heb het gevoel dat je hem nog mee moet geven dat als hij bij de " komt uit de <a href="mailto:[e-mail]"> (die laatste " dus) dat ie moet stoppen met matchen en dat hij de string dat ie tot dat moment heeft gevonden moet opslaan.
Ben ik zo duidelijk genoeg? Erg makkelijk te verwoorden is het niet

Ik heb btw al erg veel gegoogeld en op GoT gezocht. Heb opzich lekker geleerd hoe regexpjes nu ongeveer werken maar hier kom ik toch niet helemaal uit

[Tiny]

Je kijkt alleen naar het domein, en niet wat er voor het apenstaartje staat.

[DeMoN]

PencakSilat schreef op woensdag 09 maart 2005 @ 16:33:
Je kijkt alleen naar het domein, en niet wat er voor het apenstaartje staat.

Dat klopt iid. Dat moet ook zo van mij.
Hij pakt als het goed is nu alles wat achter de : van <a href="mailto: komt en voor de @ komt.
Maar wat wil je er verder mee zeggen

Nu zou hij ook bijv:
[e-mail] pakken bijv. Maar dat is niet erg

Waar ik mee zit is dat nu mijn programma NIKS aan output geeft.
Ik probeer dit dus uit te lezen: http://ezeeman.demon.nl/files/mailtest.html

[ Voor 29% gewijzigd door DeMoN op 09-03-2005 16:48 ]

[DeMoN]

Kick...

[DeMoN]

Kick.. again

[DeMoN]

Toch nog maar eens een kickje. Ik ben er nog niet uit..

[ Voor 4% gewijzigd door DeMoN op 13-03-2005 18:40 ]

[Verwijderd]

Ik heb ff voor je geknutseld en ik kom tot het volgende:

Python:

>>> import re
>>> p = re.compile(r"<a.+?href\=\"mailto\:(.*?)\".*?>")
>>> m = p.match('<a href="mailto:[e-mail]">test account e-mail</a>')
>>> m.group(1)
'[e-mail]'

De regex is dus <a.+?href\=\"mailto\:(.*?)\".*?>, en je gebruikt hem als raw string. Als je dat wil, kan je nog kijken of er na mailto: wel iets staat wat een e-mail adres zou kunnen zijn.

Ik kan het niet helemaal overzien, maar ik denk inderdaad dat je vergeten bent een "stop" aan je regex toe te voegen.

[DeMoN]

Verwijderd schreef op zondag 13 maart 2005 @ 18:58:
Ik heb ff voor je geknutseld en ik kom tot het volgende:

Python:

>>> import re
>>> p = re.compile(r"<a.+?href\=\"mailto\:(.*?)\".*?>")
>>> m = p.match('<a href="mailto:[e-mail]">test account e-mail</a>')
>>> m.group(1)
'[e-mail]'

De regex is dus <a.+?href\=\"mailto\:(.*?)\".*?>, en je gebruikt hem als raw string. Als je dat wil, kan je nog kijken of er na mailto: wel iets staat wat een e-mail adres zou kunnen zijn.

Ik kan het niet helemaal overzien, maar ik denk inderdaad dat je vergeten bent een "stop" aan je regex toe te voegen.

Hm ok dan
Bedankt..
Ik zie ook meteen dat jij heel anders met die regexpjes in Python omgaat. Ik doe het een stuk simpeler. group() heb ik bijv. nooit gebruikt..
Hier een stukje code:

Python:

def ScanSiteSourceForAddresses(sitesourcescan_l):
    global re
    #maak een string van de site source
    sourcetoscan = str(sitesourcescan_l)
    #wat moet er gefilterd worden? flikker dat in een list
    regexpList = (re.compile("HIEREENREGEXPNAARWENS"),re.compile("HIERNOGEENTJE"),re.compile("ENZ.."))
    #define alvast addresslist
    addresslist = ""
    #scan elke line van sourcetoscan per block..
    for line in sourcetoscan.split():
        #check of een block matched met een regexp in de regexplist
        for re in regexpList:
            match = re.match(line)
            #voeg de matchende line toe als het een match is
            if match:
                addresslist = addresslist + line + "\n"                         
    #return de hele addressList... misschien handig voor 'future use'
    print "Done."
    return addresslist

Maar ik klooi wel even verder. Zal nog even wat beter kijken naar hoe je effectiever met regexps kan omgaan in Python.
Tips zijn altijd welkom natuurlijk, ik programmeer nog niet zo lang

[Verwijderd]

Hier is een goede tutorial over Python en regular expressions.

http://diveintopython.org/regular_expressions/index.html

succes

[DeMoN]

Verwijderd schreef op maandag 14 maart 2005 @ 09:57:
Hier is een goede tutorial over Python en regular expressions.

http://diveintopython.org/regular_expressions/index.html

succes

Nog bedankt!
Dit ga ik zeker 'bestuderen'

[ Voor 3% gewijzigd door DeMoN op 14-03-2005 13:23 ]

[Johannes]

DeMoN schreef op zondag 13 maart 2005 @ 20:39:
[...]


Hm ok dan
Bedankt..
Ik zie ook meteen dat jij heel anders met die regexpjes in Python omgaat. Ik doe het een stuk simpeler. group() heb ik bijv. nooit gebruikt..
Hier een stukje code:

Python:

def ScanSiteSourceForAddresses(sitesourcescan_l):
    global re
    #maak een string van de site source
    sourcetoscan = str(sitesourcescan_l)
    #wat moet er gefilterd worden? flikker dat in een list
    regexpList = (re.compile("HIEREENREGEXPNAARWENS"),re.compile("HIERNOGEENTJE"),re.compile("ENZ.."))
    #define alvast addresslist
    addresslist = ""
    #scan elke line van sourcetoscan per block..
    for line in sourcetoscan.split():
        #check of een block matched met een regexp in de regexplist
        for re in regexpList:
            match = re.match(line)
            #voeg de matchende line toe als het een match is
            if match:
                addresslist = addresslist + line + "\n"                         
    #return de hele addressList... misschien handig voor 'future use'
    print "Done."
    return addresslist

Maar ik klooi wel even verder. Zal nog even wat beter kijken naar hoe je effectiever met regexps kan omgaan in Python.
Tips zijn altijd welkom natuurlijk, ik programmeer nog niet zo lang

Paar dingetjes:

• 'global re' zou je niet moeten gebruiken. Python zoekt automatisch in de global scope als een variabele niet in de local scope gevonden kan worden (simpel gezegd). Alleen als je een globale variable wil wijzigen is het nodig om 'global' te gebruiken. Je doet dat hier ('re in regexpList'), maar het is een beter idee om de 're' module niet te overriden, om verwarring te voorkomen. Verander 're in regexpList' dus bijv. in 'regexp in regexpList'.
• Waarom 'str' over je source? Wat pass je eigenlijk aan deze functie?
• Waarom zoek je regel voor regel? Kijk eens naar re.findall().
• Als je regel voor regel blijft zoeken; matches kun je het beste bij houden door middel van een list: 'addresslist = ""' -> 'addresslist = []' en 'addresslist = addresslist + line + "\n"' -> 'addresslist.append(line)'. En dan aan het einde "\n".join(addresslist). String concatenation is redelijk langzaam in Python. Overigens zou ik zelf gewoon een list teruggeven en dan de callende functie iets er mee laten doen.

[DeMoN]

Johannes schreef op maandag 14 maart 2005 @ 17:16:
[...]

Paar dingetjes:

• 'global re' zou je niet moeten gebruiken. Python zoekt automatisch in de global scope als een variabele niet in de local scope gevonden kan worden (simpel gezegd). Alleen als je een globale variable wil wijzigen is het nodig om 'global' te gebruiken. Je doet dat hier ('re in regexpList'), maar het is een beter idee om de 're' module niet te overriden, om verwarring te voorkomen. Verander 're in regexpList' dus bijv. in 'regexp in regexpList'.
• Waarom 'str' over je source? Wat pass je eigenlijk aan deze functie?
• Waarom zoek je regel voor regel? Kijk eens naar re.findall().
• Als je regel voor regel blijft zoeken; matches kun je het beste bij houden door middel van een list: 'addresslist = ""' -> 'addresslist = []' en 'addresslist = addresslist + line + "\n"' -> 'addresslist.append(line)'. En dan aan het einde "\n".join(addresslist). String concatenation is redelijk langzaam in Python. Overigens zou ik zelf gewoon een list teruggeven en dan de callende functie iets er mee laten doen.

Zeer goede tips
Ik gooi mijn programma binnenkort ff om
btw.. die global re (je eerste puntje) die moest ik wel gebruiken omdat hij anders heel re niet herkende terwijl hij wel in de import zit
Ik heb btw die 'str' over de source gewoon weggelaten nu. Had de indruk dat dat nodig was om die source uit te kunnen lezen

Ik ben alweer wat verder... nogmaals thx

[DeMoN]

Ok, ik heb mijn programma nu wat bijgesteld.

Maar hij wil nog steeds die mailto links niet pakken... heeft dit dus gewoon te maken doordat ik perse group() moet gebruiken?

Ik denk niet dat dat gaat lukken om te doen omdat ik een functie heb waar een regexplist wordt toegekend.
Zelfs als ik de hele mailto source tag in een rawstr zet vind ie em niet!
Wat ie dus wel zou moeten vinden want het staat gewoon hierin:
http://ezeeman.demon.nl/files/mailtest.html

Python:

def RegExps():
    rawstr = """<a href="mailto:[e-mail]">test account e-mail</a>"""
    regexplist = (re.compile("^.+(@)[a-zA-Z0-9]+(.)[a-zA-Z0-9]{2,4}$"), #voor normale adressen
                  re.compile("^.+\\@(\\\[?)[a-zA-Z0-9\\-\\.]+\\.([a-zA-Z]{2,4}|[0-9]{1,3})(\\]?)(,?)(;?)$"),  #voor normale adressen
                  re.compile(r"<a.+?href=\"mailto:(.*?)\".*?>"), #ook voor mailto adressen (werkt ook niet)
                  re.compile(rawstr)) #checkt voor de test op de hele mailto tag maar werkt ook niet!

Hoe wil ik dit nou ooit nog voor elkaar krijgen
Die normale adressen werken perfect.. ([e-mail] etc..)

[Verwijderd]

Ehm, waarom staat die laatste regel in je code? <a href="mailto:[e-mail]">test account e-mail</a> is volgens mij geen regexp (strict natuurlijk wel, maar het is compleet zinloos ). Wat doe je vervolgens met regexplist? Hij werkt namelijk ècht!

[DeMoN]

Verwijderd schreef op woensdag 16 maart 2005 @ 18:52:
Ehm, waarom staat die laatste regel in je code? <a href="mailto:[e-mail]">test account e-mail</a> is volgens mij geen regexp (strict natuurlijk wel, maar het is compleet zinloos ). Wat doe je vervolgens met regexplist? Hij werkt namelijk ècht!

Ik heb em gewoon helemaal toegevoegd.. en ook dan wil hij hem niet pakken.
Puur voor de test dus en om bijv. jou te laten zien dat het nu nog niet werkt

Heel simpel gezegd ben ik er nu achter wat mijn probleem is.
Mailadressen die als volgt in een source van een html page staan zijn geen probleem:

code:

yadayadayadayadayadayada [e-mail] yadayadayadayadayadayada

Staat het echter ook alleen maar zo:

code:

yadayadayadayadayadayada<br>[e-mail]<br>yadayadayadayadayad

Werkt het niet meer.

M.a.w. hij kan geen mailadressen filteren die aan een tekst vast zitten gekoppeld. Daarom krijgt hij ook <a href="mailto:[e-mail]">click4mail</a> niet te pakken.

Waarom dit is, weet ik niet en is eigenlijk de hoofdvraag van dit topic.. want zoals je kan zien op de img uit mijn startpost (deze) is mijn regexp wel goed zeg maar

Anders wil ik ook wel ff mijn code posten op verzoek

[ Voor 12% gewijzigd door DeMoN op 16-03-2005 19:45 ]

[Verwijderd]

DeMoN schreef op woensdag 16 maart 2005 @ 19:43:
[...]

Anders wil ik ook wel ff mijn code posten op verzoek

Heel graag

[DeMoN]

Verwijderd schreef op woensdag 16 maart 2005 @ 19:59:
[...]


Heel graag

Hou in gedachten dat dit een van mijn eerste programma's is
Als je hem runned zal je er btw achter komen dat veel dingen ff niet werken als het moet. Zoals dat je een URL kan ingeven om te scannen e.d. Dat heb ik tijdelijk ff hardcoded gezet omdat dit sneller testen is (net zoals de maillist op je HDD opslaan e.d.)

Als je de code gaat bekijken kan je het beter ff in een goede IDE pasten want zo te zien heeft GoT nog geen syntaxhighlighting voor Python en er zit nogal wat commentaar in wat op deze manier wel irritant kan zijn

edit: CODE FF WEG.. CHECK 2 POSTS HIERONDER DAAR STAAT HET DUIDELJKER

al die regexps bij elkaar ziet er wel als een zooi uit maar ook wel weer tof.. (ze kloppen ook nog lang niet allemaal maar het gaat erom dat die mailto dingen enzo ff werken de rest kan ik zelf wel

[ Voor 110% gewijzigd door DeMoN op 18-03-2005 09:46 ]

[Johannes]

DeMoN schreef op maandag 14 maart 2005 @ 17:27:
[...]


Zeer goede tips
Ik gooi mijn programma binnenkort ff om
btw.. die global re (je eerste puntje) die moest ik wel gebruiken omdat hij anders heel re niet herkende terwijl hij wel in de import zit

Dat kwam dus doordat je ook een lokale variable had die je 're' had genoemd. Je kreeg waarschijnlijk een UnboundLocalError: local variable 're' referenced before assignment. Nu je 're' hebt hernoemd is 'global re' ook niet meer nodig.

DeMoN schreef op woensdag 16 maart 2005 @ 19:43:
[...]

M.a.w. hij kan geen mailadressen filteren die aan een tekst vast zitten gekoppeld. Daarom krijgt hij ook <a href="mailto:[e-mail]">click4mail</a> niet te pakken.

In de regexps die je gebruikt om dit soort adressen te matchen ('<a.+?href=\"mailto:(.*?)\".*?>' en '(?<=<a href=\"mailto:).+@[a-zA-Z0-9_-]+.[a-zA-Z]{2,4}') is er geen wildcard (.* ervoor, bijvoorbeeld) gedefinieerd voordat je bij de <a href aankomt. Deze matchen (zie ook http://docs.python.org/lib/matching-searching.html) dus sowieso niet als er überhaupt iets voor de <a href staat. Nou heb ik niet getest of ze dan wel werken, maar re.search() of re.findall() gebruiken zal je in ieder geval weer een stukje dichter bij brengen.

[DeMoN]

Johannes schreef op vrijdag 18 maart 2005 @ 00:08:
[...]

Dat kwam dus doordat je ook een lokale variable had die je 're' had genoemd. Je kreeg waarschijnlijk een UnboundLocalError: local variable 're' referenced before assignment. Nu je 're' hebt hernoemd is 'global re' ook niet meer nodig.

Jup Dat was idd precies wat ik toen had

In de regexps die je gebruikt om dit soort adressen te matchen ('<a.+?href=\"mailto:(.*?)\".*?>' en '(?<=<a href=\"mailto:).+@[a-zA-Z0-9_-]+.[a-zA-Z]{2,4}') is er geen wildcard (.* ervoor, bijvoorbeeld) gedefinieerd voordat je bij de <a href aankomt. Deze matchen (zie ook http://docs.python.org/lib/matching-searching.html) dus sowieso niet als er überhaupt iets voor de <a href staat. Nou heb ik niet getest of ze dan wel werken, maar re.search() of re.findall() gebruiken zal je in ieder geval weer een stukje dichter bij brengen.[/quote]

Aha
Btw, heb hier een minicode ff snel gemaakt.. kan je goed zien wat er nu niet werkt:

Python:

import re

siteurl = "http://ezeeman.demon.nl/files/mailtest.html"
source = urllib.urlopen(siteurl).read()

regexplist = (re.compile("[e-mail]"),
              re.compile(r"<a href=\"mailto:[e-mail]\">test account e-mail</a>"))

addresslist = []
for line in source.split():
    for regexp in regexplist:
        match = regexp.match(line)
        if match:
            addresslist.append(line)
            "\n".join(addresslist)
print addresslist

_output:

code:

>>> 
['[e-mail]']

Nu zie je dat '[e-mail]' gewoon op die site staat, los van andere chars en zo en die matched ook gewoon. Ik heb hier expres ff geen regexps gebruikt alleen voor het voorbeeld en om te laten zien dat hij gewoon matched.
Maar nu zie je ook dat '<a href="mailto:[e-mail]">test account e-mail</a>' gewoon los terug te vinden is op de site en ook die probeer ik hier te matchen dmv hem gewoon op de regexp zelf te laten zoeken.
In feite niks anders dan die [e-mail] alleen werkt die mailto dan weer niet

Ik heb met .* gespeeld, maar dat wil ook niet werken.
En aangezien ik een regexplist heb zou ik niet weten hoe ik dit kan combineren met een re.findall() of een re.search() .. dat gaat afaik zoals ik lees op internet wel perfect als je hem met één regexp wil laten matchen maar ik gebruik natuurlijk een hele regexplist zoals je kan zien

Pff valt niet mee om uit te leggen
Maar iemand nog een opzetje voor mij? Ik ben er bijna

[ Voor 21% gewijzigd door DeMoN op 18-03-2005 09:54 ]

[DeMoN]

Hooray \o/

Mensen, onwijs bedankt voor uw hulp!
Ik ben eruit. Zo moeilijk was het achteraf niet meer, ik vermeldde al dat ik er bijna was
Oplossing:

code:

import re

siteurl = "http://ezeeman.demon.nl/files/mailtest.html"
source = urllib.urlopen(siteurl).read()

regexplist = ('<a.+?href=\"mailto:(.*?)\".*?>', '[a-zA-Z0-9]+@[a-zA-Z0-9]+.\.[a-zA-Z]{2,4}')
                
for regexp in regexplist:
    match = re.findall(regexp, source)
    print match

_output

code:

>>> 
['[e-mail]']
['[e-mail]', '[e-mail]', '[e-mail]', '[e-mail]', '[e-mail]', '[e-mail]', '[e-mail]', '[e-mail]']

Dit nu dus ff netjes in mijn hoofdprogramma inbouwen (waar o.a. een doublefilter en de hele mikmak nog over de list heen wordt gehaald )
Veel geleerd weer.
Zie je nog onvolkomenheden of heb je tips, mag je het posten... ik leer graag zo veel mogelijk

[ Voor 24% gewijzigd door DeMoN op 18-03-2005 12:22 ]