Website indexeren en grafisch structuur weergeven *

[keluwak]

Ik ben op zoek naar een programma wat links uit een webpagina kan extracten tot in een op te geven aantal levels. Dus op pagina 1 met regular expressies de links eruit filteren, en dan deze links volgen naar die pagina's en daar datzelfde doen. En hiervan dan een boomstructuur..

Ik heb al gezocht op "url extract" "link extract" maar kom niet tot een gewenst resultaat.

Wat er het meeste bij in de buurt kom zijn nog oplossingen als dit http://www.iwebtool.com/link_extractor of http://www.webmaster-toolkit.com/link-extractor.shtml
maar ik wil graag geatomatiseerd een aantal levels diep.

Iemand hier nog een goed idee?

[ Voor 15% gewijzigd door keluwak op 19-03-2008 21:17 ]

[Verwijderd]

wget

Verder vraag ik me af wat je met "levels" bedoelt.

[Pavla]

Verwijderd schreef op woensdag 19 maart 2008 @ 21:10:
wget

Verder vraag ik me af wat je met "levels" bedoelt.

Dat downloaden kan natuurlijk recursief heel vaak doorgaan, met levels bedoelt ie dus dat je kan opgeven tot hoeveel links 'diep' er gedownload moet blijven worden.

Desondanks geloof ik dat hij meer een grafisch overzicht wilt hebben van de urls in een boomstructuur.

[keluwak]

Verwijderd schreef op woensdag 19 maart 2008 @ 21:10:
wget

Verder vraag ik me af wat je met "levels" bedoelt.

wget is niet wat ik bedoelde. Wel heel handig om recursief te downloaden, maar ik wil grafisch overzicht van de url's op een pagina. En dat die links gevolgd worden uit dat overzicht, om ook daar weer een url index van te maken.

windows of linux software maakt overigens niet (veel) uit. Al zou windows software makkelijker zijn, dat draait dan ook op mijn laptop.

[ Voor 4% gewijzigd door keluwak op 19-03-2008 21:25 ]

[keluwak]

*Kick*

Ik heb inmiddels zelf een oplossing bedacht: met php een webcrawler bouwen, en deze zo modificeren dat ik er mee kan doen wat ik wil.

[Spider.007]

Het lijkt me vrij sterk dat je dat gaat lukken kijk liever naar de vele reeds bestaande pakketten zoals het uitstekende web link validator

Url boomstructuur. > Website indexeren en grafisch structuur weergeven *

[keluwak]

Spider.007 schreef op vrijdag 21 maart 2008 @ 09:13:
Het lijkt me vrij sterk dat je dat gaat lukken kijk liever naar de vele reeds bestaande pakketten zoals het uitstekende web link validator

Url boomstructuur. > Website indexeren en grafisch structuur weergeven *

thx voor titelchange. Inderdaad is een bestaand pakket makkelijk, maar ook voor php zijn al bestaande mogelijkheden zoals: http://phpcrawl.cuab.de/example.html.

Ik denk dat het een combinatie gaat worden. Dus zowel een pakket opzoeken als een eigen crawler bouwen. Zo'n project kost me inderdaad wat tijd, maar biedt ook extra mogelijkheden en het lijkt me wel leuk om weer eens wat code te kloppen.