[PHP] Web spider..

[Verwijderd]

Ik ben bezig met het schrijven in PHP van een WEB Spider, die alle URL'S opslaat in een database, ook die van plaatjes, attatchments ed... maar nu zit ik met het volgende probleem

Ik zoek in de webpages op de volgende dingen "<a href=\"dit"> en op [img]"dit"dit"[/img] maar nu krijg ik vaak als ik bv een geocities site spider het volgende probleem..

in de <A HREF staat het volgende <A HREF="/TEST.HTML">blaat</a> nu is dat niet www.geocities.com/test.html maar www.geocities.com/website/test.html maar bij veel sites is dat wel gelinkt aan het 1e domain en niet het subdirretje... hoe kan ik dat uitvinden?..

./index.html kan ik zelf wel uitvinden en een ./../bla/bla.gif ook wel

HLP!

[Ericston]

Snap er niks van.

[chris]

Heeft dat niet iets met basedir te maken (HTML)?

[Verwijderd]

Ik heb een progie die alles url's filtert uit een pagina... (van de a href's en img src's)

voorbeeld:

url = http://www.test.com/bladediebla/index.html

ik lees uit index.html van de a href's de volgende items
"test.html" <-- kan ik begrijpen is filename + url
"links.html" <-- same
"news.html" <-- same
"/main.html" <-- zou logischer wijs test.com/main.html zijn maar stel het is een geocities.com site dan moet het dus test.com/bladediebla/main.html zijn.

en voor de images dit bv.

"/header.jpg" <-- zou logischer wijs test.com/header.jpg zijn maar stel het is een geocities.com site dan moet het dus test.com/bladediebla/header.jpg zijn.
"images/test.jpg" <-- is url + images/test.jpg
"images/blaat.jpg" <-- enzo
"./images/blaat1.jpg" <-- enzo ..

nu begrijp ik de ./ en de dirs/images wel maar niet /main.html hoe kan ik uitvinden of dat wel goed is?. of moet ik dan maar gewoon de hele tree naar beneden gaan scannen?

[Verwijderd]

Op zaterdag 04 mei 2002 17:08 schreef /dev/null het volgende:
Heeft dat niet iets met basedir te maken (HTML)?

zou heel goed kunnen jah... ik begrijp alleen half wat je bedoeld

[Ericston]

Mja, ik snap het.

Wat je zal moeten doen is voor al dat soort Geocities sites een exception maken, immers, deze manier van url's gebruiken is ook een exception (er is geen sprake van standaard behaviour)...

• In je code doen alsof geocities.com/website/ de root is, ipv geocities.com/ ...

• Bij dit soort sites de / negeren als het het eerste karakter van een url is.

Andere mogelijkheden zie ik niet, nu kan je het zelf wel uitvogelen.

[Verwijderd]

Okey dat vat ik wel, een soort rule zou ik er dan voor moeten maken ok!... Ik ga het eens proberen te fixen...tnx

[flat]

edit: looos geblaat

[Verwijderd]

Op zaterdag 04 mei 2002 19:09 schreef Flat© het volgende:
edit: looos geblaat