[Java] Crawler om kennis rond website meten

[Verwijderd]

Voor mijn eindwerk ben ik op zoek naar een mogelijkheid om de kennis rond bepaalde website's te testen. Ik wil Java gaan gebruiken om de nodige analyses te kunnen maken.

Voorbeeld:
Ik zoek een bepaalde pagina of item op binnen een bestaande website. Van deze pagina wil ik alle mogelijke links bekomen die hiernaartoe wijzen, vanaf een bepaald punt, zodat ik een lijst met de verschillende paden naar deze link bekom. Hieraan geef ik dan de nodige rating per pad (handmatig).

Nu kan ik aan een gebruiker vragen om dit item op te zoeken, waarvoor ik het pad dat deze aflegt moet gaan vastleggen, zodat ik deze zodoende punten kan gaan geven op doeltreffendheid.

Technisch gezien, lijkt me dit nog wel haalbaar te zijn. Al zit ik toch met een aantal vragen
1) Kan ik de crawler/spider best zelf schrijven of kan ik beter vanaf een bepaald project starten? Het lijkt met niet zo moeilijk om deze zelf te schrijven.. maar ik vind niet dadelijk een goede referentie om als basis te gebruiken. Mss dat iemand een goed framework kent?
2) Simpel ophalen van de links valt nog wel mee denk ik, maar hoe zit het met wizard-like workflow structuren (bvb online betaling van een product, waar toch een aantal formulieren ingevuld moeten worden: next>next>next>finish?
3) OpenSymphony's Clickstream is een goed frameworkje om clicks van een gebruiker te registreren. Maar hoe zal dit werken als ik de handelingen op externe site's wil gaan monitoren? Proxy? ... ? ...

Alle goede tips zijn welkom!!

[-FoX-]

3) Ik denk dat het het gemakkelijkst is als er een client-side tooltje bij de gebruiker geïnstalleerd wordt, die dan de browser actie monitored en cachet (en op bepaalde intervallen naar de server doorstuurt).

Maar ik weet niet of het uberhaupt mogelijk is om te zien welke page een gebruiker opgevraagd heeft