hoe werkt precies een 'spider' of 'crawler'

[Verwijderd]

Hi,

Ik heb ff de search gebruikt en vond nog geen topic over dit onderwerp (als het wel bestaat, oops! )

In ieder geval,
weet iemand hoe precies een search engine werkt (zoals bijv. www.lycos.com ofzo)
En verder, wat is precies een spider of crawler? En hoe werkt dit?

ps.
weet iemand nog een linkje met info hierover?

[pven]

http://whatis.techtarget.com/