[php] bot proggen

[Bartholomew]

is het mogelijk om met php een bot te schrijven die zelf het internet gaat afstruinen? op zoek naar bijvoorbeeld plaatjes met een breedte van min. 10 pixels en max. 20 pixels om maar eens iets 'zinnigs' te noemen.

De bot moet een beginpunt krijgen (bv: tweakers.net) en dan zelf kijken welke links er op die pagina staan en er daar een van volgen of misschien zelfs wel meerdere tegelijk volgen.

Maar hoe kan je dat doen? misschien met cURL de pagina inladen en dan zoeken op <a href=link.html> en dan die link volgen? wat als er als link ../pagina.html staat?

Een bot is een erg intressant concept maar is het ook te maken in php.

[Janoz]

Dat kan wel, maar php is niet echt de meest geschikte taal hiervoor. Dat kun je beter in een andere taal oplossen..

[ACM]

Op donderdag 24 januari 2002 22:30 schreef Bartholomew het volgende:
De bot moet een beginpunt krijgen (bv: tweakers.net) en dan zelf kijken welke links er op die pagina staan en er daar een van volgen of misschien zelfs wel meerdere tegelijk volgen.

Let wel dat veel sites dit juist niet leuk vinden.
Bijv. elke spider/bot die ons (echt) opvalt (af en toe eentje die 1.5M views genereerd ofzo) krijgt zsm een ip-ban van ons...

[Bartholomew]

Op donderdag 24 januari 2002 22:31 schreef Janoz het volgende:
Dat kan wel, maar php is niet echt de meest geschikte taal hiervoor. Dat kun je beter in een andere taal oplossen..

welke taal dan? perl? ik ben eigenlijk alleen een beetje thuis in php. En het voordeel van php is dat ik dat script gewoon op mn webserver kan zetten en dat ie dan lekker altijd aan het grasduinen is ;-)

[Bartholomew]

Op donderdag 24 januari 2002 22:35 schreef ACM het volgende:

[..]

Let wel dat veel sites dit juist niet leuk vinden.
Bijv. elke spider/bot die ons (echt) opvalt (af en toe eentje die 1.5M views genereerd ofzo) krijgt zsm een ip-ban van ons...

Ik wil ook het liefst dat mn bot eenmaal op een site zo snel mogelijk een link vindt om naar een volgende site te gaan.

[ACM]

Op donderdag 24 januari 2002 22:35 schreef Bartholomew het volgende:
welke taal dan? perl? ik ben eigenlijk alleen een beetje thuis in php. En het voordeel van php is dat ik dat script gewoon op mn webserver kan zetten en dat ie dan lekker altijd aan het grasduinen is ;-)

php, perl, java, c, c++, C#

whatever, ze kunnen allemaal wel. Let er wel op dat je dit wel standalone draait (dus vanuit een console starten ofzo).

[Bartholomew]

verder niemand ideeen over waar ik zou kunnen beginnen om de bot tot leven te wekken?

[Verwijderd]

hoe zou ik het aanpakken:

een java programma, pagina's inlezen met een simpele stream.

Zoeken naar de inhoud die je wilt, oplslaan in een database,
de url's naar andere pagina's met een regexp er uit halen, en met een recursieve functie die url's weer aflopen en dit verhaal herlalen.

en dan lijkt het mij handig om een maximaal aantal niveaus aan te geven die je wilt afzoeken, anders blijft het prog aan de gang

[Bartholomew]

Op donderdag 24 januari 2002 22:56 schreef SurfingFromAM2PM het volgende:
hoe zou ik het aanpakken:

en dan lijkt het mij handig om een maximaal aantal niveaus aan te geven die je wilt afzoeken, anders blijft het prog aan de gang

ik wil juist dat ie doorgaat tot ik em stop, ben benieuwd wat voor leven zo,n bot dan gaat leven, waar die terecht komt en wat ie tegenkomt ...

[jelmervos]

Begin bij Google, zoek op PORNO.

Heeft je bot iig een goede kans van overleven.

[Verwijderd]

Dit?

[Verwijderd]

http://www.cs.huji.ac.il/~gabrielo/atti/project1/proj1.html

Java Bot

[Bartholomew]

Op vrijdag 25 januari 2002 00:05 schreef MarcoTC het volgende:
Dit?

JA! kewl! thanx ...

[Verwijderd]

Op donderdag 24 januari 2002 22:31 schreef Janoz het volgende:
Dat kan wel, maar php is niet echt de meest geschikte taal hiervoor. Dat kun je beter in een andere taal oplossen..

Perl bijvoorbeeld (jeetje het wordt wel steeds erger met mij )