[gezocht] Website search met autodownload

[commeric]

Ik zoek een programma dat bijv bij google zoekt naar de term badjas en dat vervolgens het programma alle pagina's dowload waarvan google een hit geeft.

Ik heb al gezocht om zelf zon programma te maken, maar google checkt op get post geloof ik. Dus het moet in een forum e.d.

edit
Ik gebruik windows.

Dit zegt google over het extern zoeken

Geen Geautomatiseerde Zoekopdrachten
Je mag geen geautomatiseerde zoekopdrachten van welke soort ook naar Google's systeem sturen zonder voorafgegeven nadrukkelijke toestemming van Google. Merk op dat "geautomatiseerde zoekopdrachten" ook elke software omvat die zoekopdrachten naar Google stuurt om te bepalen hoe een website "scoort" bij Google voor verschillende zoekopdrachten.

[ Voor 50% gewijzigd door commeric op 18-03-2003 17:58 ]

[SchizoDuckie]

hahahahahaha

sorry hoor, maar wat dacht je van Wget?

[IceStorm]

Ik snap de bedoeling nauwelijks? Je wilt in een form (gok ik, ipv forum?) een woord invullen en dan moet ie 'alle' pagina's met dat woord compleet downloaden? Downlaoden als wat?

[SyphOn]

IceStorm schreef op 18 March 2003 @ 18:15:
Ik snap de bedoeling nauwelijks? Je wilt in een form (gok ik, ipv forum?) een woord invullen en dan moet ie 'alle' pagina's met dat woord compleet downloaden? Downlaoden als wat?

Als HTML

Hij wil gewoon het hele internet downloaden

[commeric]

SyphOn schreef op 18 March 2003 @ 18:17:
[...]


Als HTML

Hij wil gewoon het hele internet downloaden

You got the point

Dat form was een van de rede waarom een programma het niet deed.

Maar het komt er dus op neer dat ik in een programma invoer badjas. En dat dat programma voor mij opzoek gaat in google naar badjas. En daar alle results download met badjas.

[Zoefff]

Volgens mij kan je dit met teleport pro wel voor elkaar krijgen?

Geef aan dat je als startpagina http://www.google.nl/sear...=UTF-8&oe=UTF-8&hl=nl&lr= (searchstring naar "badjas") gebruikt, en dan alles downloaden tot een bepaald aantal links..

[IceStorm]

SyphOn schreef op 18 March 2003 @ 18:17:
Als HTML
Hij wil gewoon het hele internet downloaden

Ja en dan? Dan zit je met een paar cd's aan relevante pagina's?
En dan?

[Zoefff]

IceStorm schreef op 18 March 2003 @ 18:34:

[...]

Ja en dan? Dan zit je met een paar cd's aan relevante pagina's?
En dan?

Verkopen?

Misschien wilt ie een encyclopedie beginnen ofzo, of een opdracht voor school?

Laten we het aan de topicstarter vragen

[Scatman_II]

commeric2 schreef op 18 March 2003 @ 18:26:
[...]

You got the point

Dat form was een van de rede waarom een programma het niet deed.

Maar het komt er dus op neer dat ik in een programma invoer badjas. En dat dat programma voor mij opzoek gaat in google naar badjas. En daar alle results download met badjas.

Alle results

Maar hoever moettie dan bijvoorbeeld gaan met downloaden? En hoe vaak komt het niet voor dat je >10000 zoniet >100000 hits hebt...
Dat gaat je MB'tjes kosten...

Zoefff schreef op 18 maart 2003 @ 18:38:
[...]
Verkopen?

Misschien wilt ie een encyclopedie beginnen ofzo, of een opdracht voor school?

Laten we het aan de topicstarter vragen

Google op CD Hm, lijkt me wel wat eigelijk

Ik denk trouwens dattie stiekem zelf een zoeksite wil beginnen... Gehost vanaf z'n eigen puter

[edit]
Op het web gezocht naar badjas. Resultaten 1 - 10 van circa 5,870. Zoekbewerking duurde 0.29 seconden.
Mwoah, is nog te doen Maarehm, en dan? ze alle 5800 gaan doorkijken?

[ Voor 39% gewijzigd door Scatman_II op 18-03-2003 18:42 ]

[commeric]

zoals ik al zei wil ik natuurlijk maar een klein deel. En het is idd voor een opdracht voor school over de spaanse burgeroorlog.

[Zoefff]

Heb je nou al naar Teleport Pro gekeken?

Als ik het namelijk ff snel gebruik, dan krijg je zoiets:



Hij gaat dus gewoon alle zoekresultaten downloaden.

Enige waar je nu nog voor moet zorgen, is dat je in de searchstring kan aangeven dat ie 100 resultaten per pagina moet geven, anders geeft ie er nl maar tien...

Ik denk echter persoonlijk dat er wel een makkelijkere manier is om aan je info over de spaanse burgeroorlog kan komen hoor.... maarja, je moet het zelf weten

[ Voor 18% gewijzigd door Zoefff op 18-03-2003 19:50 ]