Progje gezocht om data te verzamelen

[Verwijderd]

k wil voor mijn stage van een bepaalde site data vergaren. De pagina's waar het opstaat kan ik via 2 manieren benaderen:

- via een input vuldje op een site en hierna een submit knop
- via een directe link, deze heb ik al gemaakt in excel.

Ik heb al diverse opties geprobeerd maar ik krijg het niet echt voor elkaar. Hieronder even een overzichtje van wat ik al geprobeerd heb.

- Via workspace macro een routine gemaakt die de website opent vanuit excel hierna de content copy/paste in een ander excel bestand. Daarna in excel een macro uitvoeren die de data wegschrijft.

- Geprobeerd met webscraper en dergelijke programma's om het daarmee werkend te krijgen.

En veel soortgelijke programma's. (in totaal 8 ofzo, dus ik laat het ff bij deze 2) dit is allemaal shareware en de 1e 30 dagen gratis te proberen....

Nu had ik zelf al een oplossing bedacht. Ik moet eigenlijk een programma hebben wat op een geopende site (dit kan ik met workspace macro doen) of zelf een site opent (dat is het makkelijkste natuurlijk). Het gaat voor 99% om gegevens met een % teken erachter dus dat programma hoeft alleen de cijfers voor het procent teken eruit te filteren en weg te schrijven in een tabel of met een scheidingsteken ertussen in word oid. De output is in feite niet echt relevant zolang het maar weer te inporteren is in excel.

Ik hoop dat iemand ten 1e begrijpt wat ik bedoel en natuurlijk mij een richting kan geven waarin ik kan zoeken. Een mooi begin zou zijn hoe je zo'n programma noemt maar het zou natuurlijk helemaal geweldig zijn als iemand zoiets kent en daar de naam nog van weet.

[F_J_K]

Gewoon de eigenaar van de site aanschrijven en het dan als csv of xml krijgen?

In Excel 2003 zitten ook al redelijke hulpmiddelen om data uit websites te krijgen. Webquery heet dat geloof ik.

[Verwijderd]

Ik zal het eens even in excel gaan proberen, dat zou natuurlijk geweldig zijn als dat zou werken.

Het opvragen van een .csv of .xls bestand heb ik al geprobeerd maar ik krijg het gevoel dat ze daar geen tijd voor vrij willen maken...

[Icey]

Met PHP kan je vrij gemakkelijk een hele website 'ophalen', vervolgens strippen en in een database wegschrijven.

[Verwijderd]

Icey schreef op vrijdag 07 april 2006 @ 14:28:
Met PHP kan je vrij gemakkelijk een hele website 'ophalen', vervolgens strippen en in een database wegschrijven.

Ik heb helaas totaal geen PHP ervaring dus ik heb werkelijk geen flauw ID hoe ik dat zou moeten fixen...

[Exirion]

Verwijderd schreef op vrijdag 07 april 2006 @ 14:30:
Ik heb helaas totaal geen PHP ervaring dus ik heb werkelijk geen flauw ID hoe ik dat zou moeten fixen...

Dan blader je eens een PHP boek door?

Dat soort dingen word je toch wel geacht zelfstandig te kunnen oplossen als je een stage doet.

[Verwijderd]

Maar miss kun je me een tip geven voor een goede site met php-informatie, ik heb natuurlijk al wel een lijst met de url's die allemaal gedaan moeten worden.

[Verwijderd]

Exirion schreef op vrijdag 07 april 2006 @ 14:32:
[...]

Dan blader je eens een PHP boek door?

Dat soort dingen word je toch wel geacht zelfstandig te kunnen oplossen als je een stage doet.

Als ik nou een ICT stage zou doen heb je helemaal gelijk, maar ik doe Commerciele Economie.....

Maar ik neem bij deze aan dat jij er iets meer van weet, zou je dan kunnen zeggen hoe je zoiets noemt? Dan kan ik zelf gericht verder zoeken...

[ Voor 18% gewijzigd door Verwijderd op 07-04-2006 14:35 ]

[Icey]

Als je er geen ervaring mee hebt is het denk ik net iets te pittig. Ik had ooit voor iemand op een nette manier het rooster van zijn school geplukt, gestript en in een array gezet... dus het kan wel!

Om aan te tonen dat het kan een simpel copy-past voorbeeld van PHP.net:

PHP:

<?php
$handle = fopen ('http://www.nu.nl', "r");
while (!feof ($handle)) {
   $buffer = fgets($handle, 4096);
   echo $buffer;
}
fclose ($handle);
?> 

[Verwijderd]

Dat het kan dat geloof ik graag, maar ik zoek naar een manier dat IK het kan. De pagina waar het vanaf gaat is ook .php

[jlrensen]

Volgens mij moet zoiets kunnen met AutoMate. Opzicht kan daar al veel mee zonder code, en voor het laatste stukje kun je er ook mee scripten.

Het pakket erg duur, maar je kan op hun site een gratis 30-dagenversie downloaden