executable maken die automatisch data download van website

[teddebraak]

Allemaal,

Ik wil graag een exectable maken die om de 10 minuten data van een website downloadt en verwerkt tot wat grafieken.
Op de website dienen eerst wat waardes geselcteerd te worden, hierna draait er een search op die website. Er is op de website een knop om die waardes te exporteren naar excel.
in excel kan ik een macro maken die het sorteren voor zn rekening neemt. De gesorteerde waardes wil ik vervolgens zelf weer op een website zetten.

Iemand een idee hoe ik hiermee het beste kan beginnen? zijn er kant an klare tootljes die me hiermee kunnen helpen?

Groeten Ted.

PS; dit alles in windows 7 op een PC die voor de rest helemaal niets anders hoeft te doen.

[ Voor 7% gewijzigd door teddebraak op 05-09-2014 12:11 ]

[EddoH]

Wil je nu een 'executable' maken die draait op die client pc, of een functionaliteit in een website die data exporteert naar een Excel compatible formaat, en dus op de server staat?

[teddebraak]

Ha EddoH,

Ik bedoelde op een client PC. deze PC staat 24uur per dag aan om de data te downloaden en verwerken etc. De website waar ik de data vanaf wil trekken heb ik helaas geen invloed op.

ideaal gezien zou ik deze functionaliteit op een server of zo laten draaien, maar dat lijkt vanwege bureacratie een lastige opgave.

[Creepy]

Hier in PRG draait het om het zelf programmeren. Dus voor je vraag over kant en klare tooltjes zit je hier zeker verkeerd. Maar ook op andere plekken op het forum zien we dit soort vragen liever niet tenzij je zelf al aan het zoeken bent geweest naar tools en dat je daarbij aangeeft welke je dan hebt gevonden en wat daar dan niet aan voldeed.

Wil je daadwerkelijk zelf gaan programmeren dan lijkt het me dat je al een start hebt gemaakt en dat je wat concretere problemen met je code kan aangeven.

[Ypho]

Heb je al gezocht op "auto download website data"?

Een van de eerste hits beschrijft hoe je in Excel data van het internet kunt downloaden. Wellicht dat je daar iets mee kunt? Of heb je zoiets al geprobeerd?

Heb je wat meer info wat je al hebt gedaan/gevonden/geprobeerd? Of wat je precies wilt (bv in welke programmeertaal etc)

[TheRookie]

Als je kan achterhalen wat de parameters zijn van de knop die naar excel exporteert zou je elke [x] minuten die url met bijv. wget aan kunnen roepen, dan heb je iig je "rapport" al gedownload.

Hoe je er vervolgens de andere bewerkingen (open, sorteren, naar een andere website publiceren) op los laat hangt ook af van welke programmeertaal/talen je voorkeur hebben én welke mogelijkheden de 'doel' website heeft om data geautomatiseerd te publiceren.

Mocht je bijv met PHP aan de slag willen, zou je bijvoorbeeld naar cURL en -afhankelijk of het gedownloade bestand een csv of een xls(x) is- een functie zoals fgetcsv of een excel library zoals PHPExcel kunnen kijken.

[edit]
Een andere mogelijkheid zou nog kunnen zijn dat de betreffende bron-website een API aanbiedt waarmee je aan de slag kan, als ze überhaupt data-scraping toestaan...

[ Voor 11% gewijzigd door TheRookie op 05-09-2014 12:23 ]

[teddebraak]

Allemaal,

Bedankt voor de snelle reacties!

Ik ben bekend met algemeen programeer principes maar nog niet met een specifiek taal. (buiten wat MATLAB werk),
De website waar ik data vanaf wil trekken werkt met javascript, ik vrees dat ik kennis te kort kom om die data rechtstreeks uit de bron te kunnen trekken,
Ik was dus ook meer op zoek naar iets als een geautomatiseerde muis klik en keyboard input macro zoals JITBIT https://www.jitbit.com/macro-recorder/

in plaats van hier blind mee te beginnen wilde ik eerst inventoriseren met welke tool ik het beste aan de gang kan gaan. Eventyueel wil ik best PHP proberen als die dezelfde functionaliteit biedt.

Groeten Ted

[powerboat]

AutoIT is your friend

https://www.autoitscript....ocs/functions/InetGet.htm

[robkorv]

python met requests voor downloaden en Beautiful Soup voor parsen
of
ruby met Net::HTTP voor downloaden en nokogiri voor parsen

[RobIII]

robkorv schreef op vrijdag 05 september 2014 @ 13:11:
python met requests voor downloaden en Beautiful Soup voor parsen
of
ruby met Net::HTTP voor downloaden en nokogiri voor parsen

Of C# of Java of PHP of C of C++ of BrainF*ck of COBOL of ADA of Erlang of Assembly of... pick one.
Het kan in elke taal (met of zonder externe dependencies/libraries) wel.

[ Voor 5% gewijzigd door RobIII op 05-09-2014 13:32 ]

[teddebraak]

de tabel van waardes die ik moet hebben zit achter een javascript. er is geen directe url waarop ik deze tabel kan aanroepen. Het programma moet dus op een reeks knoppen kunnen duwen om tot bij de tabel te komen. Ik vrees dat IK toch een programma als autohotkey of JITBIT moet gaan gebruiken. Voor mijn toepassing is dit de meest realistische oplossing, ik ben te noob om dit in PHP voor elkaar te krijgen vrees ik. Helaas krijg je zo wel een weinig robuust programme. er hoeft maar weinig te veranderen in de bron website en het moet herschreven worden.

[Creepy]

Het klinkt alsof je data wilt scrapen van een site waar je wel eens toestemming voor nodig zou moeten hebben? Klopt dat?

[hellum]

teddebraak schreef op vrijdag 05 september 2014 @ 13:53:
de tabel van waardes die ik moet hebben zit achter een javascript. er is geen directe url waarop ik deze tabel kan aanroepen. Het programma moet dus op een reeks knoppen kunnen duwen om tot bij de tabel te komen. Ik vrees dat IK toch een programma als autohotkey of JITBIT moet gaan gebruiken. Voor mijn toepassing is dit de meest realistische oplossing, ik ben te noob om dit in PHP voor elkaar te krijgen vrees ik. Helaas krijg je zo wel een weinig robuust programme. er hoeft maar weinig te veranderen in de bron website en het moet herschreven worden.

Javascript moet de data ook ergens vandaan halen, je zult in de javascript code de bron moeten achterhalen en die crawlen.

[francoski]

Overigens heb ik ooit zoiets gebouwd in PHP, waarbij wel een vaste URL was, en die ieder kwartier checkte. Werd na een tijdje aangezien als DDOS-er, IP geblokt.