Automatisch downloaden data van websites

[MVersteeg]

Bij het bedrijf waar ik werk zijn er mensen actief die elke dag - of meerdere keren per dag - data van verschillende website halen. Dit doen zij door de data te downloaden, in Excel te zetten, waarna het daarna weer in onze SQL database terecht komt.

Volgens mij is dit erg omslachtig en ouderwets, klopt het dat dit ook automatisch gedaan kan worden? Ik weet namelijk echt niet hoe dat dan gedaan zou kunnen worden. Graag jullie hulp.

Dit verschillende websites waar het bijvoorbeeld om gaat, het zijn er in totaal meer dan honderd;
http://www.belpex.be/mark...e-market-today/dashboard/ (data rechts in de hoek)

http://www.sepsas.sk/seps/TyzdenneKapacity_EN.asp?Kod=479

[MsG]

Hier wat info omtrent hun API: https://www.apxgroup.com/...Data-Capture-Guide-UK-v2-
92.pdf

Moet prima een koppeling mee te maken zijn lijkt me zo.

[The Eagle]

Ooit van wget gehoord? Standaard linux too, bestaat ook voor windows. Icm een scheduler prima te combineren voor een dagelijkse download, kwestie van URL's in een scriptje opgeven.
Als het in een database terecht moet, vraag je beheerder even. Die kan je prima vertellen of en zo ja welk maatwerk hiervoor nodig is

Wil je het user based uitvoeren: bak een scriptje dat diverse keren wget aanroept, ergens opslaat met de juiste naam, etc

[johnkeates]

Natuurlijk kan dit automatisch, maar dan moet je wel kunnen programmeren of scripten. Dat ga je niet zelf kunnen als je de vraag eerst moet stellen ;-)

[MVersteeg]

Bedankt voor de antwoorden, klopt dat het geprogrammeerd en/of scripten.. De vraag daarbij is hoe of middels welke programma's/standaarden is het best te doen.

[The Eagle]

Wat dacht je van gewoon eens bij je beheerders na te gaan? Nofi, maar je komt me over als een hoofd van een afdeling die teveel handmatig doet omdat ie
1) de weg naar zijn IT en functionele beheerders niet weet te vinden
2) Omkomt in het handmatige werk bij gebrek aan kennis of input door 1)

[MartenBE]

Moest je het willen scripten, Perl is hier ideaal voor.

[RobIII]

MVersteeg schreef op dinsdag 19 mei 2015 @ 15:19:
De vraag daarbij is hoe of middels welke programma's/standaarden is het best te doen.

En daarmee is dit topic verworden tot én een scriptrequest én een Welke programmeertaal moet ik leren? en moet ik je doorverwijzen naar Devschuurder werven? Gebruik Vraag & Aanbod! voordat het een Kan iemand even...? wordt

[ Voor 9% gewijzigd door RobIII op 19-05-2015 16:24 ]