Downloaden data van website

[Perrush]

Besten,

ik zit al een hele tijd met een project in mijn kop mbt mijn hobby nl LEGO. Ik ben wel redelijk IT minded, maar van deze heb ik geen kaas gegeten.

Ik heb een excel data file met daarin een lijst van parts- en kleur-codes (tussen de 200 en 1500 lijnen). Dus bvb

3023 - 1
3023 - 11
3023 - 85
3023 - 86
3024 - 1
3024 - 4
...

Via deze part- en kleurcodes kun je naar een webpagina gaan (zie screenshot hieronder). Nu zou ik van deze webpagina de data in het oranje kader willen downloaden.



Eigenlijk heb ik totaal geen idee hoe hieraan te beginnen. Is het uberhaubt al mogelijk om dit automatisch te doen. En zoja, hoe begint iemand zonder diepgaande voorkennis hieraan ?

Een concrete oplossing mag, maar dat verwacht ik niet. Ik zoek eerder tips in welke richting ik moet gaan.

mvg
Stefan

[Ulster Seedling]

Dit is zeker mogelijk! Met een beetje programmeren kan je zo een script maken dat dit voor je kan doen. Je zou dit in praktisch elke taal kunnen doen. Heb je ergens ervaring mee?

Anders zijn er misschien ook oplossingen om het zonder zelf programmeren te doen. Je zou één van deze tools/diensten kunnen proberen (ik heb zelf geen ervaring met deze):

• Web Scraper
• ParseHub
• Data Miner

De term hiervoor is “scrapen”, daar kom je wellicht verder mee

[ Voor 23% gewijzigd door Ulster Seedling op 13-01-2018 18:02 ]

[Perrush]

Hi,

nee eigenlijk nergens ervaring mee. Maar wellicht kom ik met de zoekterm wel wat verder.

*Knip* 't is niet dat ik te lui ben om te zoeken (zo leer je ook nog wat), maar de tijd ontbreekt me eigenlijk gewoon. Ondertussen google ik iig al eens op 'scrapen'

tnx

[ Voor 40% gewijzigd door Lustucru op 16-01-2018 00:11 ]

[Killah_Priest]

Ik doe dit soort zaken (webscraping en het direct relateren van dit aan specifeke data) tegenwoordig met PowerBI.
Ik bouw een query in PowerBI (Power Query M is de taal) welke in feite parameters accepteert : vervolgens koppel ik mijn bron data (dus in jouw geval je excel sheet) hieraan.
Het voordeel is dat je dan echt per artikel live de data op kunt halen (en dus ook kunt refreshen).

Wel zal het je enkele avonden kosten om dit uit te zoeken. Ik heb zelf ook als één van mijn hobby's Lego, dus mocht ik er een keertje tijd voor hebben dan kan ik misschien iets in elkaar zetten.

[Puch-Maxi]

Volgens mij hebben ze gewoon een API, dan hoef je niet te scrapen namelijk .
Zie: http://static.bricklink.c...logMethod_Get-Price-Guide

[Killah_Priest]

Puch-Maxi schreef op maandag 15 januari 2018 @ 13:37:
Volgens mij hebben ze gewoon een API, dan hoef je niet te scrapen namelijk .
Zie: http://static.bricklink.c...logMethod_Get-Price-Guide

Dit maakt het nog makkelijker voor de TS.

[Perrush]

Bedankt Puch_Maxi. Dit is al helemaal nieuw voor mij. Maar dit zal dan idd wel de makkelijkste manier worden. 't is trouwens niet de prijs die ik zoek maar het aantal stuks dat verkocht zijn / nog te koop zijn. Maar ook dat zie ik in de lijst staan.

Zal er eens naar gaan kijken, want dit lijkt wel te doen.

[Puch-Maxi]

Jep, dan moet je deze hebben: http://static.bricklink.c...talogResource_Price-Guide
Toegang krijgen tot die API is wel een heel gedoe, je moet eerst Lego kopen bij een andere gebruiker om zo feedback te krijgen. Verkoop mij eens een Legoblokje Perrush

[ Voor 42% gewijzigd door Puch-Maxi op 16-01-2018 22:46 ]