Scrapen van webshops

[BasPH]

Ik zit met het idee om een prijsvergelijker op te zetten in een gebied waar zoiets (voor zover ik weet) niet bestaat, maar wel vraag naar is. Ik heb de technische kennis om een website op te zetten en de prijzen van webshops te scrapen, maar zit met een vraag:

Voor elke webshop zal ik alle producten moeten binnenhalen en de producten 'normalizeren' zodat de prijzen kunnen worden vergeleken met die van andere webshops. In de Tweakers Pricewatch FAQ staat dat webshops zelf de prijzen van producten toevoegen. Begrijpelijk, want de Pricewatch is de grootste prijsvergelijker voor hardware en zo worden de webshops beter gevonden

Als beginnende prijsvergelijker verwacht ik dat ik zelf de prijzen zal moeten scrapen (en dat hier heel veel werk in zal zitten). Maar ik vraag mij vooral af of webshops het wel zo fijn vinden dat hun complete website (dagelijks?) wordt gescraped. Heeft iemand hier ervaring mee? Zijn er mogelijke juridische consequenties?

[Megamind]

Ook op webshops zit normaal auteursrecht en mag je niet zonder toestemming prijzen scrapen.

http://www.grabbits.nl/ar...websites_kopieren_mag_dat

[FicoF]

Megamind schreef op woensdag 24 december 2014 @ 21:54:
Ook op webshops zit normaal auteursrecht en mag je niet zonder toestemming prijzen scrapen.

http://www.grabbits.nl/ar...websites_kopieren_mag_dat

Dus ik mag niet hier niet schrijven dat product X bij winkel Y 10 euro kost? Hoe moet ik dat zien?

[NMe]

BasPH schreef op woensdag 24 december 2014 @ 21:52:
Zijn er mogelijke juridische consequenties?

Ik vermoed dat het databankenrecht hier speelt. Je zal dus de shops om toestemming moeten vragen als je juridisch buiten schot wil blijven. Sowieso zijn die shops degenen waaraan je uiteindelijk mogelijk geld gaat willen verdienen dus het is wel zo handig om vooraf te communiceren dat het nu gratis is maar later mogelijk geld gaat kosten en/of via een echte API moet lopen.

Megamind schreef op woensdag 24 december 2014 @ 21:54:
Ook op webshops zit normaal auteursrecht en mag je niet zonder toestemming prijzen scrapen.

http://www.grabbits.nl/ar...websites_kopieren_mag_dat

Er is natuurlijk wel een wereld van verschil tussen complete auteursrechtelijk beschermde artikelen overnemen en het indexeren van wat prijzen bij een product. Auteursrecht lijkt me geen issue hier.

[ Voor 29% gewijzigd door NMe op 24-12-2014 22:02 ]

[samo]

In mijn ervaring is het normaliseren enorm lastig. Ten eerste noemt niet iedereen alles hetzelfde, gebruikt niet iedereen dezelfde notatie en bewoordingen. Als je kijkt naar het lijstje kleuren van laptops op een beetje ict-reseller zie je hoe onmogelijk normaliseren is. Onderscheidt Midnight Black maar eens van Midnight Grey.

Denk er ook aan dat als jij alle producten gaat scrapen je een behoorlijke belasting legt op de servers van de webshop. Als jij te snel te veel producten oplaadt kan dat nogal nadelige gevolgen hebben voor de bereikbaarheid van de webshop. (Daarom lopen de meeste exports 'snachts). Dus is de kans groot dat je een blokkade krijgt.

[Orion84]

http://sync.nl/andermans-site-scrapen-wanneer-mag-dat/ is interessant leesvoer.

[Wortelsoep]

Megamind schreef op woensdag 24 december 2014 @ 21:54:
Ook op webshops zit normaal auteursrecht en mag je niet zonder toestemming prijzen scrapen.

http://www.grabbits.nl/ar...websites_kopieren_mag_dat

Een prijs is niet auteursrechtelijk beschermd. Wel opletten als je productbeschijvingen wil scrapen.

NMe schreef op woensdag 24 december 2014 @ 22:01:
[...]

Ik vermoed dat het databankenrecht hier speelt. Je zal dus de shops om toestemming moeten vragen als je juridisch buiten schot wil blijven.

Het databankenrecht is hier niet relevant, want voor bescherming is vereist dat de database een substantiële investering heeft gevergd. Voor prijsinformatie van een webshop is dat niet het geval, omdat die gegevens nou eenmaal noodzakelijk zijn om überhaupt een webshop te runnen.

[PowerFlower]

Wilko schreef op woensdag 24 december 2014 @ 22:23:
Het databankenrecht is hier niet relevant, want voor bescherming is vereist dat de database een substantiële investering heeft gevergd. Voor prijsinformatie van een webshop is dat niet het geval, omdat die gegevens nou eenmaal noodzakelijk zijn om überhaupt een webshop te runnen.

Dat is wat kort door de bocht. Kijk maar naar wat de HR in El Cheapo/Funda uiteindelijk besloten heeft. Maar als je alleen de prijzen (en niet foto's en productomschrijvingen) verzameld, én dat van meerdere sites doet en opnieuw samenvoegt, zit je waarschijnlijk qua databankrecht wel goed.

Dat neemt niet weg dat er wel degelijk allerlei juridische problemen kunnen ontstaan met een prijsvergelijkingssite. Zo kan een shop gewoon een zaak tegen je beginnen (het databankrecht is nou eenmaal niet het meest duidelijk in jurisprudentie uitgewerkt), en of je die nou wint of niet, je zit aan flinke kosten en een hoop geheibel. Ook kun je in de problemen komen met bijv. de reviews door bezoekers (die je ongetwijfeld wil gaan toevoegen). Kortom je hoeft maar ruzie te krijgen met één webshop en die kan je het leven redelijk zuur maken. Daarnaast kunnen ze het je redelijk lastig maken om te scrapen, zat manieren om dat tegen te gaan als ze er niet van gediend zijn.

Maar, ik zou zeggen dat dat een redelijk aanvaardbaar bedrijfsrisico is. Het is het soort dingen waar je op voorbereid moet zijn.

[Wortelsoep]

PowerFlower schreef op donderdag 25 december 2014 @ 09:48:
[...]

Dat neemt niet weg dat er wel degelijk allerlei juridische problemen kunnen ontstaan met een prijsvergelijkingssite. Zo kan een shop gewoon een zaak tegen je beginnen (het databankrecht is nou eenmaal niet het meest duidelijk in jurisprudentie uitgewerkt), en of je die nou wint of niet, je zit aan flinke kosten en een hoop geheibel. Ook kun je in de problemen komen met bijv. de reviews door bezoekers (die je ongetwijfeld wil gaan toevoegen). Kortom je hoeft maar ruzie te krijgen met één webshop en die kan je het leven redelijk zuur maken. Daarnaast kunnen ze het je redelijk lastig maken om te scrapen, zat manieren om dat tegen te gaan als ze er niet van gediend zijn.

Dit klinkt haast alsof een webshop geen kosten zou hebben aan het beginnen van een zaak. Als de TS ervoor zorgt dat hij alleen de prijsinformatie scrapet (en dus geen productbeschrijvingen of reviews e.d.) moet je als webshop wel heel principeel zijn om een zaak te starten: de kans dat een webshop dat wint, is erg klein. En ja, als scraper zit je dan ook met gedoe en kosten, maar in IE-zaken wordt in principe de verliezende partij veroordeeld tot het betalen van de proceskosten van de wederpartij. Dit is geen garantie dat je als scraper dan onder de streep geen kosten maakt, maar je moet als webshophouder wel behoorlijk stom zijn om, pak 'm beet, minimaal € 40k (20k eigen kosten + 20k kosten wederpartij) neer te tellen voor een zaak die je vrijwel zeker verliest.
Een beetje voorzichtigheid is wel geboden, maar zo'n vaart als PowerFlower het schetst zie ik het niet lopen.

[PowerFlower]

Dat is precies wat ik zei, dat het niet zo'n vaart zal lopen

[BasPH]

Dank voor de reacties, maakt het e.e.a. duidelijker! Ik heb het beleid van Tweakers Pricewatch opgezocht, daar kunnen shops dus zelf hun prijzen toevoegen door een CSV te uploaden. Prijzen kunnen ook handmatig worden toegevoegd door iedereen (mits de shop geen abonnement heeft).

Ik kan dus alles zelf scrapen, de webshops zouden zelf hun prijzen kunnen toevoegen zoals bij de Pricewatch, of misschien een combinatie van beide. Of dit goed werkt hangt van allerlei factoren af (bijv. bereidheid van webshops om hun producten op een prijsvergelijker te plaatsen?), ik ga er de komende dagen goed over brainstormen

[NMe]

BasPH schreef op zaterdag 27 december 2014 @ 13:26:
Ik kan dus alles zelf scrapen, de webshops zouden zelf hun prijzen kunnen toevoegen zoals bij de Pricewatch, of misschien een combinatie van beide.

Waaruit maak je die conclusie op? Niet op basis van de PW hoop ik, want Tweakers scrapet niks zelf. Prijzen kunnen doorgegeven worden door users, maar dat is fundamenteel anders dan het misbruik van iemands site dat je nodig hebt om goed te kunnen scrapen...

[BasPH]

Het zelf scrapen op basis van de reacties hier. Juridisch en praktisch lijkt het mij niet bruikbaar, maar ik dacht er aan om webshops eenmalig te scrapen om een eigen database van producten aan te leggen. Dat lijkt mij juridisch in ieder geval geen probleem.

[NMe]

Het regelmatig doen lijkt je juridisch problematisch maar eenmalig is geen probleem? Da's zo'n beetje hetzelfde als zeggen dat je niet elke week een brood mag stelen, maar als je het maar één keer doet is het ok.

[DarkFly]

Waarom scrapen? Kan je geen gebruik maken van een affiliate-feed o.i.d. van de diverse websites? Er zijn diverse partijen die dit aanbieden, soms de bedrijven zelf, soms via een tussenpartij als bijvoorbeeld Zanox?

Op die manier krijg je de gewenste informatie, met actuele prijs. Via de affiliate-link verdien je er ook nog wat aan als mensen via jou het product kopen.

[BasPH]

DarkFly schreef op zaterdag 27 december 2014 @ 13:43:
Waarom scrapen? Kan je geen gebruik maken van een affiliate-feed o.i.d. van de diverse websites? Er zijn diverse partijen die dit aanbieden, soms de bedrijven zelf, soms via een tussenpartij als bijvoorbeeld Zanox?

Op die manier krijg je de gewenste informatie, met actuele prijs. Via de affiliate-link verdien je er ook nog wat aan als mensen via jou het product kopen.

Dat is precies mijn doel, enkele webshops waarvan ik de prijzen wil vergelijken hebben een affiliate programma. Ik probeerde mij dus daarvoor aan te melden, maar daarbij moet er een bestaande website worden opgegeven. Ik heb nu alleen een idee en geen website, dus daar kwam de vraag vandaan of scrapen niet mogelijk is. Omdat scrapen erg veel nadelen heeft, lijkt mij een aanmelding bij een affiliate programma inderdaad wel de beste optie. Ik heb net een paar mails verstuurd naar affiliate programmas en webshops, of ik alvast toegang kan krijgen tot een product feed

NMe schreef op zaterdag 27 december 2014 @ 13:41:
Het regelmatig doen lijkt je juridisch problematisch maar eenmalig is geen probleem? Da's zo'n beetje hetzelfde als zeggen dat je niet elke week een brood mag stelen, maar als je het maar één keer doet is het ok.

Hmm daar heb je wel gelijk in Mijn idee was om een eigen database aan te leggen van producten, voor het normalizeren van producten van verschillende webshops. Vandaar eenmalig, maar zelfs dat klinkt inderdaad niet netjes.

Toegang krijgen tot een affiliate feed zou toch een heel stuk eenvoudiger zijn, dus ik probeer nu eerst toegang te krijgen tot zo'n feed.

[samo]

Als het gaat om normaliseren van producten van verschillende webshops zou je toch behoorlijk uit de voeten moeten kunnen met Icecat? Dat is een (deels gratis) rich-content-aanbieder van productinformatie.

[ACM]

BasPH schreef op zaterdag 27 december 2014 @ 13:26:
Dank voor de reacties, maakt het e.e.a. duidelijker! Ik heb het beleid van Tweakers Pricewatch opgezocht, daar kunnen shops dus zelf hun prijzen toevoegen door een CSV te uploaden. Prijzen kunnen ook handmatig worden toegevoegd door iedereen (mits de shop geen abonnement heeft).

Zo te zien is dat artikel nogal verouderd

Sowieso hebben we alleen nog prijzen van winkels die een betaald account hebben en bovendien kan geen enkele gebruiker zelf namens zo'n winkel prijzen invoeren. Alleen de winkel kan dat nog zelf, en ze doen dat allemaal door een csv- of xml-file ter beschikbaar te stellen die wij periodiek downloaden en inlezen.

Ik kan dus alles zelf scrapen, de webshops zouden zelf hun prijzen kunnen toevoegen zoals bij de Pricewatch, of misschien een combinatie van beide. Of dit goed werkt hangt van allerlei factoren af (bijv. bereidheid van webshops om hun producten op een prijsvergelijker te plaatsen?), ik ga er de komende dagen goed over brainstormen

Volgens mij mis je nog de mogelijkheid om een soortgelijke (of dezelfde) xml-/csv-feed per winkel te importeren... Die dingen zijn niet zo ingewikkeld om in te lezen en al onze en Kieskeurig's klanten hebben ze toch al. Je moet ze dan dus vooral zien te overtuigen dat jij de moeite waard bent om ook een soortgelijke feed voor aan te maken (en/of andere interne analytics in te richten).

Die feeds inlezen is op zich niet zo moeilijk. Waar voor ons het meeste werk in zit is om het deel dat gebruikers zien goed in te richten; categorisering, specificaties (en filtering) etc en het invoeren/importeren van al die productgegevens (alleen de prijzen en shop-urls komen uit de klantfeeds). En natuurlijk om al die klanten aan te sluiten, de feeds goed te configureren, etc

[PowerFlower]

BasPH schreef op zaterdag 27 december 2014 @ 13:39:
Het zelf scrapen op basis van de reacties hier. Juridisch en praktisch lijkt het mij niet bruikbaar, maar ik dacht er aan om webshops eenmalig te scrapen om een eigen database van producten aan te leggen. Dat lijkt mij juridisch in ieder geval geen probleem.

Dan heb je niet goed begrepen wat er gezegd werd, want juist dát zou een probleem zijn Om het heel simpel te stellen, databankrecht is gebaseerd op de moeite die er in gestoken is om de data te verzamelen. Als jij dat gewoon kopieert, zit je dus fout. Als je zelf moeite doet (bijv. door alle prijzen te verzamelen van verschillende sites, terwijl je zelf de productinformatie verzamelt) zit je veiliger. Precies andersom dus.