Webshop prijzen indexeren

[Bob_check_]

Beste leden,

zoals altijd heb ik geen idee of deze topic in het goede forum staat, maar goed.
Mijn vraag is het volgende;
Ik heb als ZZP-er voor een groot bedrijf een mooie applicatie maakt die webshop-prijzen indexeert.
Ik zat nu te denken, is die activiteit eigenlijk volledig legaal of niet?
In principe staat bij elke webshop volgens mij de prijs van hun artikelen gewoon publiekelijk online dus mag ik best iets maken dat automatisch prijzen via de html-code vanaf die site haalt toch?
Toch had ik ooit een verhaal gehoord van een vriend van mij die bij de Mediamarkt wat prijzen ging indexeren, dus gewoon voor een tv-sectie staan en prijzen noteren op een kladblokje, en die werd vervolgens de winkel uitgegooid...

Thanks voor een antwoord hierop!
Mvg, Bob

[Fish]

je bedoeld zoeiets ?

http://www.google.com/pro...um=1&ie=UTF-8&sa=N&tab=wf

[Wiethoofd]

http://tweakers.net/pricewatch en http://www.hardware.info/nl-NL/pricecomp/
Beide online overzichten van webshop-prijzen....

Dat die vriend van je uit de MediaMarkt is gezet is natuurlijk onlogisch, je mag toch voor eigen gebruik prijzen opschrijven, zij weten vervolgens niet wat jij er mee wilt doen tenzij ze dit vragen, waarmee ze je volgens niet de winkel uit kunnen zetten, maar wel sommeren de prijzen niet online te zetten.

[beany]

Je mag best in een winkel prijzen noteren. Ze vinden het alleen niet zo leuk omdat je waarschijnlijk van de concurrent bent.

[Bob_check_]

Hm ok, dus het antwoord is dat het gewoon legaal is, dat is goed om te horen.
En de voorbeelden die Wiethoofd gaf, ik weet niet of dat dingen zijn zoals kieskeurig.nl.
Ik dacht namelijk altijd dat kieskeurig ook gewoon prijzen indexeerde, maar blijkbaar geven bedrijven hun producten-gegevens aan kieskeurig.nl en betalen voor elke klik die een klant doet op kieskeurig.
Dus in principe krijgt de consument op kieskeurig alleen maar de dingen te zien de webshops graag willen dat gezien wordt, terwijl mijn applicatie echt alle producten overal indexeert.

[downtime]

Het indexeren van prijzen lijkt mij gewoon onder vrije nieuwsgaring vallen. Enige waar je mee te maken hebt is dat niet alle winkels eraan mee willen werken dus je krijgt misschien te maken met websites die jouw indexserver gaan blokkeren ofzo. Sites als Kieskeurig hebben daar geen trek in, dan zou de database veel te veel onderhoud vragen, en sluiten dus gewoon een deal met die winkels.

[RaZ]

Product-info kan je sowieso al vinden op de site van de fabrikant (de T.net pricewatch linkt daar ook gewoon naar toe).

Daarnaast mag je niet zomaar klakkeloos info van sites halen en herpubliceren. Je zou op z'n minst dus je crawler een eigen unieke naam moeten geven, met een URL in de user-agent hoe de webmasters in de robots.txt kunnen opnemen dat ze die spider de toegang ontzeggen.

Als je die basis-dingen meeneemt in je project, zit je wel vrij safe denk ik. Al zit je vast wel safe, gezien je gewoon een opdracht voor derden uitvoert, maar dit lijkt me toch iets om terug te koppelen naar je opdrachtgever.

[Bob_check_]

RaZ, dus volgens jou is het wel illegaal? Als ik geen unieke-naam etc. inbouw?

[RaZ]

Uhm, eigenlijk steel je gewoon data van een andere site natuurlijk.

Je bouwt nu een zoekmachine voor prijzen. En zoekmachines komen overal en nergens, en vragen niet eerst toestemming om data te mogen ophalen/stelen.

Maar elke zoekmachine (spider/crawler) zal zich netjes identificeren wie ze zijn, met een URL voor informatie voor de webmaster. Daar staat dan ook wat je in je robots.txt moet zetten om te zorgen dat die zoekmachine wegblijft.

Dus als een website waar je data vandaan haalt niet meer wenst opgenomen te worden, moet je ze daar wel de mogelijkheid toe bieden. Neem die rechtzaak van de Belgische kranten tegen Google. Dat zou dus ook jouw opdrachtgever kunnen overkomen.

[leuk_he]

tussen funda en andere huizen zoeksites (jaap) is al eens voor de rechter geweest wat je wel en niet mag overnemen. zoek daar eens op.

http://computertotaal.nl/...e-van-vonnis-jaap-nl.html

Je mag veel overnemen. Als je via een fake browser (in plaats van een echte spider) gegeven soverneemt dan komt dat later uiteraard niet eerlijk over.

Als je gegevens foutief overneemt (omdat je BTW vergeet ofzo) is dat uiteraard helemaal jouw verantwoordelijkheid en kun je daar op aangesproken worden. Overigens zullen sommige concurrenten wellicht toch juridische brieven gaan schrijven als je de data publiceert, dus dat is het wellicht beter informatie te winnen bij iemand die ervoor gestudeerd heeft in plaats van een forum.

Technisch zou je dit het beste via een spider doen die zich identificeerd. Als je dingen fout doet wordt je dan wellicht nog gewaarschuwd in plaats van een hader ip ban.

[downtime]

RaZ schreef op maandag 10 mei 2010 @ 22:22:
Uhm, eigenlijk steel je gewoon data van een andere site natuurlijk.

Het lijkt me sterk dat simpele prijsinformatie copyrighted is. Voor productinfo en foto's e.d. ligt dat natuurlijk anders maar zover ik begrijp is TS alleen in de prijzen geinteresseerd. En ik kan me niet voorstellen dat dat niet toegestaan is.

Maar elke zoekmachine (spider/crawler) zal zich netjes identificeren wie ze zijn, met een URL voor informatie voor de webmaster. Daar staat dan ook wat je in je robots.txt moet zetten om te zorgen dat die zoekmachine wegblijft.

Dus als een website waar je data vandaan haalt niet meer wenst opgenomen te worden, moet je ze daar wel de mogelijkheid toe bieden.

Voor zoekmachines geldt doorgaans dat ze ook complete teksten indexeren. Dat is wat anders dan alleen feitelijke informatie verzamelen. Jouw verhaal lijkt mij weliswaar een kwestie van goed fatsoen maar niet een verplichting zolang je het alleen over prijzen hebt.

[Bob_check_]

hm ok, dus in principe kan ik ook eerst alle webshops mailen met of ze het ok vinden.
Thanks, ik weet genoeg!

[RaZ]

Dat is veel meer moeite dan via een identificatie icm robots.txt. Daarbij maak je ook geen slapende honden wakker. Maargoed, jouw feesie

[Gomez12]

downtime schreef op maandag 10 mei 2010 @ 22:29:
[...]

Het lijkt me sterk dat simpele prijsinformatie copyrighted is. Voor productinfo en foto's e.d. ligt dat natuurlijk anders maar zover ik begrijp is TS alleen in de prijzen geinteresseerd. En ik kan me niet voorstellen dat dat niet toegestaan is.

Tja, het is niet zozeer copyright, eerder databankenwet waar je tegenaan loopt.

Plus als je crawler nog eens verkeerd geschreven is dat je ook nog eens hack/dos aanschrijvingen kan krijgen.

Afaik is het niet per definitie verboden, maar wel een heel dunne lijn.
En vele webshops die ik ken hebben je binnen een week geblockt als je het niet netjes doet. Daarom schrijven de meeste bedrijven ook geen eigen crawlers, maar sluiten ze deals met leveranciers of zijn ze afhankelijk van user generated content... Crawlers zijn veelal veels te onderhoudsgevoelig en te kwetsbaar om ze kleinschalig te maken.

Bob_check_ schreef op maandag 10 mei 2010 @ 22:30:
hm ok, dus in principe kan ik ook eerst alle webshops mailen met of ze het ok vinden.
Thanks, ik weet genoeg!

In principe wel, maar besef goed in wat voor wespennest je je gaat steken. Als iemand een max bandwidth heeft dan kan het zo zijn dat je eerst precies mag specificeren hoeveel data je gaat verstoken voordat je toestemming krijgt.

En bij een beetje online winkel met 10.000 artikelen en een veel wijzigend assortiment ( en een prijs enkel op artikeldetail pagina ) kan het redelijk oplopen.

[ Voor 24% gewijzigd door Gomez12 op 10-05-2010 22:42 ]