Gebruik maken van een crawler

[w00d]

Simpel en kort gezegd: Is het toegestaan om een crawler te gebruiken om data tbv een vergelijk website van een andere website te halen en op te slaan?

Ik wil een vergelijk website maken voor een product waaraan maand premie's verbonden zijn. Er zijn een kleine tiental aanbieders en afhankelijk van een viertal gegevens rolt er een maand bedrag uit. Iedere aanbieder heeft een prachtige formulier op de website staan welke men kan invullen.

Nu wil ik dmv een crawler op die website de formulier "invullen" en de maandpremie die daaruit komt opslaan in een eigen database voor de vergelijker. Met de hand is het niet echt mogelijk aangezien er in twee velden ongeveer 20 keuze mogelijkheden zijn.

In de voorwaarde van de website kan ik geen duidelijkheid vinden. Bellen naar de betreffende bedrijven wordt een hopeloze bezigheid (grote instanties), dus wellicht dat iemand hier weet of zoiets uberhaupt mag of dat dit vrijwel uitgesloten is.

[steffex]

heb je een voorbeeld van een website?
Vaak staat er wel ergens een copyright o.i.d.

Als je gebruik wilt maken van de data van een bedrijf, is het wel netjes om toestemming te hebben.

[w00d]

Het zijn bedrijven in de verzekeringen branche, het gaat dan om een specifieke verzekering die een aantal partijen aanbieden.

In de copyright van een aanbieder staat bijv:

Het is uitsluitend toegestaan om de inhoud van deze website te bekijken, te printen, te reproduceren en te verspreiden voor persoonlijke (privé), niet-commerciële doeleinden. Het is daarom In andere situaties niet toegestaan om (delen van) deze website of de inhoud daarvan te gebruiken, verspreiden of openbaar te maken, zonder voorafgaande toestemming van

Echter het doel van de vergelijker is uiteindelijk klanten werven voor hun en daarbij voor de bezoeker aan te geven welke aanbieder de beste keuze is. Google kopieert natuurlijk ook stukjes van de website om uiteindelijk een bezoeker naar je website te sturen. Alleen is dat is wel even wat anders natuurlijk dan een complete prijzen tabel te rippen zeg maar.

[ Voor 75% gewijzigd door w00d op 09-12-2013 20:09 ]

[The Eagle]

Als jij voor die maatschappijen met hun toestemming klanten werft zullen ze er denk ik geen enkel probleem van maken. Maar aangezien je zoiets hier vraagt vermoed ik dat dat niet het geval is. En dan ligt het copyright bij die maatschappijen, en zul je ze dus om toestemming moeten vragen om de data te mogen hergebruiken.
Welke techniek je dan gebruikt om de data te kopiëren zal ze ongetwijfeld worst zijn

[w00d]

Het stukje "met hun toestemming" is ook een beetje grijs gebied. Zoals iedere vergelijk site krijg je betaald voor iedereen die je doorstuurt en een uiteindelijk pakket afsluit. Daarvoor moet je inschrijven en krijgt je dus indirect toestemming om klanten te werven.

Maar ik denk dat het inderdaad toch beter is om een mailtje te sturen.

[8088]

Arnoud Engelfriet heeft daar een stukje over geschreven: http://sync.nl/andermans-site-scrapen-wanneer-mag-dat

[w00d]

Interessant stukje inderdaad, je zou dus kunnen zeggen dat overnemen van premie bedragen dus verzekeraars niet schaad. En door bijv maandelijks de premies op te halen is de impact op hun website minimaal.

[The Eagle]

Maandelijks zal niet heel erg in lijn zijn met TS' doelstelling vermoed ik

Bovendien: als het een vergelijkingssite is, gaat de vlieger niet op dat het in het belang van de verzekeraar is. Weliswaar trekken ze er mogelijk klanten mee, maar tenzij hun premie de laagste is voor het betreffende gebied, is de kans dat ze niet de goedkoopste zijn ca 90% - dat zijn die andere 9 uit de vergelijking namelijk
Aangezien verzekeringsmaatschappijen hun verzekeringspremies niet dagelijks veranderen, maar ook niet echt op een vast tijdstip, valt er voor hen dus weinig voordeel aan te behalen - eigenlijk alleen maar nadeel.

Ergo: de kans dat een verzekeraar hier zijn heil in ziet is vrij klein. De kans dat ze ineens achter je aan gaan jagen als je ze niet om toestemming vraagt is denk ik een stuk groter

Note: Independer is begonnen als een vergelijkingssite voor IT Servicemanagement paketten. Daarna zijn ze in de verzekeringen en gezondheidszorg gestapt. Dat Achmea ze heeft overgenomen is dan ook niet echt een wonder te noemen. Check maar eens Wikipedia: Achmea en kijk hoeveel er daar bekend van voorkomen - en op Independer vrij snel naar boven komen
If you can't beat them, buy them. If they're small: crush them

@TS: Weet je zeker dat je de concurrentie met een conglomeraat als Achmea aan wilt gaan, ook qua rechtsgang in aanklagen wegens gegevensgebruik zonder toestemming en je concurrentiepositie?
Het is niet dat ik het je niet gun ofzo...maar bezint eer ge begint

[Verwijderd]

Waar het volgens mij op neerkomt is de vraag of er wel of geen databankrecht op de site zit die je wilt crawlen. Auteursrecht is niet van toepassing, copyright lijkt mij ook niet.

Afgaande op http://blog.iusmentis.com...f-geschriftenbescherming/ denk ik ook niet dat het databankrecht van toepassing is op jouw use case. Een verzekeraar doet geen significante investering om die gegevens te verzamelen. Ik denk zelfs dat het nog toegestaan is om de tweakers.net pricewatch te crawlen. Al staat in de AV ongetwijfeld dat dat niet mag.
Zie ook deze serie artikelen: google query over de vele rechtzaken tussen funda en jaap.

[Woy]

Verwijderd schreef op dinsdag 10 december 2013 @ 11:51:
Een verzekeraar doet geen significante investering om die gegevens te verzamelen. Ik denk zelfs dat het nog toegestaan is om de tweakers.net pricewatch te crawlen.

Tweakers doet natuurlijk wel een significante investering om die gegevens te verzamelen, want er is een complete backend/api beschikbaar om die gegevens van de winkels te verzamelen, een een compleet team om gegevens over de producten in te voeren. In het geval van de pricewatch denk ik dan ook zeker dat het databankrecht van toepassing is.

In het geval van de prijzen van verzekeraars lijkt dat me niet het geval. Ze publiceren die prijzen zelf. Hoewel IANAL zou ik denken dat het best toegestaan is om die prijzen automatisch te verzamelen en in een prijsvergelijker aan te bieden.

[ Voor 16% gewijzigd door Woy op 10-12-2013 12:28 ]

[Hydra]

Je kan hoe dan ook het beste proberen het in overleg te doen. Zelfs al zou het 'mogen', als ze je een vervelend mannetje vinden is het blokkeren (of erger) van je crawler zo gedaan.

[ Voor 3% gewijzigd door Hydra op 10-12-2013 14:16 ]

[Woy]

Hydra schreef op dinsdag 10 december 2013 @ 14:15:
Je kan hoe dan ook het beste proberen het in overleg te doen. Zelfs al zou het 'mogen', als ze je een vervelend mannetje vinden is het blokkeren (of erger) van je crawler zo gedaan.

Dat lijkt mij ook het beste, maar aan de andere kant kan ik mij voorstellen dat het lastig is om in contact te komen met de juiste personen die je daadwerkelijk toestemming kunnen geven. In dat geval zou ik gewoon wel starten met het scrapen. Mochten ze er dan toch problemen mee hebben zullen ze waarschijnlijk eerst gewoon manen om er mee te stoppen, en op dat moment kun je dan nog gewoon eieren voor je geld kiezen.