Informatie van andere websites

[Marcel9933]

Mijn vraag

Is het mogelijk om informatie van websites af te halen zonder dat je eigenaar bent van die website?
En dan gaat het over variabele getallen bijvoorbeeld: 7:00 of 21:54. Dus eigenlijk data van websites afhalen om zelf verder te verwerken.

Wat ik al gevonden of geprobeerd heb

Wanneer ik zelf ga zoeken krijg ik voornamelijk informatie over auteursrechten. Waarschijnlijk gebruik ik de verkeerde zoek term, maar ik zou niet anders weten hoe ik het anders zou moeten verwoorden.


Ik hoop genoeg informatie te hebben gegeven en jullie mij kunnen helpen.

[NiGeLaToR]

Helaas, ik begrijp je vraag niet. Maar, je kunt best citeren of hergebruiken maar dan met bronvermelding en/of overleg met de site eigenaar. Als je gewoon content wilt 'lenen' dan loop je risico op boze site eigenaren, of erger.

Wat wil je precies doen dan?

[Cyphax]

De term die je zoekt is "scrapen". Ja, dat kan, maar of er kant-en-klare tools voor zijn weet ik niet. Ik zou in zo'n geval zelf iets in elkaar sleutelen. Of het door de beugel kan is een tweede: als je commercieel aan de slag wilt kan het weleens problemen geven. Als het voor persoonlijk gebruik is kan het meestal niet zo'n kwaad.

[Marcel9933]

NiGeLaToR schreef op woensdag 24 mei 2017 @ 19:36:
Helaas, ik begrijp je vraag niet. Maar, je kunt best citeren of hergebruiken maar dan met bronvermelding en/of overleg met de site eigenaar. Als je gewoon content wilt 'lenen' dan loop je risico op boze site eigenaren, of erger.

Wat wil je precies doen dan?

Cyphax schreef op woensdag 24 mei 2017 @ 19:37:
De term die je zoekt is "scrapen". Ja, dat kan, maar of er kant-en-klare tools voor zijn weet ik niet. Ik zou in zo'n geval zelf iets in elkaar sleutelen. Of het door de beugel kan is een tweede: als je commercieel aan de slag wilt kan het weleens problemen geven. Als het voor persoonlijk gebruik is kan het meestal niet zo'n kwaad.

Voor school moet ik een Pws opdracht doen. Hierbij dacht ik aan het onderwerp kunstmatige intelligentie, ik heb nog geen onderzoeksvraag, maar je moet ook een experiment doen en ik dacht eraan om van mijn school site magister en of Zermelo de begin les uren te pakken en dan een app maken die dan automatische een wekker kan zetten gebasseerd op de tijden die je hebt gepakt van die site.

Ik hoop dat dit enigszins duidelijkheid geeft.

[AW_Bos]

Ja, daar is substantieel niet in geïnvesteerd in de samenstelling en/of het onderhoud, en verder is het ook niet iets unieks wat door een auteur geschreven is. Dus er zit geen auteursrecht of databankrecht op. Ik weet niet of Magister / Zermelo een API kent. In dat geval kan je daar eens naar kijken. Dan hoef je niet te scrapen, en krijg je de data in een vast formaat al binnen (XML, JSON bijv.).

[Marcel9933]

AW_Bos schreef op woensdag 24 mei 2017 @ 19:51:
Ja, daar is substantieel niet in geïnvesteerd in de samenstelling en/of het onderhoud, en verder is het ook niet iets unieks wat door een auteur geschreven is. Dus er zit geen auteursrecht of databankrecht op. Ik weet niet of Magister / Zermelo een API kent. In dat geval kan je daar eens naar kijken. Dan hoef je niet te scrapen, en krijg je de data in een vast formaat al binnen (XML, JSON bijv.).

Ik heb denk ik wat gevonden, maar ik zou niet weten wat ik met deze informatie verder zou moeten doen, als u denkt dat het te complex/ te ingewikkeld zal zijn dan mag u dat ook zeggen, want het moet wel haalbaar voor mij zijn. Ik weet wat van programmeren af, maar ik ben dus geen expert.

http://magister-6-api.readthedocs.io/en/latest/

[NMe]

Marcel9933 schreef op woensdag 24 mei 2017 @ 20:19:
[...]

Ik heb denk ik wat gevonden, maar ik zou niet weten wat ik met deze informatie verder zou moeten doen

Ik zou eens beginnen met lezen.

[AW_Bos]

Het begin is Composer te installeren, en vervolgens de depency van stanvk/magister te installeren.
Op YouTube staan wel voorbeelden over de werking van Composer.

Anders kan je hem ook hier downloaden:
https://github.com/magister-api/magister

Maar goed, dan ben je er nog niet.... Maar de eerste stap is gezet, en dat is het verbinden met de API, zodat je functie-gewijs de commando's erop kan afvuren.

[migchiell]

Als ik het goed begrijp wil je dus de roostertijden van je school gebruiken. Heeft je school geen systeembeheerder die je op weg kan helpen? Iemand beheert die gegevens tenslotte.

[AW_Bos]

migchiell schreef op woensdag 24 mei 2017 @ 20:23:
Als ik het goed begrijp wil je dus de roostertijden van je school gebruiken. Heeft je school geen systeembeheerder die je op weg kan helpen? Iemand beheert die gegevens tenslotte.

En die gegevens staan toch in Magister, wat ik begrijp (ik ben al jaren afgestudeerd, en vroeger kregen we de roosters elke week op een briefje )

Waar moet de systeembeheerder dan nog mee helpen? Hopelijk niet met het huiswerk .
Het genoemde script zou de roostertijden prima kunnen ophalen.

[ Voor 5% gewijzigd door AW_Bos op 24-05-2017 20:34 ]

[migchiell]

AW_Bos schreef op woensdag 24 mei 2017 @ 20:34:
[...]

En die gegevens staan toch in Magister, wat ik begrijp (ik ben al jaren afgestudeerd, en vroeger kregen we de roosters elke week op een briefje )

Waar moet de systeembeheerder dan nog mee helpen? Hopelijk niet met het huiswerk .
Het genoemde script zou de roostertijden prima kunnen ophalen.

Helpen met dat script begrijpen en aan de praat te krijgen. Weet alleen niet hoeveel hulp TS mag vragen bij zijn huiswerk

Voelt zich heel oud nu, zag zijn eerste computer pas op de universiteit

[AW_Bos]

Volgens mij is Magister gewoon een cloud-toepassing, waarbij de systeembeheerder volgens mij weinig hoef te doen.

Ik zou zeggen: Volg de stappen eens, zoek eens op internet als je het niet begrijpt. En als je er écht niet uitkomt.
Dan horen we het wel.

[ Voor 38% gewijzigd door AW_Bos op 24-05-2017 20:39 ]

[armageddon_2k1]

Ligt het aan mij of lijkt dit niet echt op de opdracht: Kunstmatige intelligentie?

Misschien is een leuke opdracht: Cijferherkenning met neurale netwerken? Redelijk makkelijk te bouwen. En erg leerzaam.

[raptorix]

Ja scrapen mag gewoon, dat mag ten allen tijden. Wat niet mag is deze data publiceren, tenzij het om het citaatrecht gaat, kortom je mag gerust een kleine inleiding van bijvoorbeeld een nieuwsbericht publiceren, maar niet het gehele bericht, er is hier jurisprudentie over in een zaak tussen Funda en TMG als ik me niet vergis. Je mag ook zaken publiceren wanneer deze data geen onderdeel van de bedrijfsvoering is, voorbeeld je mag competitiestanden publiceren die je scraped hebt, immers dit is een uitvloeisel van sportwedstrijden en geen onderdeel van inkomsten, wat bijvoorbeeld niet zou mogen is de data van Funda 1 op 1 op jouw website te zetten, immers de data van Funda is bij uitstek het verdienmodel.

AW_Bos geeft dit inderdaad ook al aan. Voor dit soort zaken kun je over algemeen prima antwoord vinden op de website van Arnoud Engelfriet, hij is meestal ook nog zo aardig om eventuele vragen te beantwoorden.