[ALG] website leeghalen

[Barracuda_82]

Ik moet een hele berg data van een website afhalen en ik zoek een programmatje dat dat voor mij kan doen. Ik heb een url (http://genealogie-limburg...e=bidpr&func=display&id=1) waar alleen maar steeds het ID nummer veranderd moet worden en waar een klein stukje tekst uitgehaald moet worden en mogelijk opgeslagen in een database.

Wie weet er een programmatje dat die taak van mij over kan nemen?

[Stewie!]

Httrack?
zoek eens zou ik zeggen
en heb je toestemming van de maker?

[ Voor 100% gewijzigd door Stewie! op 31-05-2003 13:06 ]

[Barracuda_82]

DaMorpheus schreef op 31 mei 2003 @ 13:05:
Httrack?

Zou je misschien iets specifieker kunnen zijn?

[Xenon]

http://www.httrack.com/index.php

[Xenon]

Maar dat kan niet echt doen wat jij wenst

[Stewie!]

Xenon schreef op 31 May 2003 @ 13:07:
Maar dat kan niet echt doen wat jij wenst

wel als je een pagina hebt waar al die id's instaan

[Barracuda_82]

Ik denk dat het zo wel gaat lukken, want als ik al die paginas op mijn HD heb staan kan ik een programmatje schrijven dat steeds bepaalde stukjes tekst zoekt in de broncode en deze opslaat in een excel database.

Ik moet namelijk alleen de namen en geboortedata enzovoorts hebben die steeds op die paginas staan. Ik heb al gezien dat de opbouw steeds hetzelfde is en dat ik mooi een reguliere expressie op deze pagina's kan gooien zodat ie steeds de goeie stukjes eruitfiltert.

[ Voor 39% gewijzigd door Barracuda_82 op 31-05-2003 13:45 ]

[Stewie!]

Barracuda_82 schreef op 31 mei 2003 @ 13:44:
Ik denk dat het zo wel gaat lukken, want als ik al die paginas op mijn HD heb staan kan ik een programmatje schrijven dat steeds bepaalde stukjes tekst zoekt in de broncode en deze opslaat in een excel database.

Ik moet namelijk alleen de namen en geboortedata enzovoorts hebben die steeds op die paginas staan. Ik heb al gezien dat de opbouw steeds hetzelfde is en dat ik mooi een reguliere expressie op deze pagina's kan gooien zodat ie steeds de goeie stukjes eruitfiltert.

en de toestemming van de makers van die site?

[TheLunatic]

DaMorpheus schreef op 31 mei 2003 @ 14:33:
[...]

en de toestemming van de makers van die site?

Het Internet is van iedereen, als je het op de normale wijze in zou kunnen zien waarom dan niet op deze ? Als het niet zou mogen moeten ze het niet op Internet zetten...

[brooks123]

gebruik TELEPORT (pro). geen idee waar ik het ooit vandaan haalde, maar deze passeerd Httrack en vele anderen die ik heb geprobeerd.

[Rob]

TheLunatic schreef op 31 May 2003 @ 18:44:
[...]

Het Internet is van iedereen, als je het op de normale wijze in zou kunnen zien waarom dan niet op deze ? Als het niet zou mogen moeten ze het niet op Internet zetten...

De meeste beheerders zijn er niet blij mee als er een client is die heel snel achter elkaar 1 pagina opvraagt waardoor het systeem dus retetraag wordt.

[Stewie!]

TheLunatic schreef op 31 May 2003 @ 18:44:
[...]

Het Internet is van iedereen, als je het op de normale wijze in zou kunnen zien waarom dan niet op deze ? Als het niet zou mogen moeten ze het niet op Internet zetten...

DVD die jij koopt is ook van jou nerd
als je die kopieert is dat ook illegaal

Al eens van copyright gehoord, websites zomaar kopieeren mag niet.
en hij wilt de gegevens kopieeren en ze op eigen site of ander digitaal medium gaan gebruiken, en dat is tegen de wet, of ken je die nog niet, de Nederlandse wet?

[ Voor 16% gewijzigd door Stewie! op 31-05-2003 19:22 ]

[Jazzy]

DaMorpheus schreef op 31 May 2003 @ 19:21:
[...]

Al eens van copyright gehoord, websites zomaar kopieeren mag niet.
en hij wilt de gegevens kopieeren en ze op eigen site of ander digitaal medium gaan gebruiken, en dat is tegen de wet, of ken je die nog niet, de Nederlandse wet?

LOL, wat denk je dat er gebeurt als jij een website bezoekt? De complete pagina, dus .html en alle andere jpg's, gifs, en wat dan ook wordt naar jouw computer geladen. Het hele 'browsen' is gebaseerd op het kopieren van data. Kijk maar eens in de directory waar je tijdelijke internetbestanden zijn opgeslagen, je zult zien dat je hele websites op je harddisk hebt gezet.

Wat is dan het verschil of je dat doet met een on-line browser zoals IE of een off-line browser zoals Httrack?

En wie heeft het nou over het gebruiken op een eigen site?

[ Voor 5% gewijzigd door Jazzy op 31-05-2003 20:36 . Reden: Laatste regel toegev. ]

[TaXaN]

Downloaden van data naar je pc en opslaan in de cache zijn handelingen die nodig zijn voor het normaal gebruik van het copyrighted werk en daarom is het toegestaan zonder expliciete toestemming van de maker. Het is één van de uitzonderingen die gedefinieerd zijn in de wet. Een hele site leechen en zelf gaan 'uitbuiten' is zeker en vast tegen de copyrightwet. Volg eens een cursus informaticarecht zou ik zeggen.

[edit]
wget bestaat ook voor Windows, zie http://www.gnu.org/software/wget/wget.html#downloading

[ Voor 16% gewijzigd door TaXaN op 31-05-2003 20:52 . Reden: wget voor Windows ]

[Kippenijzer]

Als je de beschikking hebt over linux moet je eens aan wget gaan denken... Omdat deze meerdere url's tegelijk kan downloaden (wel sequentieel, maar tegelijk op de command line) kun je gewoon met de bash principes dit doen wget <statisch-url-deel>{,1,2}{1,2,3,4,5,6,7,8,9,0} download dan item met id=0 t/m id=29 (en ook alle eventuele foutpagina's dus, bijvoorbeeld bij id-0)

[Stewie!]

OK effe duidelijk maken aan mensen als Jazzy,
kijken naar een website mag, maar kopieeren om de data zelf te gaan gebruiken niet.
Waarom denk je dat ie die data wil? Om zelf rustig na te slaan? Dacht t niet. Hij wilt niet voor niks alle data geordend en automatisch hebben
Ben je te dom om te zien dat dat wat anders is

[Jazzy]

DaMorpheus schreef op 31 mei 2003 @ 22:22:
OK effe duidelijk maken aan mensen als Jazzy,
kijken naar een website mag, maar kopieeren om de data zelf te gaan gebruiken niet.
Waarom denk je dat ie die data wil? Om zelf rustig na te slaan? Dacht t niet. Hij wilt niet voor niks alle data geordend en automatisch hebben
Ben je te dom om te zien dat dat wat anders is

Mmm, dat neerbuigende toontje lijkt me niet echt nodig.

Je trekt conlcusies die nergens op gebaseerd zijn, lees de posts van de TS nog maar eens goed. Verder is het heel simpel, als jij meer weet dan ons en blijkbaar zeker weet dat het illegaal is wat de TS gaat doen dan is het dom van je om hem daar tips bij te geven. Zo niet, niet zeuren en ter zake blijven.

Aan de TS:
Je kunt in Httrack een lijst met urls opgeven om te downloaden, met Excel kun je die lijst makkelijk maken en koppie-en-peesten naar Httrack. Vul in de eerste cel het eerste statische deel tot het volgnummer, in de tweede cel het volgnummer en in de vierde de rest van de url. Voor nu de cellen door naar beneden (het volgnummer uiteraard als reeks) en gebruik voor de vierde kolom de functie die de teksten uit kolom 1, 2 en 3 samenvoegt.

[Stewie!]

Jazzy schreef op 01 juni 2003 @ 00:17:
[...]

Mmm, dat neerbuigende toontje lijkt me niet echt nodig.

Je trekt conlcusies die nergens op gebaseerd zijn, lees de posts van de TS nog maar eens goed. Verder is het heel simpel, als jij meer weet dan ons en blijkbaar zeker weet dat het illegaal is wat de TS gaat doen dan is het dom van je om hem daar tips bij te geven. Zo niet, niet zeuren en ter zake blijven.

blijkbaar wel, als ik het tot 3x toe moet vertellen

En ik trek inderdaad conclusies. Bestaan er mensen die een hele website willen rippen zoals deeze site (heb je hem wel gezien) en dan alleen de data eruit willen halen? Gewoon voor de grap?? Dacht t niet, hij wilt die zooi gaan gebruiken voor iets anders. En rara waarom vraagt ie het niet gewoon aan de makers van de website zelf? En tips geven is niet dom. CD branders maken is ook niet dom, toch gebruikt iedereen hem om illegale dingen mee te doen. Bovendien wilt de TS niet echt meewerken, anders had hij nog wel gereageerd en als hij een naam vraagt van een programma, en ik die geef, en hij dan nog meer uitleg vraagt, dan zegt dat ook wel weer wat

[Brothar]

Helemaal mee eens.

TS geef 's aan waar je mee bezig bent ?

(NB: Tweakers net is niet bedoeld voor illegale/strafbare dingen)

[Guru Evi]

Je kunt het downloaden, zonder rechtenprobleem, zolang je ze maar voor jezelf houdt en niet begint te broadcasten of op je eigen website zet.
Ik denk niet dat er zo'n sensitive data zomaar op het internet staat om af te tappen dus daar heb je geen probleem mee (zelfs PHP scripts kun je niet unparsed downloaden met zoiets).
Ik had vroeger daar een cute programmatje voor, kwam origineel van de Mac denk ik, heel snel maar naam vergeten. WebSucker of zoiets noemde dat.
Enneuh, veel browsers hebben zo'n optie: website opslaan voor offline te bekijken, doet hetzelfde hoor.

[ Voor 11% gewijzigd door Guru Evi op 01-06-2003 21:19 ]

[Verwijderd]

Persoonlijk gebruik ik al jaren Teleport Pro voor dit soort dingen. Werkt perfect, want je kunt echt tot in detail instellen wat er precies gedownload moet worden: file-grootte, filetype, hoe diep hij de links moet volgen, of hij links naar andere sites moet volgen, hoeveel threads er tegelijk mogen lopen, ... noem maar op.

[Stewie!]

Guru Evi schreef op 01 June 2003 @ 21:19:
Je kunt het downloaden, zonder rechtenprobleem, zolang je ze maar voor jezelf houdt en niet begint te broadcasten of op je eigen website zet.
.

das juist t probleem, lees toptictitel

[Verwijderd]

DaMorpheus schreef op 02 juni 2003 @ 16:25:
das juist t probleem, lees toptictitel

Oh? Waar lees jij in de topictitel dat hij van plan is om de boel te broadcasten of op zijn eigen website wilt zetten?

(Overigens: zelfs dan kun je je nog afvragen of dat illegaal is. Google doet niets anders met zijn cache optie. Hier heb je een volgens jou illegale kopie van Tweakers.net.)

[ Voor 35% gewijzigd door Verwijderd op 02-06-2003 16:37 ]

[Luppie]

Wie zegt hier, dat het om materiaal gaat wat belast is met een copyright. Misschien zit op deze data wel helemaal geen copyright. Het gaat zoals TS heeft geschreven om een Genealogie website, en zover ik weet zit er geen copyright op stamboomgegevens, tegenwoordig valt het wel onder de wet persoonsgegevens, maar daarin staat alleen hoe je met gegevens om moet gaan ondermeer heeft dit betrekking op geautomatiseerde systemen.

Ik zie geen enkel probleem in wat de TS vraagt.

TS : Ik zie aan de website dat deze in PHP gemaakt is, dus zal er wel een SQL database achter zitten. Je zou aan de makers van de website kunnen vragen of ze de tabellen die je wilt hebben kunnen backuppen en naar je toe willen sturen/mailen o.i.d.

[We Are Borg]

DaMorpheus schreef op 31 mei 2003 @ 19:21:
[...]

DVD die jij koopt is ook van jou nerd
als je die kopieert is dat ook illegaal

Erg slim om te gaan lopen flamen

[F_J_K]

DaMorpheus schreef op 31 May 2003 @ 19:21:
DVD die jij koopt is ook van jou nerd
als je die kopieert is dat ook illegaal

Doe maar wat rustiger voortaan
[/laat]

Laten we maar ophouden over of het nu wel of niet (c) is. Op deze manier is het eeuh vrij offtopic gegaan, ook duidelijk te zien aan het wegblijven van de topicstarter

Ik zie niets over copyright op de pagina. Dat betekent zeker niet dat er [i]geen[i] copyright op zit (dat is op zich met alles zo, al zal het hier niet op de data maar het formaat zijn, als ik het goed heb). Netjes voor het datagebruik is het zeker niet, maar illegaal: kweenie. Voor puur eigen gebruik mag je een website voor zover ik weet ook gewoon offline bekijken.

Maar klik voor tips, hoe een PHP site te downloaden is al wel vaker aan bod geweest

Het makkelijkst IMHO (omdat je enkel die paar zinnetjes wilt): maak zelf iets dat ze stuk voor stuk afgaat & de relvante delen opslaat. Maar omdat het hoe dan ook wat offtopic is gegaan, er al diverse tips hier en in de search staan en er toch wat weinig zekerheid is over (c), toch maar een slotje. Onderop de website staan twee e-mailadressen: schrijf ze aan: misschien/waarschijnlijk krijg je zo de database van ze, veel makkelijker dan strippen en scheelt nog bandbreedte ook.

(En als je een OK krijgt het te downloaden maar niet de DB krijgt, zie ik vanzelf wel een mailtje verschijnen van je )