batch download en broncode bewerken

[DShadow]

Dit is mijn eerste post en als ik het beleid goed begrijp moet dit het goede forum voor dit topic wezen. Anders verplaats mijn post maar.

Ik wil van een aantal pagina's de broncode downloaden. Deze bewerken en in een sql database stoppen.
En ik wil deze gegevens gemakkelijk kunnen updaten.

Dus ik zoek een programma of programma's die 1 of meerdere van de volgende handelingen kan afwerken.

1 de broncode van 1 of meerdere pagina's kan downloaden en in een map op mijn harde schijf zetten.

2 de broncode bewerken en/of inlezen. Zodat alleen de benodige gegevens over blijven.

3 de gegevens in de database inladen.

Als het mogelijk is dat het programma met profielen werkt zou dit erg handig zijn.

Bijvoorbeeld als ik 5 pagina's van type A moet in laden, en 4 van B.

Zou ik alleen A en de 5 pagina's willen selecteren. En dat dan automatisch de pagina's worden gedownload, de gegegevens worden bewerkt en in de database worden geladen.

Als iemand een programma weet dat een van deze taken kan uitvoeren post dit dan hier.

Bedankt

DShadow

[Verwijderd]

mischien dat je wat meer kunt vertellen over wat je precies met pagina's bedoelt. moet ik dan denken aan web pagina's, dus HTTP request etc of hebben we het hier over een andere protocol.

en wat bedoel je met bewerken? omzetten naar platte tekst, dus de eventuele HTML formatting eruit filteren of bedoel je echt het bewerken van de inhoud, in dat geval over welke soort broncode spreken we dan?

voor punt 3 hangt het af van wat voor database je hebt. heb je een MySQL, SQLite, MSSQL, Oracle, PostgreSQL of een andere? mischien werk je wel via ODBC? iet meer informatie zou handig zijn.

ik denk niet dat je een programma zult vinden die precies al die taken doet. je kunt voor het downloaden, indien het om web pagina's gaat, gewoon een website leecher gebruikt welke de website dan download naar een map op je harde schijf. voor stap 2 en 3 zal het wat lastiger worden.

mischien kun je iets meer vertellen over je preciese doelstelling en database mogelijkheden.

[DShadow]

1 ja het gaat om webpagina's
2 het gaat om verwijderen van html codes en filteren van de gegevens.
3 En de data base is mysql.

Ik dacht ook niet dat ik 1 programma zou kunnen vinden.

waar kan ik een goede leecher vinden die met profielen of instructies van een .txt bestand kan inlezen.

Dan heb ik stap 1 alvast.

*edit

ps. het zou mooi zijn als het programma via parameters in de commandline te besturen is. Zodat ik straks van de 3 programma's 1 .bat file kan maken (zo heet dat toch?) of anders het ik daar ook nog weer een programma voor nodig.

[ Voor 28% gewijzigd door DShadow op 26-05-2007 23:02 ]

[DShadow]

Ik heb teleport pro gedownload en probeer hiermee stap 1 uit te voeren. Iemand enige idee voor stap 2 en 3. Of moet ik zelf iets in elkaar proberen te zetten?

*edit

Ik heb teleport pro gedownload en het is niet helemaal wat ik zoek.

Ik zoek een programma waar ik 20 vaste adressen op kan geven. En dat ik dan 20 html files op mijn harde schijf heb staan. enig commetaar?

[ Voor 41% gewijzigd door DShadow op 27-05-2007 17:54 ]

[Verwijderd]

Teleport Pro ken ik zo niet, dus daar kan ik weinig over zeggen maar je zou eens kunnen kijken naar 'wget'. dit is eigenlijk een linux/unix tool die daar veel gebruikt wordt om van alles en nog wat te downloaden. er is ook een windows versie van te vinden op: http://gnuwin32.sourceforge.net/packages/wget.htm

je zou dit prima met een PHP script kunnen doen. je kunt dan met de 'strip_tags' functie alle html uit de pagina filteren en dan in de mysql database inladen.

de pagina's kun je ook downloaden met bijvoorbeeld de 'fsockopen' functie waarmee je HTTP/1.0 request kunt makken. HTTP/1.1 kan ook maar dan komt er heel wat meer bij kijken zoals 'chunked encoding' wat best lastig is. maar met HTTP 1.0 heb je daar niks mee te maken en de meeste webservers doen er ook niet moeilijk over.

eventueel zou je ook de 'exec' functie kunnen gebruiken voor het downloaden. door met 'exec' dus 'wget' aan te roepen. al is het wel wat mooier om gewoon een aparte functie te schrijven die 1 bestand download en ook meteen door 'strip_tags' haalt zodat alle HTML eruit is.

een goeie website over wat er heen en weer wordt gestuurd tussen client en webserver vindt je hier: http://www.jmarshall.com/easy/http/

en de PHP manual pages voor
strip_tags http://nl3.php.net/manual/en/function.strip-tags.php en
fsockopen http://nl3.php.net/manual/en/function.fsockopen.php en
exec http://nl3.php.net/manual/en/function.exec.php.

ik weet niet hoeveel ervaring je hebt met PHP maar ik denk dat het anders wel een leerzame ervaring is om zelf zo'n script in elkaar te zetten. met google zijn ook nog wel veel voorbeelden te vinden. zoek dan naar een tutorial over hoe je mysql gebruikt en je kunt ook eens naar de source code kijken van andere projecten die iets met HTTP request doen. ook op http://nl3.php.net/manual/en/ staat erg veel leerzame informatie. vooral hoofdstuk 3 'Language Reference' is een goed punt om te beginnen met PHP. daar leer je veel over de syntax en de eigenaardigheden zoals 'Type Juggling' en 'streams'.

veel success.

[DShadow]

Ik heb wel wat ervaring met php ik denk nog niet genoeg maar dat kan ik wel bij leren. Kan php goed overweg met meerdere files. En is er een manier in php dat je script kan schedulen. Zodat ie 's nachts alles update.

Bedankt voor alle reacties zoals het er nu uitziet moet ik zelf iets in elkaar flansen.

PS. nu het er na uitziet dat ik zelf in elkaar moet zetten moet dit topic nog worden verplaatst naar een ander forum?

*edit

Hoe moet ik php runnen gewoon op een localhost server mijn pc? (ik heb al wampserver geinstalleert)

[ Voor 11% gewijzigd door DShadow op 28-05-2007 12:58 ]

[Spider.007]

DShadow schreef op maandag 28 mei 2007 @ 12:55:
Ik heb wel wat ervaring met php ik denk nog niet genoeg maar dat kan ik wel bij leren. Kan php goed overweg met meerdere files. En is er een manier in php dat je script kan schedulen. Zodat ie 's nachts alles update.

Ja, ja, ja; ik neem aan dat bovenstaande vragen zijn; dan zijn voorgaande de antwoorden Je kan gewoon de Windows scheduler gebruiken om een php script uit te voeren. Het slimst om dit te doen is door de php.exe executable aan te roepen met het pad naar je script als argument

PS. nu het er na uitziet dat ik zelf in elkaar moet zetten moet dit topic nog worden verplaatst naar een ander forum?

dat is nog even afhankelijkvan de kant waar dit topic heengaat. Je kan eigenlijk de complete oplossing eenvoudig in PHP scripten; de vragen die je tegenkomt kan je waarschijnlijk toch zelf heel snel oplossen mbv de manual

[Verwijderd]

Overigens ook de moeite waard om te vermelden:

CURL http://nl3.php.net/curl

en

file_get_contents http://nl3.php.net/manual/en/function.file-get-contents.php (mbv HTTP wrappers)

[DShadow]

ik heb wget nu geinstalleerd en dit lijkt wel een beetje erop wat ik zoek een mooi klein programma.
Maar weet je iemand hoe je de file overwrite aanzet. Nu word na elke update de naam aangepast file.html, file.1, file.2 ect.
Volgens de manual is het de parameter -r maar deze betekend recursive download. Weet iemand hoe ik dit in kan stellen?

[blaataaps]

Volgens de manual is het helemaal niet de parameter "-r", zoals je zelf al zegt, wat het wel is wordt prima uitgelegd in de manual