vBulletin PM's downloaden * - Client software algemeen

zondag 25 april 2004 14:40

Acties:

Topicstarter

Hoi,

na uiteraard uitgebreid de search gebruikt te hebben, heb ik nog geen oplossing voor mijn probleempje gevonden, dus dan maar een nieuw topic.
Ik wil graag een archiefje aanleggen van Private Messages op een (ander) forum.
Daar moet je eerst inloggen via een php-script en dan kom je op een site die een meta-http-equiv-refresh heeft naar een site waar het overzicht staat met je pm's.
Ik wil dus dat hij die refresh volgt en op die overzichtsite de links volgt en de daaropvolgende sites opslaat als html-file.
Met IE 6 heb ik alleen nog kunnen vinden dat je een pagina op kunt slaan en je kunt wel meerdere levels diep synchroniseren, maar een combinatie van die twee heb ik nog niet kunnen vinden (oftewel.. wáár worden de gesynchroniseerde sites opgeslagen?).
Verder heb ik wget voor windows geprobeerd, met savecookie en loadcookie, alleen dat werkte niet.. kreeg toch telkens weer te zien dat ik niet ingelogd was. (Hij kwam wel op het overzicht van de pm's (dus het inloggen lukte) maar toen hij die links volgde was hij plotseling niet meer ingelogd)
Ik heb teleport pro geprobeerd, die heeft helemaal geen functionaliteit voor inloggen en WinHTTrack net zo min.

Dus.. beste Tweakers, wie weet er wel een werkende oplossing? Alvast bedankt

"Do not worry about your difficulties in mathematics; I can assure you that mine are still greater" - Albert Einstein (1879-1955)

zondag 25 april 2004 14:43

Acties:

Spider.007

* Tetragrammaton

Ik vraag me altijd af waar mensen dan op zoeken?

[search=website opslaan]

---
Prozium - The great nepenthe. Opiate of our masses. Glue of our great society. Salve and salvation, it has delivered us from pathos, from sorrow, the deepest chasms of melancholy and hate

zondag 25 april 2004 14:46

Acties:

bartjenl

Topicstarter

Spider.007 schreef op 25 april 2004 @ 14:43:
Ik vraag me altijd af waar mensen dan op zoeken?

[search=website opslaan]

daarop dus.. maar daar is geen programma te vinden dat aan mijn eisen voldoet.. wel verschillende topics over mensen met zelfde soort problemen, maar die worden niet opgelost.

"Do not worry about your difficulties in mathematics; I can assure you that mine are still greater" - Albert Einstein (1879-1955)

zondag 25 april 2004 14:47

Acties:

Spider.007

* Tetragrammaton

Het is gewoon mogelijk om dit probleem op te lossen; laat je exacte wget syntax eens zien; en wellicht kun je vertellen wat er op dat forum draait waar je die PMs vanaf wilt rippen? Is dat phpBB?

---
Prozium - The great nepenthe. Opiate of our masses. Glue of our great society. Salve and salvation, it has delivered us from pathos, from sorrow, the deepest chasms of melancholy and hate

zondag 25 april 2004 14:53

Acties:

bartjenl

Topicstarter

Spider.007 schreef op 25 april 2004 @ 14:47:
Het is gewoon mogelijk om dit probleem op te lossen; laat je exacte wget syntax eens zien; en wellicht kun je vertellen wat er op dat forum draait waar je die PMs vanaf wilt rippen? Is dat phpBB?

code:

1 2	wget -E --post-data="username=xxxxx&password=xxxxxx&action =login" -r -l 1 http://forum.scholieren.com/private.php?s=

en daar draait vBulletin

"Do not worry about your difficulties in mathematics; I can assure you that mine are still greater" - Albert Einstein (1879-1955)

zondag 25 april 2004 14:53

Acties:

TERW_DAN

Met een hamer past alles.

Je kunt in teleport pro anders makkelijk aangeven dat je een username en password nodig hebt voor een site zodat hij kan inloggen. Dus de mogelijkheid daartoe bestaat wel.

zondag 25 april 2004 14:55

Acties:

bartjenl

Topicstarter

Terw_Dan schreef op 25 april 2004 @ 14:53:
Je kunt in teleport pro anders makkelijk aangeven dat je een username en password nodig hebt voor een site zodat hij kan inloggen. Dus de mogelijkheid daartoe bestaat wel.

met standaard HTTP authentication wel, maar volgens mij niet met een php-script.. als dat wel kan dan zou ik graag horen hoe..

"Do not worry about your difficulties in mathematics; I can assure you that mine are still greater" - Albert Einstein (1879-1955)

zondag 25 april 2004 14:57

Acties:

Spider.007

* Tetragrammaton

Wat ik iig zou proberen; probeer eens een referer mee te sturen; kijk of je met bijvoorbeeld "LiveHTTP headers" de exacte POST data kunt achterhalen. Ook zie ik hier geen opties om de cookies bij te houden?

Ook heb je een depth van 1; is het dan niet logisch dat hij alleen de 1e pagina doet (being het overzicht)?

---
Prozium - The great nepenthe. Opiate of our masses. Glue of our great society. Salve and salvation, it has delivered us from pathos, from sorrow, the deepest chasms of melancholy and hate

zondag 25 april 2004 14:57

Acties:

Sendy

Ik kan me voorstellen dat wget eerst de 'logout' knop opslurpt. Dan is je koekie niet meer geldig natuurlijk. Misschien kan je dat eens onderzoeken?

zondag 25 april 2004 14:57

Acties:

Spider.007

* Tetragrammaton

bartjenl schreef op 25 april 2004 @ 14:55:
[...]

met standaard HTTP authentication wel, maar volgens mij niet met een php-script.. als dat wel kan dan zou ik graag horen hoe..

XII. CURL, Client URL Library Functions

Website opslaan? > vBulletin PM's downloaden *

[ Voor 16% gewijzigd door Spider.007 op 25-04-2004 15:47 ]

---
Prozium - The great nepenthe. Opiate of our masses. Glue of our great society. Salve and salvation, it has delivered us from pathos, from sorrow, the deepest chasms of melancholy and hate

zondag 25 april 2004 15:04

Acties:

bartjenl

Topicstarter

Sendy schreef op 25 april 2004 @ 14:57:
Ik kan me voorstellen dat wget eerst de 'logout' knop opslurpt. Dan is je koekie niet meer geldig natuurlijk. Misschien kan je dat eens onderzoeken?

$_/-\o_$ dat doettie inderdaad $_/-\o_$

maarja.. wat nu?

"Do not worry about your difficulties in mathematics; I can assure you that mine are still greater" - Albert Einstein (1879-1955)

zondag 25 april 2004 15:05

Acties:

Spider.007

* Tetragrammaton

bartjenl schreef op 25 april 2004 @ 15:04:
[...]

$_/-\o_$ dat doettie inderdaad $_/-\o_$

maarja.. wat nu?

 --exclude-directories=list

---
Prozium - The great nepenthe. Opiate of our masses. Glue of our great society. Salve and salvation, it has delivered us from pathos, from sorrow, the deepest chasms of melancholy and hate

zondag 25 april 2004 15:08

Acties:

bartjenl

Topicstarter

Spider.007 schreef op 25 april 2004 @ 15:05:
[...]
 --exclude-directories=list

maar.. dat gaat om een hele directory.. en dat is hier niet..
member.php?s=&action=logout mag hij niet aanklikken.. dat lukt niet met exclude-directories volgens mij..

"Do not worry about your difficulties in mathematics; I can assure you that mine are still greater" - Albert Einstein (1879-1955)

zondag 25 april 2004 15:12

Acties:

Spider.007

* Tetragrammaton

bartjenl schreef op 25 april 2004 @ 15:08:
[...]

maar.. dat gaat om een hele directory.. en dat is hier niet..
member.php?s=&action=logout mag hij niet aanklikken.. dat lukt niet met exclude-directories volgens mij..

Hmm... ik meende een andere regel te hebben gec/p'ed; heb jij ook de beschikking over een optie genaamd: --exclude-URL= ?

---
Prozium - The great nepenthe. Opiate of our masses. Glue of our great society. Salve and salvation, it has delivered us from pathos, from sorrow, the deepest chasms of melancholy and hate

zondag 25 april 2004 15:13

Acties:

bartjenl

Topicstarter

bartjenl schreef op 25 april 2004 @ 15:08:
[...]

maar.. dat gaat om een hele directory.. en dat is hier niet..
member.php?s=&action=logout mag hij niet aanklikken.. dat lukt niet met exclude-directories volgens mij..

woehoe.. heb 't opgelost

-R "*member*" doet het

de uiteindelijke regel is nu:

code:

1
2
3

H:\wget for windows>wget -E --referer="http://forum.scholieren.com/private.php"
-r -l 1 -k -p -R "*member*" --load-cookies cookies.txt http://forum.scholieren.c
om/private.php

thx allemaal $_/-\o_$

_{mag wat mij betreft dicht}

"Do not worry about your difficulties in mathematics; I can assure you that mine are still greater" - Albert Einstein (1879-1955)