[alg] idee: history proxy.

[nIghtorius]

Ik krijg me toch een leuk idee.. eentje die ik ook wil gaan realiseren..

een toepassing die gebruikt kan worden als een proxy voor je favoriete HTML browser. eentje met 2 modi..

• Normaal browsen en voor elke dag een "webstate" maken.
• History browse mode (om een website te bezoeken+dloads van een bepaalde dag + speciale "host" index pagina om alle opgeslagen pagina's te indexeren)

Kortom: een toepassing die alle gegevens opslaat van elke pagina die je bezoek per dag. Kun je later (wanneer je in een nostalgische bui bent) de oude pagina's terugkijken.

dus ideeën welkom

[RobIII]

Ik snap het niet? Wat is het verschil met een willekeurige andere proxy? En wat is je doel van dit topic?

[curry684]

Je wil dus The Wayback Machine gaan namaken?

[Klippy]

curry684 schreef op maandag 21 februari 2005 @ 02:51:
Je wil dus The Wayback Machine gaan namaken?

Maar dan op je eigen PC als ik het goed heb.

Ik snap alleen nog niet waarom ik dat zou willen hebben, maar dat kan TS me vast ff uitleggen

[Tomatoman]

Hij wil een lokale backup van het internet voor het geval dat down is .

Afgezien van de vraag of het een goed idee is, moet je je realiseren dat een heleboel gebruikers niet gediend zijn van software die hun complete browsegedrag inclusief paginadownloads permanent bewaart. Reden: dergelijke software heeft een nogal hoog Big-Brothergehalte.

[ Voor 6% gewijzigd door Tomatoman op 21-02-2005 03:32 ]

[nIghtorius]

Klippy schreef op maandag 21 februari 2005 @ 03:12:
[...]


Maar dan op je eigen PC als ik het goed heb.

Ik snap alleen nog niet waarom ik dat zou willen hebben, maar dat kan TS me vast ff uitleggen

gewoon.. heb zoiets nog nooit gemaakt. Ik ga iig geen voorgebakken componenten gebruiken, want dat passeerd nu juist het gehele doel.. Lekker RFC'tjes lezen en dan lekker toepassen op je applicatie. Zo leer ik weer wat diepgaandere kanten van het HTTP protocol ipv de basic dingen zoals (GET /paginanaam.html HTTP/1.1)

tomatoman schreef op maandag 21 februari 2005 @ 03:31:
Hij wil een lokale backup van het internet voor het geval dat down is .

Afgezien van de vraag of het een goed idee is, moet je je realiseren dat een heleboel gebruikers niet gediend zijn van software die hun complete browsegedrag inclusief paginadownloads permanent bewaart. Reden: dergelijke software heeft een nogal hoog Big-Brothergehalte.

Over paranoia gesproken . Nee ik zet er iig wel een beveiliging op iets in de trend van 127.0.0.1 alleen (localhost verbindingen) en het archief laten vergrendelen mbv gebruikersnaam/wachtwoord. Meer ervaring krijgen in het beveiligingsaspect kan ook nooit kwaaad

[Mithrandir]

Ik snap niet helemaal waarom je dat zou willen. Heb je enig idee hoeveel schijfruimte je daar wel niet voor nodig hebt? Laat staan dat je het ook werkelijk zult gebruiken.

Daarbij komt nog eens dat linkjes op je pagina's niet door je eigen 'opslag' worden opgeslagen... Je zult dus nooit echt handig kunnen browsen. Verder moet je denken aan dynamisch geladen plaatjes, css, javascript en weet ik het al niet meer. Al die links moeten dus op de pagina's worden aangepast, anders wordt het niets.

Good luck.

[nIghtorius]

Mithrandir schreef op maandag 21 februari 2005 @ 13:07:
Ik snap niet helemaal waarom je dat zou willen. Heb je enig idee hoeveel schijfruimte je daar wel niet voor nodig hebt? Laat staan dat je het ook werkelijk zult gebruiken.

Daarbij komt nog eens dat linkjes op je pagina's niet door je eigen 'opslag' worden opgeslagen... Je zult dus nooit echt handig kunnen browsen. Verder moet je denken aan dynamisch geladen plaatjes, css, javascript en weet ik het al niet meer. Al die links moeten dus op de pagina's worden aangepast, anders wordt het niets.

Good luck.

niet persee..als je goed gelezen had.. wist je dat ik duidde op een "proxy-server" achtige toepassing.. iaw: het verwacht dus juist wel dat soort linkjes.. gaat een database langs en serveert een pagina die 't dichts bij het gewenste datum zit.

waar jij aan zit te denken is een map met allemaal HTML'tjes en dat je daarop gaat dubbelklikken.. dat is iig juist niet de bedoeling. (want zo kun je je content niet beveiligen mcv een wachtwoord). kortom het css, javascript, dynamisch geladen plaatjes zullen geen probleem vormen.

dingen wat geheid niet zal kunnen werken in de "history-proxy-mode" zal waarschijnlijk zijn:

• registratie formulieren
• https sites
• invulvakken voor gebruikersnaam/wachtwoord bepaalde site.

Waarom ik zo'n applicatie wil maken:

• Het lijkt me gaaf om een proxy te maken.
• Het lijkt me gaaf om een site terug te kijken in een bepaalde periode (maar niet via de waybackmachine.. want immers ik heb dat niet geprogrammeerd en dus krijg ik hiervan geen thrill )
• Beveiligd bestandsformaat waarin alle gegevens opgeslagen liggen (versleuteld)
• Het is een uitdaging waarvan ik zeker ben dat ik 't aankan.

[djluc]

Het is zeker een leuk idee en het lijkt ook uitvoerbaar. Waarom begin je niet gewoon? Zodra je eenmaal een werkend voorbeeldje hebt. Een eenvoudig voorbeeldje dus, zal je zien dat er veel meer nuttige reply's komen.

[FendtVario]

Is het genoeg dan om de URL te onthouden van een site? Je browser onthoudt ook een geschiedenis (al is die wat beperkt) maar zelfs daarin slaag ik niet altijd de site terug te vinden die ik eerder heb bezocht. Hetzelfde zal geldt voor een proxy, neem bijv. Squid. Deze kan ook een geschiedenis op het scherm toveren van welke sites iemand heeft bezocht maar dat garandeerd niet altijd dat je ook terug vindt wat je zoekt. Het gaat dus niet alleen over het strooien van kruimels om te vinden waar je geweest bent, maar ook om het terugvinden van je kruimels.

[Mithrandir]

nIghtorius schreef op maandag 21 februari 2005 @ 13:31:
[...]


niet persee..als je goed gelezen had.. wist je dat ik duidde op een "proxy-server" achtige toepassing.. iaw: het verwacht dus juist wel dat soort linkjes.. gaat een database langs en serveert een pagina die 't dichts bij het gewenste datum zit.


waar jij aan zit te denken is een map met allemaal HTML'tjes en dat je daarop gaat dubbelklikken.. dat is iig juist niet de bedoeling. (want zo kun je je content niet beveiligen mcv een wachtwoord). kortom het css, javascript, dynamisch geladen plaatjes zullen geen probleem vormen. [...]

Dus je wilt alleen links opslaan? Hierboven zei je van niet, dus ik snap er geen drol van. Je gaat er avn uit dat alles nog wel op de servers staat?

[nIghtorius]

Mithrandir schreef op maandag 21 februari 2005 @ 16:32:
[...]


Dus je wilt alleen links opslaan? Hierboven zei je van niet, dus ik snap er geen drol van. Je gaat er avn uit dat alles nog wel op de servers staat?

waar in vredesnaam lezen jullie dat ik alleen links opsla.. ik zei alleen dat ik geen losse HTML's ga opslaan. Maar alles in één groot databestand met encryptie voor beveiliging. Als ik alleen links opsla dan heeft 't echt geen nut.

Ik sla dus alles op wat de browser binnenhaalt.. dus zo'n beetje alles, *.css, *.htm(l), *.asp, *.php, *.xml, *.jpg, *.gif, *.png, *.weetikveelwatnogmeereris. Maar ook de bijbehorende mime-types.

[Soultaker]

Helaas is het idee niet nieuw:
• [url=ttp://impressive.net/people/gerald/1999/01/http-archive/]Personal HTTP Archive System[/]
• HTTP archiver proxy geschreven in Python
Die tweede doet ongeveer wat jij beschrijft: alle documenten die in proxy-mode doorgegeven worden opslaan en daarnaast fungeert het ding als HTTP server om de opgeslagen documenten te kunnen browsen.

Verder is het idee wel leuk, maar ik betwijfel of je er ook echt wat aan hebt. Ik heb bovenstaande archiver proxy wel eens gebruikt om informatie uit een webgame te archiveren (om er later gegevens over monsters e.d. uit te parsen), maar verder kan ik me niet echt nuttige toepassingen voorstellen.

[pjvandesande]

Het is een leuk idee, maar ik zou het nooit gebruiken eigelijk. Hoop plaatjes zijn na een tijdje niet meer zichtbaar etc, als je deze ook allemaal wilt opslaag dan weegt de schijfruimte bij mij niet echt af tegen de functionaliteit van de software.

Het idee is leuk, maar daar blijft het voor mij bij. Het neemt niet weg dat het niet te realiseren valt.

Alleen zou je dan eigelijk ook alle onderliggende pagina's moeten doen. Maar dan kom je weer in een oneindige weg terecht.

[RobIII]

questa schreef op maandag 21 februari 2005 @ 17:20:
Alleen zou je dan eigelijk ook alle onderliggende pagina's moeten doen. Maar dan kom je weer in een oneindige weg terecht.

Dat doet me weer denken aan Offline Explorer. Gewoon complete sites mirroren enzo. Komt op hetzelfde neer. En "oneindig" hoeft het natuurlijk niet te zijn, je kunt natuurlijk ook gewoon opgeven hoe "diep" je wil gaan.

[ Voor 11% gewijzigd door RobIII op 21-02-2005 17:22 ]

[Soultaker]

Je moet juist geen onderliggende pagina's opslaan. Dan kom je inderdaad bij dingen als Offline Explorer of Teleport Pro uit, maar dat is een heel ander principe (en is voor een heel ander doel nuttig).

[curry684]

questa schreef op maandag 21 februari 2005 @ 17:20:
Alleen zou je dan eigelijk ook alle onderliggende pagina's moeten doen. Maar dan kom je weer in een oneindige weg terecht.

If leaves domain quit harvesting?

[Verwijderd]

Nog zoiets: FURL