Concept: Bittorrent voor webpagina's

[Jeroen]

Hey,

Ik bedacht me net iets en ik vroeg me af wat jullie ervan vinden. Je hebt vaak websites die veel bandbreedte verstoken. Waarom heeft nog niemand hiervoor gebruik gemaakt van bittorrent of een ander p2p-protocol om dat te verlichten? De webserver serveert enkel nog torrent-data, en vervolgens wordt de webpagina door de browser met bittorrent uit de swarm gedownload. Zolang de gebruiker zich op de pagina bevindt zou hij het kunnen seeden, of permanent seeden als je fan bent van die website en wilt bijdragen.

Er zijn natuurlijk nadelen. Zo kunnen de webpagina's niet veranderen, gewijzigde pagina's zouden een nieuwe url moeten krijgen (niet zo'n probleem). Het werkt ook alleen op grote schaal, anders is het vooral langzaam. Het voordeel zou vooral liggen bij dingen als imgur, of andere statische dingen die veel worden bezocht. Je zou zelfs alleen delen van de pagina per torrent kunnen verkrijgen, zodat je bijvoorbeeld nog comments zou kunnen bijhouden via de gewone webserver.

Ik heb heel vlug wat op het internet gezocht maar niks kunnen vinden hierover, misschien heb ik niet de goede zoektermen gebruikt.

[PerfectPC]

Dit wordt eigenlijk wel al gedaan. Kijk maar eens naar de download links voor verschillende linux en bsd distributies, vaak zit er een torrent link tussen, dit om het dataverbruik wat te verminderen veroorzaakt door de vele dowloads. Hethelpt dus ook enkel op grote volumes, niet met HTML content waar jij op doelt. dit zou ook niet erg efficient zijn. Ipv direct je content te krijgen zou je eerst nog elders, via vele trage verbindingen, je content moeten gaan halen. En dit bijna elke keer je een pagina opvraagt, want geef toe hoe vaak ziet een moderne webpage van een drukbezochte site er hetzelfde uit? Nee dus, dit is enkel goed voor static content, en dan liefst enkel bij content die zo groot is, dat de delay die je oploopt bij het opzetten van de verbinding teruggewonnen kan worden tijdens het downloaden zelf. Het opzetten van een torrentverbinding duurt al makkelijk vele seconden, de dowloadtijd moet dus nog eens vele malen groter zijn om dit verlies in te halen. dit is niet verzoenbaar met de stelling dat een webpage als traag wordt bestempeld als de loaddtijd boven de 7 (dacht ik?) seconden uit komt. Wiskundig gezien, niet interessant dus

[Jeroen]

PerfectPC schreef op zaterdag 07 januari 2012 @ 15:26:
Dit wordt eigenlijk wel al gedaan. Kijk maar eens naar de download links voor verschillende linux en bsd distributies, vaak zit er een torrent link tussen.

Klopt, dat weet ik wel maar dat gaat ook echt om 'downloads', niet om web content zelf zoals afbeeldingen of HTML.

PerfectPC schreef op zaterdag 07 januari 2012 @ 15:26:
Ipv direct je content te krijgen zou je eerst nog elders, via vele trage verbindingen, je content moeten gaan halen.

Overhead is inderdaad het grootste probleem. Alleen ik denk dat er tegenwoordig genoeg snelle verbindingen zijn, dus niet alles is traag. Je zou ook elke resource in 1 keer kunnen downloaden van 1 peer als je de chunk-size goed instelt, afhankelijk van of het 3kB is of een afbeelding van 3MB zal het een natuurlijk sneller zijn.

Het voordeel is dat je veelbezochte pagina's van peers uit je eigen land / ISP / omgeving in wat voor zin dan ook kan downloaden in plaats van dat alles van servers moet komen die waar dan ook ter wereld staan. Dit zou nog goed zijn voor het internet ook.

PerfectPC schreef op zaterdag 07 januari 2012 @ 15:26:
Het opzetten van een torrentverbinding duurt al makkelijk vele seconden, de dowloadtijd moet dus nog eens vele malen groter zijn om dit verlies in te halen.

Dat is inderdaad op dit moment een groot probleem voor een dergelijke toepassing, maar ik vraag me dan ook af waarom dat zo lang moet duren. Correct me if I'm wrong, maar ik denk dat veel tijd wordt besteed aan het zoeken van goede peers. Je zou een cache van goede peers, bijvoorbeeld per domeinnaam, kunnen bijhouden aangezien je 'weet' dat mensen die de op een site de ene pagina downloaden wellicht ook de volgende pagina downloaden, of afbeelding, of wat dan ook.

Al met al zou er dus wat getweakt moeten worden en is het misschien niet overal toepasbaar, maar ik laad liever een pagina in 10 seconde dan helemaal niet omdat de server omvalt.

[Koppensneller]

Jeroen schreef op zaterdag 07 januari 2012 @ 12:54:
Er zijn natuurlijk nadelen. Zo kunnen de webpagina's niet veranderen, gewijzigde pagina's zouden een nieuwe url moeten krijgen (niet zo'n probleem).

Volgens mij is dit wel een probleem. Moeten gebruikers dan elke keer een andere URL gaan onthouden voor bijv. nu.nl?

[CaptJackSparrow]

Verder zal het ongetwijfeld weer mogelijkheden scheppen voor kwaadwillenden om de inhoud van zo'n pagina te modificeren zodat de versie die je bij hun ophaalt je computer infecteert met malware.

Triest maar waar vrees ik.

[Jeroen]

KoppenSneller schreef op zaterdag 07 januari 2012 @ 15:43:
[...]


Volgens mij is dit wel een probleem. Moeten gebruikers dan elke keer een andere URL gaan onthouden voor bijv. nu.nl?

Dat zou niet handig zijn maar er zijn wel manieren om daar omheen te werken. Nu.nl zou elke 10 minuten een nieuwe voorpagina kunnen uitgeven, en daar naartoe redirecten via de root.

Dat is ook niet het beste voorbeeld van een goede toepassing. Nu.nl is wel drukbezocht maar niet statisch genoeg. Ik noemde al imgur, die hebben alleen statische pagina's met afbeeldingen met een vaste, unieke url, en gebruiken veel bandbreedte (vaak veel voor 1 hele populaire afbeelding).

Je zou ook kunnen denken aan bepaalde resources, dus scripts of css of afbeeldingen of filmpjes in plaats van HTML data. Zo zou je dat ook op nu.nl kunnen toepassen bij foto's, die blijven vrijwel hetzelfde. Misschien heeft Youtube er ook wat aan.

CaptJackSparrow schreef op zaterdag 07 januari 2012 @ 15:46:
Verder zal het ongetwijfeld weer mogelijkheden scheppen voor kwaadwillenden om de inhoud van zo'n pagina te modificeren zodat de versie die je bij hun ophaalt je computer infecteert met malware.

Triest maar waar vrees ik.

Om dat te voorkomen zou de webserver de data kunnen signen.

[Onbekend]

Ik vraag mij af of het gebruiken van het BitTorrent protocol voor webpagina's uiteindelijk goedkoper is.

Van een statische website zijn het dataverkeer en servercapaciteit de grootste kosten.

Bij het BitTorrent protocol is voor de website minder dataverkeer en servercapaciteit nodig, maar worden de overige kosten en capaciteit verdeeld over de gebruikers onderling.
De ISP's moeten naar elkaar ook data sturen waar uiteindelijk de kosten in gaan zitten.

Als alle gebruikers ook nog eens aan de zelfde ISP hangen zonder datalimiet (Ziggo bijvoorbeeld), dan is die kostenpost grotendeels verdwenen alhoewel de netwerkapparatuur wel die capaciteit op moeten vangen.

Mijn conclusie is dat het BitTorrent protocol weinig voordeel geeft t.o. het huidige HTTP(S). Daarnaast heb je natuurlijk overhead van BitTorrent en zit je compleet vast aan statische websites. Als je dan iets wilt aanpassen, probeer dan maar eens er voor te zorgen dat iedereen altijd de nieuwste versie van de website bekijkt.

[Rolfie]

Bedoel je niet gewoon een CDN.

[Jeroen]

Rolfie schreef op zaterdag 07 januari 2012 @ 20:33:
Bedoel je niet gewoon een CDN.

Dat is wel een verzamelnaam voor alles wat drukbezochte webcontent serveert maar ik bedoel het als toepassing van een (bestaande) p2p technologie. Vooralsnog wordt het alleen nog maar gebruikt voor downloads lijkt het, en dat zal wel komen omdat browsers geen ondersteuning hebben voor p2p technieken.

[Wirf]

Ik denk dat je hierbij snel last krijg van latency. Normaal krijg je binnen 20 ms. antwoord van de webserver. Wanneer je eerst een .torrent moet downloaden, dan een lijst met peers moet krijgen, en pas daarna je plaatjes krijgt, ben je al snel 500 ms. verder.

Als je het grote grappige plaatjes topic opent, dan heb ze zo al vele tientallen hosts waar vandaan de plaatjes komen. Dat zou betekenen dat je in het ergste geval 20 * 0.5 = 10 seconden naar een lege pagina zit te kijken voordat je eerste plaatje binnen is!

[RaZ]

Dit onderwerp is al eens ter sprake geweest hier op GoT. Wellicht staat er nog interessante posts in:
[Idee] Websites via Peer to Peer
Discussie concept 'Distributed Discussion Platform (D2P)'

En gezien m'n brainfart in die laatste, blijf ik verder wel lurken

[Koffie]

Move PNS > NT