P2P software updates; waarom nog geen gemeengoed?

[StephanVierkant]

Toen ik twee jaar geleden naar Cuba op vakantie ging, werd ik weer even terug in de tijd geworpen: per minuut betalen voor traag internet. Ik weet nog hoe ik software verkreeg (via Twilight-cd's) en hoe we via LAN een muziekbibliotheek deelden om te voorkomen dat m'n vader, m'n zusje en ik hetzelfde MP3'tje meerdere keren zouden downloaden. Kortom: we creëerden respectievelijk een fysiek en lokaal CDN. En in Cuba gaat dit momenteel op dezelfde wijze: The Cuban CDN zoals CloudFlare het mooi omschreef.

In Cuba ergerde ik me aan het feit dat m'n telefoon apps ging updaten (duurde enorm lang, sommige grote apps lukte überhaupt niet) en dat vervolgens andere (Android-)apparaten binnen ons reisgezelschap exact dezelfde apps ook ging updaten. Zonde van de bandbreedte. Ook afgelopen vakantie in Frankrijk heeft de trage camping-Wifi (op z'n minst) twee keer 1,6 GB binnengehaald voor een Android-update op onze Oneplus 5. En zelfs thuis vind ik het raar dat al m'n apparaten dezelfde app-updates steeds opnieuw downloaden. Ik ben wel benieuwd hoeveel procent van de bandbreedte van bedrijfsnetwerken opgaat aan OS/app-updates.

Behalve het ongemak van meer gebruikte bandbreedte en (mogelijk) tragere downloads dan mogelijk (via LAN), is in veel delen van de wereld de internetsnelheid een serieuze bottle neck. Daar ontstaan dus alternatieve manieren van apps uitwisselen, waarbij sideloading via één centrale PC (een fysieke app store eigenlijk) er één van is (what could possibly go wrong?). Dat lijkt me voor zowel veiligheid als gebruiksgemak niet ideaal, om het maar eens voorzichtig uit te drukken.

Dit terwijl Google bij presentaties over PWA's geen mogelijkheid voorbij laat gaan om het belang van 'offline first' te benadrukken, omdat in 'developing countries' dit enorm van belang is en tegelijkertijd de ervaring bij een snelle internetverbinding ook verbetert. Ze zeiden zelfs dat WWW weliswaar staat voor World Wide Web, maar het de facto momenteel een Western World Wide Web is, omdat we vaak vergeten dat een snelle internetverbinding voor lang niet iedereen is weggelegd.

Windows 10-updates kunnen sinds kort via P2P (opt-in volgens mij) en er gaan nu geruchten dat de Google Play Store ook P2P gaat gebruiken in de toekomst. Mij lijkt de techniek achter P2P echter al jaren volwassen genoeg en valt er veel winst te behalen, maar blijkbaar mis ik de kennis om te snappen waarom P2P-updates voor zowel apps als besturingssystemen nu pas langzaam op gang komt, en niet al sinds jaren gemeengoed is.

Waarom gebruiken (o.a.) Android en Windows niet al jarenlang P2P (als aanvulling op reguliere distributie) voor updates? Overschat ik de voordelen? Zijn er technische uitdagingen? Ik ben benieuwd naar jullie ideeën hierover!

[Cpt.Morgan]

Het idee van P2P uitwisseling van updates op basis van de huidige technieken zou er met name voor zorgen dat er geen centrale server meer nodig is. Er is nog steeds een netwerkverbinding nodig om de updates binnen te halen. Of dat netwerkverkeer van een centrale server komt, of van een andere client, maakt voor de hoeveelheid benodigd verkeer niet veel uit.

Om het te laten werken in de situatie met Android telefoons die jij beschrijft, waarbij er geen gebruik meer wordt gemaakt van de internetverbinding, is er wel degelijk iets nodig dat niet standaard gebruikt wordt, namelijk direct netwerk verkeer tussen de telefoons. Dat soort techieken bestaan wel (o.a. WiFi Direct), maar dat betreft dan weer vaak ad-hoc verbindingen en meestal ook 1-op-1. Om echt distributed P2P uitwisseling tussen telefoons mogelijk te maken, moeten al die telefoons dus onderling ook weer een soort netwerk vormen. Ik ken geen voorbeelden van zulke techniek op dit moment.

[EnnaN]

in plaats van p2p, waarbij je alsnog die verbinding naar 'buiten' nodig hebt, zoek je niet gewoon naar iets als een proxy?

De proxy staat op je locale omgeving waar je wel snel verbinding mee hebt, en zodra een bestand 'binnen' is, kan je die daar van de proxy cache krijgen. Op die manier ontloop je het trage externe netwerp tbv het snellere local netwerk. als die er is.

[StephanVierkant]

Cpt.Morgan schreef op donderdag 16 augustus 2018 @ 14:26:
Het idee van P2P uitwisseling van updates op basis van de huidige technieken zou er met name voor zorgen dat er geen centrale server meer nodig is. Er is nog steeds een netwerkverbinding nodig om de updates binnen te halen. Of dat netwerkverkeer van een centrale server komt, of van een andere client, maakt voor de hoeveelheid benodigd verkeer niet veel uit.

Er moet wel degelijk een centrale server zijn (de Play Store), maar dit kan worden aangevuld met een P2P-netwerk voor de daadwerkelijke data. Vergelijk het met veel Linux-distro's: een checksum op de website, de ISO's worden verspreid via mirrors én P2P.

De totale hoeveelheid verschilt niet, maar binnen een (lokaal) netwerk uitwisselen gaat het ongetwijfeld sneller dan alles twee keer vanaf de Google-server halen.

Om het te laten werken in de situatie met Android telefoons die jij beschrijft, waarbij er geen gebruik meer wordt gemaakt van de internetverbinding, is er wel degelijk iets nodig dat niet standaard gebruikt wordt, namelijk direct netwerk verkeer tussen de telefoons. Dat soort techieken bestaan wel (o.a. WiFi Direct), maar dat betreft dan weer vaak ad-hoc verbindingen en meestal ook 1-op-1. Om echt distributed P2P uitwisseling tussen telefoons mogelijk te maken, moeten al die telefoons dus onderling ook weer een soort netwerk vormen. Ik ken geen voorbeelden van zulke techniek op dit moment.

LAN? Het hoeft niet zo ingewikkeld hoor! Gebruik de internetverbinding voor connectie met de Google Play Store (uitwisselen checksums, mogelijk betaling, etc.) en vervolgens (indien beschikbaar) de lokale verbinding om de daadwerkelijk app of app-updates uit te wisselen.

Ik weet nog wel dat de Windows-client voor Dropbox het ook op die manier deed (doet?): met de Dropbox-server via internet syncen, maar binnen het lokale netwerk ook met andere PC's uitwisselen. Zo had je zelfs met een trage internetverbinding binnen no-time je bestanden in ieder geval op twee PC's staan.

[Voor 16% gewijzigd door StephanVierkant op 16-08-2018 14:46]

[Brahiewahiewa]

Euh, windows 10 heeft deze mogelijkheid ingebakken.
Als het een succes blijkt te zijn zullen andere fabrikanten wel snel volgen

[StephanVierkant]

Brahiewahiewa schreef op donderdag 16 augustus 2018 @ 14:34:
Euh, windows 10 heeft deze mogelijkheid ingebakken.
Als het een succes blijkt te zijn zullen andere fabrikanten wel snel volgen

Dank voor de open deur.

EnnaN schreef op donderdag 16 augustus 2018 @ 14:31:
in plaats van p2p, waarbij je alsnog die verbinding naar 'buiten' nodig hebt, zoek je niet gewoon naar iets als een proxy?

De proxy staat op je locale omgeving waar je wel snel verbinding mee hebt, en zodra een bestand 'binnen' is, kan je die daar van de proxy cache krijgen. Op die manier ontloop je het trage externe netwerp tbv het snellere local netwerk. als die er is.

Dan zou mijn router als proxy-server moeten fungeren en die heeft volgens mij geen 1,6 GB vrij om zo'n Android-update op te slaan. Ik heb wel eens mijn NAS ingezet als proxy-server, maar (afgezien van de minimale snelheidswinst en soms zelfs verlies) die app-updates laten zich gewoonweg niet cachen.

Overigens voor de helderheid: ik zoek niet direct een oplossing voor m'n eigen probleem, maar ik ben nieuwsgierig waarom deze decennia oude techniek niet op grote schaal wordt ingezet.

[Voor 12% gewijzigd door StephanVierkant op 16-08-2018 14:40]

[Brahiewahiewa]

StephanVierkant schreef op donderdag 16 augustus 2018 @ 14:39:
[...]

Dank voor de open deur...

...Overigens voor de helderheid: ik zoek niet direct een oplossing voor m'n eigen probleem, maar ik ben nieuwsgierig waarom deze decennia oude techniek niet op grote schaal wordt ingezet.

Omdat deze decennia oude techniek alleen maar een probleem oplost in gebieden die decennia achterlopen, qua techniek. Maar ja, dat zal ook wel een open deur zijn...

[emnich]

StephanVierkant schreef op donderdag 16 augustus 2018 @ 14:39:
Overigens voor de helderheid: ik zoek niet direct een oplossing voor m'n eigen probleem, maar ik ben nieuwsgierig waarom deze decennia oude techniek niet op grote schaal wordt ingezet.

De use-case is toch veel te beperkt? Alleen mobieltjes die op hetzelfde WiFi netwerk zitten zouden dat kunnen doen. Dat is sowieso al te beperkt en vervolgens ben je bezig met een update van een telefoon en verlaat die telefoon het wifi netwerk.

Daarnaast worden accu's van andere telefoons leeg getrokken omdat iemand op hetzelfde netwerk een update wil doen.

Het zorgt voor veel meer problemen dan het op lost volgens mij.

[StephanVierkant]

Brahiewahiewa schreef op donderdag 16 augustus 2018 @ 14:48:

Omdat deze decennia oude techniek alleen maar een probleem oplost in gebieden die decennia achterlopen, qua techniek. Maar ja, dat zal ook wel een open deur zijn...

Ik vind mijn eigen huishouden niet decennia achterlopen eerlijk gezegd.

[MAX3400]

StephanVierkant schreef op donderdag 16 augustus 2018 @ 14:59:
[...]

Ik vind mijn eigen huishouden niet decennia achterlopen eerlijk gezegd.

Ervanuitgaande dat je in NL woont en een verbinding hebt van meer dan 25Mbit, loop je voor op de rest van de wereld, grof gezegd. Dat je tegelijkertijd maar behoort tot minder dan 0.2% van de wereldbevolking, lijkt me wel een rekenfactor om mee te nemen?

Als voorbeeld: https://arstechnica.com/i...ys-25mbps-is-fast-enough/ -> stel je nou eens voor dat jij afhankelijk bent van je buurman om als enige peer een update voor een game binnen te halen; en die update is 5GB groot (want nieuwe DLC enzo). Zit je er dan op te wachten dat dat bijna 4 uur duurt met zijn upload?

/edit: er zijn in NL ook nog zat buitengebieden waar snelheden (wired of smartphone) niet de 10Mbit bereiken. NL is dus niet ontwikkeld.

[Voor 7% gewijzigd door MAX3400 op 16-08-2018 15:11]

[StephanVierkant]

MAX3400 schreef op donderdag 16 augustus 2018 @ 15:03:
[...]
Als voorbeeld: https://arstechnica.com/i...ys-25mbps-is-fast-enough/ -> stel je nou eens voor dat jij afhankelijk bent van je buurman om als enige peer een update voor een game binnen te halen; en die update is 5GB groot (want nieuwe DLC enzo). Zit je er dan op te wachten dat dat bijna 4 uur duurt met zijn upload?

Daarbij ga je er van uit dat P2P de enige manier is. Dat hoeft natuurlijk niet. Windows Updates gaan ook via Microsoft en alleen als P2P sneller is wordt dat óók gebruikt.

[StephanVierkant]

emnich schreef op donderdag 16 augustus 2018 @ 14:57:
[...]

De use-case is toch veel te beperkt? Alleen mobieltjes die op hetzelfde WiFi netwerk zitten zouden dat kunnen doen. Dat is sowieso al te beperkt en vervolgens ben je bezig met een update van een telefoon en verlaat die telefoon het wifi netwerk.

Daarnaast worden accu's van andere telefoons leeg getrokken omdat iemand op hetzelfde netwerk een update wil doen.

Het zorgt voor veel meer problemen dan het op lost volgens mij.

Overschakelen van wifi naar 4G en andersom is iets dat volgens mij al wel opgelost is inmiddels. Bovendien gebruikt Microsoft (als enige partij die nu P2P voor dit soort updates volgens mij) P2P ook als aanvulling op reguliere distributie, niet als vervanging.

In Cuba (en ongetwijfeld elders op vele andere plekken op de wereld) is downloaden via de Play Store überhaupt geen optie voor sommige apps, omdat bijv. (in het geval van Cuba) het downloaden van een wat grotere app langer duurt dan de maximale tijd van 1 uur per sessie. Het huidige alternatief (apk'tjes uitwisselen via een centrale computer) is dusdanig gevaarlijk en onhandig dat een sneller leegstromende accu daarbij in het niet valt.

[MAX3400]

StephanVierkant schreef op donderdag 16 augustus 2018 @ 15:26:
[...]

Daarbij ga je er van uit dat P2P de enige manier is. Dat hoeft natuurlijk niet. Windows Updates gaan ook via Microsoft en alleen als P2P sneller is wordt dat óók gebruikt.

Maar je bent nu een topic begonnen met een zeer solide voorbeeld (Cuba) waar blijkbaar alles baggertraag ging. Stelt dan ongeveer voor dat P2P tijdelijk / ter plekke een beter idee geweest zou kunnen zijn en daarna gooi je een beetje je eigen betoog in met 2 uitspraken die er haaks op staan; P2P ondersteunt de reguliere kanalen en dat er voldoende bandbreedte is.

Wat me trouwens ook opvalt, maar dat is zijdelings; je klaagt dat je op vakantie 2x 1.6GB moest downloaden voor je OP5. Nou heb ik ook een OP5 en er is maar 1 firmware geweest van ongeveer 1.6GB. Tenzij jouw vakantie (regelmatig) > 6 weken duurt, zijn er niet eens 2 firmwares uitgekomen voor je telefoon?

Maar je gaat nog immer niet in op de daadwerkelijke constatering dat er gewone hele gebieden zijn waar het geen klap uitmaakt of je P2P of regulier downloadt: de verbinding / infra / whatever is gewoon op veel plekken nog steeds niet voldoende om "op jouw moderne huishoudmanier" data binnen te krijgen. En reken eens door wat ik eerder postte; jij behoort tot minder dan x% van de wereldbevolking. Het aantal verkochte OP5's is nog lager. De kans dat je dus in een buitengebied een P2P-host vindt is zo mogelijk nog kleiner dan dat je een Nederlander tegenkomt.

[Jester-NL]

StephanVierkant schreef op donderdag 16 augustus 2018 @ 14:39:
[...]

Dank voor de open deur.


[...]

Dan zou mijn router als proxy-server moeten fungeren en die heeft volgens mij geen 1,6 GB vrij om zo'n Android-update op te slaan. Ik heb wel eens mijn NAS ingezet als proxy-server, maar (afgezien van de minimale snelheidswinst en soms zelfs verlies) die app-updates laten zich gewoonweg niet cachen.

Overigens voor de helderheid: ik zoek niet direct een oplossing voor m'n eigen probleem, maar ik ben nieuwsgierig waarom deze decennia oude techniek niet op grote schaal wordt ingezet.

Misschien omdat P2P een beetje onaangenaam overkomt in de ogen van een deel van de OS-fabrikanten?
Microsoft heeft de laatste jaren meerdere (grote) beta's uitgebracht van hun producten, en daarbij ook nooit gekozen voor P2P. Sterker nog, de torrents van die pakketen moesten onmiddellijk worden verwijderd.
Daarbij... ik herinner me de reacties van allerhande gebruikers toen W10 net uit was... hoe MS het in hun hoofd haalde om hun PC (en bandbreedte) in te zetten voor het verspreiden van updates.
Kortom... het is nooit goed

[BLACKfm]

Volgens mij is deze discussie alleen handig in landen zoals Cuba waar je blijkbaar nog op 56K/ISDN snelheden zit.

Helaas zijn er dan ook weer figuren in Nederland die vinden dat een 50Mbit lijn niet voldoende is om lokaal e-mail te ontvangen via VPN omdat het extra bandbreedte kost. Maar de omslachtigheid om alles via een remote desktop omgeving of via een webportal te laten lopen verkiezen boven het gebruiksgemak en 0,2% extra belasting op de beschikbare bandbreedte.

In die zin is het leuk dat eerst centraal een download wordt gedaan zodat deze lokaal kan worden verspreid, maar als de bandbreedte er wel is dan download ik liever 2x 1,5gb in 30 minuten dan 1x 1,5gb in 30 minuten en dan nog eens 10 minuten te moeten wachten op de download via de lokale bron.

Peer 2 peer brengt naar mijn idee ook allemaal veiligheidsrisico's met zich mee. Niet dat de originele bron nou altijd betrouwbaar is, maar dan liever direct van de bron een virus zodat ik iemand daarop kan aanspreken dan een hobbieboer die even leuk wat troyans in een package stopt.

p2p werkt denk ik ook alleen maar op huishoudelijk niveau. De buren hebben veelal niks aan wat jij download en visa versa. Dan beperk je dus enkel het dataverbruik binnen je eigen huis/netwerk. Tenzij iedereen in huis de zelfde telefoon heeft, het zelfde besturingsysteem op de computer draait en iedereen naar de zelfde muziek luistert én een bandbreedte van <1Mbit heeft zou het enig voordeel op kunnen leveren, maar verder zie ik daar weinig nut in.

[StephanVierkant]

BLACKfm schreef op donderdag 16 augustus 2018 @ 17:51:
Volgens mij is deze discussie alleen handig in landen zoals Cuba waar je blijkbaar nog op 56K/ISDN snelheden zit.

Zoals al eerder in het topic gezegd: de snelheid in NL is enorm luxe en we behoren tot een zeer kleine minderheid van mensen die >25 Mbit/s heeft.

Peer 2 peer brengt naar mijn idee ook allemaal veiligheidsrisico's met zich mee. Niet dat de originele bron nou altijd betrouwbaar is, maar dan liever direct van de bron een virus zodat ik iemand daarop kan aanspreken dan een hobbieboer die even leuk wat troyans in een package stopt.

Volgens mij is dat vrij eenvoudig te tackelen, bijvoorbeeld door het gebruik van checksums. Ik download al jaren ISO's voor Linux distributies via torrent.

p2p werkt denk ik ook alleen maar op huishoudelijk niveau. De buren hebben veelal niks aan wat jij download en visa versa. Dan beperk je dus enkel het dataverbruik binnen je eigen huis/netwerk. Tenzij iedereen in huis de zelfde telefoon heeft, het zelfde besturingsysteem op de computer draait en iedereen naar de zelfde muziek luistert én een bandbreedte van <1Mbit heeft zou het enig voordeel op kunnen leveren, maar verder zie ik daar weinig nut in.

Ook niet waar. Je 'fysieke' buurman misschien niet, maar het heeft wel zeker voordelen als je kunt downloaden binnen een het netwerk. Eerste lokaal, maar daarna binnen het netwerk van je provider. Dat is ook de reden dat veel providers bereid zijn mirrors aan te bieden van ISO's, zodat het verkeer binnen het netwerk blijft. Dat is voor een provider goedkoper.

Bovendien gaf ik al aan: ik heb 7 Android-apparaten thuis. Voor bedrijfsnetwerken kan dat een veelvoud zijn en het is niet ongebruikelijk dat veel medewerkers binnen hetzelfde bedrijf ook dezelfde telefoon hebben.

[StephanVierkant]

MAX3400 schreef op donderdag 16 augustus 2018 @ 16:05:
[...]

Maar je bent nu een topic begonnen met een zeer solide voorbeeld (Cuba) waar blijkbaar alles baggertraag ging. Stelt dan ongeveer voor dat P2P tijdelijk / ter plekke een beter idee geweest zou kunnen zijn en daarna gooi je een beetje je eigen betoog in met 2 uitspraken die er haaks op staan; P2P ondersteunt de reguliere kanalen en dat er voldoende bandbreedte is.

Wat me trouwens ook opvalt, maar dat is zijdelings; je klaagt dat je op vakantie 2x 1.6GB moest downloaden voor je OP5. Nou heb ik ook een OP5 en er is maar 1 firmware geweest van ongeveer 1.6GB. Tenzij jouw vakantie (regelmatig) > 6 weken duurt, zijn er niet eens 2 firmwares uitgekomen voor je telefoon?

M'n vriendin en ik hebben beide een OP5. In het geval van P2P had ik de update kunnen downloaden en via het lokale netwerk (Wifi van de camping) had zij het van mij kunnen downloaden.

Maar je gaat nog immer niet in op de daadwerkelijke constatering dat er gewone hele gebieden zijn waar het geen klap uitmaakt of je P2P of regulier downloadt: de verbinding / infra / whatever is gewoon op veel plekken nog steeds niet voldoende om "op jouw moderne huishoudmanier" data binnen te krijgen. En reken eens door wat ik eerder postte; jij behoort tot minder dan x% van de wereldbevolking. Het aantal verkochte OP5's is nog lager. De kans dat je dus in een buitengebied een P2P-host vindt is zo mogelijk nog kleiner dan dat je een Nederlander tegenkomt.

De infrastructuur van bijv. Cuba kan prima zijn, maar het is het lijntje naar de buitenwereld dat de bottle neck vormt. Hetzelfde geldt in het klein voor huishoudens: intern is een 1 Gbit/s netwerk niet ongebruikelijk, terwijl een >100Mbit/s lijntje naar buiten dat al wel is. In mijn geval heb ik een 1 Gbit/s netwerk (+/- 300 Mbit/s draadloos), maar ongeveer 50 Mbit/s naar buiten.

De kans dat ik in dat buitengebied nog een eigenaar van een OP5 tegenkwam was 100%, want m'n vriendin sliep bij me in dezelfde tent . Maar zonder geintje: dat is wel precies de use case waar ik het voordeel in zie. En voor OS-updates is dezelfde telefoon van belang, maar voor app-updates maakt dat al weer niet uit.

Jester-NL schreef op donderdag 16 augustus 2018 @ 17:28:
[...]

Misschien omdat P2P een beetje onaangenaam overkomt in de ogen van een deel van de OS-fabrikanten?
Microsoft heeft de laatste jaren meerdere (grote) beta's uitgebracht van hun producten, en daarbij ook nooit gekozen voor P2P. Sterker nog, de torrents van die pakketen moesten onmiddellijk worden verwijderd.
Daarbij... ik herinner me de reacties van allerhande gebruikers toen W10 net uit was... hoe MS het in hun hoofd haalde om hun PC (en bandbreedte) in te zetten voor het verspreiden van updates.
Kortom... het is nooit goed

P2P !== Torrent. Windows 10 biedt al P2P updates aan, dus je stelling dat nooit gekozen is voor P2P is niet waar.

[Voor 59% gewijzigd door StephanVierkant op 16-08-2018 18:28]

[StephanVierkant]

nieuws: 'WhatsApp-update die valse info tegengaat komt nog niet bij Indiase g...

Hier weer een goed voorbeeld waarom het downloaden/updaten via de Play Store zo belangrijk is, maar niet lukt vanwege de gebrekkige infrastructuur. Dit lijkt me ook voor Google en Facebook/WhatsApp erg vervelend, omdat updates dus niet/nauwelijks worden uitgerold.

Ik zie nog steeds niet in waarom de metadata (bijv. versienummer en checksum van de apk, zeer minimale grootte) niet via internet kan worden uitgewisseld en de daadwerkelijke apk (vele MB's) via een adhoc-netwerk of lokaal netwerk. Dit zou het updaten in opkomende landen erg vereenvoudigen, of in het geval van (in ieder geval) Cuba: überhaupt mogelijk maken.

[StephanVierkant]

nieuws: Google begint met 'peer-to-peer'-verspreiding van Android-applicaties