Data distributie systemen over het internet.

[videodok]

Ik ben op zoek naar informatie over systemen en methoden om heel snel met zo'n min mogelijk bandbreedte bestanden te uploaden naar 300-1000 clients. Het gaat om bestanden van tussen de 60-100 Mbyte en dan iedere maand een paar bestanden. Iedere client heeft een eigen internet connectie. Client draait Fedora distributie. Wij denken aan geografisch strategies servers die naar de clients kunnen uploaden. Clients allemaal binnen 1 Nederland.

Hoe zet je zoiets op,in grote lijnen?
Wat kun je verwachten van de kosten? Hardware investering maar ook bandbreedte gebruik.

[AtleX]

Zijn het elke keer volledig nieuwe bestanden of gedeeltelijk aangepaste bestanden? In het laatste geval kan je iets als Rsync gebruiken, dat is erg snel en doordat het alleen wijzigingen in files overstuurt bespaar je flink wat dataverkeer.

[Verwijderd]

Wij denken aan geografisch strategies servers die naar de clients kunnen uploaden. Clients allemaal binnen 1 Nederland.

Geografisch Strategisch heeft binnen Nederland geen zin. Als jij een bestandje naar je buurman, die bij een andere provider zit, stuurt, gaat het vrijwel zeker via een flinke omweg (meestal AMS-IX, Amsterdam Internet eXchange). Hoewel 'flink' natuurlijk erg betrekkelijk is met de afstanden die wij in Nederland kennen.

[Kippenijzer]

valt de data dmv multicast evt. te streamen? en is het een optie/is het zo dat alle clients bij dezelfde provider zitten? Want multicast ondersteuning moet je natuurlijk ook van je provider hebben/krijgen, maar dat zal met zakelijke abonnementen vast te regelen zijn als ze allemaal bij dezelfde provider zitten. (Alhoewel ik op dat moment, buiten snelheid ook niet meer zie waarom het met zo weinig mogelijk verkeer moet)

[JackBol]

Ik zou in ieder geval gaan voor een bak op de AMS-IX die de werkelijke distributie doet. Dan hoeft je alleen nog maar voldoende bandbreedte te kopen, en een paar scriptijes in elkaar te draaien. (Ik ben momenteel een beetje bezig met Ruby, wat me erg geschikt hiervoor lijkt. Dit is een OO gebaseerde CLI scripttaal. Je kan heel eenvoudig sockets aan maken voor client server applicaties voor bijv. data over te brengen.

[Koffie]

Move PNS > NT

videodok schreef op maandag 30 mei 2005 @ 11:54:
Ik ben op zoek naar informatie over systemen en methoden om heel snel met zo'n min mogelijk bandbreedte bestanden te uploaden naar 300-1000 clients. Het gaat om bestanden van tussen de 60-100 Mbyte en dan iedere maand een paar bestanden. Iedere client heeft een eigen internet connectie. Client draait Fedora distributie. Wij denken aan geografisch strategies servers die naar de clients kunnen uploaden. Clients allemaal binnen 1 Nederland.

Hoe zet je zoiets op,in grote lijnen?
Wat kun je verwachten van de kosten? Hardware investering maar ook bandbreedte gebruik.

Geef eerst eens meer info.
Er zijn zat synchrosneertools, maar e.e.a is toch echt afhankelijk van hoe/wie/wat/waar die bestanden aangepast worden.

[videodok]

geografisch geeft idd geen zin in Nederland. De data moet te streamen zijn. Ik wil zo min mogelijk verkeer ivm met kosten van bandbreedte.

Meer info:

Het gaat om video bestanden die vanuit een server moet worden verdeeld over de clients. Om zoveel clients met video te kunnen voorzien heb je veel bandbreedte nodig, zeker omdat het totaal p/m wel wat GB's zal worden.Misschien is dit niet eens extreem, maar zoveel verzenden naar de clients over het internet vraagt wel veel bandbreedte op sommige momenten.

[ Voor 58% gewijzigd door videodok op 30-05-2005 13:43 ]

[leuk_he]

Vaak is het aanschaffen van standaard produkten goedkoper ipv van net genoeg bandbreedte. Als je clients b.v. ADSL hebben kan het wel eens de moeite lonen om te kijken of je een bitttorrent (=bedoeld voor distiburen van grote bestanden) kunt gebruiken. Dan hoef je geen enorme grote server ergens neer te zetten omdat je de upload van al je clients OOK gebruikt. Er zijn torrent implementaties die uitstekend in de batch te draaien zijn. En je hebt ook geen singe point of failure voor de distributie.

.edit: je moet uiteraard geen haast hebben. uiteindelijk downloaden je clients net zo snel als hun upload. bij GO abbo's is (256 kbit up) is dus ~ 2 GB per dag. bbned gebaseerde ADSL abbos zijn niet overal te krijgen, maar schalen wat sneller met hun upload. A

[ Voor 21% gewijzigd door leuk_he op 30-05-2005 14:32 ]

[videodok]

leuk_he schreef op maandag 30 mei 2005 @ 13:58:
Vaak is het aanschaffen van standaard produkten goedkoper ipv van net genoeg bandbreedte. Als je clients b.v. ADSL hebben kan het wel eens de moeite lonen om te kijken of je een bitttorrent (=bedoeld voor distiburen van grote bestanden) kunt gebruiken. Dan hoef je geen enorme grote server ergens neer te zetten omdat je de upload van al je clients OOK gebruikt. Er zijn torrent implementaties die uitstekend in de batch te draaien zijn. En je hebt ook geen singe point of failure voor de distributie.

Ik zie behoorlijk veel voordelen in bovenstaande. Het is iig een andere kijk op het verhaal ik zal eens moeten bekijken hoe snel de data zich verspreid in het geval wee een torrent oplossing zouden nemen. en wat de kosten zijn om dit te bereiken.

[Verwijderd]

Video is makkelijk te streamen dus kan je gewoon broadcasten, 1 keer verzenden en alle clients hebben het (als ze waren het 'luisteren'), wel moet je daarvoor volgens mij een gesloten netwerk maken (mbv vpn?). De bandbreedte wat gebruikt word is dan minimaal.

[Parody]

@KoeNijn: kun je al zo multi-casten over het internet? Lijkt mij dat je dan op z'n minst wat assistentie van je provider moet hebben, want anders kost het aan de upload kant het aantal clients maal grootte van het bestand aan bandbreedte, en dat was nou net niet de bedoeling.

Een .torrent lijkt inderdaad de handigste oplossing voor dit probleem. Hou er wel rekening mee dat het begin van de distributie wat traag start (het hele bestand moet tenminste één keer geheel verzonden worden), maar dat daarna het gebruik van de bandbreedte sterk toeneemt. Bij een deelfactor 1 (m.a.w. iedere client ontvangt en verzend evenveel data) kom je dan inderdaad uit op een netto "downloadsnelheid = uploadsnelheid", maar bij hogere deelfactoren (m.a.w. als een client meer verstuurt dan-ie ontvangen heeft) kan de totale snelheid daarboven komen. Immers, er is niemand die alleen maar aan het "leechen" is.

Om het begin te versnellen kun je er trouwens voor kiezen om de upload bandbreedte van de eerste distributeur redelijk ruim te kiezen, zodat de eerste volledige kopie sneller verspreid is. E.e.a. hangt af van de hoeveelheid tijd die het maximaal mag kosten om het bestand over de clients te verspreiden.

[videodok]

Ik zou er dus voor moeten zorgen dat op een bepaald moment alle clients hun aanvraag tegelijk doen. Multicasting wordt geleverd door enkele providers.en behoort tot de mogelijkheden.
Torrent draaien. is een hele intressante oplossing, en misschien wel het meest haalbaar.


Even voor de duidelijkheid, de bestanden dienen lokaal afgespeeld te worden, het is niet de bedoeling om het materiaal over de verbinding af te spelen. dus na distributie worden de bestanden op de HD's van clients geplaatst en daarvandaan afgespeeld.

[ Voor 33% gewijzigd door videodok op 30-05-2005 14:56 ]

[Verwijderd]

Parody schreef op maandag 30 mei 2005 @ 14:53:
@KoeNijn: kun je al zo multi-casten over het internet? Lijkt mij dat je dan op z'n minst wat assistentie van je provider moet hebben, want anders kost het aan de upload kant het aantal clients maal grootte van het bestand aan bandbreedte, en dat was nou net niet de bedoeling.

Ik weet het niet zeker. Als je een VPN netwerk opzet zou er voor de pc eigenlijk geen verschil moeten zijn dan als een LAN op snelheid na. Als je het direct via internet wil doen weet ik niet zeker of dat mogelijk is, ik ben het nog nooit tegengekomen op internet en als het mogelijk is moet de ISP het ondersteunen.

Meer info vindt je hier is bedoelt voor linux maar er zit ook algemene multicast info in.

[JackBol]

Parody schreef op maandag 30 mei 2005 @ 14:53:
@KoeNijn: kun je al zo multi-casten over het internet? Lijkt mij dat je dan op z'n minst wat assistentie van je provider moet hebben, want anders kost het aan de upload kant het aantal clients maal grootte van het bestand aan bandbreedte, en dat was nou net niet de bedoeling.

Kan best. Als je een GRE tunnel opzet naar al je clients kun je er gewoon PIM-DM over configureren. Het enige probleem dat je hebt is dat je wel redelijk geavanceerde routers moet hebben.

[videodok]

Ik heb ff wat leeswerk gedaan en met de info hier en elders op het internet 2 oplossingen gevonden:

1) Multi-casting, hele nette oplossing zeer geschikt voor video, benodigt speciale hardware waardoor minder intressant is om zelf te doen, dus provider moet dit ondersteunen. essentieel is dat de server gedurdende upload online is tijdens het broadcasten, en dat iedere client op hetzelfde moment ook online is.

2) een Torrent achtige oplossing: een simpele oplossing die ons in staat stelt exponentieel bestanden te verzenden naar de clients. Vereist geen specifieke hardware aan client/server zijde. 1 simpele breedband internet verbinding is genoeg. Start van distributie is traag, maar kan eenvoudig opgevangen worden. Nu wordt ook de upload van de clients gebruikt, iets wat je normaal wel tot je beschiking hebt, maar nooit gebruikt. Redundantie: in dit geheel staat de distributie straks op meerdere machine's uitval van 1 machine of lijn, is geen probleem. Een client die het bestand nog niet heeft omdat deze offline was, kan later heel simpel zelf het bestand downloaden van een andere client.

Ik hoop dat ik met deze samenvatting een juist beeld heb gekregen van de mogelijkheden

[ Voor 7% gewijzigd door videodok op 30-05-2005 15:57 ]