Cloud storage met lokale cache

[BugBoy]

Ik ben mij aan het oriënteren op een nieuwe MacBook en Windows Laptop, maar ik zit met een storage probleem.

Op dit moment heb ik een 2011 MacBook Pro met 256GB SSD en een 512GB HDD. Mijn Windows laptop is een Dell Precision M4500 met een 160GB SSD. Mijn belangrijkste documenten gaan in Dropbox, waardoor die beschikbaar zijn op beide laptops. Alle muziek en foto's staan alleen op de MacBook, omdat ik die ook privé gebruik. Die wordt continu gebackupt naar mijn Time Capsule en BackBlaze (online backup).

Als ik een nieuwe MacBook aanschaf dan is een 1TB SSD oplossing een erg dure oplossing. Het is ook eigenlijk overkill, want de muziek en foto's gebruik ik niet elke dag. Wegzetten op een NAS is een mogelijkheid, maar dat is lastig i.v.m. backup en ook onderweg is het niet (of traag) beschikbaar. Ook online is het relatief traag t.o.v. lokale SSD storage.

Liever zou ik beide laptops vervangen door hun opvolgens (MBP 2015 retina en Dell XPS 15) met daarin een 512GB SSD. Dat is genoeg voor de programmatuur en dan houd ik nog ongeveer 256GB ruimte over voor data. Het liefste zou ik de data in de cloud zetten (bijv. Dropbox of OneDrive). De lokale SSD moet dan fungeren als cache, want ik kan niet alle data lokaal houden.

Eenvoudig gezegd is alle meta-data van de bestanden in het lokale filesysteem opgenomen, maar slechts een deel daarvan is lokaal aanwezig. De rest wordt on-demand geladen en dan lokaal gecached. Bestanden die al een tijd niet meer benaderd zijn worden dan uit de cache gehaald.

Helaas werken al die cloud-diensten (zover ik weet) altijd met een volledige synchronisatie of je moet vooraf kiezen welke bestanden je wilt synchroniseren. Dat laatste vind ik erg lastig. Ook programma's als iTunes en Lightroom houden er niet van als delen van de library ineens niet meer beschikbaar lijken te zijn.

De bandbreedte is geen probleem. Ik heb thuis een bedraad 1Gb LAN liggen en heb een 1Gb up/down glasvezelverbinding. De cloudprovider zal dan ook de bottleneck zijn.

Ik ben op zoek naar een oplossing die werkt op zowel Windows als op OS X. Als Linux ook nog zou werken, dan zou dat fraai zijn, maar dat is geen must. Volgens mij zou CloudFusion aardig in de buurt komen, maar dat is Linux-only.

[JT]

En waarom niet een NAS waarvan je shared folders lokaal mount? Dan benader je ze alsof ze lokaal zijn maar alles staat op je NAS. Zelfde kon je ook doen met Wuala maar dat bestaat inmiddels niet meer. Je zou dus kunnen zoeken naar een clouddienst die het lokaal mounten van je ruimte ondersteunt. Volgens mij kan dat met de Mega tools voor Linux, geen idee hoe dat in Windows werkt.

[xleeuwx]

zoals hierboven een nas, maar wat ook kan is een usbstick van 128Gb of groter, een externe schijf.

Zelf gebruik ik een usbstick voor dingen die stuk mogen / weg mogen (Virtual machines voor development doeleinden)

[BugBoy]

Ik heb een NAS staan (FreeBSD met 10TB ZFS storage), maar de snelheid is toch echt een heel stuk lager dan een lokale harde schjif of SSD. Ook is de backup van zo'n NAS lastiger en moet mijn NAS dag en nacht aan staan (toch weer zo'n 60W continu).

Dan zit ik eigenlijk nog eerder te denken aan een USB3 enclosure, waarin ik een 1TB harde schijf plaats. Die prik ik standaard in mijn monitor, dus als ik mijn laptop heb aangesloten op de monitor dan is de schijf beschikbaar (mijn MBP hangt voor 95% van de tijd aan de monitor). Als ik weg ga, dan kan ik altijd de schijf meenemen. Backblaze backupt ook gewoon externe schijven mee, als die via USB zijn aangesloten en tenminste 1x per 30 dagen mee doet in de backup. Op deze schijf zet ik dan mijn OneDrive, waardoor alles ook in de cloud beschikbaar is.

Het nadeel van die oplossing is dat ik weer een losse schijf op mijn bureau heb liggen. Ook prik je de schijf ook niet zo aan je Windows laptop, omdat de filesystemen niet compatibel zijn (er zijn wel WIndows drivers te koop om HFS te benaderen).

[JT]

BugBoy schreef op donderdag 05 november 2015 @ 19:25:
Ik heb een NAS staan (FreeBSD met 10TB ZFS storage), maar de snelheid is toch echt een heel stuk lager dan een lokale harde schjif of SSD. Ook is de backup van zo'n NAS lastiger en moet mijn NAS dag en nacht aan staan (toch weer zo'n 60W continu).

Mijn NAS met 4tb storage verbruikt <20w continu Dus wellicht een andere erbij kopen voor andere doeleinden. Synology heeft een hibernate stand, daar gaat de Syno op over bij geen gebruik. Dan is het verbruik < 3 w en hij gaat automatisch aan als je hem aanspreekt. Ik kan 2 uitspraken van jou ook niet helemaal met elkaar rijmen:

BugBoy schreef op donderdag 05 november 2015 @ 02:37:Het is ook eigenlijk overkill, want de muziek en foto's gebruik ik niet elke dag.

En vervolgens:

maar de snelheid is toch echt een heel stuk lager dan een lokale harde schjif of SSD

Dus enerzijds zeg je, snelheid is minder relevant, anderzijds is het gebrek eraan een bezwaar Ik ben trouwens ook wel benieuwd waar je die snelheid voor nodig hebt; als jij een SSD in een NAS hebt over een 1gbit lijn dan heb je echt weinig zoektijd en altijd ~100mb/s schrijven en lezen. Lijkt me meer dan voldoende voor films, muziek, foto's, kantoordocumenten enzovoort. Als je nog een andere toepassing hebt waar je hogere eisen aan hebt voor cloud-iets dan moet je dat uitspreken, dan kunnen wij daarmee rekening houden in het meedenken. Je kunt je trouwens ook afvragen hoe handig het is als je van internet eerst iets moet downloaden terwijl je snelheid nodig hebt; van een cloudprovider iets downloaden is gegarandeerd trager dan lokaal SSD in een NAS.

Dan zit ik eigenlijk nog eerder te denken aan een USB3 enclosure, waarin ik een 1TB harde schijf plaats.

Zal qua performance niet zo heel veel sneller zijn (HDD's doen tegenwoordig wat, 130mb/s ?) en misschien nog wel langere accesstime en lagere snelheid bij niet-sequentieel schrijven en lezen ook.

[dehardstyler]

Ik zou als ik jou was eens naar STACK van TransIP kijken, die delen nu 1TB gratis cloudopslag uit!!! Wel veel F5'en, maar het is het zeker waard!

Kijk anders even naar dit topic: [Cloud storage] "Stack" van TransIP

[JT]

Hoe voldoet dat aan zijn eisen?

[BugBoy]

JT schreef op vrijdag 06 november 2015 @ 08:24:
Mijn NAS met 4tb storage verbruikt <20w continu Dus wellicht een andere erbij kopen voor andere doeleinden. Synology heeft een hibernate stand, daar gaat de Syno op over bij geen gebruik. Dan is het verbruik < 3 w en hij gaat automatisch aan als je hem aanspreekt.

Het probleem is dat ik 5x2TB schijven heb draaien in een desktop. Die is wel helemaal gemaakt om zuinig te zijn, maar FreeBSD en power-management is helaas nogal een ramp. Dat is dan ook de reden waarom die eigenlijk continu aan moet staan. Ook qua backup van die data is FreeBSD nogal een ramp. De gangbare cloud-providers hebben geen client om FreeBSD te kunnen backuppen.
Investeren in een Synology zou een optie zijn, maar ik wil eigenlijk niet investeren in hardware. Dan moet je weer af en toe schijven vervangen (in 3.5 jaar tijd heb ik al 2 van de 5 schijven moeten vervangen in mijn NAS). Liever betaal ik voor een cloud-based oplossing die mij het werk uit handen neemt. Ik denk dat het al met al ook goedkoper is.

Een ander nadeel is ook dat je alleen extra storage hebt met een redelijke snelheid als je thuis bent. Op afstand is de snelheid om te huilen (ondanks mijn upload van 1Gbit).

Ik kan 2 uitspraken van jou ook niet helemaal met elkaar rijmen:

[...]

Dus enerzijds zeg je, snelheid is minder relevant, anderzijds is het gebrek eraan een bezwaar Ik ben trouwens ook wel benieuwd waar je die snelheid voor nodig hebt; als jij een SSD in een NAS hebt over een 1gbit lijn dan heb je echt weinig zoektijd en altijd ~100mb/s schrijven en lezen. Lijkt me meer dan voldoende voor films, muziek, foto's, kantoordocumenten enzovoort. Als je nog een andere toepassing hebt waar je hogere eisen aan hebt voor cloud-iets dan moet je dat uitspreken, dan kunnen wij daarmee rekening houden in het meedenken. Je kunt je trouwens ook afvragen hoe handig het is als je van internet eerst iets moet downloaden terwijl je snelheid nodig hebt; van een cloudprovider iets downloaden is gegarandeerd trager dan lokaal SSD in een NAS.

Ik zeg in mijn eerste afspraak dat ik het slechts af en toe gebruik. Bij de tweede zeg ik dat ik wel vlot wil kunnen werken. Dat is niet tegenstrijdig. Een lokale harde schijf vind ik acceptabel qua snelheid (HDD ipv SSD). Initieel even wachten om de gegevens te downloaden vind ik wel acceptabel, maar daarna moet het vlot werken.

Met Lightroom werken op een NAS werkt gewoon lang niet zo lekker als lokaal. Via bedraad netwerk zal je best nog wel redelijke access-tijden en throughput halen, maar via WiFi stort het al redelijk in. Ik mag dan wel een 1Gbit upload hebben, maar dat is naar mijn backbone. Als ik elders ben, dan zakt die verbinding natuurlijk flink in, want meestal heb je geen 1Gbit download en ook de latency neemt flink toe.

Zal qua performance niet zo heel veel sneller zijn (HDD's doen tegenwoordig wat, 130mb/s ?) en misschien nog wel langere accesstime en lagere snelheid bij niet-sequentieel schrijven en lezen ook.

Een NAS is vanwege bovenstaande redenen eigenlijk een no-go. Ik zoek eigenlijk de OneDrive oplossing, zoals Microsoft die had in Windows 8 met smart files. Helaas hebben ze daar afscheid van genomen in Windows 8.1 en was er ook geen goede OS X client voor. Die oplossing vond ik perfect, maar werd blijkbaar als te ingewikkeld geacht voor de meeste gebruikers

[BugBoy]

dehardstyler schreef op vrijdag 06 november 2015 @ 08:39:
Ik zou als ik jou was eens naar STACK van TransIP kijken, die delen nu 1TB gratis cloudopslag uit!!! Wel veel F5'en, maar het is het zeker waard!

Het gaat mij niet enkel om gratis cloudopslag. Sterker nog... Ik betaal er liever voor, zodat ik weet dat ik volgend jaar nog steeds mijn data heb. Gratis 1TB cloudopslag leveren is een leuke stunt, maar natuurlijk niet haalbaar. De storage kosten en bandbreedte moet ergens van betaald worden. Over een jaar zijn ze gestopt of betaal je gewoon. Kies gewoon een degelijke provider en ga niet voor een dubbeltje eerste rang zitten. Ga je spijt van krijgen...

[dehardstyler]

BugBoy schreef op vrijdag 06 november 2015 @ 09:26:
[...]

Het gaat mij niet enkel om gratis cloudopslag. Sterker nog... Ik betaal er liever voor, zodat ik weet dat ik volgend jaar nog steeds mijn data heb. Gratis 1TB cloudopslag leveren is een leuke stunt, maar natuurlijk niet haalbaar. De storage kosten en bandbreedte moet ergens van betaald worden. Over een jaar zijn ze gestopt of betaal je gewoon. Kies gewoon een degelijke provider en ga niet voor een dubbeltje eerste rang zitten. Ga je spijt van krijgen...

Gebruik het alleen als off-site back-up. Er is gezegd door TransIP dat het gratis blijft. Lijkt me niet dat zij hun goede naam op het spel zetten... Maar als je graag betaald, waarom dan niet gewoon de 1TB SSD in je MacBook?

[BugBoy]

dehardstyler schreef op vrijdag 06 november 2015 @ 09:58:
Er is gezegd door TransIP dat het gratis blijft. Lijkt me niet dat zij hun goede naam op het spel zetten...

Dat kunnen ze wel zeggen, maar storage en vooral bandbreedte kosten gewoon geld. Dat geldt ook voor TransIP. Als een bedrijf niet uitlegt wat het business-model is achter zo'n "gratis" oplossing vertrouw ik het niet. Hoe goed hun naam ook is. TransIP is geen charitatieve instelling.

dehardstyler schreef op vrijdag 06 november 2015 @ 09:58:
Maar als je graag betaald, waarom dan niet gewoon de 1TB SSD in je MacBook?

Wat een kinderachtige reactie... Ik zie de jankfora al weer voorbij komen als TransIP de stekker uit het project trekt. Iedereen die gratis diensten afneemt en vervolgens allerlei rechten denkt te hebben.

Maar om het even uit te leggen. Ik ben niet te beroerd om ergens voor te betalen als er ook een redelijke prestatie en SLA tegenover staat. Daarom betaal ik graag voor een goede backup oplossing, maar niet voor een 1TB SSD in een MacBook die bij de concurrentie nog niet de helft kost. Bij die laatste is de prijs/prestatie verhouding gewoon volledig weg...

[JT]

En je kunt niet zelf een SSDtje erin pluggen?

[Quakie]

Sorry door je diverse antwoorden is nu het beoogde doel niet duidelijk.. wat wil je nu bereiken?

Ik zie niet in waarom een cloud based uplossing sneller extern zou zijn dan je vanuit je eigen huis met zulke upload snelheden. De bottleneck zal externe netwerk verbinding zijn.

Aan de ene kant heb je het over files in het algemeen, en aan de ander kant maak je link naar programma's en gebruik van data op een extern apparaat (lightroom, itunes koppeling).

De grote cloud storage bedrijven bieden best wel snelheid, maar om nu te zeggen dat het lokale oplossing kan verslaan..
Bij mijn backup cloud haalt 10MB en iCloud haalt wel mijn max snelheid (18 a 20MB). Toch zit er enorme vertraging in, als ik een foto's wilt openen moet ik toch even wachten voordat iCloud juiste foto gevonden heeft.

Ik ga het toch nogmaals aandragen..

Synology NAS met SSDs als cache ingeschakeld, dan iSCSI naar je devices.. (kan je ook extern erbij) voor je koppeling naar je programma's (LR en iTunes).. dan cloudstation om je eigen Dropbox te spelen... doen ook nog versie beheer voor je..

Zou bizar zijn als dit grote vertragingen geeft lokaal of extern..

kan het via extern cloud?
Dan zou je even moeten verdiepen in iCloud voor windows. Geen idee of die alles aanbiedt als onder mac os x. Onder mac os x heb je gewoon icloud drive (zelfde als dropbox) je sync van foto's, en als je wat extra betaal je muziek in apple match... heb je alleen je probleem met lightroom.

[BugBoy]

Quakie schreef op vrijdag 06 november 2015 @ 16:47:
Sorry door je diverse antwoorden is nu het beoogde doel niet duidelijk.. wat wil je nu bereiken?

Ik wil storage die lokaal aanvoelt (dus een filesysteem), maar als achterliggend storage gewoon een cloud-provider heeft. In de cloud staat bijvoorbeeld 1TB aan bestanden, maar lokaal heb je een "cache" van 256GB op een fysieke schijf. De laatste 256GB aan bestanden die je hebt gebruikt staan in die cache (en zijn dus heel snel te benaderen). Alle metagegevens van de bestanden (alles behalve de inhoud) staat ook lokaal, waardoor het aanvoelt als een lokale schijf. Alleen heb je dus niet alles lokaal staan.

Helemaal ideaal zou zijn dat je expliciet folders kunt aanwijzen die altijd gecached moeten blijven (altijd offline beschikbaar). Dan kun je vooraf bijvoorbeeld al bestanden lokaal trekken. Handig als je op vakantie de oude foto's een keer wilt uitzoeken en je hebt slechts een beperkte internetverbinding.

Vergelijk het met Spotify. Je hebt het gevoel dat alles lokaal beschikbaar is, maar eigenlijk staat het in de cloud. Spotify cachet ook lokaal muziek, zodat het niet steeds de muziek hoeft te streamen die je vaak luistert.

Ik zie niet in waarom een cloud based uplossing sneller extern zou zijn dan je vanuit je eigen huis met zulke upload snelheden. De bottleneck zal externe netwerk verbinding zijn.

De truc is dat de initiele access inderdaad even langzaam zal zijn, maar na een tijdje werk je voornamelijk vanuit je cache en dan is het supersnel. Neem als voorbeeld een fotobibliotheek...

Elk jaar heb je circa 75GB aan foto's en video. Je hebt onderhand 10 jaar op je laptop staan. Dan heb je dus 750GB nodig in je laptop. Maar de foto's die ouder zijn dan een jaar bekijk je nog maar zelden, maar je wilt ze wel zonder gedoe kunnen benaderen. Een 1TB SSD in zo'n geval is een oplossing, maar wel een dure (vooral bij Apple). Liever heb ik dan een 512GB SSD, waarbij de oude foto's wel via de cloud te benaderen zijn.

De grote cloud storage bedrijven bieden best wel snelheid, maar om nu te zeggen dat het lokale oplossing kan verslaan..

Downloaden vanuit de cloud zal inderdaad nog relatief langzaam blijven, maar de truc is dat je cache op een gegeven moment zo slim is gevuld dat je eigenlijk alleen de wijzigingen terug hoeft te schrijven naar de cloud. Alleen als je bestanden benadert, die je niet vaak gebruikt, dan heb je die performance penalty.

Maar ik krijg de indruk dat hetgeen ik wil (en volgens mij voor heel veel mensen met relatief beperkte SSD capaciteit) er nog niet is. Ik vraag me alleen af waarom niet. Wellicht dat de hoeveelheid bandbreedte die nodig is het te duur maakt voor de aanbieders...

[ Voor 5% gewijzigd door BugBoy op 07-11-2015 15:01 ]

[BugBoy]

JT schreef op vrijdag 06 november 2015 @ 13:01:
En je kunt niet zelf een SSDtje erin pluggen?

Apple heeft om de winst nog wat verder op te schroeven een SSD geplaatst, waarvoor nog geen alternatief te vinden is. Zover ik weet is geen enkel onderdeel van een MacBook Pro nog te upgraden.