Bulkstorage voor grafische studio

[Freggel_United]

Ik loop tegen een probleem aan wat ik na veel praten en veel Googlen toch eens tegen de lamp die GoT heet aan wil houden:

Ik werk voor firma in de agrarische industrie, met ongeveer 55 werkplekken. We hebben een eigen grafische afdeling, met een zevental gebruikers op mac's.

De laatste jaren is er steeds meer druk gekomen op onze "normale" storage (windows shares in vmware vsa array (3 jaar geleden leek dit een goed idee) omdat er naast eenvoudig drukwerk steeds meer gewerkt wordt met grote projecten in Premiere, After Effects en Cinema 4D. Kort gezegd kunnen de windows-shares de load gewoon niet meer aan, we lopen tegen de 2TB limiet van NTFS aan en het aanmaken van nieuwe volumes op dezelfde array heeft de boel nogal vertraagd. Momenteel gebruiken we 2,5 TB aan storage, met nog eens 2 TB op losse Thunderbolt schijven. Niet al deze data is actueel, maar het overgrote deel wel.

Ik wil eigenlijk het "storage-intensieve" werk scheiden van het standaard DTP werk, zodat iedereen lekker door kan werken zonder continu op z'n saves te moet wachten. Daarnaast wil ik dat er voor al het lopende werk een vorm van offsite backup plaats kan vinden, zonder dat gebruikers hier actief mee bezig moeten zijn. We gaan binnenkort van 100 Mbit naar 500 Mbit glas, dus een vorm van cloudstorage/cloudbackup zou, qua throughput, niet onmogelijk moeten zijn. Ik ben hier echter, zeker bij grote projecten, zeer terughoudend mee.

Zelf zit ik de denken aan een losstaande NAS met een aantal schijven, zodat ik mijn collega's de bulkstorage kan bieden die ze nodig hebben en de bestaande Windows-shares aanhoudt voor het "eenvoudige" werk. Ik krijg dit alleen niet goed verdedigd tegenover het management, die, om een of andere reden, cloudstorage tot de heilige graal hebben benoemd.

Zijn er Tweakers met een vergelijkbare situatie en hoe zouden jullie hier mee omgaan?

[Silver7]

Je kunt ook kiezen voor hybride-opslag.

In jouw geval zou ik een consultant met technische kennis laten komen om erover te praten.

Trouwens, 2 TB limiet NTFS geldt alleen als je MBR-disk hebt aangemaakt ipv GPT.

[ Voor 24% gewijzigd door Silver7 op 20-03-2018 13:12 ]

[hans_lenze]

Ik roep ook: hybride opslag
Zie het als een kleine fileserver op locatie waar je meestgebruikte bestanden staan zodat je lekker snel kunt werken met je dagelijkse bestanden. Alles wat je opslaat wordt ook direct naar "De Cloud" gestuurd zodat het daar veilig staat en eventueel beschikbaar is op een andere plek.

Zie bijvoorbeeld Azure File Sync (nu nog in Beta, maar veelbelovend).

[ZaPPZion]

Voor de grote bulkdata van Cinema4D, after effects en premiere (zeker met multilayer rendering uit C4D) kun je het niet af met cloud storage alleen. Daarnaast wordt het ook snel duur als je een groot project hebt. Ik werk zelf met grote 3D projecten die regelmatig richting 500GB gaan, dan is wachten op een cloud sync niet grappig meer.

Gewoon een mooie lokale server/NAS zoals bijvoorbeel FreeNAS (dan zijn ook AFP shares mogelijk?) die backupt naar ofwel cloud ofwel een secundaire server bij iemand thuis. Als je echt snel wilt werken vanaf de shares, zou ik toch gaan kijken naar 10Gbit netwerk intern, of in elk geval in de server 4 1GBit aansluitingen die je kunt pairen. Ik weet dat het pairen niet heel veel gaat doen voor single user, maar als je met 7 man aan het werk bent, kom je op 1x 1GBit wel erg krap uit.

Qua schijven in de NAS zou ik zelf kijken of je het voor elkaar kunt krijgen om (mits het netwerk snel genoeg is natuurlijk) een paar SSD's te gebruiken. Ikzelf draai 4x 500GB in Raid0 op SSD's, zodat de projecten waar je op dit moment aan werkt altijd snel zijn. Daarnaast draaien een aantal 4TB schijven, waar de Raid0 natuurlijk naar gebackupt wordt (elk kwartier), zodat bij het crashen van een van de schijven nooit data verloren gaat natuurlijk. Zo heb je dus een erg snelle data schijf voor de huidige projecten, terwijl je ook de bulk storage voor meerdere projecten hebt.

[Gomez12]

Allereerst ben ik toch altijd erg benieuwd over welke cloud storage men het altijd heeft.
Ik heb altijd de grootste moeite om veel, betrouwbaar, snel en betaalbaar te krijgen. met 3 van de 4 vereisten kan ik van alles vinden, maar de combinatie van alle 4 daar loop ik altijd op vast.

Maar in principe gaat mijn voorkeur altijd uit naar lokale schijven, dat is gewoon dirt cheap. Daar kan je ook super goedkoop je lokale backup op doen.
Daarnaast heb ik altijd een hekel aan incrementele backups, veel plezier als je pand is afgefikt en jij mag alle incrementals achter elkaar erdoorheen gooien. Dus ik praat liever over een groffe 2-splitsing : Actuele data en projecten die klaar zijn. Waarbij ik van de actuele data gewoon een full-backup wil hebben op snelle cloudstorage. Maar de projecten die klaar zijn die kunnen gewoon naar glacier oid, dat die de 1e maand na een complete ramp niet beschikbaar zijn vind ik niet erg (zolang ik ze uiteindelijk maar terugkrijg).

Met 55 medewerkers en grote bestanden zou ik in ieder geval totaal niet overgaan naar cloud-storage. 500 Mbit internet klinkt leuk, maar dat is wel shared met 55 man. Terwijl een interne netwerkkabel 1Gb per persoon is en dan kan je het lokaal weer opdelen naar 1 grote nas of bijv een nas per afdeling net hoe je het wilt.

Alleen in 1e instantie zou ik eens goed kijken naar wat je nu hebt. Want een 2TB limiet op NTFS is er niet, of je moet praten over executables maar dat is een windows beperking en niet NTFS en als je 2TB executables hebt dan heb je hele andere problemen...

[unezra]

Wat @Gomez12 zegt, die 2T limiet bestaat niet:
http://www.ntfs.com/ntfs_vs_fat.htm

- Wat voor storage systeem heb je nu / hoe is het nu ingericht?
- Is er uberhaupt budget vrij te maken? (Of schrikken ze al van een investering van €1000)
- Hoe ga je het doen / doe je het met backups, etc?

Hoe dan ook denk ik ook dat cloud storage de oplossing niet is, tenzij je alle werkplekken de cloud in duwt en die storage voor die werkplekken lokaal is. Dat kan prima en er zijn zat gespecialiseerde bedrijven die dat voor je kunnen regelen. Voordeel is wel meteen dat je al je PC's de deur uit kunt gooien en volledig over kunt gaan op thin clients. Aan de andere kant, dat is één mogelijke oplossing en mogelijk niet wat je wil.

[downtime]

Gomez12 schreef op woensdag 21 maart 2018 @ 00:01:

Daarnaast heb ik altijd een hekel aan incrementele backups, veel plezier als je pand is afgefikt en jij mag alle incrementals achter elkaar erdoorheen gooien.

Daarom heb je ook differential backups. Dan restore je alleen de laatste full backup en de laatste differential.

[unezra]

downtime schreef op woensdag 21 maart 2018 @ 23:29:
[...]
Daarom heb je ook differential backups. Dan restore je alleen de laatste full backup en de laatste differential.

Blijft naar...
Wij doen uitsluitend full backups en met restore acties is dat echt ontzettend fijn.
(We kunnen overigens ook niet anders. We maken gebruik van NDMP en dat is redelijk binair. Óf je backupt een volume, óf je backupt het niet. Restore kan wel per file.)