NAS voor video productie

[Bart.O]

Hallo,

Onze huidige NAS oplossing is te klein en te sloom. De NAS wordt gebruikt om video materiaal op te slaan en vanaf de nas te bewerken in software zoals adobe after effects en premiere. Het is een mix van 1080p en 4k materiaal waar meerdere mensen tegelijk aan werken. Qua hoeveelheid aan opslagruimte moeten we denken aan 30+ tb en het liefst uit te breiden.

We zijn wel handig met pc's etc maar we zijn ook geen IT geleerde. Waar moet ik beginnen met zoeken en waar moet ik op letten? Hoe weet ik bijvoorbeeld wanneer de nas snel genoeg is en hoe zit het met h265 in de toekomst? Zelf kwam ik al snel uit op de Synology RS serie of de grotere DS serie maar wat zijn vergelijkbare oplossingen? Een dell op hp server?

Kortom welk pad moet ik bewandelen om tot een goede koop te komen.

[Bigs]

Je geeft aan dat de huidige situatie niet naar wens presteert, dus het is goed om te kijken waar de bottleneck zit zodat je weet wat je als eerste aan moet pakken. Wat voor NAS gebruik je nu? Hoe is de CPU, Netwerk en I/O belasting (inclusief lees/schrijf %) op de NAS en welk RAID niveau gebruik je? Is er een dedicated netwerk voor de NAS?

De high-end Synology systemen zijn best capabel en makkelijker te beheren dan een losse server. Je kunt zelfs gebruik maken van SSD read/write cache, al weet ik niet of dat voor videobewerking heel interessant is.

[ Voor 25% gewijzigd door Bigs op 14-12-2015 11:56 ]

[Verwijderd]

Ik sluit mij aan bij de vragen van Bigs. Een antwoord daarop is noodzakelijk om een adviesrichting te kunnen meegeven. Desondanks zou je Video Editing van een NAS kunnen doornemen om wat meer houvast op de materie te krijgen.

[Bart.O]

Excuus voor mijn slome reactie.
Mijn collega heeft op random momenten wat screenshots gemaakt, dit is met 2 personen die aan het bewerken zijn dat zijn er meestal 3 en soms meer wat in de toekomst nog zal groeien. Daarbij komt nog dat steeds meer materiaal 4k is.

http://imgur.com/a/DEGPp
Wat mij opviel is dat de cpu hier redelijk gelijk blijft maar ik heb hem wel regelmatig hoger gezien. Als ik het goed zie op de control panel zit er 1 netwerk kabel in en zit deze in het algemene netwerk.

Huidige systeem:
DS412+
CPU
INTEL Atom D2700
Kloksnelheid van CPU
2.13 GHz
CPU-kernen
2
Totaal fysiek geheugen
1024 MB

@aardvark, handig topic!

[_-= Erikje =-_]

dat zegt nog steeds vrij weinig. Hoeveel (en welke) schjven zitten er momenteel in, werk je vanaf CIFS shares of via iSCSI? Hoe ziet je netwerk eruit, wat zijn je eisen qua IOPs enz

[DAzN]

Waarom investeer je niet in een consultant die gespecialiseerd is in dit soort zaken? Je geeft aan dat jullie geen "IT geleerden" zijn, dus hoe gaat het met beheer, backup, (technische) ondersteuning etc? Voor 30+TB ben je al aardig serieus bezig, dus dan moet die paar 100 euro die je investeert in advies, makkelijk terug te verdienen zijn.

[Bart.O]

Er zitten 5 wd30efrx (wd red 3tb) schijven in en er zit een Synology-DX513 extentie unit aan met ik geloof dezelfde schijven.

Op dit moment CIFS, hier moet ik me verder in verdiepen om een slimme keus te maken.

IOPs heb ik weinig inzicht in, kan ik nakijken/berekenen hoeveel ik nu verbuik in mijn NAS? Het zijn voornamelijk grote bestanden ipv heel veel kleine. Sommige 4k video bestanden zullen in de toekomst 300 tot zelfs 600Mbps(4k 60p) kunnen zijn. Waarschijnlijk zullen we voor raid 10 moeten gaan aangezien dit sneller is dan raid 6.

De nas zit nu gewoon bij de switch in waar iedereen op zit aangesloten. We zullen wss een nieuwe switch moeten aanschaffen om eventueel een nas met meerdere verbindingen aan te sluiten.

Het doet geen pijn om zelf eerst zoveel mogelijk onderzoek te doen toch? Het aantal tb geeft denk ik ook een vertekend beeld over de groote van het bedrijf. Mochten we er inderdaad niet uitkomen dan zou een consultant een uitkomst zijn. Qua backup lijkt ons de cloud een mooie oplossing.

[Rataplan_]

Je geeft niet aan voor wie jullie werken, maar ik kan me zomaar voorstellen dat niet iedereen erop zit te wachten dat zijn video's / reclamespots / whatever die nog niet gereleased zijn zomaar 'ergens' in de cloud staan. Hou in je achterhoofd dat er mogelijk klanten / bedrijven zijn die dat niet tolereren.

[Bart.O]

Dat is zeker een goed punt. Daarvoor zouden we dus moeten kijken naar een backuplossing voor of het hele systeem of bepaalde projecten die we zelf in beheer hebben, het liefst offsite ivm brand e.d.

[maratropa]

De opslag en nas kan nog zo snel zijn, maar als je op bijv een enkel gbit aansluiting zit dan begrijp ik best dat je last van performance problemen hebt.

Ik zou met 1 of 2x gbit eigenlijk gewoon niet editen vanaf een netwerklocatie. En dan heb je het over 600mbps materiaal in de toekomst.

Afhankelijk van wat je doet kun je erg veel io genereren met bijv AE.

Kun je eens wat meer zeggen over wat er precies sloom is, welke functies in welke situatie? Is de input alleen maar video met veel compressie of ook tussenformaten met hoge bitrate?

[Bart.O]

Zo te zien is het inderdaad vaak de netwerkverbinding van de nas die vol loopt. De RS serie van Synology heeft 4gbit aansluitingen en dat zou voorlopig voldoende moeten zijn. 600Mbps is natuurlijk niet heel veel voorkomend maar wel iets waar we rekening mee kunnen houden.

Het is nog niet zo dat we er constant last van hebben hoor, als we met 4 tegelijk flink bezig zijn dan komt het wel eens voor dat wanneer ik vooruit klik in mijn edit dat het ff duurt voordat het materiaal zichtbaar is. Meest voorkomende bitrates liggen tussen de 35 tot 100 Mbps.

[DukeBox]

Bart.O schreef op dinsdag 22 december 2015 @ 10:26:
Wat mij opviel is dat de cpu hier redelijk gelijk blijft maar ik heb hem wel regelmatig hoger gezien. Als ik het goed zie op de control panel zit er 1 netwerk kabel in en zit deze in het algemene netwerk.

Ik zou indexering eens uitzetten (op al je shares).

Bart.O schreef op dinsdag 22 december 2015 @ 13:00:
De RS serie van Synology heeft 4gbit aansluitingen en dat zou voorlopig voldoende moeten zijn.

Nee, (zonder insteekkaart) heeft deze 4x1Gbit. Afhankelijk van het gebruikte protocol kun je meer dan 1Gbit in 1 p2p connectie gebruiken.

[ Voor 32% gewijzigd door DukeBox op 22-12-2015 13:05 ]

[Bigs]

Bart.O schreef op dinsdag 22 december 2015 @ 11:28:
Er zitten 5 wd30efrx (wd red 3tb) schijven in en er zit een Synology-DX513 extentie unit aan met ik geloof dezelfde schijven.

Ok, dat zijn sowieso geen heel snelle schijven maar het is op dit moment nog niet duidelijk of daar je bottleneck in zit.

IOPs heb ik weinig inzicht in, kan ik nakijken/berekenen hoeveel ik nu verbuik in mijn NAS? Het zijn voornamelijk grote bestanden ipv heel veel kleine. Sommige 4k video bestanden zullen in de toekomst 300 tot zelfs 600Mbps(4k 60p) kunnen zijn. Waarschijnlijk zullen we voor raid 10 moeten gaan aangezien dit sneller is dan raid 6.

Dit is ook wat te kort door de bocht. Zeker als het gaat om 30TB zou ik niet klakkeloos voor RAID10 kiezen omdat dat sneller is (het scheelt immers nogal in de kosten). Voor een random write workload is RAID10 inderdaad sneller, maar de leesprestaties zijn vergelijkbaar RAID6. Zoals hierboven al aangegeven is het waarschijnlijk wel de moeite waard om een specialist naar jullie situatie en toekomstplannen te laten kijken zodat je een gedegen advies krijgt. Zeker als je zelf geen idee hebt hoe je cijfers over IOPS en Read/Write percentage naar boven krijgt.

[Bigs]

Bart.O schreef op dinsdag 22 december 2015 @ 13:00:
Zo te zien is het inderdaad vaak de netwerkverbinding van de nas die vol loopt.
[..]

Ik zie dat niet terug in je screenshots, daar zie ik maximaal netwerkverkeer van 40MB/s (=~ 300mbit).

[Bart.O]

Bedankt voor jullie advies, het helpt me deze (voor mij) complexe situatie beter in te schatten. Lijkt me wel interesant om eens te kijken wat er gebeurt als we wat meer stress uitoefenen op het huidige systeem maar weet niet of dat vandaag gaat lukken.

[Fairy]

1 losse gbit aansluiting gaat niet overhouden qua performance. Ik ben zelf gewend aan 4x 10gbit, maar da's een iets andere tak van sport waar onze storage voor gebruikt wordt

Je zult in ieder geval iets met link aggregation moeten doen (minimaal 2x 1gbit en liefst 4x 1gbit) zeker in een multi user omgeving. Beste is nog 1x 10gbit (of 2x10 voor redundantie in failover).

Voor video zou ik GEEN parity based opslag kiezen, tenzij je er echte stevige hardware tegenover zet zou ik het op RAID10 houden en investeren in extra disks om het verlies te compenseren.

Ook client side moet je iets gaan doen. Het goedkoopste is om een netwerkkaart te plaatsen met 2 aansluitingen en deze 2 te bundelen.

Zorg wel voor een goede managed switch met een deftige configuratie (aan een expert overlaten, je geeft al aan dat je geen expert bent op dat gebied). Een slecht geconfigureerde switch kan een hoop ellende geven.

QNAP heeft ook NASsen die toegespitst zijn op video productie (met 10G aan boord):
https://www.qnap.com/static/landing/useng/videoproduction/

https://www.qnap.com/i/en/product/model.php?II=126 zoiets, groter zijn er ook...

[ Voor 39% gewijzigd door Fairy op 22-12-2015 13:28 ]

[M2M]

Je werkt met grote files, die waarschijnlijk allemaal in 1 stuk ingelezen worden. Dat wil dus zeggen dat je weinig IO's per seconde nodig hebt, maar meer ruwe harde throughput.

Je netwerk zelf is 1 Gb/s (gok ik), dus maximaal 100 MB/s. Zo ongeveer de throughput van een enkele harddisk. Als meerdere mensen tegelijk werken aan materiaal, dan loopt de throughput hard terug, omdat een harde schijf maar 1 ding tegelijk kan doen.

Wil je een snellere NAS, dan moet je er eentje hebben die ofwel met een vorm van raid werkt (raid 0, 10, 5 of 6), of waarbij iedereen zijn eigen NAS schijf heeft. Bij voorkeur een NAS met meerdere LAN poorten die je samen kunt rapen richting een managed switch, of een upgrade naar 10G.

Dan zit je nog client-side. Kan de client, de grote hoeveelheid data wel verwerken? 100MB/s 4K videomateriaal kan mijn PC'tje niet decoden namelijk.

[Damic]

Bekijk de filmpjes eens van Linustechtips, daar hebben ze ook al een aantal maal hun opslag moeten herzien en zelfs zwaar moeten testen om een degelijke output te hebben.
De laatste: YouTube: 100TB at over 1GB/s - The "Storinator" is back!

[jadjong]

Hoe groot is de hoeveelheid data waar je daadwerkelijk mee werkt?

[Q]

Beste Bart.O.

Als je in de omgeving van Haarlem zit kunnen we wel eens van gedachten wisselen als je dat op prijs stelt.
Ik heb wel wat ervaring met storage (zie mijn signature).

[ Voor 19% gewijzigd door Q op 23-12-2015 00:35 ]