10 gbE server + switch

[dubbi3]

Ik ben op zoek naar een (redelijk betaalbare oplossing) om een server te verbinden met een switch en deze daarna te verbinden met ongeveer 10 zware werkstations.

Ik werk heel veel met zwaar ruw video materiaal en heb momenteel al een netwerk met link aggregatie maar dat werkt gewoon niet soepel.

Nu ben ik benieuwd of er betaalbare 10 gigabit switches, ethernet adapters zijn of dat iSCSI misschien een alternatief is?

Mijn doel is: 40 TB dataschijf delen met 10 workstations die allemaal ongeveer 250 tot 500 MB/s nodig hebben (niet allemaal tegelijkertijd). Belangrijkste is dat minimaal 2 workstations die 500 MB/s kunnen halen en de overige workstations mogen van mij 1 gbit trekken.

budget: €5000,-

Thnx!

Edit 1:
Serverboard met onboard 10 gbit:
http://www.supermicro.com...X8DTU_.cfm?TYP=SAS&LAN=10

Switch 1:
http://www.small-tree.com..._4_10Gb_SFP_p/stg-28t.htm

Switch 2:
http://tweakers.net/price...perblade-sbm-xem-002.html

Nic's:
http://tweakers.net/price...TSNM7Yb7Y5pk6ysj6WJdoY4wc

[ Voor 30% gewijzigd door dubbi3 op 18-01-2012 10:57 ]

[MAX3400]

En, wat had je zelf al gevonden, hetzij via de Pricewatch of anders bij de bekendere leveranciers zoals HP, Dell en Cisco?

Daarbij, je maakt nogal wat typefoutjes in hoofdletters/kleineletters voor de snelheids-indicaties; ik zou die even corrigeren zodat we een goed beeld kunnen krijgen

[ Voor 41% gewijzigd door MAX3400 op 18-01-2012 10:36 ]

[dubbi3]

MAX3400 schreef op woensdag 18 januari 2012 @ 10:35:
En, wat had je zelf al gevonden, hetzij via de Pricewatch of anders bij de bekendere leveranciers zoals HP, Dell en Cisco?

Daarbij, je maakt nogal wat typefoutjes in hoofdletters/kleineletters voor de snelheids-indicaties; ik zou die even corrigeren zodat we een goed beeld kunnen krijgen

Ik had inderdaad al research gedaan maar het wordt niet helemaal duidelijk! De snelheids-indicaties heb ik zo duidelijk mogelijk uitgelegd hoop ik

[Powermage]

Je switch 2 is volgens mij een blade module, die zal niet zomaar stand-alone werken gok ik?

[PeterPan]

ik kan je niet echt direct helpen maar wil je wel adviseren om, voor dat je gaat investeren in switches en 10Gbit netwerkkaarten e.d., te testen of je server wel deze snelheden kan halen (zijn je disken en RAID controller wel snel genoeg, is het filesystem geen belemmering, eventueel het file transfer protocol).

Wat ik je wel kan adviseren is, als het een knutseloplossing mag zijn, te kijken naar InfiniBand. Op b.v. eBay kun voor relatief weinig geld adapter setjes aanschaffen. De InfiniBand switches zijn wel enorm prijzig maar misschien kun je daar ook wel een mooie aanbieding voor vinden.

Als je het goed inricht kun je dit waarschijnlijk wel parallel laten lopen aan je bestaande Ethernet omgeving zodat je altijd een backup verbinding hebt).

[jvanhambelgium]

(tussen) 2 workstations (of 1 workstation-1server) ga je *NOOIT* 500Mbytes/sec kunnen trekken !
Als je met deze snelheden werkt moet je echt analyse gaan doen van onderliggende tunings van de bestandssystemen. Ik wil nog wel eens zien dat je van 1 Windows workstation een file van een server haalt aan 500MBytes/sec ;-)

Met de aggregatie. Wat werkt niet soepel ? Wel soort aggregatie gebruik je ? Welk soort NIC ? PCI-X ? PCI ? Ook hier heb je weer een load-balacing mechanisme met als gevolg dat je met 1 client eigenlijk nooit meer als 1 link (1Gbit) kan benutten. Pas met een grotere "mix" van traffiek is het boeiend te gaan bundelen.

Qua switch kan je kijken naar een modelletje met X aantal gigabit poorten en 1 of 2 10Gig poorten...anders gaat het echt wel wat geld kosten hoor.

[jvanhambelgium]

Wat zijn trouwens de specs van "de zware workstations" ? Mischien valt er hier ook wel wat performantie te upgraden.

Vb 2 x SSD in RAID0 voor scratch-disken
64GB RAM ? (of meer)

[Koffie]

Move PNS > NT

[DJSmiley]

5K is niet echt een hoog budget, waardoor sommige oplossingen al afvallen.

Een beetje switch met 10G kost al snel de helft.. en dan heb je vaak nog nieteens de benodigde optics enz erbij.

In jouw budget zou ik eens gaan kijken naar een 1Gbit switch met een CX4 module. Als je kabellengtes kort zijn is dat een prima betaalbare oplossing. Goedkoper dan 10G op multimode glas.

Een Zyxel XGS-4526 kost bv rond de 1500 eur. Een CX4 module zo'n 300, en voor 500 heb je een PCI-e NIC.

Belangrijker is idd wel of je disk I/O het bijhoud. Om 2Gbit (2x1 getrunked) vol te krijgen moet je al een nette setup hebben, laat staan voor 10G.
Maar 1G volkrijgen is al afhankelijk van het gebruikte protocol, en bij meerdere werkstations gaan je zoektijden ook meespelen waardoor je doorvoer omlaag gaat (of heb je meerdere dikke raidsets oid)?

Je kan ook kiezen voor een 1G oplossing met bovenstaand spul, excl de 10G module/nic en kiezen om 2Gbit te trunken. Meten is weten, en als je daadwerkelijk die 2G vol ziet lopen kun je altijd nog upgraden naar 10G.

In de 'knutselcategorie' is overigens een 10GBASE-SR nic ook een optie, die kosten zo'n 200-300 eur op Ebay of in Duitsland. Met name kwa switch iets flexibeler dan infinband, je kan dan kiezen voor SFP+, XFP of Xenpack, net wat je switch ondersteunt.
Je moet alleen zelf wel heel bewust kiezen voor een 'knutseloplossing', als je tent er van afhankelijk is kan dat misschien minder slim zijn

DCN heeft ook leuke oplossingen, voor zo'n 1500 ex heb je een 48-poorts (L3) switch, en voor 350 ex ofzo een 10G XFP module. Dan kun je daar een 10GBASE-SR optic indrukken en een NIC uitzoeken met 10GBASE-SR.

[ Voor 31% gewijzigd door DJSmiley op 18-01-2012 14:34 ]

[CyBeR]

Afhankelijk van de precieze setup kan 10gig over UTP ook wel een oplossing zijn. Trouwens ook al door TS zelf aangedragen, zij het boven zijn budget.

* CyBeR probeert zich te bedenken welke vendor het was die 10gigE over UTP deed en daar een redelijk scala producten voor had.

Ah, hebbes: http://www.aristanetworks.com/en/products/7100t. Geen idee wat ze kosten alleen.

[ Voor 14% gewijzigd door CyBeR op 18-01-2012 14:29 ]

[PeterPan]

Je zou ook je vraag eens kunnen stellen in het Data Storage Systems subforum van hardforum.com. Daar zitten veel professionals en semi-professionele knutselaars die voor thuis dikke storage oplossing bouwen (omdat het kan!).

[WhizzCat]

Mja, ik denk niet dat je dit gaat redden voor onder de 5k euro. Arista is volgens mij ook niet de goedkoopste. Ik snap best dat 't op budget moet, maar dit is denk echt te weinig

[dubbi3]

Bedankt voor de input. Als antwoord op de vraag:

Ik heb nu voornamelijk 2 nieuwe Mac Pro's met een Apple Raid controller + 4 crucial m4 256 GB in ieder systeem (in raid 0).
De beide NIC's (onboard) heb ik via MAC os x in link aggregatie gedaan.
Deze switch ertussen:
pricewatch: HP Procurve V1810-24G Switch

Qua budget: €5000 is zeker niet het maximum budget maar als het hoger gaat dan dit bedrag moet het echt een goede investering zijn om jaren mee verder te kunnen. Bovendien maakt het mij niet uit als de MAC's over moeten naar windows.

Verder moet ik toegeven dat ik een leek ben op het gebied van glasvezel, heb wel wat dingen aangesloten en werkend gekregen maar dat allemaal met converters.

Daarom kan ik de vraag beter anders stellen:
Hoe krijg ik een centraal gedeelde opslag op een dusdanige manier bij de workstations zodat 4K ruw RED camera materiaal bewerkt kan worden (live)?

[webfreakz.nl]

Als ik zo eens zoek naar 10Gbe switches dan ga je dit met 5k € echt niet redden. De switches kosten al zeker 15 - 20k € als ik het zo zie, en dan heb je nog geen optics à 2x 200€ / stuk. En dan nog een service contract.

Als je het er toch voor over hebt, kijk dan eens naar de http://www.juniper.net/us...es/ex2500/#specifications switch. Of anders een Cisco. Ik kom via mijn werk in aanraking met bijvoorbeeld Brocade apparatuur maar dat is het gewoon nét niet.. Er zitten gewoon rare fratsen in de software van die dingen.

Heb je al eens gekeken of er 10Gbe NICs zijn voor Mac OSX? Misschien (/waarschijnlijk) zijn ze er wel van Intel? Dan heb je daar ook vast goede drivers voor.

Als ik jou was zou ik eens met een IT bedrijf om tafel gaan zitten om tot een voorstel te komen.

[DJSmiley]

webfreakz.nl schreef op woensdag 18 januari 2012 @ 20:43:
Als ik zo eens zoek naar 10Gbe switches dan ga je dit met 5k € echt niet redden. De switches kosten al zeker 15 - 20k € als ik het zo zie, en dan heb je nog geen optics à 2x 200€ / stuk. En dan nog een service contract.

Als je het er toch voor over hebt, kijk dan eens naar de http://www.juniper.net/us...es/ex2500/#specifications switch. Of anders een Cisco. Ik kom via mijn werk in aanraking met bijvoorbeeld Brocade apparatuur maar dat is het gewoon nét niet.. Er zitten gewoon rare fratsen in de software van die dingen.

Heb je al eens gekeken of er 10Gbe NICs zijn voor Mac OSX? Misschien (/waarschijnlijk) zijn ze er wel van Intel? Dan heb je daar ook vast goede drivers voor.

Als ik jou was zou ik eens met een IT bedrijf om tafel gaan zitten om tot een voorstel te komen.

TS zoekt volgens mij een gigabit switch met 10G uplink. Dat is een stuk goedkoper, voor 2K kun je prima een switch kopen. Daar komen idd wel modules, optics en nics bij. Met 5K op zich wel haalbaar, alleen zullen merken als Cisco, Juniper, Atera enz buiten het budget vallen.

Maar idd, eens met een IT bedrijf gaan praten lijkt me een goede stap, ts is amper bekend met de technieken, en t moet ook geconfigureerd gaan worden enz.

TS noemt ook nog een serverbord in z'n openingspost, dat ook nog meenemen kun je wel vergeten. 5K voor hardware is al krap,servicecontract of spareparts erbij maakt hetnog krapper (/onmogeljik bijna), laat staan de server verder zelf...

Binnen het budget van TS kom je al snel op merken uit als Zyxel, DCN, SMC enz. Op zich niets mis mee, en denk ik ook wel voldoende voor TS ('lomp dom switchen') maar zowel kwa prijs als support niet vergelijkbaar met de 'grote' jongens als Cisco enz.

Mogelijk is er binnen de refurbished markt wat te vinden, maar daar kan Bl@ckbird je alles over vertellen. Dan kun je nl WEL smartnets nemen

Overigens linkt TS in z'n TS naar een SmallTree switch. Los van het merk wat ik zelf niet ken (maar dat kan ook aan mij liggen) is $7500 al buiten z'n budget, EN komen daar nog eens nics en SFP+ optics bij...

Los van de support die je IT boer je kan geven (config/spareparts) is het handiger om te gaan kijken waar de bottleneck ligt. Als je server (met 40Tb is dat geenSSD) compleet inklapt bij 2-3 gelijktijdige streams doordat de zoektijden de zooi onderuit halen heeft 10G ook geen nut.

[ Voor 9% gewijzigd door DJSmiley op 18-01-2012 21:04 ]

[jvanhambelgium]

>Hoe krijg ik een centraal gedeelde opslag op een dusdanige manier bij de workstations zodat 4K >ruw RED camera materiaal bewerkt kan worden (live)?

Waarom wil je dat nu precies doen, dat "live" werken vanop de (gedeelde) storage ? Is het dan zo lastig per werkstation 1TB oid disk te voorzien en eerst het het "projectje" lokaal te copieren alvorens er mee aan te slag te gaan en na het werk terug te "committen" naar de NAS ?

Anders ga je het echt niet redden hoor, niet met dat budgetje...
Reken inderdaad minstens 500 euro per 10Gbit "optic" (SFP), dan nog zeker 500 euro voor een goede NIC op 10Gbit
Dan heb je nog de switch waar ook 10Gbit SFP(+) in moeten aan 500 euro per stuk en dan nog de switch zelf natuurlijk...

Heb je al een kleine kosten / baten analyse gedaan ? Hoeveel tijd per dag denk je te winnen op deze manier en hoeveel gaat je dat maandelijks besparen ?

[Beatboxx]

Kan je niet aan alles 2x 1Gbit/s leggen, dan heb je 200Mbyte/s. Kan je ons vertellen waarvoor je in godesnaam meer nodig zou hebben?

EDIT: En waaro mkan het niet op de pc's zelf worden opgeslagen, eventueel met een of ander rsync script?

[ Voor 29% gewijzigd door Beatboxx op 18-01-2012 21:06 ]

[SmiGueL]

Beatboxx schreef op woensdag 18 januari 2012 @ 21:06:
Kan je niet aan alles 2x 1Gbit/s leggen, dan heb je 200Mbyte/s. Kan je ons vertellen waarvoor je in godesnaam meer nodig zou hebben?

"zodat 4K ruw RED camera materiaal bewerkt kan worden (live)?"

Het gaat dus ook nog is om live editen, niet alleen bekijken
hoe sneller de verbinding, hoe soepeler het loopt


Wat is de bandwidth van die camera's eigenlijk?
3840 x 2160 reso x 24 bit/frame x 30 fps = 750 MB/s
Mag toch hopen dat hier toch wel een beeetje compressie in zit?

[ Voor 26% gewijzigd door SmiGueL op 18-01-2012 21:26 ]

[webfreakz.nl]

@DJSmiley:

DJSmiley schreef op woensdag 18 januari 2012 @ 21:00:
[...]


TS zoekt volgens mij een gigabit switch met 10G uplink.

Volgens mij niet. Hij schrijft:

dubbi3 schreef op woensdag 18 januari 2012 @ 10:34:
Nu ben ik benieuwd of er betaalbare 10 gigabit switches, ethernet adapters zijn of dat iSCSI misschien een alternatief is?

Mijn doel is: 40 TB dataschijf delen met 10 workstations die allemaal ongeveer 250 tot 500 MB/s nodig hebben (niet allemaal tegelijkertijd). Belangrijkste is dat minimaal 2 workstations die 500 MB/s kunnen halen en de overige workstations mogen van mij 1 gbit trekken.

250MB/s is de max van een Link Aggregate met 2 member interfaces van 1Gbps. Dus een 10GbE netwerk gaat hij zeker wel nodig hebben als hij 250 - 500MB/s per seconde wil doen over het netwerk.

@Beatboxx:

Beatboxx schreef op woensdag 18 januari 2012 @ 21:06:
Kan je niet aan alles 2x 1Gbit/s leggen, dan heb je 200Mbyte/s. Kan je ons vertellen waarvoor je in godesnaam meer nodig zou hebben?

Volgens mij niet. Hij schrijft:

dubbi3 schreef op woensdag 18 januari 2012 @ 10:34:
Ik werk heel veel met zwaar ruw video materiaal en heb momenteel al een netwerk met link aggregatie maar dat werkt gewoon niet soepel.

Waarom het niet soepel werkt? Geen idee, maar blijkbaar niet interessant genoeg voor de TS om dáár eens vragen over te stellen

[ Voor 3% gewijzigd door webfreakz.nl op 18-01-2012 21:31 ]

[hydraat]

Werken met 4K video over ethernet??? Dat is vragen om 'dropped frames' en nog veel meer ellende.

Een SAN oplossing en clients verbonden via fibre-channel is de enige echte weg te gaan als je echt professioneel met 4K wil gaan werken én meerdere werkstations van voldoende bandbreedte wilt kunnen voorzien, zonder 'dropped frames'.

Onderzoek de verschillen maar eens tussen het fibre-channel-protocol en het ethernet-protocol... als je dat begrijpt, snap je ook waarom in de professionele video wereld met fc gewerkt wordt.

[webfreakz.nl]

@Hydraat:

Wat denk je dat iSCSI doet? Dat maakt gebruik van een TCP/IP verbinding dus dat zou geen probleem moeten vormen m.b.t. die dropped frames.

[CyBeR]

jvanhambelgium schreef op woensdag 18 januari 2012 @ 21:04:
Waarom wil je dat nu precies doen, dat "live" werken vanop de (gedeelde) storage ? Is het dan zo lastig per werkstation 1TB oid disk te voorzien en eerst het het "projectje" lokaal te copieren alvorens er mee aan te slag te gaan en na het werk terug te "committen" naar de NAS ?

Ik denk dat je de bandbreedte benodigd voor zelfs maar het afspelen van RED bestanden nogal ruim onderschat. Met een lokaal 1TB diskje is dat geen werken.

[Hulkiedulkie]

Voor alle mensen die 2x1Gbe voorstellen: houdt er rekening mee dat bij het overzetten van 1 file deze maar 1 van de 2 interfaces gebruikt. Dus voor workstations is dit minder interessant.

[jvanhambelgium]

CyBeR schreef op woensdag 18 januari 2012 @ 22:51:
[...]


Ik denk dat je de bandbreedte benodigd voor zelfs maar het afspelen van RED bestanden nogal ruim onderschat. Met een lokaal 1TB diskje is dat geen werken.

Neen, niet 1x1TB diskje, op z'n minst 4 of 5 high-speed SSD's in striping van elk vb 250MBytes groot.
Ik lees op de wiki dat we spreken over rates tussen 225megabit/s en 500megabits/sec WRITE.

Da's dus max 65Mbytes/sec (sustained) en dat is geen probleem met vb 4 "werkdisks" SSD in striping van elke vb 120Gbytes.

Totale capaciteit = 4 x 120G = 480Gbytes / 65Mbytes = 7561 seconden dat je kan opslagen.

Mischien krijg je daar net een project op. Anders neem je SSD's van 250GB. Die kosten een hoop, maar als je met deze materie professioneel bezig bent (en vb RED gevalibreerde monitors koopt voor montage enz) kan ik mij niet voorstellen dat je problemen hebt met een 1000,- meer of minder uit te geven...

Punt is dat je dan gewoon autonoom kan werken en op het einde van de dag zaken kun committen naar de NAS (tijdens de nachtelijke uren)

Mischien dat de TS hier wat over kan uitleggen. Hoe "groot" zijn zo'n projectfiles eigenlijk ? Want je doet ook veel copy-past/cut enzo dus je scratch-disks zullen inderdaad een "faktor" groter moeten zijn als je je RAW file.

[PeterPan]

jvanhambelgium schreef op donderdag 19 januari 2012 @ 07:41:

Da's dus max 65Mbytes/sec (sustained) en dat is geen probleem met vb 4 "werkdisks" SSD in striping van elke vb 120Gbytes.

Dat zijn toch geen onrealistische doorvoersnelheden voor Gigabit Ethernet en hedendaagse consumenten SATA disks?

Even een vraagje tussendoor: Als je een 'trunk' maakt van twee of meer Gigabit Ethernet aansluitingen is het toch nog steeds niet mogelijk om met 1 filetransfer meer dan de maximale snelheid van een enkele verbinding te halen (100~125MByte/sec)? Pas als je meerdere file transfers parallel opzet (bijvoorbeeld van meerdere workstations naar 1 fileserver) ga je die extra capaciteit in de Ethernet 'trunk' toch pas benutten?

[WhizzCat]

PeterPan schreef op donderdag 19 januari 2012 @ 09:17:
[...]


Dat zijn toch geen onrealistische doorvoersnelheden voor Gigabit Ethernet en hedendaagse consumenten SATA disks?

Even een vraagje tussendoor: Als je een 'trunk' maakt van twee of meer Gigabit Ethernet aansluitingen is het toch nog steeds niet mogelijk om met 1 filetransfer meer dan de maximale snelheid van een enkele verbinding te halen (100~125MByte/sec)? Pas als je meerdere file transfers parallel opzet (bijvoorbeeld van meerdere workstations naar 1 fileserver) ga je die extra capaciteit in de Ethernet 'trunk' toch pas benutten?

Klopt als een bus. Je zet nl. per mac adres een sessie op. Een sessie kan dus maximaal over 1 fysieke lijn lopen. Tenzij je er loadbalancers tussen zet, die kennen daar truukjes voor, maar dat is financieel ook geen haalbare optie.

Normaal gesproken zou je een trunk ook in een soort round robin modus kunnen zetten, maar established sessions zullen in de praktijk altijd over 1 fysieke lijn lopen.

[PeterPan]

Misschien nog wat interessant leesvoer voor de TS:
"Mac Pro + ZFS fibre channel SAN build" van Femme in Opslagmedia & I/O Controllers.

[raymonvdm]

Ik zag pas geleden een een 3750-E voorbij komen met 24 x 1gbit en 2 x X2 (10GB)

Cisco Catalyst 3750E-24TD

Volgens mij zijn die refurbished wel betaalbaar


Daarnaast zijn twee infiniband koppeling wellicht ook een oplossing ? Gewoon 2 kaarten in de server en daarop beide werkstations aansluiten ( de rest gewoon via een port-channel van 4 x 1GB ofzo)

Wikipedia: InfiniBand
http://www.zfsbuild.com/category/infiniband/


Als ik de wiki lees dan haal je met een port-channel nooit meer dan de maximale snelheid van een poort bij een applicatie sessie Wikipedia: EtherChannel

[ Voor 68% gewijzigd door raymonvdm op 19-01-2012 09:38 ]

[jvanhambelgium]

Als je op die website van RED kijkt koop je daar ook "gewoon" maar SSD's om te recorden (REDMAG) terwijl je aan het opnemen bent. Ik leest daar iets van "high performance" SSD's van 180megabytes/sec en capaciteiten van 64GB / 128GB / 256GB etc.

Spullen zullen iets betrouwbaarder zijn als de el-cheapo SSD's die wij kopen, maar ik denk dat de "sustained" write speeds naar SSD wel degelijk ongeveer 65MBytes/sec ofzo.

Mah bon, ik weet dus niet hoelang je echt kan recorden met zo'n 256GB SSD aan je camera ;-)

[PROnline]

dubbi3 schreef op woensdag 18 januari 2012 @ 10:34:

Nu ben ik benieuwd of er betaalbare 10 gigabit switches, ethernet adapters zijn of dat iSCSI misschien een alternatief is?

iSCSI is disks over IP aan een systeem te koppelen. Is een protocol, en heeft niks met snelheid van je netwerk te maken.

Mijn doel is: 40 TB dataschijf delen met 10 workstations die allemaal ongeveer 250 tot 500 MB/s nodig hebben (niet allemaal tegelijkertijd). Belangrijkste is dat minimaal 2 workstations die 500 MB/s kunnen halen en de overige workstations mogen van mij 1 gbit trekken.

500MByte/s is al 4Gbits aan rauwe data zonder protocol overhead. Je geeft aan dat 2 stations dat tegelijk moeten halen, maar het op ALLE stations bereikbaar moet zijn. In dat geval zullen alle stations voorzien moeten zijn van 10Gb.
2x4Gbits + 8 werkstations 1Gbits (je verhaal maakt niet duidelijk of dat je linkspeed of continue belasting is.
Dat zou dus 16Gbit/s vereisen, meer dan je server leveren kan met één NIC. Hebben we het nog niet over protocol efficienc/overheady en interne switching capacity.

De richting van PeterPan lijkt mij beter haalbaar m.u.v. het budget.
Fibre zijn P2P verbindingen met snelheden die een stuk hoger liggen. Zie Wikipedia: Fibre Channel

[dubbi3]

Man man man,

Ik heb tijdens het lezen van de post uit dit topic om tafel gezeten met meerdere partijen over glasvezel maar ik kan er inderdaad niet goed uitkomen. Alternatieven die passen binnen het bedrijf kosten al gauw €30k+.

Ik las hier tussendoor een optie over lokaal op een goede raid set met SSD's te werken. Dat is inderdaad wat er nu gebeurt. Ik heb er voor gezorgd dat beide workstations 1TB ssd in raid 0 beschikbaar hebben. Echter is de capture scratch van sommige projecten, zoals opnames voor grote brouwerijen, soms al 1,5TB.

Ik denk dat wij in de huidige toestand van het bedrijf beter tijdelijk kunnen kiezen voor nachtsynchronisatie met de SSD sets.

Ik heb me ook iets verdiept in FC en dat is inderdaad toch net anders dan ik zelf had ingeschat.

Nu dan toch nog een aantal vragen:

- Zijn er hier meer personen die met RED materiaal werken? Wij hebben zelf een RED one + Epic en slepen meestal een stuk of 10 SSDs mee om al het materiaal te capturen. Hoe doen jullie dit?
- Wat is de meest efficiënte manier om te synchroniseren 's avonds? SMB, FTP, AFP?
- Zoals aangegeven in de reacties heb ik inderdaad last van dropped frames vooral in After Effects. Wanneer je een stuk of 40 / 45 layers gebruikt trekt het netwerk het gewoon niet meer. Als ik werk van de lokale schijven werkt het nog wel prima. Het is echter het probleem dat mijn collega's een ander deel doen dan ik doe. Het makkelijkste is dat ik mijn eigen instellingen op de pc, programmatuur etc heb. Mensen die dit probleem herkennen?

In ieder geval super bedankt voor de input, kan ik sterk waarderen

[webfreakz.nl]

Misschien eens kijken wat je concurrenten gebruiken? En dan eens bekijken wáárom ze gebruiken wat ze gebruiken.

Je probeert hier het wiel opnieuw uit te vinden, en schrikt tegelijkertijd prijzen. Die prijzen horen nou eenmaal bij de producten die je interesse gewekt hebben. Misschien ben je de afgelopen jaren goedkoop uitgeweest omdat je een andere weg gekozen hebt (zelfbouw met SSDs / hobby bob etc) in plaats van mee te gaan met oplossingen van grote vendors (HP / Dell) die dergelijke oplossingen voor tientallen danwel honderden klanten gebouwd hebben.

[jvanhambelgium]

dubbi3 schreef op donderdag 19 januari 2012 @ 19:42:
Ik denk dat wij in de huidige toestand van het bedrijf beter tijdelijk kunnen kiezen voor nachtsynchronisatie met de SSD sets.

Nu dan toch nog een aantal vragen:

- Zijn er hier meer personen die met RED materiaal werken? Wij hebben zelf een RED one + Epic en slepen meestal een stuk of 10 SSDs mee om al het materiaal te capturen. Hoe doen jullie dit?
- Wat is de meest efficiënte manier om te synchroniseren 's avonds? SMB, FTP, AFP?
- Zoals aangegeven in de reacties heb ik inderdaad last van dropped frames vooral in After Effects. Wanneer je een stuk of 40 / 45 layers gebruikt trekt het netwerk het gewoon niet meer. Als ik werk van de lokale schijven werkt het nog wel prima. Het is echter het probleem dat mijn collega's een ander deel doen dan ik doe. Het makkelijkste is dat ik mijn eigen instellingen op de pc, programmatuur etc heb. Mensen die dit probleem herkennen?

In ieder geval super bedankt voor de input, kan ik sterk waarderen

De "sync" van je workstations naar een NAS kan vb perfect over FTP , maar evengoed over SMB of AFP. De moeilijkheid zal zeker zijn grote hoeveelheden data zijn. Wat moet je "syncen" naar de NAS en wat niet etc,etc.

Je zou dan ook mogelijks een manier moeten vinden om de "check out" terug naar de workstations zo te regelen dat mensen in de ochtend direct aan de slag kunnen en niet eerst 3 uur moeten wachten tot "een project" van de NAS op de "local disk" staat...
Als zo'n project effectief 1.5TB is en je moet dat in de ochtend eerst copieren naar je workstations ....F*O*R*G*E*T I*T ;-)


In ieder geval blijft het kantje-boordje.
Je bent echt wel met de high-end video bezig en daar moet helaas een hoop centen tegenaan gegooid worden om efficient te kunnen werken !

[Jrz]

OT: Een red one kost toch al iets van een ton?

Al gekeken naar iets als glusterfs icm meerdere goedkopere machines?

SSDs lijkt me niet heel nodig overigens... het is allemaal sequential

[ Voor 85% gewijzigd door Jrz op 19-01-2012 21:49 ]

[Bl@ckbird]

dubbi3 schreef op donderdag 19 januari 2012 @ 19:42:
- Zijn er hier meer personen die met RED materiaal werken? Wij hebben zelf een RED one + Epic en slepen meestal een stuk of 10 SSDs mee om al het materiaal te capturen. Hoe doen jullie dit?

Peter Jackson gebruikt 2x 24 RED camera's om "The Hobbit" in 3D te filmen. Dit is serieuze shit.
Het is hier een Netwerk-forum, geen AV-editing of storage forum.

Wat je nodig heb zijn veel IOPs. SSD of snelle 15k SAS schijven in een RAID setup.
Het netwerk is van ondergeschikt belang. Om deze IOPs uit te kunnen voeren kom je vanzelf bij een 10GE iSCSI of FC netwerk. Maar dit is een gevolg van.. Niet een oplossing voor..
Je netwerk kan nog zo snel zijn... Je storage moet het wel aan kunnen. (IOPs dus.)

Voor je werkstations zou je kunnen kijken naar een RAID setup van snelle 15k SAS schijven. Als scratch disks zou je naar een RAID setup van SSD's kunnen kijken. Video Editting kan je dan lokaal doen op de werkstations.

Als centrale storage kan je kijken naar een fatsoenlijke SAN / NAS. Bijvoorbeeld NetApp. Er zijn verschillende modellen die je zowel via 10GE iSCSI of via FC kan aansluiten. In je SAN / NAS kan je beter meer kleinere schijven plaatsen, dan enkele grotere schijven. (Je krijgt daardoor meer IOPs.) Je kan een storage appliance eventueel ook voorzien van extra cache memory. Dit is een SSD die als buffer dient tussen het netwerk (10GE iSCSI of FC) en de relatief tragere schijven.

Een Epic kost $35k (Body only) en een RED One kost $25k. Lenzen enzo niet meegerekent.
Profi spul dus. Een fatsoenlijke storage mag dan ook wat kosten. (Storage wat schaalbaar en vooral betrouwbaar is.) Dan heb ik het nog niet over backup gehad. Wat als er een maand aan productie data kwijt raakt? Ben je dan failliet? Wat kost een dag filmen? ( Inhuur van crew, acteurs, spullen, etc, etc. )

Even een side note:
Ik mag zelf graag foto's schieten.
Vroegah deed ik dat met een Canon 300D en twee 2 GB flash-kaarten.
Het ding spuugde 6 Megapixel foto's uit van zo'n 6,5MB per foto (RAW)

Nu schiet ik met een Canon 7D en twee 16 GB flash-kaarten. Het ding spuugt 18 Megapixel foto's uit van zo'n 23MB per foto (RAW). Het ding schiet ook HD video á 325MB / minuut.

Beter is duurder. Niet alleen de cam, maar ook de snelle PC die nodig is om het te bewerken
en de storage + backup die nodig is om het op te slaan.

[Femme]

Het probleem met een san is dat je een clusterbestandssysteem nodig hebt om data te kunnen delen met meerdere machines. Je kunt anders een volume maar op één machine tegelijkertijd mounten. Gelukkig voor jou zijn er meer mensen met hetzelfde probleem. Apple heeft hiervoor xsan ontwikkeld.

Ik ben zelf op dit moment aan het testen met een fibre channel san op basis van OpenIndiana en zfs. Ik wil ook tests gaan doen met iscsi over Infiniband en nas (filesharing via samba of nfs) over Infiniband, maar dat is meer gericht op power users thuis. Transfer rates van 250MB/s sustained zijn goed haalbaar, 500MB/s wordt wat lastiger. Mijn config met twaalf low power sata-drives haalt in bepaalde benchmarks meer dan 500MB/s over een viervoudige 4Gbps fibre channel-link. Op cachebare leesacties haal ik een doorvoer van 1100MB/s, op korte writes ongeveer 800MB/s. Het configureren van zfs en het opzetten van een fibre channel target is betrekkelijk eenvoudig in Solaris en afgeleiden zoals OpenIndiana. Voordelen van zfs zijn o.a. dat het de functionaliteit van een bestandssysteem en volume manager integreert zodat het een zeer goede controle heeft over de disks in een pool. Het is een transactiegebaseerd bestandssysteem met een zeer hoge data-integriteit en het kan gebruikmaken van ssd's voor read caching en het versnellen van synchrone schrijfoperaties.

Het voordeel van fibre channel is dat Apple er goede ondersteuning voor heeft. Fibre channel heeft ook een minimale cpu-belasting omdat het protocol volledig in hardware wordt afgehandeld. Bij iscsi heb je denk ik een wat hogere cpu-belasting en dat is natuurlijk jammer als je de cpu-cycles wil gebruiken voor het renderen van video's.

4Gbps fibre channel hardware is redelijk goed verkrijgbaar op eBay. Ik weet niet in hoeverre jezelf verantwoordelijk wil zijn voor je hardware. Ik heb de helft betaald voor mijn Apple quad port fibre channel adapter als wat ik nieuw zou betalen.

Als je een 40TB aan veilige opslag moet bouwen zal de performance van je opslag niet de bottleneck zijn, want je hebt disks genoeg. De bottleneck zit in je netwerk en de software die ervoor moet gaan zorgen dat je data toegankelijk is via dat netwerk.

[ Voor 17% gewijzigd door Femme op 20-01-2012 00:34 ]