Tips voor sample benaderen vanaf meerdere computers

[martijnsnoek]

Hallo allen,

Al een tijdje ben ik aan het onderzoeken wat nu de beste optie is voor de situatie waar ik in verkeer. Ik heb veel gelezen maar lees ook veel verschillende verhalen.

Mijn situatie is als volgt:

Ik heb een Mac Pro (model 2006 met SATA 2) en een Macbook Pro late 2008. Beide gebruik ik voor audio bewerking en opname/componeren. Ik werk eigenlijk vrijwel alleen maar met bergen samples (+/- 1 TB totale grote op schijf) en merk dat ik in de Mac Pro al vaak meer snelheid nodig heb voor het laden maar ook om het systeem te ontlasten.

Nu heb ik in mijn Macbook pro al een Samsung 840 Evo SSD zitten welke ik icm een 500 gb sata drive als fusion drive heb geconfigureerd.
Dit werkt lekker snel en geeft eigenlijk geen problemen.

Nu wil ik de Mac Pro gaan upgraden en zelfs wellicht een 2e Mac Pro (van het zelfde type) erbij gaan kopen.
De upgrade die ik wil uitvoeren is:
- nieuwe 3.0 ghz 8 core (ipv 2,66 ghz quad)
- de SATA drives vervangen voor SSD's
- USB 3.0 en eSata kaart erin

Dit geeft volgens de benchmarks een enorme vooruitgang.

Nu worstel ik alleen met een opslag probleem.
Ik wil de samples eigenlijk allemaal centraal op 1 punt opslaan en deze met de twee huidige (in de toekomst 3) Mac's benaderen.
Echter kom ik hiermee voor een lastige keuze.
Opzich zou dit kunnen via een NAS, maar het grote probleem hiermee is dat de ethernet poort hier de limiterende factor wordt met doorvoer snelheid van de samples naar de mac's. (Slechts 100 mb/s op zijn max volgens specificaties)
Op dit moment haal ik volgens blackmagic 90 mb/s, dus nagenoeg geen verschil en dus geen vooruitgang.

Daarom ben ik gebonden aan twee opties:
1. Een RAID enclosure op basis van eSata en USB 3.0
2. Meerdere externe USB 3.0 hdd's (SSD) met elk een kopie van de zelfde samples.
3. Gebruik maken van een SAS kaart in de Mac Pro (Newertech heeft een 6 Gb versie welke de feitelijke snelheid naar Sata 3 brengt) en deze koppelen aan de interne HDD bay's

De eerste optie lijkt mij de mooiste, maar ook gelijk de lastigste. Het geen waar ik maar geen of weinig info over vind is de netwerk mogelijkheid van USB 3.0 en/of eSata met meerdere Mac's.
Is het uberhaupt mogelijk om meerdere computers tegelijkertijd gebruik te laten maken van de zelfde RAID array via eSata of USB 3.0?

De laatste optie is wellicht de makkelijkste maar naar mijn idee ook de prijzigste en wellicht wat langzamer nog, omdat er geen gebruik wordt gemaakt van RAID.

De 3e optie is opzich de meest snelle (snelheden tot 1400MB/s gehaald) maar ook gelijk weer de een van de moeilijkste en duurste.
De Macbook Pro heeft een Expresscard slot waar een SAS optie in kan.
Maar ook hier heb ik geen idee of dit alles tegelijkertijd gebruikt kan worden met 2 of meer Mac's.

Wie kan mij meer duidelijkheid geven een wellicht de doorslaggevende tip om over te gaan tot aanschaf van die optie.

Alvast bedankt voor jullie hulp!

[Mijzelf]

Wat dacht je van USB3 gigabit ethernet kaarten icm een NAS?

[martijnsnoek]

Zit ik dan niet steeds nog met de gigabit snelheid? Aangezien je van USB 3.0 (5gbs) naar ethernet (1gbs) gaat?

[Q]

Gebruik een NAS voor de samples. De 100 Megabytes/s performance is een bottle-neck voor je, maar hoe groot zijn de individuele samples waar je mee werkt?

Wat je mogelijk het beste kunt doen is in de pro's een SSD voor scratch werk gebruiken en de data vervolgens met de NAS syncen (is niet zo performance gevoelig). (rsync kan goed werken).

Voor thuis zijn er geen netwerkopties sneller dan 1 Gigabit, hooguit kun je onderzoeken of het lukt om iets met iscsi MPIO te doen (load balance over meerdere gigabit lijnen)

[martijnsnoek]

De samples zijn heel variërend van 800 kb tot enkele MB's. Sommige ook ingepakt in een speciaal bestandsformaat enkel leesbaar door de sampler (Native Instruments Kontakt 5) welke ze op zijn beurt weer uitpakt met laden in het geheugen.

SSD voor het vaste werk en OS was zowieso het plan in elk systeem. Wat je aangeeft is dus feitelijk een soort fusion drive die je opzet icm de NAS. Dus de desbetreffende computer beslist welke bestanden het meest gebruikt worden en zet deze op de SSD en eventueel incidenteel gebruikt hij bestanden van de NAS.
Zie ik dat zo goed?

iscsi/aggregation heb ik ook al aan gedacht (kan in de MacPro en via externe netwerk adapters in de MacbookPro ook) maar dan moet er een NAS zijn met 2 netwerk interfaces of meer welke ook met dit protocol overweg kunnen, om dit mogelijk te maken.
Ik zie wel diverse NAS'en die 2 netwerk interfaces hebben, maar kunnen deze ook met Link aggregation overweg?

[KopjeThee]

Ik zou je 2 of 3 computers elk een externe schijf geven van 1 of 2 TB die met usb3 verbonden wordt. Dan haal je de meeste snelheid (op inbouwen na). Ik zou in deze situatie niet investeren in een NAS, omdat het weinig meerwaarde lijkt te hebben. Dan is je enige uitdaging nog om de bestanden voldoende synchroon te houden over de 3 externe harde schijven. Daar zou iets als rsync prima mee kunnen helpen. Ik neem dan aan dat de 3 computers wel in hetzelfde netwerk hangen, zodat rsync ze kan benaderen. Eenvoudig, niet duur, en je hebt gelijk (on-site) backup van je samples.

[ Voor 5% gewijzigd door KopjeThee op 07-06-2015 13:59 ]

[Q]

martijnsnoek schreef op zondag 07 juni 2015 @ 13:37:
De samples zijn heel variërend van 800 kb tot enkele MB's. Sommige ook ingepakt in een speciaal bestandsformaat enkel leesbaar door de sampler (Native Instruments Kontakt 5) welke ze op zijn beurt weer uitpakt met laden in het geheugen.

SSD voor het vaste werk en OS was zowieso het plan in elk systeem. Wat je aangeeft is dus feitelijk een soort fusion drive die je opzet icm de NAS. Dus de desbetreffende computer beslist welke bestanden het meest gebruikt worden en zet deze op de SSD en eventueel incidenteel gebruikt hij bestanden van de NAS.
Zie ik dat zo goed?

iscsi/aggregation heb ik ook al aan gedacht (kan in de MacPro en via externe netwerk adapters in de MacbookPro ook) maar dan moet er een NAS zijn met 2 netwerk interfaces of meer welke ook met dit protocol overweg kunnen, om dit mogelijk te maken.
Ik zie wel diverse NAS'en die 2 netwerk interfaces hebben, maar kunnen deze ook met Link aggregation overweg?

Aan LACP heb je niets (link aggregation). Wat de samples betreft: als ze zo klein zijn, zelfs al werk je met 100 tegelijk, dan zou gigabit eigenlijk geen issue moeten zijn.

Wat betreft het fusion drive verhaal: dat is niet echt automagisch. Daar zul je zelf iets voor moeten maken.
Als je met projecten werkt kun je die beter dan op je mac zetten, de benodigde samples importeren en dan als het project af is weer op nas zetten. Ligt allemaal een beetje aan je workflow.

[johnkeates]

Wat de oudere MBP betreft: die heeft simpelweg geen interfaces die je meer dan Gigabit snelheid gaan geven. Je heb basically USB2, FireWire 800 en Gigabit Ethernet, waarbij de laatste dus de snelste is.

De enige (interne) verbinding die sneller is, is SATA2, maar dat is dus intern. Er zit dacht ik ook nog een ExpressCard interface op, maar die gaat op z'n best 1.6Gbit/s doen, wat je dus ook niet extreem veel verbetering op gaat leveren.

Dus, wat je centrale opslag in combinatie met de MacBook Pro betreft zit je vast aan de 1 Gigabit limiet.

De Mac Pro kan een stuk harder, daar gaat het eigenlijk alleen nog over budget. Je kan er namelijk gewoon 10Gbit/s kaartjes in steken, en dan kan je best hard gaan. SSD's er bij (in combinatie met een SATA3 kaart uiteraard) en je zit goed.

Stel dat je wel 10Gbit met de Mac Pro wil halen maar niet heel veel geld uit wil geven, dan kan je in je huidige en in je toekomstige MP 10G kaartjes steken en ze rechtstreeks aansluiten, en dan op een van de twee je data opslaan. Dan kan je via de ingebouwde Gigabit Ethernet poort altijd nog met de rest van je netwerk en dus je MBP verbinding maken.

Je kan ook wel een zelfbouw NAS regelen en daar een 10Gbit kaartje in steken. 2-poorts kaartjes kan je op eBay vrij betaalbaar krijgen. Als je zorgt dat je geen switch nodig hebt hoeft dat dus helemaal niet zo duur te zijn.

[martijnsnoek]

Hoi iedereen,

Bedankt voor alle reacties en excuus voor mijn late reactie. De snelheid van mijn Macbook Pro is dus de bottleneck helaas. Dus ik heb besloten de Macbook Pro te verkopen en voor een sneller model te gaan. Met de Macbook Pro was niets mis maar deze snelheid is wel belangrijk voor me, zeker omdat ik eigenlijk geen zin heb om alles op de Mac zelf te plaatsen.

Mijn probleem is dus in zoverre opgelost en verhelderd.

Bedankt!