Write snelheid van 1000MB/s continu...

[Verwijderd]

Ik heb voor mijn microscoop opstelling een systeem nodig met een heel hoge sequentiele transferrate.

De camera doet 100 fps, en levert 16bit grayscale TIFF's af. Met 5.5MP levert dat 11MB per frame, en dus 1100 MB/s op.

Nu kan ik natuurlijk een heel grote RAM buffer maken, maar dat is redelijke prijzig. En je wordt er ook niet vrolijk van als je daarna tijden moet wachten voordat alles is weggeschreven. En je wilt dit soort data liefst ook snel non-volatile maken. Dus ik wil graag een storage solution die lieftst zo dicht mogelijk bij een 1000 MB/s komt. Prijs is niet zo belangrijk.

Ik zie de OCZ Revodrive 3 X2 PCIe 960GB. Die lijkt te kunnen doen wat ik wil. Ik vermoed dat hij ondanks een queuedepth van 1, met 11MB files alsnog wel die snelheid haalt. En anders kan ik gewoon meerdere threads uit de RAM buffer laten schrijven.

Wat ik prettig vindt, is dat het een enkel device is. Maakt het prettiger in installatie en ondersteuning. (Dit moet ooit in een commercieel onderzoeks microscoop systeem komen, dus dat is relevant.) Ik heb ook gemerkt dat de leverancier van de camera een Revodrive gebruikt, als wat dat een ouder model.

Heeft iemand ervaring met dergelijk specifiek gebruik van de Revodrive? En suggestie voor alternatieven?


Ik zou natuurlijk zelf een paar SSD's in RAID kunnen zetten, maar qua prijs én prestaties heb ik niet het gevoel dat dat wezenlijk andere resultaten oplevert... (o.a. in de test van Tweakers)

Hoe zit het eigenlijk met cpu gebruik bij dit soort systemen, bijvoorbeeld wanneer je de moederbord RAID-0 controllers gebruikt? (Is dat nog relevant bij multi-core systemen?)


Alle input wordt gewaardeerd. Dit is een nogal specifiek gebruik, en de gebruikelijke reviews van hardware sites zijn dan niet zo heel erg informatief.

[mrc4nl]

de revodrive lijkt een uber ssd, maar 2 goede ssd's in raid 0 halen al 1000mb/s
Cipher, heeft een opstelling in raid 0 die al 1100mb/s haalt:
Verwijderd in "Het grote SSD topic ~ Deel 9"

je heft geen speciale raid controller nodig, raid 0 verbruikt niet meer rekenkracht dan 2 losse schijven.
dus met 2x een pricewatch: Samsung 830 series 256GB kom je al heel ver


EDIT: het is wel handig om te weten welk moederbord je hebt, kan je die gegevens opzoeken?

[ Voor 47% gewijzigd door mrc4nl op 22-08-2012 18:02 . Reden: note: ik vermoed dat cihper 2 ssd's gebruikt, kan ik niet 100% zeggen ]

[Roel1966]

Ik heb zelf ervaring met de 1ste Revodrive maar er zit 1 grote maar aan namelijk de Revodrives zijn niet altijd compatibel met je moederboard, dus de kans bestaat erop dat je een onstabiel systeem krijgt. Ook qua betrouwbaarheid zijn de Revodrives niet echt 100% betrouwbaar, ondanks dat ik zelf dan zelden problemen had.

Ook ik raad je aan om dan beter 2 Samsungs in raid-0 te zetten maar ook hierbij weer rekening ermee houden dat raid-0 nog geen TRIM ondersteuning heeft binnen Windows 7. Dat kan betekenen dat je van tijd tot tijd je systeem even moet leegvegen en opnieuw moet opzetten vanwege prestatieverlies.

[Juup]

OCZ SSD's staan vooral bekend om hun onbetrouwbaarheid dus als dat belangrijk voor je is zou ik een andere oplossing kiezen.

Misschien is de intel 910 iets voor je?

quote: http://www.anandtech.com/show/6124/the-intel-ssd-910-review

In its max performance state the 800GB 910 is good for 1.5GB/s.

[ Voor 14% gewijzigd door Juup op 22-08-2012 18:29 ]

[Verwijderd]

Samsung 830 is het beste met incompressible sequential write en toch erg betrouwbaar. Je zou een batterij aan 128GB Samsungs in RAID0 kunnen zetten.

Stel je koopt een IBM M1015 met 8x 128GB Samsung 830 dan zit je aan 2GB/s+ snelheden voor read en write. Maar een makkelijkere optie is op Intel controller 2 Samsung 830 256GB dan zit je rond de 650-700 sequential write. Daartussen wordt moeilijk omdat Intel je maar twee échte SATA/600 poorten biedt. Extra poorten op moederborden worden door 'nepchips' verzorgd die 1) slechte (raid) drivers gebruiken en 2) niet voldoende bandbreedte hebben; 2 poorten delen in feite 400MB/s dus 200MB/s per SSD voor je 'SATA/600' interface.

Als je gaat voor de Intel optie kun je 'Volume write-back cache' inschakelen op je RAID0 array wat nog een RAM-writeback boost geeft. Je OS en andere zaken kun je dan het beste op een losse SSD doen. Ook raad ik sterk aan véél overprovisioning te gebruiken. Dus van 2x 256GB = 512GB = 476,8 GiB kun je dan 250 tot 375GB partitioneren en de rest ongepartitioneerd met rust laten. Je kunt die achteraf altijd ruimter maken (ruimte afsnoepen) door je partitie te 'extenden' in device manager. Maar omgekeerd kan niet meer. Begin dus ruim met lekker veel Overprovisioning!

[alfaleader]

Wellicht is raid5 handig qua dataveiligheid, een extra raid controller zal ook geen weggesmeten geld zijn.

[Verwijderd]

alfaleader schreef op woensdag 22 augustus 2012 @ 19:54:
Wellicht is raid5 handig qua dataveiligheid, een extra raid controller zal ook geen weggesmeten geld zijn.

Met RAID 5 donder je gelukkig niet een stuk write performance weg...
Dan zou ik toch liever 10 aanraden in dit specifieke geval.

Overigens moet je niet denken aan dataveiligheid, maar aan uptime. Voor het zeker stellen van data heb je een backup. Als er een SSD stukgaat en er moet gerebuild worden, is 5 ook zwaarder.

RAID 5 is een beetje een goedkope oplossing om niet te veel opslagruimte in te leveren, in ruil voor wat mindere write performance. Ik denk dat 10 dus beter is. Pak als je voor een losse RAID controller gaat liefst wel een controller met veel cache en een batterij, dat scheelt ook nog eens.

[Verwijderd]

Bedankt voor de info. Zo'n PCIe 8x RAID kaart lijkt me een goede mogelijkheid.

Die IBM M1015 heeft een RAID-5 uitbreidings optie. Ik vraag me af of die dan ook inderdaad op RAID-5 nog steeds die 1100 MB/s aankan. Dan moet er wel een kei van een RAID-5 chip in zitten, en voor tweehonderd euro lijkt me dat twijfelachtig... Ik kan er geen reviews over vinden.

Sowieso is dat niet zo belangrijk. Uiteindelijk zal de data toch wel op de server belanden, en die heeft een dagelijkse backup. De SSD is voor de directe opslag, en voor het 'lekker werken' met de data. Daar is RAID-0 dus helemaal geen probleem.

Die Intel 910 had ik al gevonden, maar lijkt me niet echt een optie. Is belachelijk duur (> 4k€), en levert nauwelijks voordelen. Die 1.5Gb/s haalt hij ook bij lange na niet bij sequentieel schrijven. Andere Revodrive achtige oplossingen zijn nog duurder. Wel jammer, want ik had het graag als één klein device gehad.

Ik zal dan inderdaad maar naar losse SSD's plus RAID adapter gaan kijken.

[M2M]

ik denk dat raid5 overkill is. Het lijkt me handiger na een meting de gevormde data te compressen (of direct) naar een normale schijf over te gooien. Anders wordt het wel heel gortig met het gebruik van de SSD's. 1.1GB/s is vrij veel en dat zul je geen uren vol kunnen houden met een batterij 128GB ssd's.

En dan denk ik nog iets verder, hoe zit die camera op de pc in kwestie aangesloten?

[Verwijderd]

De SSD is voornamelijk door directe opslag, en voor de korte termijn werkomgeving. Uiteindelijk zal alle data naar de server gaan.

De camera is met een eigen PCIe interface kaart op de pc aangesloten. Met een dubbele "camera-link" interface. (Voor als je dat iets zegt) Het is een 4x of 8x PCIe kaart, weet het niet uit mijn hoofd.

[Verwijderd]

Een opstelling met ssd in raid 0 geeft je een bepaalde flexibiliteit om het aantal ssd aan te passen aan die 1000 MB write . Je zou bv.gewoon de onboard intel controller kunnen proberen met drie flinke sata 600 ssd ,als drie dan te weinig is kan er nog een bij tot 6 . De totale sata headroom zou voldoende moeten zijn ,kijk maar naar Cipher zijn benchmark van twee crucials .
Het cpu gebruik valt wel mee met onboard raid en volgens mij maakt het niet veel uit in het streamproces wat zonder compressie of dergelijke weinig cpu nodig heeft . Mocht het niet genoeg zijn kun je verder uitbreiden met de aanwezige ssd met bv een goede hardware raid kaart .

Draai al een tijdje raid 0 met drie sata 2 ssd , maar het geeft een leuke overhead aan writes en reads van alle formaten behalve 4K read qd 1 . Maar een specefieke hoge write heb ik niet , dat kunnen eigenlijk alleen de nieuwere ssd zoals Samsung 830 en Crucials .Zou zeker voor een merk gaan wat goed aangeschreven staat , zeker met meer ssd in raid moet je er van op aan dat ze solid zijn.

Vindt de intel 510 ook wel de moeite waard om te vermelden , die is iets duurder maar heeft 32nm nand .
Zo bouw je voor een fractie van de prijs van die intel 910 een veelzijdigere configuratie die even goed of beter kan presteren

[victorb]

Intressant topic

Is een IBM M1015 eigenlijk bootable?

[Q]

Is het nog een idee om in RAID 10 te draaien als kosten niet zo heel erg uit maken? Als een SSD stuk gaat op het meest ongelegen moment, hoeveel 'schade' is er dan, niet alleen aan data verlies maar ook downtime totdat je weer een nieuwe ssd er in hebt zitten en de boel weer werkt?

[mrc4nl]

Q schreef op zaterdag 25 augustus 2012 @ 11:28:
Is het nog een idee om in RAID 10 te draaien als kosten niet zo heel erg uit maken? Als een SSD stuk gaat op het meest ongelegen moment, hoeveel 'schade' is er dan, niet alleen aan data verlies maar ook downtime totdat je weer een nieuwe ssd er in hebt zitten en de boel weer werkt?

geen idee, min verwachtingen zijn dat raid 5 langer duurt dan raid 10 om te rebuilden.
en ssd's kunnen heel snel lezen/schrijven en zijn relatief klein qua GB. niet te vergelijken met traditionele schijven

[Birdie_NL]

victorb schreef op zaterdag 25 augustus 2012 @ 03:31:
Intressant topic

Is een IBM M1015 eigenlijk bootable?

Dat vraag ik mezelf dus ook af. (Heb momenteel de M1015 in bestelling staan voor de data schijven) Maar zou graag een 2e willen aanschaffen voor 2x15k sas in raid1 voor het OS.

[Verwijderd]

alfaleader schreef op woensdag 22 augustus 2012 @ 19:54:
Wellicht is raid5 handig qua dataveiligheid, een extra raid controller zal ook geen weggesmeten geld zijn.

Dat klinkt inderdaad leuk. Maar in de praktijk ben je dan de veiligheid aan het verlagen in plaats van vergroten: je introduceert een extra complexe laag die ook defecten en dataverlies kan veroorzaken. Zonder die laag dus met simpel RAID0 is je opslag denk ik nog een stuk veiliger.

Bedenk dat SSDs zelf al RAID5 arrays zijn, met uitzondering van de Crucial M4 die geen NAND bitredundantie heeft.

Mijn advies: beschouw het gewoon als een snelle enkele schijf; een losse SSD. Hou er rekening mee dat het een keer uit kan vallen, en zorg dan zat je zo snel mogelijk weet verder kunt werken omdat de data die je wilt behouden altijd op de server staat. Ik denk dat deze setup in de praktijk veel veiliger is dan de schijnveiligheid van RAID5.

Mirroring doet niet zoveel interessants, maar je bent wel qua kosten twee keer zo hoog uit. Ik zou het gewoon op RAID0 houden dat hiervoor denk ik de meest logische opstelling. Zo heb je ook geen schijnveiligheid en weet je dat je data op de server moet staan wil je hem echt behouden.

Voor de mensen die RAID0 als inherent onveilig beschouwen: elke moderne SSD is een RAID0 of RAID5 array. Dus als je tegen RAID bent of het principe van parallellisatie, kun je SSDs maar ook multicore CPUs en multichannel DRAM en multilane PCIe niet gebruiken, want 2 dingen kunnen sneller stuk dan 1 ding, nietwaar? Toch horen we niemand klagen dat een quadcore onveiliger is dan een dualcore. Alleen als het om opslag gaat is interleaving opeens de boosdoener. Ik vind dat hypocriet, alhoewel één onweerlegbaar argument natuurlijk wel is dat opslag meer is dan hardware maar ook persoonlijke data bevat die je niet terugkrijgt met het vervangen van het apparaat. Maar ik pleit altijd voor het doorbreken van vastgeroeste algemeen aanvaarde 'waarheden'.

victorb schreef op zaterdag 25 augustus 2012 @ 03:31:
Is een IBM M1015 eigenlijk bootable?

Ja, mits je Interrupt 19 capture BIOS-ondersteuning hebt. Dat is nodig om van welke extra controller dan ook te kunnen booten. Alleen sommige brakke bordjes ondersteunen dat niet (goed).

[Verwijderd]

Die ssd is alleen om het writeproces van 1000 MB aan te kunnen , eigenlijk is dat als tijdelijke storage bedoelt ,en niet de definitieve storage . Je neemt van de microscoop op ssd , om daarna te kopieren naar een hd opstelling , daar moet je de backup hebben . Dan kan de ssd weer leeg, om opnieuw op te nemen .

Als je later zo een bestand wil openen en/of bewerken is het raadzaam dat bestand weer naar de ssd te kopieren om vanaf de ssd het bestand te openen . Je zal toch ook een hoge read moeten hebben om de bestanden normaal te lezen . Dat is de bedoeling van de ssd , versnellen van bepaalde procesen en aplicaties zoals oa windows . Maar voor definitieve storage lijkt een de hd nog steeds de beste optie .

Je loopt een zelfde risico met een digitale camera waar foto s op zitten die nog niet gebackuped zijn , video en geluidsopnames zijn na de eerste stream ook gewoon kwetsbaar .Tenzij je toch voor een secure raid level kiest ,maar inderdaad de complexiteit neemt weer toe voor dat ene kwetsbare moment . In een erg geval valt een ssd uit tijdens het streamproces of na het streamproces waardoor de actuele data van dat moment weg is . Daarvoor is het zaak als de opname klaar is eerst het bestand naar de hd en backup weg te schrijven.
Zorg dat je een hardware backup ssd klaar hebt om in te pluggen om een nieuwe array aan te maken en je kan weer opnemen , dat is een kwestie van minuten downtime

Soort reserve band ssd

[victorb]

Verwijderd schreef op zaterdag 25 augustus 2012 @ 12:03:
[...]
[...]
Ja, mits je Interrupt 19 capture BIOS-ondersteuning hebt. Dat is nodig om van welke extra controller dan ook te kunnen booten. Alleen sommige brakke bordjes ondersteunen dat niet (goed).

Ik gebruik alleen asus borden en daar heb ik nooit gekke dingen meegehad qua booten
Vroeger gebruikte ik heel vaak een adaptec 2940uw met een scsi cdrom speler om pentium1 systemen te booten. zelfs een digital multia pentium 100 kon zo booten met een adaptec 2940au. Was een ideale oplossing voor systemen die niet van ide cdrom konden booten

De camera doet 100 fps, en levert 16bit grayscale TIFF's af. Met 5.5MP levert dat 11MB per frame, en dus 1100 MB/s op.

Een beetje offtopic maar wat voor interface gebruikt de camera om met 1100MB/s naar je pc te schrijven? Want dat is niet een normale interface lijkt mij. Zelfs thunderbolt haalt dat niet denk ik. Firewire usb3.0 al helemaal niet. 10gbe netwerk is ook knap als dat op 95% draait.

[ Voor 23% gewijzigd door victorb op 25-08-2012 13:22 ]

[Verwijderd]

Ik snap werkelijk niet waarom mensen gaan roepend at een Raid5 een optie zou kunnen zijn. Er is WRITE snelheid nodig, en als er iets is wat de WRITE snelheid beperkt, is dat Raid5.

Het gaat hier puur om de eerste vastlegging van een grote stroom data. Hiervoor is een Raid0 zeer geschikt. Met 2 - 3 disks ga je ruim uitkomen qua performance.

Als je er vervolgens een script aanplakt die data zo snel mogelijk verstuurt naar de server, heb je naar mijn idee een prima werkend systeem. Ik zou dan ook adviseren om vor een degelijke controller te gaan en dan 2 of 3 disks daaraan te hangen in Raid0

[Q]

mrc4nl schreef op zaterdag 25 augustus 2012 @ 11:34:
[...]

geen idee, min verwachtingen zijn dat raid 5 langer duurt dan raid 10 om te rebuilden.
en ssd's kunnen heel snel lezen/schrijven en zijn relatief klein qua GB. niet te vergelijken met traditionele schijven

De enige vraag is: hoe erg is het als het systeem even niet werkt? Voor een uur, een dag een week. Bepaal aan de hand daarvan of je nog iets met redundancy doet.

Leuk dat SSD's onder de motorkap vaak RAID5 zijn, maar als device in zijn geheel is er nog risico. Een SSD is geen HDD maar in het verleden is vaak genoeg gebleken dat SSD's niet de meest betrouwbare apparaten zijn.

De waarde, nut en noodzaak van redundantie is echt niet veranderd omdat we nu opeens SSDs hebben. De redenen waarom zo'n 30 jaar geleden RAID is ontwikkeld zijn nog steeds relevant. En SSDs, hoe gaaf ze ook zijn, hebben niet het eeuwige leven, er zitten een aantal risico's aan.

De vraag is alleen wat voor jouw specifieke situatie een acceptabele down-time is. En hoe erg is dataverlies. Hoeveel verloren manuren zijn dat en hoe vertaalt zich dat naar kosten?

Natuurlijk, als je RAID gaat draaien (we hebben het hier niet over RAID5) dan gaan vervolgens andere schakels in de keten een risico vormen. Heb je een UPS? Heb je een dubbele voeding? ECC geheugen? Zijn de risico's verbonden aan die componenten net zo groot / klein als een defecte SSD?

Tja, jouw keuze. Ik heb geen overzicht van stats als in:

- gehegen w risico
- voeding x risico
- raid controller y risico
- ssd z risico

Het gaat niet om rebuilden. Je kunt non-redundant gewoon doordraaien en je proef afmaken. Wat kost een afgebroken proef? Niet veel? Tja.

[ Voor 4% gewijzigd door Q op 25-08-2012 14:06 ]

[Ultra]

Je zou ook naar de producten van Fusion-io kunnen kijken (als prijs inderdaad niet zo belangrijk is).

[DukeBox]

Wat ik me afvraag, je microscoop levert 1100MB/s aan data, hoe is dat ding dan aangesloten ?
Let op met een raid set dat je minimaal 2 SATAIII kanalen nodig hebt om aan de 1200Mbyte/s te kunnen komen.

[ Voor 37% gewijzigd door DukeBox op 25-08-2012 14:29 ]

[Snowwie]

Verwijderd schreef op woensdag 22 augustus 2012 @ 17:55:
De camera doet 100 fps, en levert 16bit grayscale TIFF's af. Met 5.5MP levert dat 11MB per frame, en dus 1100 MB/s op.

Heb je het nu over MegaByte (MB) of Megabit (Mb) per seconde ? In de bovenstaande reacties lijken de meesten uit te gaan van Megabit, alhoewel jouw TS doet vermoeden dat je over bytes praat.

8,8 Gigabit (Jouw 1.100MB/s) moet in principe te doen zijn op meerdere harde schijven in een raid 0 configuratie. 6 tot 8 schijven, allemaal sata-600 die wel minstens 200MB per/s moeten kunnen schrijven, is dus een mogelijkheid. Echter niet een goedkope mogelijkheid.

Een RamDisk lijkt me daarentegen de perfecte oplossing. Beetje modern moederbord kan zo 48GB aan ram behuizen, dus een Ramdisk van 40GB zou voor jouw toepassingen ideaal zijn. Het is dan enkel de vraag hoe lang de datastroom blijft doorgaan? Als je met die snelheden direct voor 4TB aan dataopslag nodig bent, dan wordt het heel lastig.

[Q]

Het gaat hier echt om megabytes per seconde. Reken maar mee. Met 1100 MB/s heb je 512 GB in krap 8 minuutjes volgeschoten.

Interessant is hoe lang een opname duurt.

[DukeBox]

Vandaar ook mijn vraag hoe de microscoop is aangesloten.. ik heb even gezocht op microscopen die dat soort specs hebben maar die werken allemaal met een eigen buffer voor een aantal minuten (afhankelijk van de gekozen kwaliteit). De paar die thunderbolt ondersteunen doen 'maar' 210MB/s max.
Anderen hebben een proprietary koppeling direct met storage (lijkt op een multilane sas connector) of een bijgeleverd systeem.
Hoe dan ook spreek je over oplossingen vanaf de €15.000

[BartNL]

victorb schreef op zaterdag 25 augustus 2012 @ 13:17:
[...]Ik gebruik alleen asus borden en daar heb ik nooit gekke dingen meegehad qua booten

de genoemde IBM / LSI controller is daarentegen wel kieskeurig en dan vooral op intel moederborden. Ik heb er hier één die in mijn huidige PC met Asus P8Z68-V-GEN3 mobo in bios niet herkent wordt. Op vorige moederbord werkte die controller probleemloos. Als je hem overweegt (en als 'ie werkt is 'ie goed en niet duur) vooraf even checken of 'ie werkt in jouw systeem.

[maarten12100]

Ultra schreef op zaterdag 25 augustus 2012 @ 14:20:
Je zou ook naar de producten van Fusion-io kunnen kijken (als prijs inderdaad niet zo belangrijk is).

Misschien heeft het lab die hoeveelheid geld wel beschikbaar maar of ze dat willen spenderen dat zijn namenlijk 10k+ producten.

[Henk007]

http://www.ramsan.com/products/rackmount-flash-storage-line

Natuurlijk hangt de keuze van je budget af.

[Verwijderd]

BartNL schreef op zondag 26 augustus 2012 @ 20:26:
[...]

de genoemde IBM / LSI controller is daarentegen wel kieskeurig en dan vooral op intel moederborden. Ik heb er hier één die in mijn huidige PC met Asus P8Z68-V-GEN3 mobo in bios niet herkent wordt. Op vorige moederbord werkte die controller probleemloos. Als je hem overweegt (en als 'ie werkt is 'ie goed en niet duur) vooraf even checken of 'ie werkt in jouw systeem.

Nieuwste generatie 77 chipset van intel ondersteund trim onder raid met ssd , dan is een externe raid kaart toch niet aan te bevelen als die geen trim ondersteund voor ssd in raid . Die 77 chipset voldoet aan alle eisen zoals de 1000 MB headroom wat genoeg is voor de ts . dat is een hele simpele maar doeltreffende methode waarin het complete mobo een grote raid kaart wordt . Je kan je syteem inrichten puuur voor die steaming data te capturen . Zet er 6 ssd in aangesloten op de intel sata poorten ,en boot van een zevende ssd aangeloten op een extra marvel poort , dat is wel iets langzamer voor je windows , maar de onboard 6 sata poorten zijn dan volledig in gebruik door de 6 ssd

Die 6 kunnen er ook drie zijn , het is maar een voordbeeld . in feite zijn het allemaal kleine ramsan units afgestemd voor pc gebruik

[jeroen3]

Als je plaatjes als RAW opslaat, dan heb je met 5.5 MP en 16 bit per pixel inderdaad 11 MB per plaatje.

Dus 1100 MB/s is worst case.
Want 1100 MB/s is 8.8Gb/s en ik ken maar één interface die dat kan. Thunderbolt op glasvezel.

TIFF heeft de mogelijkheden om diverse soorten lossless compressie los te laten.
En ik verwacht dat grote stukken van het plaatje dan ook hetzelfde zullen zijn. Dus de gemiddelde grootte van het plaatje neemt af.
Mogelijk bied de camera zelf al compressie? Zo niet, houd er dan rekening mee dat als je een Celeron 1.2 Ghz gebruikt je tijd tekort komt.

Probeer eens te kijken of je een gemiddelde grootte van de plaatjes kan uitrekenen.
Vanuit daar kan je beter zoeken naar een goedkopere oplossing. Want nu is het hier een wildgroei aan de meest geavanceerde technieken.

[BartNL]

Verwijderd schreef op maandag 27 augustus 2012 @ 20:20:[...]die 6 kunnen er ook drie zijn , het is maar een voordbeeld

was ook niet mijn voorstel maar een reactie.
Je eigen suggestie lijkt mij te positief aangezien Intel chipsets volgens mij nog steeds native niet meer dan 2x sata 600 te ondersteunen en de brakke onboard uitbreidingen je performance gaan kosten.

[M2M]

jeroen3 schreef op maandag 27 augustus 2012 @ 20:35:
Als je plaatjes als RAW opslaat, dan heb je met 5.5 MP en 16 bit per pixel inderdaad 11 MB per plaatje.


Dus 1100 MB/s is worst case.
Want 1100 MB/s is 8.8Gb/s en ik ken maar één interface die dat kan. Thunderbolt op glasvezel.

Wie zegt dat het geen eigen custom interface is die al op een PCI-E connector hangt? Oftewel zie hierboven

Daarnaast kun je met een drietal SSD's en een fatsoenlijke controller prima 1100MB/s wegschrijven. Ik denk dat de hoeveelheid vereiste opslagruimte een groter probleem wordt.

[jeroen3]

Dat lijkt mij wel ja. Als dat digitaal is dan.

Maar het mogelijk nog steeds interessant om een gemiddelde grootte uit te rekenen.

[Verwijderd]

Helaas, geen gemiddelde groottes. De beelden worden raw over de interface verzonden. Sowieso, dit zijn microscoop beelden op lage signaal ruis verhoudingen... daar is lossles compressie erg lastig. (En lossy compressie is uiteraard uit den boze)

De interface is simpelweg onbekend voor jullie. Zoals ik in de aanvangspost al aangaf, is het een zogenaamde "dual Camera Link" (full, 10 taps) verbinding, met een PCIe 8x interface kaart. Het is de standaard interface voor de nieuwe 'Scientific CMOS' camera's, zoals de PCO Edge, Andor Zyla, en Hamamatsu Orca Flash 4. Die camera's kosten zo'n 15000 euro.

Ons lab heeft wel geld beschikbaar. (Vooral nu ons projectvoorstel is goedgekeurd, en we een shitload aan geld krijgen. ) Maar het idee is dat dit binnen een paar jaar een 'relatief' goedkope commerciele confocaal microscoop moet worden, en dus willen we toch wel enigzins naar een goede prijs/kwaliteit verhouding kijken. En bij producten van Fusion-IO lijkt dat wel een beetje zoek. Verder heb ik ook gewoon geen zin om 10k euro uit te geven, wanneer ik voor minder dan 1000 euro ook de gewenste prestaties bereik.

Die eventuele in-compatibiliteit van die IBM kaart is wel een issue... Hij zou waarschijnlijk in een Dell workstation komen. (Omdat dat één van onze standaard leveranciers is, maar ook omdat zij moederborden met een flink groot aantal 16x PCIe slots leveren.) En dan is het lastig vooraf de compatibiliteit te checken.


We zitten trouwens te overwegen om twee van die camera's simultaan te gebruiken. Maar ik denk niet dat we dat op volle snelheid zullen doen.

[Q]

Uit interesse: hoe lang zijn de filmpjes, enkele seconden, minuten, uren?
Hoe worden de filmpjes gemaakt 1x per dag 1x per uur, etc. Wat is de workflow?
Bedient 1 iemand het systeem of is het multi-user? Shared resource?

[ Voor 18% gewijzigd door Q op 03-09-2012 18:56 ]

[Henk007]

Verwijderd schreef op maandag 03 september 2012 @ 17:56: (En lossy compressie is uiteraard uit den boze)

Onderbouwing ? Zelfs onze eigen zintuigen zijn niet lossless.

wanneer ik voor minder dan 1000 euro ook de gewenste prestaties bereik.

Dan zoek maar lekker verder, aan de gestelde performanceeisen ga je met dat budget en een uit 'consumentencomponenten' in elkaar geflanste configuratie nooit voldoen.

[ Voor 7% gewijzigd door Henk007 op 03-09-2012 20:56 ]

[Q]

Lossy compressie is bij Röntgen foto's, CT scans etc ook uit-den-boze. Dat is niet zo heel vreemd.

Ik ben het wel eens dat je niet te moeilijk moet doen met geld in deze, maar voor een supported oplossing moet gaan aangezien die paar duizend euro niet uitmaken als de oplossing niet (goed) werkt. Dan is die 15K voor de microscoop setup ook weggegooid geld.

[Mijzelf]

Henk007 schreef op maandag 03 september 2012 @ 19:06:
[...]

Onderbouwing ? Zelfs onze eigen zintuigen zijn niet lossless.

Eerlijk gezegd klikt dit me als een machine-vision project in de oren, en zijn je 'eigen zintuigen' dus niet relevant. Een inkoppertje is de '16 bits greyvalue' specificatie. Dat valt buiten het bereik van je ogen, en de gangbare compressiemethoden zullen de nuances dus aardig verminken.

[BartNL]

Henk007 schreef op maandag 03 september 2012 @ 19:06:
Dan zoek maar lekker verder, aan de gestelde performanceeisen ga je met dat budget en een uit 'consumentencomponenten' in elkaar geflanste configuratie nooit voldoen.

onzin, ik draai hier met 4x SSD in raid-0 als dataschijf en haal sequentieel ook al 1000mb/s. Mijn setup met IBM/LSI raid kaart en Samsung SSD's koop je nieuw voor €500 en dan heb je een 500GB volume. Met 8x128GB zit je ook nog binnen de €1000, heb je meer performance en 1TB dus onrealistisch is het niet.

[victorb]

De interface is simpelweg onbekend voor jullie. Zoals ik in de aanvangspost al aangaf, is het een zogenaamde "dual Camera Link" (full, 10 taps) verbinding, met een PCIe 8x interface kaart. Het is de standaard interface voor de nieuwe 'Scientific CMOS' camera's, zoals de PCO Edge, Andor Zyla, en Hamamatsu Orca Flash 4. Die camera's kosten zo'n 15000 euro.

Heb / Kan je daar foto's van maken?

Verder heb ik ook gewoon geen zin om 10k euro uit te geven, wanneer ik voor minder dan 1000 euro ook de gewenste prestaties bereik.

Je kan bijv M1015 + kabel kopen 150 euro en 4x 256gb samsung 175 euro per stuk + = 850 euro (simpel gezegt) Dan heb je prima basis voor die snelheid

Die eventuele in-compatibiliteit van die IBM kaart is wel een issue... Hij zou waarschijnlijk in een Dell workstation komen. (Omdat dat één van onze standaard leveranciers is, maar ook omdat zij moederborden met een flink groot aantal 16x PCIe slots leveren.) En dan is het lastig vooraf de compatibiliteit te checken.

Bij DELL sas controller configgen in systeem inplaats van een ibm

[DukeBox]

De Dell Perc (LSI) controllers zijn vaak ook nog goedkoper dan de IBM branded varianten.. maar idd, deze is als optie beschikbaar in vrijwel alle workstations (en servers uiteraard). Je zou ook nog naar een DAS kunnen kijken in raid0 met genoeg schijven om de 1000MB/s aan write IO te verwerken. Zelfs met SATA 7200RPM is dat al met 10 HDD's te halen (aangezien de IO's niet random zijn).
Hoe dan ook kan je wel besparen door de SSD's niet bij Dell te kopen.

Als Dell je huis leverancier is kunnen zij vast een mooie offerte doen van een MD1200 met 10x 2 TByte NearLine SAS (+/- 150MBye/s/HDD) in RAID0 met een en active/active management controller. Vervolgens knoop je dat middels 2 SAS kabels aan een H800 controller (1 GByte cache) in je werkstation en zet je hem in multipath IO met een load balanced policy, zo heb je een 12Gbit/s interface naar je DAS.

Het is niet goedkoop maar als ik de premier prijzen bekijk, rond de €4500 te doen.
Daarvoor heb je dan ~1500MByte/s en een opslag van 20TByte. Dat ga je niet redden voor dat bedrag met SSD's.
Daarnaast kan je nog uitbreiden met HDD's of SSD's voor meer capaciteit/performance (SSD's zelfs in 'CacheCade' echter is dat voornamelijk voor read IO/s).

[Verwijderd]

Ik zat ook al naar een Dell RAID controller te kijken. Zou die standaard Perc 6/i het aankunnen? Dell is niet zo scheutig met harde cijfers en specs...
De SSD's zal ik sowieso apart kopen, want Dell vraagt daarvoor absurde prijzen. (en zegt natuurlijk ook niet wélke SSD ze er in stoppen.)

Die MD1200 is een interesante gedachte, maar ik krijg een prijs die op 10k euro komt. En harddisks mogen snel zijn aan de rand van de disk, maar aan de binnenkant gaat het snel naar beneden, tot iets van 60 tot 70MB/s... Dan zijn zelfs 10 schijven niet genoeg. En de minste geringste fragmentatie haalt ook je transferrate omlaag. In mijn ervaring leveren SSD's meer constante prestaties, dus ik neig voorlopig naar SSD systemen.


Voor degenen die meer info wilde over het systeem:
Dual camera link: http://www.activesilicon.com/pdfs/FireBird-1xCLD.pdf
Camera's:
- http://www.andor.com/pdfs...OS_OEM_Specifications.pdf
- http://www.pco.de/categories/scmos-cameras/pcoedge/
- http://hamamatsucameras.com/flash4/


Het typische gebruik is niet zo makkelijk aan te geven... Aangezien het systeem zoveel sneller is dan typische confocaal opstellingen, zal men een beetje anders gaan werken.
Maar een image stack van 50 slices is niet ongewoon in het huidige prototype. (Met een piezo controller voor de stack hoogte, dus dat is heel snel) Dat doe je dan met minstens twee fluorescente fluorophoren. Dus 100 slices/images. (Met ~150 ms filterwheel switching tijd ertussen)
Dat is de basis stack... Nu kun je dan een tijdserie maken, maar ook bijvoorbeeld met de stage meerdere posities uitkiezen, en daar dan continue terug komen. Zo'n tijdserie kan heel lang duren... Hangt van de meting af.

In de meeste gevallen zul je die maximale snelheid niet lang kunnen volhouden, omdat je fluorophore bleekt... maar als je eens een situatie hebt, waarbij dat geen probleem is, dan wil je uiteraard niet door je computer hardware beperkt worden!

Zo'n situatie kan zijn wanneer je GFP fluorescentie gebruikt voor het bepalen van de positie van de cell, en Quantum Dots koppelt aan de receptors op die cell. De snelle diffusie van de QD's neemt je dan op maximale snelheid op, terwijl je voor de langzame beweging van de cel genoeg hebt aan bijvoorbeeld 1Hz. Dus 1 beeld op de 100. Zo'n meting kan dan makkelijk een 5 minuten duren. Maar dan hebben we het toch wel over 30.000 beelden. Hmmm... Misschien dat ik dan toch maar naar 8x SSD voor een totaal van 2TB moet kijken.

[Q]

Met 1100 MBs moet je inderdaad dus ook letten op de totale capaciteit van je array. Daarna zit je nog met het hele verhaal waar je al die data gaat opslaan, of is dat al geregeld?

Met 8 SSDs kun je beter naar die PCIe SSD kaarten kijken denk ik, waar ga je die SSDs in stoppen?

Wat adviseert de leverancier eigenlijk?

Is het niet beter om de capture kaart in een dikke server te hangen en die server verder via RDP remote te bedienen, waarbij je dus ook meteen ruimte hebt voor disks, raid kaarten, etc.

[ Voor 21% gewijzigd door Q op 05-09-2012 01:55 ]

[Snowwie]

Q schreef op woensdag 05 september 2012 @ 01:53:

Met 8 SSDs kun je beter naar die PCIe SSD kaarten kijken denk ik, waar ga je die SSDs in stoppen?

SSD's kun je inprince gewoon in je kast laten slingeren en als je flink stapelt kun je er in een gemiddelde computerkast zo een stuk of 100 kwijt

[iceheart]

Verwijderd schreef op dinsdag 04 september 2012 @ 16:08:
Ik zat ook al naar een Dell RAID controller te kijken. Zou die standaard Perc 6/i het aankunnen? Dell is niet zo scheutig met harde cijfers en specs...

hmm, voor wat ik me van dat speeltje kan herinneren gaat die geen GB/s sustained trekken. misschien dat een recentere firmware daar verbetering in brengt, dat kan. het is even geleden dat ik daar mee heb zitten prutsen.

[Verwijderd]

Vanwege de ruimte die 4 of 8 SSD's innemen, had ik in eerste instantie ook gedacht aan een PCIe SSD oplossing. Maar de OCZ revo oplossingen worden algemeen afgeraden, en de overige systemen van Fusion IO en LSI zijn belachelijke duur voor hun prestaties.

Heb gisteravond net een white paper van Hamamatsu gevonden, (de producent van één van de camera's) en die adviseren een LSI MegaRAID 9260-4i of 9260-8i systeem, met dan 4 of 8 Crucial M4 SSD's. Komt dus overeen met wat we hier al besproken hadden. (Hun demo systeem had een eerste generatie OCZ Revo, maar die is niet zo denderend snel.)

Hamamatsu had wel een goede oplossing gevonden voor het grote aantal SSD's. Namelijk drive bays die 4x 2,5" in één 5,25" positie krijgt. Bijvoorbeeld:
- http://www.thermaltakeusa...oduct.aspx?C=1257&ID=2030
- http://eu.startech.com/HD...ck-Backplane~SATSASBAY425
Of een simpele oplossing voor 2x 2.5"in een 3,5" HDD ruimte:
- http://www.silverstonetek.com/product.php?pid=221

Het is dus niet zo'n probleem om 8 SSD's netjes in de workstation te plaatsen. (Die kosten moet je natuurlijk ook even meetellen wanneer je met een PCIe SSD vergelijkt... )

Ik heb over de Perc 6/i ook nogal wat problemen gelezen, juist ook wat betreft bedroevende RAID-0 prestaties. Dat waren wel oude berichten, dus misschien dat recente firmware beter is.... Maar uit de specs van Dell heb ik ook geen denderende resultaten zien (max 700MB/s). Gezien iceheart ook zijn bedenkingen heeft, ga ik denkt ik liever naar die LSI toe. Hamamatsu had die LSI RAID in een Dell Precision T5500 ingebouwd, ondanks dat die ook met die Perc 6/i uitgerust kan worden. Dus daar hadden ze wellicht wel een goede reden voor... Ik zie dat LSI nu ook net nieuwe PCIe v3 kaarten heeft, dus dat is dan lekker up to date.


De capture kaart moet in de workstation hangen... Er wordt niet alleen gecaptured, maar de beelden worden ook bewerkt. Niet perse alle beelden realtime , maar de gebruiker moet wel een min of meer realtime beeld op het scherm krijgen, om het experiment te volgen, en eventueel in te grijpen.

Als het nodig is, kan er natuurlijk altijd een dikke storage bijgehangen worden. De vraag is of dat echt nodig is... We hebben een instituut fileserver met een dagelijkse backup, waar uiteindelijk alle data naar toe zal gaan. Ik gebruik dat liever, dan wat we met lokale oplossingen gaan werken... Juist ook vanwege de backup!

De totale hoeveelheid data zal ook niet zo hoog zijn... Weliswaar laat het systeem toe om enorme hoeveelheiden data te produceren, maar dat zal niet zo vaak gebeuren. Het prepareren van de experimenten kost véél meer tijd, dan het experiment zelf.
Eventueel kan ik 8x 512MB SSD's nemen. Dan zitten wel op 4TB opslag, genoeg voor een uur opnemen op volle snelheid. Totale kosten zijn dan zo'n 4000 euro. Lijkt me schappelijk.

[Sander]

Verwijderd schreef op dinsdag 04 september 2012 @ 16:08:
De SSD's zal ik sowieso apart kopen, want Dell vraagt daarvoor absurde prijzen. (en zegt natuurlijk ook niet wélke SSD ze er in stoppen.)

Wie is er verantwoordelijk voor garantie en fixes op moment dat je dit op de markt brengt? Want dan kan het juist weer wel heel aantrekkelijk zijn om een fully dell-supported config te hebben waar je 5y 4h on-site service bij kunt kopen? En ik denk dat je met dit soort workstations misschien ook eens je accountmanager bij dell een lijst met specs moet geven en vragen wat het gaat kosten. Het voordeel van een integrated aanpak van dat stukje is dat je later makkelijk meer kunt bestellen en kunt opschalen.

[victorb]

Ik zou wel even informeren of jullie project wel op de instituut fileserver past en of die wel snel genoege netwerk verbinding heeft om het project weg te schrijven en dat andere er geen last van hebben

[Verwijderd]

Het zou inderdaad handig zijn als dit allemaal van één leverancier kan komen... Daar moet ik gewoon eens bij onze IT afdeling over gaan praten. Die hebben daar meer ervaring mee.

Anderzijds, zal zo'n systeem gewoon met een onderhouds contract komen voor het complete microscoop systeem. We zitten dan sowieso met allerhande verschillende leveranciers, (microscoop, onze confocale add-on, lasers, xyx stages, computer, etc) dus dan is het de vraag of het zo erg is als de computer meerdere leveranciers heeft. We moeten natuurlijk wél garantie hebben dat de onderdelen goed op elkaar passen. Ik denk dat dát wel met LSI en Dell af te spreken valt.

Ik zal natuurlijk even met onze beheerder babbelen. Onze fileserver is groot genoeg. En als het goed is, dan zou die het ook qua prestaties makkelijk moeten trekken... Van de andere kant... we hebben net sinds een maand een nieuwe instituut fileserver, omdat de vorige server zo verschrikkelijk slecht presteerde, dus dat zal een kwestie van testen moeten zijn...
Ik zie hier weinig problemen... Er zijn andere groepen in het instituut die constant enorme bergen data produceren, en daar hebben ze specifieke oplossingen voor. Dus als wij in de problemen komen, dan zijn er standaard oplossingen voor. De totale hoeveelheid data zal toch niet zo heel groot zijn. Het kost weken om de experimenten voor te bereiden, (cel kweek e.d.), en de meeste experimenten zullen niet op volle snelheid lopen. De microscoop zal voorlopig niet zo veel data produceren. We moeten alleen even zorgen dat we het netwerk niet dicht trekken op het moment dat we de lokale data naar de server trekken. Sowieso kan dat op een rustig moment gebeuren...

[BartNL]

Verwijderd schreef op woensdag 05 september 2012 @ 11:19:Hamamatsu had die LSI RAID in een Dell Precision T5500 ingebouwd, ondanks dat die ook met die Perc 6/i uitgerust kan worden. Dus daar hadden ze wellicht wel een goede reden voor... Ik zie dat LSI nu ook net nieuwe PCIe v3 kaarten heeft, dus dat is dan lekker up to date.

je kunt bij Dell gewoon een LSI controller in de Dell laten zetten. Dan weet je zeker dat een werkende setup hebt en kun je in geval van hardware problemen naar Dell. De SSD's eventueel met Dell overleggen en aangeven dat je van plan bent er zelf Samsung SSD's (o.i.d.) aan te hangen maar dat zij dat ook mogen doen mits ze daar dan niet veel duurder mee zijn. Daarbij aangeven dat je een OEM bent die de Dell bij je microscopen wilt gaan leveren en er bij goede werking dan ook meerdere gaat (ver)kopen. Dat maakt de Dell accountmanager ongetwijfeld creatief!