Schrijven 1.3 GB/s binary data

[bammette]

Ik heb een paar vragen over het het behalen van een hoge snelheid met het schrijven van binary data.

Vraag 1: vraag over de benchmarks. Ik heb te maken met een meetopstelling die binary data levert. Een meting duurt typisch een aantal seconden, maar kan eventueel oplopen tot richting een minuut. Ik vraag me af welke schrijfsnelheid ik vanuit kan gaan gedurende deze periode. Wat voor benchmark test kan ik naar kijken? Ik ben wel een noob op dit gebied, dus als er specifieke vragen zijn over hoe de data precies in elkaar zit zijn wat aanwijzingen welkom

Doordat we precies de data willen hebben die we meten en dus random binary data hebben, kunnen we geen compression gebruiken. (bron: http://stackoverflow.com/...data-that-you-can-achieve). Betekent dit dat ik naar de sequential write van de random incompressible data moet kijken van crystaldiskmark? (die testuitslagen vind je hier: http://www.thessdreview.c...erformance-great-price/4/ )

Aanvullende informatie: We gebruiken nu de Mushkin Scorpion Deluxe 480 GB en moeten 1.3 GB/s kunnen schrijven. Momenteel werkt het niet om deze hoeveelheid data te schrijven, maar het is mij niet volledig duidelijk of dit komt doordat de interface van de meetopstelling problemen geeft of doordat de hardeschijf niet snel genoeg gaat.

Vraag 2: Mocht het niet mogelijk zijn om 1.3 GB/s per seconde te schrijven met 1 SSD, hoe is dit dan op te lossen? Zijn er RAID-0 controllers die deze snelheden mogelijk maken? Betrouwbaarheid van Raid-0 is geen groot issue omdat de data naar de server gaat na de meting.

Mijn achtergrond: Ik ben een Masterstudent Natuurkunde, momenteel bezig met mijn literatuurthesis, dus weet zelf nog weinig van de meetopstellingen. Echter, het probleem wat ze hier momenteel hebben interesseert mij, dus ik zou graag helpen het op te lossen.

reden edit: wat toegevoegd over incompressibility.
2e edit: Het product gelinkt aan dit topic is niet het juiste. We hebben de deluxe versie, maar die kon ik niet selecteren.

[ Voor 19% gewijzigd door bammette op 01-04-2014 14:01 ]

[Reepje]

Deze ssd heeft al een raid0 config in zichzelf en moet daardoor 2 GB/s kunnen halen. Maar dan wel als we het over nulletjes hebben. Deze ssd heeft namelijk een sandforce controller, die erg goed is in het wegschrijven van nulletjes. Ik neem aan dat je wel echte data wil wegschrijven.

Als alles verder optimaal is, dus zeer sneller hardware die dit alles kan bijbenen, en softwarematifg is alles ok, dan kan deze ssd 1 GB/s halen als we het over sequentiele data hebben.

Het zou kunnen, dat als je er 2 inzet, je de 1,3 GB/s wel kan halen

[_JGC_]

De SSD die je nu hebt is gewoon een LSI SAS2008 controller met 4 SSDs in RAID opstelling voor een totaal van 480GB. De SSDs op die kaart maken gebruik van Sandforce controllers, wat inhoudt dat de opgegeven specs alleen kloppen als je comprimeerbare data opslaat.

Testje met Sandforce SF2281 controllers:
http://www.xbitlabs.com/a...-patriot-ssd_7.html#sect2

En dan vooral de write snelheden: comprimeerbaar 2x zo hoog als oncomprimeerbaar. Je zou voor jouw PCIe SSD in principe 4x de score van de OCZ Vertex 3 Max IOPS kunnen pakken. Die 4x475 komt overeen met de opgegeven specs door Mushkin, de 4x277 komt eerder in de buurt met de snelheid waarmee jouw meetdata wordt weggeschreven.

Om jouw probleem op te lossen heb je in principe 2 oplossingen:
- RAM disk van voldoende grootte om je testdata tijdelijk heen te kunnen schrijven, maar met 1.3GB/s zit dat snel vol en is dus je testgrootte beperkt
- SSDs uitzoeken die wel snel zijn met het schrijven van data en dat ook blijven, en die met RAID0 aanelkaar knopen, liefst gewoon op een Intel bord met Intel fakeraid

[bammette]

Reepje schreef op dinsdag 01 april 2014 @ 14:01:
Deze ssd heeft al een raid0 config in zichzelf en moet daardoor 2 GB/s kunnen halen. Maar dan wel als we het over nulletjes hebben. Deze ssd heeft namelijk een sandforce controller, die erg goed is in het wegschrijven van nulletjes. Ik neem aan dat je wel echte data wil wegschrijven.

Als alles verder optimaal is, dus zeer sneller hardware die dit alles kan bijbenen, en softwarematifg is alles ok, dan kan deze ssd 1 GB/s halen als we het over sequentiele data hebben.

Het zou kunnen, dat als je er 2 inzet, je de 1,3 GB/s wel kan halen

Dit geeft dan inderdaad antwoord op mijn eerste vraag, dat gaat niet lukken zo. Maar heb je nog een speciale raid-0 controller nodig om met twee schijven veel sneller te kunnen? Of zou dit standaard op het moederbord moeten werken?

_JGC_


Om jouw probleem op te lossen heb je in principe 2 oplossingen:
- RAM disk van voldoende grootte om je testdata tijdelijk heen te kunnen schrijven, maar met 1.3GB/s zit dat snel vol en is dus je testgrootte beperkt
- SSDs uitzoeken die wel snel zijn met het schrijven van data en dat ook blijven, en die met RAID0 aanelkaar knopen, liefst gewoon op een Intel bord met Intel fakeraid

RAM disk is inderdaad de huidige oplossing, maar ik begreep dat er potentieel een probleem is met de compatibiliteit van de firmware waar we aan vast zitten, en de RAM disk. Ik weet niet precies hoe dit zit alleen.

In elk geval zou ik het vooral graag naar de RAID-oplossing kijken. Is wat er standaard op je MOBO zit altijd fakeRAID? Hoe hard moet je CPU ervoor werken om deze fakeRAID te gebruiken?

[ Voor 31% gewijzigd door bammette op 01-04-2014 14:10 ]

[Reepje]

Twee Samsung 840pro 1 TB Raid0 moet lukken.

Als dat wat duur is en je niet zoveel opslag nodig hebt 2x 840pro 500 GB.

Even nagekeken, nee ze halen de 1 GB/s net.

[ Voor 19% gewijzigd door Reepje op 01-04-2014 14:13 ]

[u_nix_we_all]

Reepje schreef op dinsdag 01 april 2014 @ 14:08:
Twee Samsung 840pro 1 TB Raid0 moet lukken.

Als dat wat duur is en je niet zoveel opslag nodig hebt 2x 840pro 500 GB.

Met 2x sata-600 haal je de bandbreedte niet

[The Lord]

Producten zoals van FusionIO zijn vaak voor dit soort schrijfacties geschikt.

Als het om heel veel data gaat dan kan er ook gekeken worden naar write back caching in de volgorde RAM-Flash-HDD.

Weet je wat voor block groottes er wordt geschreven? Dit is namelijk nogal van belang voor de hoeveelheid bps die daadwerkelijk gehaald gaan worden.

Met grote blokken (64kB+) is het een stuk makkelijker 1,3GBps te halen. Met hele kleine blokken zullen er niet veel SSD's in RAID 0 blij worden van de data.

Daar komt dan nog bij dat de alignment en garbage collection heel erg belangrijk worden.

[ Voor 50% gewijzigd door The Lord op 01-04-2014 14:22 . Reden: Block & alignment toegevogd. ]

[Reepje]

u_nix_we_all schreef op dinsdag 01 april 2014 @ 14:13:
[...]

Met 2x sata-600 haal je de bandbreedte niet

Ja daar was ik net ook achter.

[Verwijderd]

Wat op je moederbord zit, is geen fake raid. Het is gewoon RAID, maar de cpu wordt gebruikt voor het rekenwerk. Bij RAID-0 en RAID-1 is er geen wezenlijk rekenwerk, en is dat dus helemaal niet relevant.

Twee Samsung 840 Pro in RAID is vermoedelijk voldoende met wat ram cache. En anders 4x 840 Pro in RAID. Dat is op vrijwel ieder moederbord mogelijk, zelfs op de Intel controller.

Ik heb zelf 8x 840Pro op een RAID-0, en trek > 3GB/s (vermoedelijk beperkt door de bandbreedte van de LSI RAID controller.)

[bammette]

Verwijderd schreef op dinsdag 01 april 2014 @ 14:16:
Wat op je moederbord zit, is geen fake raid. Het is gewoon RAID, maar de cpu wordt gebruikt voor het rekenwerk. Bij RAID-0 en RAID-1 is er geen wezenlijk rekenwerk, en is dat dus helemaal niet relevant.

Twee Samsung 840 Pro in RAID is vermoedelijk voldoende. En anders 4x 840 Pro in RAID. Dat is op vrijwel ieder moederbord mogelijk, zelfs op de Intel controller.

Ik heb zelf 8x 840Pro op een RAID-0, en trek > 3GB/s (vermoedelijk beperkt door de bandbreedte van de RAID controller.)

Bedankt voor het antwoord, begrijp ik goed dat het in principe mogelijk moet zijn om dan gewoon nog 1 van scorpion deluxe te kopen en deze op het MOBO in Raid-0 te zetten en zo het probleem op te lossen?

Het is voor ons denk ik het meest gunstig om niet te switchen naar andere types, maar gebruik te maken van de scorpion deluxe 480GB die we al hebben.

[Verwijderd]

Verwijderd schreef op dinsdag 01 april 2014 @ 14:16:
Wat op je moederbord zit, is geen fake raid. Het is gewoon RAID

Wat is dan 'gewoon' RAID volgens jou?

Er zijn de volgende typen RAID:

Software RAID

• Onboard RAID / Chipset RAID / Firmware RAID / Fake RAID = allemaal hetzelfde. Dit werkt via een extra boot ROM geleverd door je chipset wanneer de controller op RAID en niet op AHCI/IDE is ingesteld; dat laatste kun je doen in het BIOS. Wanneer je hem op RAID instelt, krijg je de extra boot ROM te zien tijdens de BIOS-fase ('POST'). Je kunt dan vaak Control+I of andere combintie drukken om in de RAID BIOS setup te komen, waar je een RAID array kunt maken enzovoorts. De BIOS firmware wordt gebruikt om van te booten, maar zodra de (Windows-only) RAID-drivers zijn geladen nemen deze het over en is het 100% software RAID, zonder enige vorm van hardware acceleratie.
• 100% puur software RAID door het operating system. Dit omvat Windows met Dynamic disks in Disk Management, Linux md/mdadm, BSD geom_raid en ZFS. Het verschil met bovenstaande is dat er geen BIOS-trucje is om booten mogelijk te maken. Booten werkt daarom meestal niet. Maar omdat RAID1 (mirror) vrijwel hetzelfde is als een single disk, is het vaak wel mogelijk om van RAID1 te booten. Voor de overige levels moet er dan speciale bootcode geschreven zijn. Een goed voorbeeld hiervan is ZFS die van RAID-Z1/2/3 kan booten: RAID5 en RAID6. Windows heeft dergelijke bootcode niet, en kan dus alleen booten van BIOS-disks, onboard RAID en hardware RAID.

Hardware RAID

• Hardware assisted PCIe controller. Hierbij heb je een RAID controller met SoC-chip en vaak ook wat DRAM-geheugen die zelf rekenwerk kan verzetten. Maar er wordt nog steeds wel gebruik gemaakt van de host-CPU voor pariteit en I/O aggregatie. In tegenstelling tot wat vaak gezegd wordt, is de pariteit extreem licht; de aggregatie van write-requests is waar het meeste werk in gaat zitten, met name geheugen-intensief door de vele memory copies.
• Hardware RAID PCIe controller. Met een Intel IOP chip meestal; vanaf 500MHz (1e generatie). Denk aan 3ware, maar ook Highpoint 3000/4000 series uit mijn hoofd en natuurlijk Areca is hét voorbeeld van een échte Hardware RAID controller met alle toeters en bellen. Net als hardware assisted RAID biedt de kaart een eigen Boot ROM en kan zichzelf bij de BIOS registreren waardoor booten altijd mogelijk is. Heeft wel een specifieke driver nodig, dus Windows installeren heb je een USB-stick nodig met drivers daarop.

Onboard RAID - FakeRAID - kan best goed zijn afhankelijk van de situatie. Voor RAID0 onder Windows is dat heel geschikt. RAID5 zou ik niet doen; je moet dan kiezen tussen trage writes of een onveilig opslagvolume in geval van OS crashes/power interruptions. Dat kan ik je niet aanraden. Maar je kunt prima vier SSDtjes in RAID0 op de onboard Intel controller zetten.

Bedenk wel dat alleen de nieuwste chipsets meer dan twee SATA/600 bieden. Een bord met 4x SATA/600 en 4x SATA/300 zal in de praktijk betekenen een Intel chipset controller met 2x SATA/600 en 4x SATA/300 met daarnaast een Marvell chipje die nog twee SATA/600 poortjes biedt, maar daarbij geldt dat maar voor 400MB/s effectief bandbreedte is (PCIe 2.0 x1) en dat komt neer op 200MB/s per SSD wanneer je beide poorten gebruikt voor SSDs in RAID0. Bovendien kun je met onboard RAID niet zomaar twee RAID drivers mixen (Marvell en Intel onboard RAID). De Intel drivers zijn vele malen beter dan die Marvell drivers. Bovendien biedt Intel nog TRIM-ondersteuning met hun drivers, terwijl Marvell dat niet doet, tenzij dit recent toegevoegd hebben.

Z87 is in elk geval 6 keer SATA/600. Zie voor overzicht de chipsets van Intel: Wikipedia: List of Intel chipsets

[Verwijderd]

TRIM support zal in dit geval vermoedelijk niet zo belangrijk zijn. Bij >1GB/s streams, zal je vrijwel zeker sequentiele data streams hebben. En dan doet TRIM niet zo veel.

In dat geval liever niet het OS op dezelfde SSD RAID zetten.

[_JGC_]

bammette schreef op dinsdag 01 april 2014 @ 14:20:
[...]


Bedankt voor het antwoord, begrijp ik goed dat het in principe mogelijk moet zijn om dan gewoon nog 1 van scorpion deluxe te kopen en deze op het MOBO in Raid-0 te zetten en zo het probleem op te lossen?

Het is voor ons denk ik het meest gunstig om niet te switchen naar andere types, maar gebruik te maken van de scorpion deluxe 480GB die we al hebben.

Je huidige SSD is 4x120GB SSD met sandforce controller op een LSI SAS2008 controller in RAID0. Die steekt in een PCIe slot, die kan je niet zomaar even in RAID-0 zetten met nog een RAID controller. Je kunt wel met je OS nog software RAID draaien over 2 volumes, maar in hoeverre dat het gewenste resultaat biedt kan ik je niet vertellen.

In principe ben je gewoon slachtoffer geworden van de marketingmachine van Mushkin. Er is je 1.9GB/s schrijven beloofd, maar dat gaat die SSD nooit halen met de data die jij schrijft. In de praktijk ga je meer snelheid halen als je bijvoorbeeld 4x Samsung 840Pro 256GB aan een recente Intel chipset met 4x SATA600 knoopt.

[bammette]

The Lord schreef op dinsdag 01 april 2014 @ 14:14:
Producten zoals van FusionIO zijn vaak voor dit soort schrijfacties geschikt.

Als het om heel veel data gaat dan kan er ook gekeken worden naar write back caching in de volgorde RAM-Flash-HDD.

Weet je wat voor block groottes er wordt geschreven? Dit is namelijk nogal van belang voor de hoeveelheid bps die daadwerkelijk gehaald gaan worden.

Met grote blokken (64kB+) is het een stuk makkelijker 1,3GBps te halen. Met hele kleine blokken zullen er niet veel SSD's in RAID 0 blij worden van de data.

Daar komt dan nog bij dat de alignment en garbage collection heel erg belangrijk worden.

Ik heb geen goed idee van hoe groot de blokken zijn die geschreven worden. Ik zal dit eens vragen. Ik probeer vanmiddag bij de koffiepauze iemand aan te schieten die meer over het probleem weet. Maar zoals ik het nu hoor van de meesten zullen we toch 1 van 2 dingen moeten doen. Of de RAM disk gebruiken (dus eventuele problemen daarmee oplossen), of met andere SSD's in RAID werken.

Verwijderd schreef op dinsdag 01 april 2014 @ 14:57:
[...]

Bunch of uitleg

Thanks voor de uitgebreide uitleg, dat maakt alles wel een stuk duidelijker. Ik zal eens kijken of het uitmaakt als het iets processorkracht kost. In elk geval hoeft hij niet te booten vanaf deze SSD, dus daarmee voorzie ik geen problemen.

_JGC_ schreef op dinsdag 01 april 2014 @ 16:22:
[...]

Je huidige SSD is 4x120GB SSD met sandforce controller op een LSI SAS2008 controller in RAID0. Die steekt in een PCIe slot, die kan je niet zomaar even in RAID-0 zetten met nog een RAID controller. Je kunt wel met je OS nog software RAID draaien over 2 volumes, maar in hoeverre dat het gewenste resultaat biedt kan ik je niet vertellen.

In principe ben je gewoon slachtoffer geworden van de marketingmachine van Mushkin. Er is je 1.9GB/s schrijven beloofd, maar dat gaat die SSD nooit halen met de data die jij schrijft. In de praktijk ga je meer snelheid halen als je bijvoorbeeld 4x Samsung 840Pro 256GB aan een recente Intel chipset met 4x SATA600 knoopt.

Wat is de reden dat het niet mogelijk is om een twee RAID-0 apparaten in RAID-0 te zetten(edit: Cypher had dit al beantwoord, incompatibiliteit verschillende soorten controllers)? Gevoelsmatig zou ik zeggen dat je een oneindige hoeveelheid RAID-0 setups onder elkaar kan zetten, maar then again ben ik wel een noob op dit gebied.

[ Voor 29% gewijzigd door bammette op 02-04-2014 20:20 ]

[bammette]

edit: aangevuld in vorige reactie

[ Voor 96% gewijzigd door bammette op 02-04-2014 15:17 ]

[_JGC_]

Je kunt wel 2 van die kaarten in je systeem prakken en vervolgens in Windows met schijfbeheer een striped volume bouwen van 2 losse disks. Wat niet kan is die dingen aansluiten op je SATA aansluitingen en vervolgens in de BIOS een RAID array maken.

Alleen een beetje zonde dat een 480GB Mushkin PCIe SSD in de praktijk minder presteert dan 2x256GB Samsung 840Pro op een Intel SATA3 controller en daarbij ook nog eens 2x zoveel kost. Vandaar dat ik je afraad om nog meer van die producten met gelogen specs te kopen.

[Q]

_JGC_ schreef op dinsdag 01 april 2014 @ 16:22:
In de praktijk ga je meer snelheid halen als je bijvoorbeeld 4x Samsung 840Pro 256GB aan een recente Intel chipset met 4x SATA600 knoopt.

Lijkt mij de juiste weg.

Is dit voor een opstelling met een microscoop?

[ Voor 8% gewijzigd door Q op 02-04-2014 17:05 ]

[bammette]

Als ik dit alles zo lees lijkt het inderdaad goed als dit de laatste Mushkin Scorpion deluxe SSD is. Volgende keer zelf de RAID-0 configureren.

Om te testen of het via software RAID toch te doen is om deze Mushkin (480GB) snel genoeg te krijgen kan ik proberen om hem te combineren met de Mushkin 960GB die we ook hebben. Hiermee zou ik vergelijkbare prestaties verwachten met 2x Mushkin 480GB.

Hartelijk dank voor jullie hulp, er is mij nu een hoop meer duidelijk over hoe het allemaal werkt en wat de beste/goedkoopste oplossingen zijn. Het zal waarschijnlijk een tijdje duren voordat ik meer weet over de oplossing, gezien er ook andere problemen zijn, dus voorlopig kom ik er niet meer op terug.

In elk geval neem ik jullie advies ter harte, ik zal adviseren dat ze volgende keer idd gewoon normale SSD's in RAID-0 te zetten. Zo is de uitbreidbaarheid ook veel beter, en dat het minder kost zal ook bevallen.

Q schreef op woensdag 02 april 2014 @ 17:05:
[...]


Lijkt mij de juiste weg.

Is dit voor een opstelling met een microscoop?

Het is voor een optical coherence tomography (OCT) opstelling. Deze techniek werkt ongeveer gelijk aan echo, alleen doordat het met licht gedaan wordt reist de golf veel sneller.

[Q]

bammette schreef op woensdag 02 april 2014 @ 20:19:

Het is voor een optical coherence tomography (OCT) opstelling. Deze techniek werkt ongeveer gelijk aan echo, alleen doordat het met licht gedaan wordt reist de golf veel sneller.

Gaaf speelgoed (las ook even de wikipedia pagina over deze techniek). Succes met het onderzoek.

[marc1990]

Het is een beetje gokken aangezien je niet aangeeft wat de input hardware is. Zal je deze willen delen met ons.

Je zal ook kunnen kijken naar het export formaat. Dit kan een zeer groot invloed hebben. Zo kan ik mijn voorstellen dat de geëxporteerd data prima te comprimeren is zonder dat er spraken is van verlies.
Zal je een lijstje van export opties kunnen geven.


Daarnaast wordt vaak dingen als integer to float omzetting gedaan. Wat de data vergroot.(bijvoorbeeld de 12 bit integer van ADC's wordt omgezet na 32 bit Float. Terwel zowel 12 bit als 32 bit bevatten even veel data.(+160% data))

De handleiding van de capture kaart bevat waarschijnlijke informatie over hoe om te gaan met de grote hoeveelheid data.