Ubuntu SW-RAID0 hoogst mogelijke doorvoersnelheid.

[Matis]

Beste Tweakers,

Ik heb gisteren de opdracht gekregen om me te gaan bekommeren over een HD-videostreamer. Om de (initiele) kosten zo laag mogelijk te houden moet ik het systeem installeren met een al ingerichte server.

De hardware bestaat uit:

#	Product	Prijs	Subtotaal
1	Intel Pentium 4 3.0GHz	€ 69,-	€ 69,-
4	Samsung Spinpoint F1 HD103UJ, 1TB	€ 64,90	€ 259,60
1	SuperMicro P8SCT, E7221 (LAN, SATA, VGA)	€ 0,-	€ 0,-
4	Transcend TS256MIB3211	€ 6,71	€ 26,84
Bekijk collectie Importeer producten		Totaal	€ 355,44

Zoals gezegd moet de server gebruikt gaan worden als HD-videostreamer en dan niet een gecomprimeerde x264-stream, maar een ruwe 3Gbit/s SDI-stream. De YUV-bestanden zitten in de ordergrootte van 10tallen GB's, big I/O's dus.
De Samsungs hebben een 32MB cache en 512 bytes per sector.

Ik heb de RAID FAQ erop nageslagen, maar ik zie door de block/chunk/sector-size het bos niet meer. Uit Chunks: the hidden key to RAID performance maak ik op dat ik een zo klein mogelijke chunk-size moet hebben (tussen de 512B en 8KB).

Het OS wordt Ubuntu Server 10.04 en wordt vanaf een USB-stick geboot. De 4 Samsungs worden zonder filesystem in een MDADM/SW-RAID gekoppeld tot een 4TB RAID-0 partitie. De datastroom wordt middels een DELTA-sdi op het netwerk gezet.

Mijn vraag: Welke chunk-, block- en sector-sizes moet ik gebruiken om een (theoretisch) zo hoog mogelijke doorvoersnelheid te halen? Daarnaast wil ik graag weten of het toevoegen van een filesystem van invloed kan zijn op de (theoretische) doorvoersnelheid.

Alvast bedankt,

Matis

[Q]

Ik begrijp niet zo goed hoe dit werkt. De DELTA moet gevoed worden door de disk? Hoeveel bandbreedte is dan 'echt' nodig? Je moet wat getallen weten denk ik, anders wordt het gokken.

[Matis]

Q schreef op woensdag 12 mei 2010 @ 17:09:
Ik begrijp niet zo goed hoe dit werkt. De DELTA moet gevoed worden door de disk? Hoeveel bandbreedte is dan 'echt' nodig? Je moet wat getallen weten denk ik, anders wordt het gokken.

De DELTA-sdi wordt inderdaad gevoed met data van de disks. Het signaal betreft een Wikipedia: SMPTE 372M of Wikipedia: SMPTE 424M welke dus effectief uitkomen op 3Gbit/s.

Ik wil dus een zo efficiënt mogelijke RAID-configuratie beredeneren, welke in ieder geval theoretisch de 3Gbit/s moet halen.

[Q]

Dat houdt in dat je krap 400 MB/s continue aan moet kunnen. Met de specificaties van deze spinpoint disk zit je daar dan wel boven, maar veel marge is er niet. Het zou wel moeten werken.

Ik vraag mij wel af in hoeverre beschikbaarheid een issue is. Mag het voorkomen dat tijdens een 'uitzending' een disk klapt waardoor alle data weg is en de uitzending stopt en de komende uren niet hervat kan worden?

Zelf gebruik ik een chunk size van 64Kb, maar je ontkomt er niet aan om zelf te gaan testen en benchmarken met je eigen specifieke setup.

Overigens is dit oude hardware en ik vraag me erg af of dit systeem 400+ MB/s aan kan.

[Matis]

Q schreef op woensdag 12 mei 2010 @ 18:31:
Dat houdt in dat je krap 400 MB/s continue aan moet kunnen. Met de specificaties van deze spinpoint disk zit je daar dan wel boven, maar veel marge is er niet. Het zou wel moeten werken.

Ik vraag mij wel af in hoeverre beschikbaarheid een issue is. Mag het voorkomen dat tijdens een 'uitzending' een disk klapt waardoor alle data weg is en de uitzending stopt en de komende uren niet hervat kan worden?

Zelf gebruik ik een chunk size van 64Kb, maar je ontkomt er niet aan om zelf te gaan testen en benchmarken met je eigen specifieke setup.

Overigens is dit oude hardware en ik vraag me erg af of dit systeem 400+ MB/s aan kan.

Beschikbaarheid is geen probleem, het is een intern signaal en de videobestanden staan op een server welke prima is voor storage.

Als ik dit schema er bij pak, dan lijkt een grotere chunk size een snellere doorvoer van de gegevens. Echter zou je op een bepaald moment (bij een te grote chunk size) over de top gaan en dan staan de andere disks niets te doen, terwijl de eerste alle benodigde data aan het overpompen is.

Ik kan met deze gegevens iig aan de slag. Ik hoop dat ik maandag alle hardware kan samenvoegen en de eerste tests kan draaien met verschillende parameters.

Ik moet alleen nog maar een goede (commandline) benchmarker vinden!

Thnx iig voor je feedback

Edit; Lol, ik zie nu pas je signature , dstat is dus een benchmark tool

[ Voor 6% gewijzigd door Matis op 12-05-2010 18:39 ]

[Q]

Ik zou qua tooling naar iostat en vmstat kijken. Overigens is mijn chunksize niet representatief voor jou want ik draai raid 5 / raid 6 en jij raid 0.

Je stelling over chunk size is correct. Voor video zaken (groten bestanden) wil je een grotere chunk size, met veel random disk gebruik wil je die kleiner hebben zodat ook kleine disks over meer dan 1 drive worden verspreid.

[ Voor 43% gewijzigd door Q op 12-05-2010 18:55 ]