Check alle échte Black Friday-deals Ook zo moe van nepaanbiedingen? Wij laten alleen échte deals zien

RAID-0: hoe ALTIJD minimale leessnelheid 40 MB/s halen?

Pagina: 1
Acties:

  • Tomatoman
  • Registratie: November 2000
  • Laatst online: 22:39

Tomatoman

Fulltime prutser

Topicstarter
Samengevat
Omgeving: home office met een centrale server (Win2003) een paar XP clients. Alle belangrijke data worden centraal op de server bewaard, die een gecombineerde domeincontroller en file server is. Aan de server komt binnenkort een tapestreamer te hangen, die regelmatig backups maakt. Het gaat om een netwerk thuis, waar naast de standaard MP3-verzameling ook kritische gegevens op staan, met name zelfgeschreven software. De harddisks moeten hun data leveren aan de tape drive.

Ik ben op zoek naar een harddisk array die onder vrijwel alle omstandigheden met minimaal 40 MByte/s kan lezen en schrijven. De gewenste leesheid zal gemiddeld rond 55 MByte/s liggen en kan oplopen tot 70 MByte/s.

Het probleem
Nu moet de server worden vervangen door een server die zijn gegevens snel genoeg kan aanleveren. Ik betaal het allemaal uit mijn eigen zak; je kunt je voorstellen dat het een beetje betaalbaar moet blijven (de tapedrive heeft veel meer gekost dan de server). Met RAID-0 haal ik vast wel een hoge gemiddelde data rate, maar hoe zit het met de minimale snelheid onder slechte omstandigheden? Zelfs als de harddisks hun data vanuit de binnenkant van de schijf moeten lezen (en dus het langzaamst zijn) moeten ze hun data blijven aanleveren. Als het een beetje tegenzit, is de server uit eigener beweging op dat moment ook nog met wat andere activiteit bezig, hoewel dat tijdens de nachtelijke backups weinig zal voorkomen. In ongeveer iedere RAID-0 test - ook hier op tweakers.net - worden leessnelheden gemeten, maar bijna altijd zijn dat gemiddelden. Ik ben juist geïnteresseerd in minimale snelheden en die informatie is nauwelijks te vinden.

Vragen
Haal ik met twee nieuwe SATA harddisks in RAID-0 altijd een minimale data rate van 40 MByte/s? En hoet zit het met meer schijven? Heb ik daar een dure RAID-controller voor nodig of is een onboard oplossing voldoende? Moet ik het anders aanpakken, eventueel met SCSI in plaats van SATA? SCSI is duur en dus ongewenst :). Wie kan mij op weg helpen?





Achtergrond
Zie ook Advies gevraagd: professionele backup voor home office. De tape drive gebruikt een LTO2-tapes, waar ongecomprimeerd 200 GByte op past (400 GByte bij 2:1 compressie). De maximaal haalbare compressieratio is ongeveer 2,2:1 (IBM claimt deze waarde); het comprimeren wordt door de hardware van de tape drive gedaan. De systeemspecificaties voor de tape drive liggen heel wat hoger dan wat de gemiddelde server thuis kan waarmaken, namelijk een lees- en schrijfsnelheid van 35 MByte/s ongecomprimeerd. Als de data niet snel genoeg aangeleverd kunnen worden, kan de tape drive hardwarematig in stapjes terugschakelen tot de halve snelheid. Als de data dan nog steeds niet snel genoeg aangeleverd kunnen worden, stopt de drive met schrijven, wacht tot de buffer weer vol is en hervat dan het schrijven. Al dit starten en stoppen is slecht voor de levensduur van de tape drive, omdat hij er hard door slijt.

Ik moet er dus voor zorgen dat er altijd genoeg data aangeleverd kunnen worden. Bij de maximaal haalbare compressie van 2,2:1 en de tape drive die op halve snelheid draait kom ik tot een data rate van 38,5 MByte/s (35 × 1/2 × 2,2). Anders gezegd: de harddisks in de server moeten altijd minimaal zo'n 40 MByte/s kunnen aanleveren (en eigenlijk een even hoge schrijfsnelheid hebben als een backup wordt teruggezet). In de praktijk zal de gewenste leessnelheid echter een stuk hoger liggen. Uitgaande van een tape drive die niet wordt afgeremd en een compressieratio van 1,5:1 moeten de harddisks met ongeveer 55 MByte/s kunnen lezen en schrijven, maar die kan bij vlagen oplopen tot 70 MByte/s.

Een goede grap mag vrienden kosten.


  • Wolfboy
  • Registratie: Januari 2001
  • Niet online

Wolfboy

ubi dubium ibi libertas

Zorg ervoor dat de schijven goed gedefragmenteerd zijn en het moet wel lukken, maar het is natuurlijk wel afhankelijk van de grootte van de bestanden.
Kleine bestandjes gaan een heel stuk trager dan grote bestanden en in dat geval zal het erg moeilijk worden om de 40mb te halen.
Bekijk de T.net Storage bench maar voor wat resultaten, en dan met name de resultaten bij kleine bestanden.

Blog [Stackoverflow] [LinkedIn]


  • JSK
  • Registratie: Oktober 2000
  • Laatst online: 29-08 21:21

JSK

Thunder K8WE

tomatoman schreef op zondag 20 februari 2005 @ 04:17:
Ik ben op zoek naar een harddisk array die onder vrijwel alle omstandigheden met minimaal 40 MByte/s kan lezen en schrijven. De gewenste leesheid zal gemiddeld rond 55 MByte/s liggen en kan oplopen tot 70 MByte/s.
Ik begrijp niet dat de array ook minimaal 40MB/s zou moeten kunnen schrijven, maar dat terzijde. Mijn inschatting/ervaring is dat onder vrijwel alle omstandigheden minimaal 40 MByte/s lezen en schrijven NIET haalbaar is. Vrijwel alle omstandigheden betekent ook random I/O, en zelfs een SCSI 15K disk haalt in zulke omstandigheden niet meer dan 10MB/s, en dan helpt raid0 ook niet veel als het om kleine bestanden gaat. Echter, als het om backuppen gaat, en dus veel seriele leesacties van bestanden, dan is met een SATA Raid0 opstelling met 2 Raptors van 74GB een heel eind te komen. Ook op de binnenste tracks haalt een zo'n disk nog 50MB/s (per stuk). Het wordt wel een ander verhaal als er tijdens het backuppen veel andere I/O activiteit plaatsvind. In dat geval ben je misschien gebaad bij een hardware SATA Raid controller met onboard cache, maar deze zijn duur.

Specs Casemod


  • FreeRider
  • Registratie: Februari 2000
  • Laatst online: 29-01 14:27
Als je naar de resultaten van ATTO (low-level benchmark) kijkt, zul je zien dat geen enkele array of HD combinatie bij de kleine filegroottes (0.5, 1, 2, 4 en 8 KB) minimaal 40 MB/sec haalt. Misschien valt dat nog te omzeilen door alle (kleine) bestanden eerst in een archive te comprimeren.

Concrete Loop Watercooling


Verwijderd

met raid 0 kan je alleen een beetje spelen met de stripe size.

  • cool0
  • Registratie: Februari 2001
  • Laatst online: 02-10-2024

cool0

 

Effe offtopic. Als het om zulke kritische gegevens gaat waarom dan Raid 0 en geen Raid 5? Raid 0 is nou niet echt bepaald Fault Tollerant te noemen.

Ik vrees niet de man die 10.000 trappen heeft beoefend maar de man die 1 trap 10.000 keer heeft geoefend


  • Femme
  • Registratie: Juni 1999
  • Laatst online: 17:52

Femme

Hardwareconnaisseur

Official Jony Ive fan

Onder alle omstandigheden 40MB/s kunnen halen is inderdaad vrij pittig. Met een enkele schijf zal je dat sowieso niet lukken. Simpele bestansfragmentatie kan er bij het inlezen van kleine bestanden al voor zorgen dat je onder het gewenste minimum van 40MB/s komt. Om de snelheid te verhogen kom je uit op RAID 5 of RAID 10-oplossingen. Je wilt natuurlijk nooit RAID 0 gebruiken voor de opslag van belangrijke gegevens. Als dat wel je plan is maakt de aanschaf van een dure tapestreamer ook geen sense meer.

Persoonlijk zou ik in dit soort situaties de data op een RAID 5 array van drie schijven zetten en die backuppen naar een losse schijf in de server én een externe harde schijf waarmee je off-site backups kunt bewaren.

  • HeepH
  • Registratie: December 2003
  • Laatst online: 20:39

HeepH

Dope Rapper

cool0 schreef op zondag 20 februari 2005 @ 15:06:
Effe offtopic. Als het om zulke kritische gegevens gaat waarom dan Raid 0 en geen Raid 5? Raid 0 is nou niet echt bepaald Fault Tollerant te noemen.
Waarschijnlijk omdat zijn backups op tape staan ?

http://specs.tweak.to/16495


  • Tomatoman
  • Registratie: November 2000
  • Laatst online: 22:39

Tomatoman

Fulltime prutser

Topicstarter
Er wordt iedere nacht een backup van de data gemaakt. Daarmee kan bij een harddiskcrash hooguit een dag werk verloren zijn. Dat is acceptabel. Dat daarna tijdrovende herstelwerkzaamheden nodig zijn is niet zo erg, aangezien er niet meteen een heel bedrijf platligt. Vandaar dat ik aanvankelijk was uitgegaan van RAID 0 en niet RAID 5.
JSK schreef op zondag 20 februari 2005 @ 10:43:
Ik begrijp niet dat de array ook minimaal 40MB/s zou moeten kunnen schrijven, maar dat terzijde.
Een tape moet ook teruggezet kunnen worden op harddisk. Aangezien dit slechts zelden zal voorkomen, heb ik er verder geen nadruk op gelegd.

Goed, het is me door jullie reacties duidelijk dat ik zeer regelmatig zal moeten defragmenteren en dat kleine bestanden funest zijn. Een enkele schijf is blijkbaar ook geen optie. Conclusie: het moet een RAID-configuratie worden.

Ik begrijp dat SCSI veel beter presteert in 'mijn' scenario, maar het is ook veel duurder. Snel rekensommetje:

RAID 0, SCSI, 2 harddisksaantalstuksprijsprijs
U320 SCSI RAID controller1500500
150 GB SCSI harddisk, 10.000 rpm25501100
totaal1600


RAID 0, SATA, 4 harddisksaantalstuksprijsprijs
SATA RAID controller (hardware RAID)1500500
75 GB SATA harddisk, 10.000 rpm4180720
totaal1220


RAID 0, SATA, 4 harddisksaantalstuksprijsprijs
SATA RAID controller (hardware RAID)1500500
160 GB SATA harddisk, 7200 rpm4100400
totaal900


onboard RAID 0, SATA, 4 harddisksaantalstuksprijsprijs
RAID controller op moederbord (software RAID)100
160 GB SATA harddisk, 7200 rpm4100400
totaal400


Bij alle oplossingen heb ik minimaal 300 GB bruikbare harddiskruimte (bij 'gewone' SATA disks zelfs veel meer). Er is alleen een enorm prijsverschil. Aangezien 1600 euro eigenlijk al ver buiten het budget ligt, neig ik sterk naar een van de SATA-oplossingen. Voor honderden euro's verschil ben ik wel bereid een groter risico op een diskcrash te nemen (want ik heb een goede backupoplossing :)). Of moet ik misschien toch voor RAID 5 of RAID 10 kiezen? Decisions, decisions, ik weet het niet meer.

Een goede grap mag vrienden kosten.

Pagina: 1