[Storage] USB/FW based - RAID5 - 3 disks, werkt dit?

[Q]

EDIT: zie eerste resultaten verderop!

Hallo,

Ik heb momenteel een wat ouder Loenix doosje draaien als storage server. Het ding heeft de volgende specs:

1x Athlon 600 mhz met 256 mb ram. (oud ding dus)

Het gaat mij primair om redundancy, vandaar raid 5. Prestaties zijn minder van belang. Ik heb een gigabit netwerkje. Performance van iets van 20/30 megabyte /s vind ik snel genoeg.

mijn plan

Ik wil 3x 320 GB externe usb/fw schijven op de machine aansluiten en een raid 5 array met deze dingen aanmaken. Dat gaat vast wel werken onder Linux, met software raid. De lol in mijn ogen is de mogelijkheid om usb/firewire als goedkoop hot-swapable mechaniek in te zetten voor als het mis gaat.

mijn vraag
1. Ik heb het plan opgevat om voor iedere externe harddisk een apparte usb/fw pci controller in de machine te stoppen, zodat de pci kaart zelf geen bottleneck vormt. Of is deze gedachtegang onzin?

2. raid 5 in software is volgens mij wel prima te doen met een 600 mhz athlon, of verkijk ik me hier op? De machine hoeft helemaal niets anders te doen. Behalve natuurlijk data over het netwerk te spugen.

Het is een beetje een cheap-ass oplossing, maar ik ben ook een cheap-ass, maar ik denk dat het eigenlijk prima gaat voldoen.

[TERW_DAN]

Of je nu 3 hdds aan 1 pci kaartje hangt of 1 hdd op een totaal van 3 kaartjes maakt geen klap uit. Het hangt namelijk allemaal aan dezelfde PCI bus. Tenzij je een systeem hebt met meerdere PCI-bussen heb je nog steeds een max bandbreedte van 133MB/s.

[Q]

Terw_Dan schreef op zondag 06 augustus 2006 @ 21:12:
Of je nu 3 hdds aan 1 pci kaartje hangt of 1 hdd op een totaal van 3 kaartjes maakt geen klap uit. Het hangt namelijk allemaal aan dezelfde PCI bus. Tenzij je een systeem hebt met meerdere PCI-bussen heb je nog steeds een max bandbreedte van 133MB/s.

Mijn vraag is dan of 3 hardeschijven de capaciteit van de FW/USB chip moeten delen of dat iedere poort echt hun eigen "kanaal" toegewezen krijgt en dus ook de volle bandbreedte beschikbaar heeft?.

[TERW_DAN]

Q schreef op zondag 06 augustus 2006 @ 21:32:
[...]


Mijn vraag is dan of 3 hardeschijven de capaciteit van de FW/USB chip moeten delen of dat iedere poort echt hun eigen "kanaal" toegewezen krijgt en dus ook de volle bandbreedte beschikbaar heeft?.

Als eerste heb je de PCI-bus. deze is 32bit op 33MHz (in de meeste gevallen, dingen als pci-x e.d. even buiten beschouwing gelaten) wat resulteert in 133MB/s. Deze 133MB moet gedeeld worden door alle apparaten die aan de PCI-BUS hangen, dus je hdds, je cdrom spelers, je geluidskaart, je netwerkkaarten enz.

Vervolgens kun je dan kiezen voor USB (480Mb/s) of Firewire (400Mb/s). bij USB is het zo dat alle apparaten die aan een USB chip hangen die 480Mb/s die er is moeten delen. Bij firewire is het zo dat alle apparten 400Mb/s tot hun beschikking krijgen. Dus ook al heb je 80Mb/s minder, ieder apparaat heeft wel de volledige 400Mb/s tot z'n beschikking ipv 160Mb/s te hebben bij USB (theoretisch dan, 480/3=160).

Echter, een firewire of USB controller hangt ook weer aan de PCI-bus, dus ook al gebruik je firewire, dan kun je nooit de 3x 400Mb/s kwijt in de bandbreedte die je PCI-bus kan leveren.

bij Firewire heeft dus ieder apparaat de volledige bandbreedte, bij USB moeten ze deze delen maar op beide manier moeten ze de bandbreedte van je PCI-bus delen met alle andere apparaten.

[Q]

Terw_Dan schreef op zondag 06 augustus 2006 @ 21:44:
[...]


Als eerste heb je de PCI-bus. deze is 32bit op 33MHz (in de meeste gevallen, dingen als pci-x e.d. even buiten beschouwing gelaten) wat resulteert in 133MB/s. Deze 133MB moet gedeeld worden door alle apparaten die aan de PCI-BUS hangen, dus je hdds, je cdrom spelers, je geluidskaart, je netwerkkaarten enz.

Vervolgens kun je dan kiezen voor USB (480Mb/s) of Firewire (400Mb/s). bij USB is het zo dat alle apparaten die aan een USB chip hangen die 480Mb/s die er is moeten delen. Bij firewire is het zo dat alle apparten 400Mb/s tot hun beschikking krijgen. Dus ook al heb je 80Mb/s minder, ieder apparaat heeft wel de volledige 400Mb/s tot z'n beschikking ipv 160Mb/s te hebben bij USB (theoretisch dan, 480/3=160).

Echter, een firewire of USB controller hangt ook weer aan de PCI-bus, dus ook al gebruik je firewire, dan kun je nooit de 3x 400Mb/s kwijt in de bandbreedte die je PCI-bus kan leveren.

bij Firewire heeft dus ieder apparaat de volledige bandbreedte, bij USB moeten ze deze delen maar op beide manier moeten ze de bandbreedte van je PCI-bus delen met alle andere apparaten.

Met 1x PCI zou ik dus 2x fw disk kunnen aansluiten (max fw aansluiting op controller) zonder performance verlies door de controller. Echter, ook al zitten er 4x usb poorten op dat ding, die 4 poorten delen samen dus 480 mbit. Iedere firewirepoort op de controller krijgt dus per stuk 400 mbit.

Meer dan 1x disk op 1 usb pci controller = performance degradatie. Niet door pci, maar door usb zelf. Dus zou je, om de performance van iedere disk tot zijn recht te laten komen, toch voor iedere disk zijn eigen pci controller moeten nemen. Dat je met meer dan 2 disks de pci bus vol laat lopen, laat ik hier even buiten.

Op een controller met 2x fW aansluiting kun je best 2x FW aansluiten. Daarmee zou je al 100 MB/s kunnen halen. De 3e schijf past fysiek niet, dus daar heb ik sowieso een extra controller nodig.

Ik kom dan toch tot de conclusie dat ik voor iedere usb disk een usb controller van 3 tientjes nodig heb, en dat het bij fw gaat om het aantal beschikbare poorten, niet zozeer controllers. (zou ik het dus met 2x controller met 2x fw per stuk kunnen redden).

Dat die PCI bus vol gaat lopen is prima. mijn PCI gigabit nic is toch al de limiterede factor. Stel dat mijn gehele raid 5 array over het netwerk iets van 30 mb/s zou trekken, zou ik blij zijn. (Middels samba).

[Xandrios]

Als het goed is, is elke USB poort op de losse controller een eigen USB-host, en heeft daarmee dus ook de volle 480Mbit beschikbaar. Als het doorgeluste poortjes zijn (Zoals bij een USB-hub), dan pas gaat de snelheid per poort achteruit.

Overigens kan ik voor dit doel FW aanraden: Net iets sneller dan USB, en een stuk minder belasting qua CPU.

[Q]

Xandrios schreef op zondag 06 augustus 2006 @ 22:11:
Als het goed is, is elke USB poort op de losse controller een eigen USB-host, en heeft daarmee dus ook de volle 480Mbit beschikbaar. Als het doorgeluste poortjes zijn (Zoals bij een USB-hub), dan pas gaat de snelheid per poort achteruit.

Hmm. Weet jij of iemand anders wat standaard is met die 20 euro usb 2.0 + fw controllertjes?

Overigens kan ik voor dit doel FW aanraden: Net iets sneller dan USB, en een stuk minder belasting qua CPU.

Ik neem disks die beiden ondersteunen. dan kan ik tenminste kiezen tussen usb en fw mocht iets niet goed werken. Ik heb namelijk wat troubles gehad om een externe disk met fw aan de praat te krijgen, maar met usb werkt ie goed.

-----
p.s. wat een fun, net doet 1 van mijn disks in raid1 mal. Gelukkig is de raid array na enige overtuigingskracht weer aan het rebuilden....
---

Edit: ik heb even getest met 2x usb card reader + 2x cf kaartjes. Zowel onder Mac OS X 10.4 als onder linux een raid array gemaakt en vervolgens 1 van de readers los getrokken en weer aangesloten. Onder linux moet ik handmatig een nieuw device aan de array toevoegen en onder os x rebuilt ie automatisch.

Maar op beide platformen werkt het uitstekend. USB/FW is denk ik een goedkope manier om fault-tollerance te maken met hot-swap mogelijkheid, met een beperkte performance als nadeel.

[ Voor 28% gewijzigd door Q op 06-08-2006 23:14 ]

[Q]

Ik ben er uit. Ik heb een bestelling geplaatst voor 3x 320 GB usb2.0/fw drives van wd (die book-achtige dingen). Deze zal in software raid 5 gaan draaien. Ik merk het wel hoe het performed.

Tnx voor de feedback.

[BalusC]

Ik ben ook benieuwd Post je wel wat shots met resultaten van de gangbare benchmarkprogramma's? Verwacht overigens niet al teveel van. Met ongeveer 20MB/s houdt het wel op lijkt me, of met een beetje mazzel zelfs 30MB/s.

[Q]

BalusC schreef op maandag 07 augustus 2006 @ 07:19:
Ik ben ook benieuwd Post je wel wat shots met resultaten van de gangbare benchmarkprogramma's? Verwacht overigens niet al teveel van. Met ongeveer 20MB/s houdt het wel op lijkt me, of met een beetje mazzel zelfs 30MB/s.

Dat zal ik doen. Ik verwacht ongeveer het zelfde qua "performance". Maar dat is wat mij betreft voldoende. benchmarking zal onder Linux en osx plaatsvinden.

[ Voor 6% gewijzigd door Q op 07-08-2006 12:56 ]

[Q]

Tests met hdparm /tT onder Loenix. Niet zo'n schokkende tests, maar aardig als indicatie, bonnie komt later.

Testmachine: AMD K7 600 mhz met 256 mb ram + debian met 2.6 kernel.

code:

Raid 0  USB         
                
Controller  1       1       2       2
Disks        2      3       2       3
Speed MB/s  42.39   44.77   49.71   55.18
                
Raid 0  FW          
                
Controller  1       1       2       2
Disks        2      3       2       3
Speed MB/s  26.24   27.17   45.03   39.39
                
Single Disk     USB FW      
Speed MB/s  25.75   23.19

Conclusie 1: FW lijkt het minder te doen dan USB
Conclusie 2: Met een 3e controller zal met USB betere prestaties halen dan FW
Conclusie 3: USB/FW based RAID werkt als een tiet en de performance is beter dan verwacht

Deze tests waren bedoeld om te kijken wat de performance van de verschillende bussen nu precies is. Raid 5 tests komen nog. Raid 5 gaat eerst rebuilden --> tijdrovend.

Ik ga er nog een 3e controller bij halen voor 20 euro. Ik ben benieuwd wat dat zal opleveren.

Tot nu toe ben ik eigenlijk zeer tevreden over de resultaten. Dit is eigenlijk precies wel wat je mag verwachten. Behalve dan dat FW het duidelijk minder goed doet.

[ Voor 18% gewijzigd door Q op 09-08-2006 22:52 ]

[BalusC]

USB2 doet het duidelijk beter in Linux dan Windows Performance van FW valt me idd wel tegen.

[evil_elmo]

gaaf project dit!

die performance had ik niet verwacht.
en toch gek dat hij met meerdere controllers sneller loopt maar dat zal wel te maken hebben met het feit dat die usb controllers allemaal budget chippie´s hebben..

wat is trouwens de load van het systeem tijdens testen ?

[nero355]

BalusC schreef op donderdag 10 augustus 2006 @ 06:48:
USB2 doet het duidelijk beter in Linux dan Windows Performance van FW valt me idd wel tegen.

Bij Netwerk en nog wat andere dingen is dat toch ook zo ?? Enige wat Windows beter doet dan Linux is batterijbeheer bij laptops voor zover ik weet

[Q]

De load van het systeem is tot nu toe beperkt geweest, maar nog niet met raid 5 getest.

Ik heb zojuist een extra controller gehaald, zodat nu iedere schijf zijn eigen controller heeft. De bottleneck zit zoals ik verwachtte niet bij de PCI bus (dat komt misschien nog wel) maar bij de controllers zelf.

Al zitten er een miljoen poorten op zo'n controller, in feitte is alles gedeeld, zowel firewire als usb. Ik vraag me af of er ook kaarten zijn met een dedicated controller per poort.

Ik ga vanavond de controller er in stoppen en dan bovenstaande tabel aanpassen.

Edit: 3e io controller is een andere dan de andere 2 en na wat extra tests blijkt wat ik al vermoedde waar: het is een rot-exemplaar.

Dus het gaat nog even duren. Had ik nu meteen maar een 2e er bij genomen....

Edit 2:
Ik heb ondertussen met raid 0 en 2 disks gespeeld, met zowel fw als usb. op een Imac.

1. USB presteerd op een intel dual core iMac duidelijk slechter als FW
2. Raid schiet niet op omdat net zoals met die pci controllers alle poorten op 1 controller zitten.

Dat slechter presteren blijkt vooral als je met kleine bestanden werkt, met grote bestanden dan doet usb 2 niet onder voor fw.

[ Voor 34% gewijzigd door Q op 10-08-2006 22:03 ]

[Q]

Dit alles heeft betrekking op een raid 0 array met externe usb disks elk op een eigen controller.

De hosts is een amd k7 600 mhz met 256 mb ram, 1x 80 gb boot en 2x 200 mb raid 1 /dev/md0 raid device. Het usb raid 0 device is /dev/md1

1. de 3e controller is nu in mijn bezit
2. de performance gemeten met hdparm is ongeveer 60 MB/s met iedere disk op zijn eigen controller
3. een real life file transfer copy van hd naar raid 0 = niet meer dan 17->20 mb/s.
4. via Gigabyte internet zie ik dat een filetransfer tussen iMac en usb raid0 ook ongeveer 17 mb/s haalt.
5. alle disks op 1 controller levert ook 17 MB/s op (hdparm zegt nu 35 MB/s)

Ik denk dat er iets is wat die pci bus knijpt waardoor real life transfers zo gelimiteerd worden. Ik verdenk de vage chipset. Hier moet gewoon meer uit te halen zijn. Want 17x2 = 34 mb/s en die pci bus kan meer aan.

hdparm laat een heel sterk verschil zien tussen alle disks op 1 controller en iedere disk op een eigen controller. Maar waarom zie ik daar in de praktijk niets van terug?

Edit:

Ik heb nu een raid 5 array gemaakt en geformatteerd. Ik haal nu met een hd -> usb array copy 13 MB/s. Als ik met top kijk naar de belasting dan denk ik dat dit ideetje van mij net even teveel vraagt van de oude amd k7 600 mhz.

Ik ga het hele spul eens monteren in een duron 1200mhz met ander mb. Later meer.

Edit2:

File transfer met een Duron 1200 mhz van hd naar usb raid 0 gaat met 28 mb/s. Beduidend sneller dan met de oude 600 mhz.

[ Voor 233% gewijzigd door Q op 13-08-2006 00:08 ]

[Q]

Even een update voor wie het mocht interesseren.

Na een hoop experimenten met andere hardware krijg ik nu de performance die ik verwacht met Raid 0 op de athlon 600 mhz.

Ik haal met raid 0 nu een snelheid van ruim 50 MB/s met 3 disks middels usb 2.0. Gemeten met Dstat tijdens het schrijven van het filesystem met mkfs.ext3. Firewire gaf grote problemen, daar ben ik mee gestopt.

Bonnie geeft een schrijfsnelheid van 30 MB/s en een lees snelheid van 57 MB/s.

Ik vind dit een uitstekende prestatie voor een usb 2.0 based raid 0 array.

Deze resultaten zijn behaald op een verse installatie van Ubuntu linox (server).

Eerlijk is eerlijk, raid 5 is de doelstelling, maar het builden van de array duurt even. Ik verwacht dat die tussen de 30 en 40 MB wel zal halen. Dat is een prima prestatie, aangezien ik met Gigabit toch niet meer dan 20 MB/s haal, waar ik wel mee kan leven trouwens. (eigenlijk niet, maar dat is weer iets anders om op te lossen).

[ Voor 33% gewijzigd door Q op 15-08-2006 23:19 ]

[Gman]

Erg interessant, zeker wel net resultaat zeg!

Ik weet dat Windows externe schijven niet accepteerd voor een software raid, al moet ik zeggen dat ik dat nog niet onder een servervariant geprobeerd hebt.

[Q]

Gman schreef op woensdag 16 augustus 2006 @ 00:33:
Erg interessant, zeker wel net resultaat zeg!

Ik weet dat Windows externe schijven niet accepteerd voor een software raid, al moet ik zeggen dat ik dat nog niet onder een servervariant geprobeerd hebt.

Tnx.

Na heel veel geknoei is het eindelijk goed gelukt. Ubuntu crashte zelfs op een gegeven moment vanwege evms. Fuck evms. evms gaf een gigantische performance hit. Weg met die onzin.

Nog een filmpje met knipperende lichtjes. Whoo!

http://www.youtube.com/watch?v=Pi-7JcEU-GA

Final setup:

- AMD K7 600 mhz met 256 MB Ram
- 3x PCI USB 2.0 controller
- 3x 320 GB USB 2.0 Western Digital external harddrives
- Effectieve storage: krap 600 GB
- Snelheid Lezen/Schrijven: moet ik testen als de rebuild klaar is. Ziet er wel goed uit.

code:

/dev/md1:
        Version : 00.90.03
  Creation Time : Thu Aug 17 18:25:53 2006
     Raid Level : raid5
     Array Size : 625137152 (596.18 GiB 640.14 GB)
    Device Size : 312568576 (298.09 GiB 320.07 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 1
    Persistence : Superblock is persistent

    Update Time : Thu Aug 17 18:53:23 2006
          State : clean, degraded, recovering
 Active Devices : 2
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 64K

 Rebuild Status : 8% complete

           UUID : 76d03331:8c06ea36:b844ee52:01e09427
         Events : 0.177

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       17        1      active sync   /dev/sdb1
       2       0        0        -      removed

       3       8        1        2      spare rebuilding   /dev/sda1

[Quadro!]

Cool projectje! Ik wacht met smart op resultaten van je nieuwe raid5 Zelf ben ik iets soortgelijks van plan, maar dan met 6x200GB gewone sata harddisks in raid5 en een athlon64 3000+ (ook onder linux). Performance is niet het belangrijkste, als mijn data maar een beetje safe is

[kalizec]

Waarom demonteer je die drie externe HD's niet gewoon? Monteer ze intern in die bak. Gegarandeerd dat je normale PATA of SATA schijven aan de binnenkant vind. Bijkomend voordeel is dat je ze op een ATA controller aan kunt sluiten hetgeen in aanschafkosten scheelt alsmede CPU load.

En als je hotswap belangrijk vind kun je altijd nog overwegen om ze op een sata controllertje aan te sluiten (evt met converters).

[ Voor 19% gewijzigd door kalizec op 23-08-2006 12:52 ]

[Q]

Ik haal nu lezen en schrijven ongeveer 17-18 MB/seconde als ik een file van de array kopieer naar een andere schijf of omgekeerd. Dit is dus real-life performance, geen quasi syntetische benchmark testjes. Over het netwerk haal ik dat ook. (gigabit). Dit is voldoende voor mij. Ik wist bij voorbaat al dat je nimmer de prestaties van een enkele schijf zou gaan benaderen.

Waarom demonteer je die drie externe HD's niet gewoon? Monteer ze intern in die bak. Gegarandeerd dat je normale PATA of SATA schijven aan de binnenkant vind. Bijkomend voordeel is dat je ze op een ATA controller aan kunt sluiten hetgeen in aanschafkosten scheelt alsmede CPU load.

En als je hotswap belangrijk vind kun je altijd nog overwegen om ze op een sata controllertje aan te sluiten (evt met converters).

De machine die ik hiervoor gebruik heeft geen sata en heeft geen ruimte voor 3x een hd in een hot-swapable sata cage. Maar stel dat: sata hot-swap bay's zijn duur. Tevens gaat hot-swap niet werken met een gewone sata controller*, dus moet je aan de raid5-controller, die daar mee overweg kan. En dan gaan de kosten drastisch omhoog.

Ik was nu 3x150+3x20 kwijt = 450 + 60 = 510 euro en heb nu 600 GB hot-swapable raid 5 storage. met een lage maar afdoende performance. Goedkoper gaat niet.

*weet ik niet zeker. In het geval dat het wel zou kunnen kom ik op 300 euro disks 230 aan hotswap bays en dan zou je ongeveer op de zelfde prijs zitten met meer performance. Ik zou dan ook nog een nieuwe kast moeten kopen voor dat oude lijk.

[ Voor 8% gewijzigd door Q op 26-08-2006 13:17 ]

[Quadro!]

Wat ik me nu afvraag is of de performance nu ook een stuk hoger zou liggen bij een veel betere cpu, oftewel: is de cpu de bottleneck? Aangezien ik de keus heb om een oud 550MHz systeempje of een athlon 64 3000+ te gebruiken. Liever gebruik ik natuurlijk de eerste, maar als de performance een stuk beter is met een veel betere CPU...

[Q]

Quadropluxor schreef op zaterdag 26 augustus 2006 @ 17:43:
Wat ik me nu afvraag is of de performance nu ook een stuk hoger zou liggen bij een veel betere cpu, oftewel: is de cpu de bottleneck? Aangezien ik de keus heb om een oud 550MHz systeempje of een athlon 64 3000+ te gebruiken. Liever gebruik ik natuurlijk de eerste, maar als de performance een stuk beter is met een veel betere CPU...

Dat weet ik niet, dat heb ik niet getest. Ik denk het wel want bij datatransfers wordt de machine stevig belast. Verwacht geen wonderen, maar het zou wel sneller moeten kunnen.