[DIY] 1,2 TB Storage Project.

[Verwijderd]

Hallo allen,

Dit is mijn eerste (fatsoenlijke) post.
Bij deze mijn 1,2TB storage project, waarvan 1TB beschikbaar komt i.v.m. een raid 5 configuratie.

Eerst even de specs:

PC:
- CPU Dual P3 450MHz
- Intel L440GX+ Main-board
- Onboard Adaptec AIC-7896U2/7897U2 SCSI Controler
- 256 ECC memory
- 2x Promise Technology, Inc. 20269 IDE Controller

Harddisks:
1x IBM DDRS-39130D (SCSI 10GB)
2x 6B200P0 (Diamond max 9 200GB)
4x 6Y200P0 (Diamond max 10 200GB)

Software:
Linux version 2.6.9 (root@xxxxxx) (gcc version 3.3.5 (Debian 1:3.3.5-2))
Linux raid driver Version : 00.90.01
ReiserFS 3.6

Raid overzicht:
/dev/md0:
Version : 00.90.01
Creation Time : Mon Nov 15 17:59:23 2004
Raid Level : raid5
Array Size : 995708160 (949.58 GiB 1019.61 GB)
Device Size : 199141632 (189.92 GiB 203.92 GB)
Raid Devices : 6
Total Devices : 6
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Tue Nov 16 23:31:17 2004
State : clean
Active Devices : 6
Working Devices : 6
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 128K

Number Major Minor RaidDevice State
0 34 1 0 active sync
1 34 65 1 active sync
2 56 1 2 active sync
3 56 65 3 active sync
4 33 1 4 active sync
5 33 65 5 active sync


Benchmark bonnie:
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %
1000M 7207 98 33218 74 19988 53 7504 98 50932 85 257.7 5

------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 4239 91 +++++ +++ 4042 99 4575 99 +++++ +++ 3667 99


De pics:
Eerst een steun maken voor het ophangen voor de HD's de 4u kast heeft standaard namelijk geen plek voor 7 HD's


Meer steun:


De broodjes:


De broodjes in het rack:


Meer broodjes in het rack


De target peecee


De ATA133 Controlers


Die broodjes worden erg warm in dit oventje... dus wil je even profijt van je disk array hebben is een beetje koeling geen overbodige luxe


Koeling op zn plek


Totaal plaatje... Misschien toch een grotere pc kopen?



Voor de mensjes met veel ruimte op zijn internet pijp de full size pic's:
http://hiostu.aim.hsbrabant.nl/~soldeer/pics/

[Wok]

Leuk gedaan! Creatief opgelost ook qua ruimte.

Maar de grote vraag is natuurlijk welk hoger dit allemaal dient Storage uiteraard, maar 1,2TB Wordt het soms een server in een netwerk met veel gebruikers. Als het alleen voor jezelf is, vraag ik me namelijk af wat je zoveel ruimte moet

[Weppel]

Wok schreef op dinsdag 16 november 2004 @ 23:45:
Leuk gedaan! Creatief opgelost ook qua ruimte.

Maar de grote vraag is natuurlijk welk hoger dit allemaal dient Storage uiteraard, maar 1,2TB Wordt het soms een server in een netwerk met veel gebruikers. Als het alleen voor jezelf is, vraag ik me namelijk af wat je zoveel ruimte moet

Lokale backups van zn werkstation natuurlijk, wat dacht je anders?

[Verwijderd]

ok, bierman is dus voorzien van veel schijfruimte, maarreh, misschien wat extra lucht verplaatsing naar buiten toe, of blijft de kast open?

enneh, is het nog een beetje stil met zoveel stukjes harde schijf?

[Desolation Angel]

Master/Slave configuraties in software RAID-5 ? Zal wel lekker schneeeellll gaan o_O

[Wok]

Weppel schreef op dinsdag 16 november 2004 @ 23:54:
[...]


Lokale backups van zn werkstation natuurlijk, wat dacht je anders?

offtopic:
Dat snap ik, maar 1,2 TB Ik heb al moeite om 120GB vol te krijgen

[Verwijderd]

Desolation Angel schreef op woensdag 17 november 2004 @ 00:00:
Master/Slave configuraties in software RAID-5 ? Zal wel lekker schneeeellll gaan o_O

Vergeten te melden... Ben student dus elke euro telt..... (je had het aan de url van de plaatjes kunnen zien
Enne aangezien 4 promise controllers nog al wel wat problemen geeft was ik genoodzaakt master-slave te gebruiken. Verder ben ik het met je eens master-slave is niet een ideale raid oplossing

Maargoed als ik echt voor de performance was gegaan had ik wel meer dingen anders gedaan....

[Verwijderd]

Verwijderd schreef op dinsdag 16 november 2004 @ 23:59:
ok, bierman is dus voorzien van veel schijfruimte, maarreh, misschien wat extra lucht verplaatsing naar buiten toe, of blijft de kast open?

enneh, is het nog een beetje stil met zoveel stukjes harde schijf?

Lucht verplaatsing naar buiten, dat gaat door ventilatie gaten in de case zelf en door de voeding...

Uhm nee het is niet stil meer hier maarja je kan niet alles hebben

[ Voor 12% gewijzigd door Verwijderd op 17-11-2004 00:11 ]

[marijn]

Zozo bierman, en wat ga je er nou opzetten?

[Brent]

marijn schreef op woensdag 17 november 2004 @ 15:38:
Zozo bierman, en wat ga je er nou opzetten?

Zelfgetypte documentjes

[koraks243]

Ik zet er € 10 op dat binnen 6 maanden minimaal 1 disk naar de haaien is door oververhitting. Wie speelt er mee?
Airflow is leuk, maar dan moet er wel ruimte zijn voor air om te flowen, zegmaar

[ Voor 28% gewijzigd door koraks243 op 17-11-2004 15:55 ]

[collin]

Home made pr0n

[PcDealer]

Misschien heeft ie wel Windows Server 2003 Shadow Copies of Shared Folders aan staan en daarom meerdere backups van zijn files?

[dennismaus]

Overigens heb ik dat server bordje hier ook is echt een super bordje. Wel tof om te zien al die HD's

[lairnoc]

Erg vet hoor

Ik moet er van lachen zie avatar

Als ik geweten had dat je raid nodig had ik had er nog 3 kaarten liggen in celofaan verpakt nog... LOL ook ata 133 van promise

Man o man vette server, maar past je pinnacle kaart er nu nog in voor je digitale video project?

en hoe doe je het met backups? een mirror pc in de toekomst?

[Outl@w]

Tof

Wat van voeding hangt er nou in zo'n pc?

[Sluuut]

Hoeveel graden worden die dingen nou?

Ik heb een bigtower met 7 HDD's erin..

[16:28:58] <xxx> [HDDTEMP]: MAXTOR 6L040J2: 44 °C
[16:28:59] <xxx> [HDDTEMP]: Maxtor 6Y120L0: 29 °C
[16:29:00] <xxx> [HDDTEMP]: Maxtor 6Y120L0: 30 °C
[16:29:01] <xxx> [HDDTEMP]: Maxtor 6Y120L0: 23 °C
[16:29:03] <xxx> [HDDTEMP]: Maxtor 6Y120L0: 24 °C
[16:29:05] <xxx> [HDDTEMP]: MAXTOR 6L080J4: 35 °C

Bootdisk word het heetste maar daar zit ook geen extra fan voor..

Voor de andere HDD's zitten 3 fans als intake en 1 als outtake. Verder nog 1 hdd fan onder een hddtje.

Maar wat zijn jouw temps ?? Lijkt er namelijk op dat het zo dicht op een kluitje zit en dat de airflow daardoor behoorlijk belemmerd word..

[Verwijderd]

lairnoc schreef op woensdag 17 november 2004 @ 16:26:
Erg vet hoor

Ik moet er van lachen zie avatar

Als ik geweten had dat je raid nodig had ik had er nog 3 kaarten liggen in celofaan verpakt nog... LOL ook ata 133 van promise

Man o man vette server, maar past je pinnacle kaart er nu nog in voor je digitale video project?

en hoe doe je het met backups? een mirror pc in de toekomst?

Ja backups.... Veel van die TB zal gevuld worden met data dat reeds op cd of dvd aanwezig is...

Verder ben ik wel een scriptje aan het schrijven dat wat eventueel nodig is iedere dag op een DVD-RW brandt.

[Verwijderd]

mooi hoor kerel!
Maargoed heb je nog wel plek voor mijn HD's???

Maargoed dat is vast wel op te lossen voor febr.!!!

[Verwijderd]

Sluuut schreef op woensdag 17 november 2004 @ 16:36:
Hoeveel graden worden die dingen nou?

hde t/m hdh geven de volgende waarschuwing:
WARNING: Drive /dev/hde doesn't appear in the database of supported drives
WARNING: But using a common value, it reports something.
WARNING: Note that the temperature shown could be wrong.
WARNING: See --help, --debug and --drivebase options.
WARNING: And don't forget you can add your drive to hddtemp.db

/dev/sda: IBM DDRS-39130D : known drive, but it doesn't have a temperature sensor.

/dev/hde: Maxtor 6B200P0: 34 C or F
/dev/hdf: Maxtor 6B200P0: 34 C or F
/dev/hdg: Maxtor 6B200P0: 34 C or F
/dev/hdh: Maxtor 6B200P0: 35 C or F

/dev/hdi: Maxtor 6Y200P0: 34 C
/dev/hdj: Maxtor 6Y200P0: 27 C

[TD-er]

Ik moet zeggen die bonnie-resultaten zijn erg OK voor software raid met zoveel schijven.
Ik heb het hier ook een tijdje gedraaid met software raid, maar de performance viel me wel erg tegen.
Nu had ik dan ook niet zo'n gaaf bord met rappe PCI-performance, maar toch.
Ik heb nu een 3ware controller erin zitten en alleen al softwarematig is dat een stuk aangenamer.

Helaas is de 6410 die ik heb niet super snel in RAID5, zeker niet met niet 4 dezelfde schijven (krijg na een defect maar eens exact dezelfde schijf terug), maar er zijn genoeg 3ware controllers te vinden die een betere performance leveren.

Waarom heb je niet de onboard IDE-kanalen ook in gebruik, want ik las iets over master/slave oplossingen. (en uiteraard zie ik na het posten de driveletters hde .. hdj)
Je weet dat een defecte schijf vaak ook de 2e schijf aan die kabel ophoudt en dan is met RAID5 de boel in de war.

Nog een tip:
Wanneer je tegen een promise SX6000 oid aanloopt, heel hard wegrennen.
Zelfs onder Windows is die kaart slecht ondersteund.

[ Voor 5% gewijzigd door TD-er op 18-11-2004 12:01 ]

[masser120]

Weet je hoe vet!

Ga anders eens benchmarken met iets van HDTach en Storagemark en meer progjes! Ik ben benieuwd hoe snel die dingen zijn!

[heuveltje]

masser dat zijn allemaal windows progs

[masser120]

heuveltje schreef op donderdag 18 november 2004 @ 15:57:
masser dat zijn allemaal windows progs

Oeps...
Kent iemand Linux benchmark progjes?

[heuveltje]

ja bonnie. zie openings post

maar gezien de opstelling (master/slave. sw raid) zal het niet echt ongeloofelijk bruut zal zijn

[Freggel_United]

Wat voor voeding ligt er in die bak? (Duhhuh, een Pro-V... ik bedoel hoeveel watt enzo )

[Verwijderd]

Freggel_United schreef op donderdag 18 november 2004 @ 18:13:
Wat voor voeding ligt er in die bak? (Duhhuh, een Pro-V... ik bedoel hoeveel watt enzo )

"gewoon" een 400Watt voeding

[Verwijderd]

TD-er schreef op donderdag 18 november 2004 @ 12:00:
Ik moet zeggen die bonnie-resultaten zijn erg OK voor software raid met zoveel schijven.
Ik heb het hier ook een tijdje gedraaid met software raid, maar de performance viel me wel erg tegen.
Nu had ik dan ook niet zo'n gaaf bord met rappe PCI-performance, maar toch.
Ik heb nu een 3ware controller erin zitten en alleen al softwarematig is dat een stuk aangenamer.......

Ik zit er nog een beetje mee te prutsen en te fine tunen. Ik ben idd op de hoogte van de performance dip van master/slave en het risico hiervan.

De reden dat ik de onboard raid controller niet gebruikt heb is omdat deze max 33MB/s aankan (las ik in de datasheet)

Wel ben ik van plan in het weekend hier toch even mee te benchmarken. Als ik de resultaten heb zal ik die posten.

Ook zal ik kijken of ik van lairnoc ff die controllertjes kan gebruiken voor wat testjes

Bedankt voor de TIP

[ Voor 6% gewijzigd door Verwijderd op 18-11-2004 19:01 ]

[Tom_G]

Gebruik je die server vooral voor netwerk opslag? Dan zal die software raid 5 zeker wel genoeg zijn, tenzij het over gigabit gaat.

[TD-er]

ATA33 in een dergelijk raid systeem waarschijnlijk niet de beperkende factor.
effectief 5 schijven, die nu top 50MB/s halen wil zeggen dat je nu per schijf amper 10 MB/s haalt.
Ik denk dat je ook nog eens een performanceboost haalt wanneer je onboard IDE-controller via een aparte PCI-hub achtig iets gaat. Dan zit je namelijk niet met 133 MB/s voor alle PCI apparaten tezamen.
Dit board lijkt me wel daartoe in staat, gezien de PCI-X sloten

[Verwijderd]

TD-er schreef op donderdag 18 november 2004 @ 20:06:
ATA33 in een dergelijk raid systeem waarschijnlijk niet de beperkende factor.
effectief 5 schijven, die nu top 50MB/s halen wil zeggen dat je nu per schijf amper 10 MB/s haalt.
Ik denk dat je ook nog eens een performanceboost haalt wanneer je onboard IDE-controller via een aparte PCI-hub achtig iets gaat. Dan zit je namelijk niet met 133 MB/s voor alle PCI apparaten tezamen.
Dit board lijkt me wel daartoe in staat, gezien de PCI-X sloten

Aparte PCI-hub achtig iets? Weet iemand hier meer van? linkje misschien?

Naar mijn weten is het een 66MHz bus dus zou er over die bus 266MB/s moeten kunnen....
Ik ben er alleen nog niet helemaal achter hoe ik dat in linux kan checken/instellen. Iemand ervaring hierin?

[eppie]

Welk bordje is dat? een intel dk440lx ?

[heuveltje]

Verwijderd schreef op vrijdag 19 november 2004 @ 11:06:
[...]


Aparte PCI-hub achtig iets? Weet iemand hier meer van? linkje misschien?

Naar mijn weten is het een 66MHz bus dus zou er over die bus 266MB/s moeten kunnen....
Ik ben er alleen nog niet helemaal achter hoe ik dat in linux kan checken/instellen. Iemand ervaring hierin?

Je onboard ide controller hangt of rechtstreeks aan de soutbridge (of was het nou northbridge ?)
, of aan de pci bus via een hub.
rechtstreeks aan de s/n bus scheelt je in pci bandbreedte. maar of het veel uitmaakt betwijfel ik

en kun je dat 33/66mhz niet zien in je bios ?
Ik meen dat dat op mijn dual intel bordje wel kon.

wat doet het trouwens bij jou kwa cpu ?
ik weet dat mijn ide server bij veel stevige gebruikers behoorlijk kon laggen kwa cpu

[UltraSub]

Sluuut schreef op woensdag 17 november 2004 @ 16:36:
[16:28:58] <xxx> [HDDTEMP]: MAXTOR 6L040J2: 44 °C
[16:28:59] <xxx> [HDDTEMP]: Maxtor 6Y120L0: 29 °C
[16:29:00] <xxx> [HDDTEMP]: Maxtor 6Y120L0: 30 °C
[16:29:01] <xxx> [HDDTEMP]: Maxtor 6Y120L0: 23 °C
[16:29:03] <xxx> [HDDTEMP]: Maxtor 6Y120L0: 24 °C
[16:29:05] <xxx> [HDDTEMP]: MAXTOR 6L080J4: 35 °C

Verwijderd schreef op woensdag 17 november 2004 @ 17:59:
[...]
WARNING: Drive /dev/hde doesn't appear in the database of supported drives
WARNING: But using a common value, it reports something.
WARNING: Note that the temperature shown could be wrong.
WARNING: See --help, --debug and --drivebase options.
WARNING: And don't forget you can add your drive to hddtemp.db

/dev/sda: IBM DDRS-39130D : known drive, but it doesn't have a temperature sensor.

/dev/hde: Maxtor 6B200P0: 34 C or F
/dev/hdf: Maxtor 6B200P0: 34 C or F
/dev/hdg: Maxtor 6B200P0: 34 C or F
/dev/hdh: Maxtor 6B200P0: 35 C or F

/dev/hdi: Maxtor 6Y200P0: 34 C
/dev/hdj: Maxtor 6Y200P0: 27 C

offtopic:
Welke tooltjes gebruiken jullie hiervoor?

[heuveltje]

onder windows : speedfan/mbm/vast wel meer progjes
onder linux blijkbaar hddtemp

[UltraSub]

heuveltje schreef op vrijdag 19 november 2004 @ 13:53:
onder linux blijkbaar hddtemp

Nadat ik gepost had, dacht ik dat idd al te zien
Dus ff gekeken of daar een mooi package voor debian voor is. En ja hoor.. Installed, maar echter: /dev/hda: ST320423A: known drive, but it doesn't have a temperature sensor.

Dammit

[TD-er]

Over dat PCI-hub-gebeuren.
Ik zelf heb nog nooit met zo'n board gewerkt onder linux (en dan ook nog met meerdere PCI-kaarten), maar ik kan me heel goed voorstellen dat die PCI-X sloten op een andere PCI-bus zitten dan de gewone PCI-sloten.
Onder linux zou je dat dan in de dmesg moeten kunnen zien als PCI[1,0] oid.
Die Promise kaarten die je gebruikt, ondersteunen die ook 66MHz?
Je zou ze dan ook in de PCI-X sloten kunnen duwen, dan weet je vrij zeker dat bij het RAID-array de PCI-performance niet de bottleneck is.
Lees voor de zekerheid de FAQ van dit subforum nog ff door.

[TERW_DAN]

TD-er, dat zijn geen PCI-X sloten maar 64 bit pci sloten als ik dat zo zie.
Ik betwijfel zelfs ten sterkste of er in die tijd als PCI-X sloten waren.

[Just_I]

Verwijderd schreef op donderdag 18 november 2004 @ 18:51:
[...]

"gewoon" een 400Watt voeding

Weet je het zeker , op het laatste plaatje zit er volgens mij maar een 235W voeding in .

[ Voor 4% gewijzigd door Just_I op 20-11-2004 12:10 ]

[heuveltje]

Terw_Dan schreef op zaterdag 20 november 2004 @ 12:06:
TD-er, dat zijn geen PCI-X sloten maar 64 bit pci sloten als ik dat zo zie.
Ik betwijfel zelfs ten sterkste of er in die tijd als PCI-X sloten waren.

is dat niet hetzelfde 64bit pci en pci-x
ik was wel van die mening iig. mijn stl2 heeft wel pci-x sloten en die zien er hetzelfde uit. (of niet, nu begin ik zelf te twijfelen)

wat is het verschil dan ?
ow ook de pmg faq helpt niet echt


overigens stammen de p2-450's uit 1999 en de pci-x standaard ook (volgens de faq) dus ze zouden nog samen op een bord kunnen zitten

[ Voor 17% gewijzigd door heuveltje op 20-11-2004 12:33 ]

[Verwijderd]

Just_I schreef op zaterdag 20 november 2004 @ 12:10:
[...]

Weet je het zeker , op het laatste plaatje zit er volgens mij maar een 235W voeding in .

Ja dat klopt maar die is vervangen..
Systeem werd instabiel.

[Abbadon]

Wat dat extra lange PCI slot betreft, da's PCI-X noch 64bits PCI. Het is een gewoon 32bits 33MHz PCI slot met geïntegreerde RAIDport connector. Met de juiste (ARO) kaart kun je zo RAID functionaliteit toevoegen aan de al op het bord aanwezige SCSI controller

Nou we het toch over PCI sloten hebben, de twee bovenste sloten zijn 66MHz 32bits sloten. Deze hangen namelijk aan de AGP->PCI bridge (GX chipset heeft standaard AGP maar dat kun je natuurlijk ook ergens anders voor gebruiken dan voor een grafische kaart).

[maratropa]

Im moet door dit projectje aan deze denken, wel erg cool, raid 5 1 TB in een small form factor huisje:

http://www.mashie.org/casemods/udat1.html

[Verwijderd]

Op het advies van velen heb ik mijn disks niet mee master/slave gezet maar alle schijven op een appart channel op master.

De oude performance:
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %
1000M 7207 98 33218 74 19988 53 7504 98 50932 85 257.7 5

------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 4239 91 +++++ +++ 4042 99 4575 99 +++++ +++ 3667 99


De nieuwe
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
1000M 7291 98 40524 92 22610 61 7473 98 53299 87 361.2 7

------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 4074 97 +++++ +++ 3729 95 4129 99 +++++ +++ 3666 99

De performance winst val nog wel mee vind ik zelf... Misschien dat er op dit moment toch nog een tekort aan CPU power is....

[TD-er]

Het grootste nadeel van een master/slave opzet met IDE-schijven in RAID, is dat je kans op dataverlies erg toeneemt.
Er hoeven in RAID5 namelijk maar 2 schijven niet lekker te werken en het gaat al mis.
Dus 1 schijf stuk, die de controller bezet houdt en de andere krijgt ook geen data meer.
Met name ReiserFS gaat heel erg moeilijk doen wanneer er bad sectors op de schijven zitten en volgens mij kun je een deels weggeschreven sector zoals in een raid-array dan kan optreden wel vergelijken met het gedrag van bad-sectors.

Dat de performance zo weinig verschilt is erg leuk om te weten.
Ikzelf haal thuis met kopieren van de ene schijf naar de andere (op dezelfde kabel in mijn workstation) ~40 MB/s, maar ik vermoedde altijd dat het switchen tussen communicatie van de beide schijven een erg dure operatie was en dat moet in een Raid-array namelijk erg vaak gebeuren.

De processor-kracht zal hier waarschijnlijk niet de beperkende factor zijn, maar de communicatie over de PCI-bus. Een beetje P2 of P3 haalt met de Raid-berekeningen wel een paar-100 MB/s
Mogelijk dat je een betere performance zou halen wanneer je (veel) meer IDE-controllers op een kaart hebt omdat je dan minder vaak hoeft te switchen tussen de verschillende kaarten.
Maar goed, 50 MB/s als max transfer is best OK, probeer dat maar eerst eens te halen aan traffic over je netwerk. (ik gok dat ~20 MB/s het max zal zijn.)