Het grote DIY RAID NAS topic deel 3

[X1pheR]

FireDrunk schreef op zondag 26 december 2010 @ 21:22:
[...]


Performanceverlies zal er wel zijn, maar een RDM is niet heel veel sneller dan een VMDK hoor. Verschil zit hem vooral in dat je het device direct kan uitlezen (SMART enzo) het is er in principe om VM's directe access te geven op SAN's om zo hun 'speciale' tools uit te kunnen voeren. Het verlies zal misschien een paar procent zijn.

Grote voordeel is, dat ik gewoon disks live kan omruilen zonder mijn array te laten werken..
Namelijk gewoon een Storage vMotion uitvoeren
* helaas kan dit alleen met vCenter, dus het kan niet Live aangezien ik niet van plan ben om een vCenter VM in te richten
Dus je schijven vervangen met nieuwe schijven werkt heel simpel

Ah ok. Ja ik heb zo'n PERC 6/i en wil daarom vmdirectpath gebruiken zodat deze direct in de vm beschikbaar is. maar dan moet ik wel zeker weten een goede cpu/mobo combo hebben die hier mee werkt wat dus totaal niet te vinden is.

op jouw manier van opzetten met RDM en dan dus software raid met mdadm denk ik? wat voor read/write snelheden mag je verwachten dan? ik wil eigenlijk graag esxi gaan gebruiken en dus een grote storage bouwen in een vm maar het begint er op te lijken dat software raid in linux dan de enige optie is. wat voor filesystem ga je dan gebruiken? xfs?

[DJ-NaRRa]

LB06 schreef op zaterdag 25 december 2010 @ 23:24:
[...]

Ja dat ken ik. Bedoel je daarmee te zeggen dat ik het beste één voor één mijn schijven kan omwisselen voor een grotere versie en op het laatst een mdadm --grow en een filesystem grow kan doen?

als je hiermee een oplossing zoekt voor je probleem wat je eerder postte:

LB06 schreef op zaterdag 25 december 2010 @ 00:40:
On another note, momenteel heb ik mijn 4 schijven allen de volgende partitieindeling gegeven:

code:

/dev/sda1   *           1        3647    29294496   fd  Linux RAID autodetect
/dev/sda2            3648        3890     1951897+  fd  Linux RAID autodetect
/dev/sda3            3891      121601   945513607+  fd  Linux RAID autodetect

Op /dev/sd{a,b,c,d}1 draait mijn OS in raid1 (30G)
Op /dev/sd{a,b,c,d}2 draait mijn swap in raid0 (2G, 8G effectief)
Op /dev/sd{a,b,c,d}3 draait mijn data in raid5 (rest)

Nu zou ik heel graag mijn OS en swap naar een losse schijf verhuizen en die 32G terugwinnen, omdat ik die ruimte anders op elke schijf kwijt ga zijn. Mijn vraag is natuurlijk of dit mogelijk is, het liefst zonder schijf voor schijf mijn array af te gaan breken (1 schijf ontkoppelen, array rebuilen, 1TB verplaatsen, volgende schijf ontkoppelen en bijvoegen bij de eerste schijf, array rebuilen, volgende TB verplaatsen etc).

Is het bijvoorbeeld mogelijk om per disk alle partities te verwijderen en 1 grote partitie aan te maken, en vervolgens de array te growen om tenslotte het (XFS) filesystem te growen met xfs_growfs?

Dan denk ik het niet. Want je blijft dan je verschillende partities houden(ondanks dat je ze niet kunt zien) alleen dan over meer disks. Ik denk dat je er niet aan ontkomt om tijdelijk je OS en swap op een andere disk te knallen en je Data te backuppen. Vervolgens die partities verwijderen en opnieuw opbouwen.

Waarom het niet anders kan? Omdat je dezelfde disks gebruikt met eenzelfde partiestructuur. Als je meer disks of grotere disks toevoegd blijf je die 32gb missen (hoewel je dan maar 32GB mist op een groter volume).

Kortom ik denk dat je twee opties hebt:

grotere disks nemen met een grotere partitie voor je data, alles growen en de 32gb verlies voor lief nemen of je spul opnieuw opbouwen. immers voor zover ik weet is partitietabel wijzigen = data weg....maar ik weet niet hoe gevoelig linux daarvoor is.

[ Voor 3% gewijzigd door DJ-NaRRa op 27-12-2010 00:38 ]

[FireDrunk]

X1pheR schreef op maandag 27 december 2010 @ 00:20:
[...]

Ah ok. Ja ik heb zo'n PERC 6/i en wil daarom vmdirectpath gebruiken zodat deze direct in de vm beschikbaar is. maar dan moet ik wel zeker weten een goede cpu/mobo combo hebben die hier mee werkt wat dus totaal niet te vinden is.

op jouw manier van opzetten met RDM en dan dus software raid met mdadm denk ik? wat voor read/write snelheden mag je verwachten dan? ik wil eigenlijk graag esxi gaan gebruiken en dus een grote storage bouwen in een vm maar het begint er op te lijken dat software raid in linux dan de enige optie is. wat voor filesystem ga je dan gebruiken? xfs?

Ik heb 8 * 1.5TB. Die schijven doen normaal ~90MB/s. Ik wil ze in RAID6 draaien dus je houdt maximaal 6*1.5TB aan performance over. Dan gaat daar nog een paar procent vanaf omdat ESX ertussen komt te zitten. Dus het zal ergens tussen de 300MB/s en 500MB/s Read en tussen de 200-400MB/s Write zitten...
Exacte getallen kan ik je nog niet geven, want ik heb echt geen flauw benul van wat zo'n LSI 3068 kan. (die ik overigens nog steeds moet bestellen )

Ohja, het word zo goed als XFS Ik zit nog te kijken of ZFS wat is, maar ik verwacht niet veel winst te behalen aangezien ik snapshotting functies ook al in ESX heb.

Iemand een goed adres voor kabels voor die LSI 3068? (behalve picco.nl, want die is schandalig duur voor spul wat hoogstwaarschijnlijk bij DealExtreme vandaan komt)

[ Voor 17% gewijzigd door FireDrunk op 27-12-2010 08:15 ]

[DJ-Promo]

Q schreef op zondag 26 december 2010 @ 22:43:
Kan ook een brakke kabel zijn, juist als het i/o errors zijn.

Ok die zal ik voor de zekerheid even wisselen, na die melding niks meer gezien. Builden was gisteren avond klaar. NFS werkte ook via me router. Vanavond even aan me pc hangen en wat test files erheen kopieeren. Ben benieuwd of ik wat snelheids winst heb. Die Realtek kaart wordt iedergeval niet meer gebruikt .

[AlterMann]

FireDrunk schreef op maandag 27 december 2010 @ 08:10:
Iemand een goed adres voor kabels voor die LSI 3068? (behalve picco.nl, want die is schandalig duur voor spul wat hoogstwaarschijnlijk bij DealExtreme vandaan komt)

http://cgi.ebay.nl/ws/eBa...&ssPageName=STRK:MEWNX:IT
Deze heb ik besteld, waren vrij snel binnen (week of 2). Heb ze nog niet kunnen testen omdat ik nog op m'n controller zit te wachten

[FireDrunk]

AlterMann schreef op maandag 27 december 2010 @ 08:37:
[...]

http://cgi.ebay.nl/ws/eBa...&ssPageName=STRK:MEWNX:IT
Deze heb ik besteld, waren vrij snel binnen (week of 2). Heb ze nog niet kunnen testen omdat ik nog op m'n controller zit te wachten

Dan liever deze:
http://www.chinabuye.com/...-drive-hdd-splitter-cable

Daar heb ik al eerder besteld, en dat gaat eigenlijk prima...

[HarmoniousVibe]

FireDrunk schreef op maandag 27 december 2010 @ 08:48:
[...]


Dan liever deze:
http://www.chinabuye.com/...-drive-hdd-splitter-cable

Daar heb ik al eerder besteld, en dat gaat eigenlijk prima...

Thanks, ik heb er ook meteen 3 besteld. Nu hopen dat ze ongeveer tegelijkertijd binnenkomen (de LSI SAS3081E-R van DealExtreme) en deze kabels, anders is het toch alleen maar frustrerend . Mag ik aannemen dat de DX versie niet verschilt van de 'Nederlandse' versies uit de pricewatch?

Is het overigens ook mogelijk om met zo'n breakout-kabel een SAS-schijf aan te sluiten? Gewoon een vraag uit pure interesse overigens. Mijn server heeft alleen maar 'groene' schijven en moet zo stil mogelijk zijn. Ik denk niet dat een 15k Cheetah daarvoor in aanmerking zou komen

[FireDrunk]

LB06 schreef op maandag 27 december 2010 @ 09:29:
[...]

Thanks, ik heb er ook meteen 3 besteld. Nu hopen dat ze ongeveer tegelijkertijd binnenkomen (de LSI SAS3081E-R van DealExtreme) en deze kabels, anders is het toch alleen maar frustrerend . Mag ik aannemen dat de DX versie niet verschilt van de 'Nederlandse' versies uit de pricewatch?

Is het overigens ook mogelijk om met zo'n breakout-kabel een SAS-schijf aan te sluiten? Gewoon een vraag uit pure interesse overigens. Mijn server heeft alleen maar 'groene' schijven en moet zo stil mogelijk zijn. Ik denk niet dat een 15k Cheetah daarvoor in aanmerking zou komen

Ik heb ook besteld 2 x LSI controller + 4 kabels Nu maar hopen dat het een beetje opschiet

Zo'n sas schijf heeft een net iets andere aansluiting op de schijf, daarom moet je een andere kabel hebben... SAS en SATA mixen per aansluiting op de controller kan wel prima. Ook zou je ze kunnen mixen als je een Hotswap cage hebt die SAS en SATA mixt, die hebben meestal speciale connectors binnenin waardoor zowel SATA als SAS passen. De signalering verschilt niet, dus werkt het gewoon.

[HarmoniousVibe]

Even een stomme vraag: hoe bepaald je bij een falende disk in een mdadm array welke fysieke schijf vervangen moet worden? Ik heb namelijk een aantal van dezelfde merken en type schijven in mijn array zitten en ik heb geen idee hoe ik zou kunnen bepalen welke disk ik nu fysiek zou moeten vervangen.

[FireDrunk]

Luisteren, en onthouden op welke poort je welke disk stopt...
Ook kan je op serienummer kijken... Je kan met elk OS het serienummer van de disk uitlezen, en dan weet je welke disk je mist.

[DJ-Promo]

Loopt je nummering niet gewoon gelijk met je sata poorten? Dus het kabeltje volgen?

[DJ-NaRRa]

ik heb in visio / word een schema gemaakt met de fysieke poorten op mijn mobo / kaart en de disks die er fysiek aan hangen. daarvan heb ik uuid / serienummer genoteerd dus dat moet dan wel te vinden zijn daarnaast heb ik gestickerd in de kast zelf.

[FireDrunk]

Je kan ze ook vastlijmen

[DJ-NaRRa]

dat doet me een beetje denken aan die pre-fab computers van een paar jaar terug waar alle hdd kabels zaten vastgelijmd in de disk / moederbord. CPU zat ook vaak helemaal vastgelijmd. lang leve zelf-bouw....

maar met stickers bedoel ik dus:

[DJ-Promo]

Dat stickeren is leuk maar beetje overbodig ? Het is gewoon oplopend naar beneden.
Heb gewoon alles aangesloten van boven naar onder en dat kan ik hopelijk wel onthouden.

[FireDrunk]

Me 2, maar ik ga (misschien) naar 8+ disks... Dan word het toch lastig onthouden Van boven naar beneden, van links naar rechts, van voor naar achter...

[DJ-NaRRa]

in dit geval misschien een beetje overbodig echter heb ik nog wel eens last van dansende schijven waarbij het dus de volgorde intern veranderd. het is in mijn geval ook niet dat raid 1 altijd sda is en raid 2 altijd sdb is.
Vandaar de stickers en een tabel die ik op papier heb met UUID / Serienummers. mocht er dan een raid disk een keer failen kan ik hem opzoeken aan de hand van uuid / serienummer en zo de juiste disk ineens replacen in plaats van alles te moeten open trekken

[DJ-Promo]

Als ik nieuwe disken heb ga ik voor de zekerheid ook de serienummers in een excel zetten.

[FireDrunk]

Crap, ik moet nieuwe disks bestellen om mijn data tijdelijk op te storen, maar kan niet beslissen
Iemand suggesties?

[HarmoniousVibe]

DJ-NaRRa schreef op maandag 27 december 2010 @ 12:50:
maar met stickers bedoel ik dus: [afbeelding]

Ik snap op zich wel hoe stickers werken...

Op zich zou ik dat ook wel kunnen doen maar de serienummers zijn fool proof genoeg momenteel. Bovendien heb ik slechts 2 schijven van hetzelfde merk.

Maar het is inderdaad wel een goed idee om het voortaan bij te gaan houden voor mijn toekomstige array.

[Verwijderd]

FireDrunk schreef op maandag 27 december 2010 @ 15:31:
Crap, ik moet nieuwe disks bestellen om mijn data tijdelijk op te storen, maar kan niet beslissen
Iemand suggesties?

Ik heb hier HD204UI's staan, firmware moet je even flashen maar dan werken ze prima. Hoeveel storage gaat het om?

[HarmoniousVibe]

FireDrunk schreef op maandag 27 december 2010 @ 09:34:
[...]


Ik heb ook besteld 2 x LSI controller + 4 kabels Nu maar hopen dat het een beetje opschiet

Nog even snel een vraagje. Die SFF-8087 poorten op de LSI, zijn die ook powered? M.a.w. is het mogelijk om ipv een SFF-8087 -> 4 x SATA ook mogelijk om een SFF-8482 -> 4 x SFF-8482/SATA + molex te kopen? Ik ben anders namelijk bang dat ik molexjes tekort kom (tenzij ik een HDD cage met backplane koop). Bovendien scheelt het sowieso flink in de bekabeling (=rommel en minder airflow). Of heeft de LSI sowieso te weinig vermogen voor 8 schijven?

[ Voor 9% gewijzigd door HarmoniousVibe op 27-12-2010 17:47 ]

[DJ-NaRRa]

goed... na weken testen ben ik niet echt tot een duidelijke bron kunnen komen van waar de storing zit. ik houd het voorlopig even op incompatibel geheugen (evt. brakke cpu) dat moet ik nog uitsluiten.

maar vandaag dus even nasje weer aangevuurd om nog eens IO snelheden te testen. deze keer maar even een single disk gedaan. (Oscar:/home/djn# dd if=/dev/zero of=/dev/sdh bs=1M)

code:

1393671798784 bytes (1.4 TB) copied, 15176.3 s, 91.8 MB/s

voor een single disk (Write) denk ik niet dat dat echt heel slecht te noemen is. kortom ik heb geen duidelijke oorzaak kunnen vinden voor de eerst slechte IO van een paar weken terug (read 50MB/sec write 20-30MB/sec)

maar wat me opviel toen ik een fdisk -l deed was het volgende:

code:

WARNING: GPT (GUID Partition Table) detected on '/dev/sda'! The util fdisk doesn't support GPT. Use GNU Parted.

ik heb geen (G)parted gebruikt en de partities aangemaakt in de installer van Debian (lenny). Is dit iets waar ik me zorgen om moet maken en hoe haal ik die parted partitietabel weg (waar staat ie...iig niet op het begin van de hdd)? ik kan (C)fdisk wel gewoon gebruiken op de disks.

[DJ-NaRRa]

LB06 schreef op maandag 27 december 2010 @ 17:40:
[...]

Nog even snel een vraagje. Die SFF-8087 poorten op de LSI, zijn die ook powered? M.a.w. is het mogelijk om ipv een SFF-8087 -> 4 x SATA ook mogelijk om een SFF-8482 -> 4 x SFF-8482/SATA + molex te kopen? Ik ben anders namelijk bang dat ik molexjes tekort kom (tenzij ik een HDD cage met backplane koop). Bovendien scheelt het sowieso flink in de bekabeling (=rommel en minder airflow). Of heeft de LSI sowieso te weinig vermogen voor 8 schijven?

Ik vermoed dat je de schijven los nog moet voorzien van prik. Ik zie op de kaart nergens een 12v aansluiting zitten en ik denk niet dat die kaart 120 Watt kan trekken bij spinup(even er vanuitgaande dat je disks 15W trekken bij spin up) via de PCI-E bus.

[HarmoniousVibe]

DJ-NaRRa schreef op maandag 27 december 2010 @ 18:44:
[...]


Ik vermoed dat je de schijven los nog moet voorzien van prik. Ik zie op de kaart nergens een 12v aansluiting zitten en ik denk niet dat die kaart 120 Watt kan trekken bij spinup(even er vanuitgaande dat je disks 15W trekken bij spin up) via de PCI-E bus.

Hm, zo te zien kan PCI-E 'slechts' 75W leveren, dus dat idee moet ik maar uit mijn hoofd zetten. Zonder een direct lijntje van m'n voeding gaat dat nooit lukken.

Hoe zit het trouwens met de 3.3v-aansluitingen? Zijn er gangbare schijven (3.5" 2TB of 2.5" SSD's) die deze spanning nodig hebben en die dus niet met een molex->sata-powerconnector kunnen worden aangesloten?

Weet iemand waar ik modulaire SATA-powerkabels kan kopen voor mijn Antec NeoPower 550W, voor het geval dat er toch 3.3v nodig blijkt te zijn?

[FireDrunk]

Ik heb nog nooit schijven gehad die mopperden op een molex->satapower connectortje...
Als je tekort denkt te komen zijn er ook kabels die van 1 molex naar 4 x satapower gaan

Zal ff voor je zoeken:

http://www.freezinghardwa...ngle_sleeved_-_zwart.html

Deze, die ga ik binnenkort denk ik ook bestellen...

[ Voor 31% gewijzigd door FireDrunk op 28-12-2010 08:42 ]

[DJ-Promo]

Gisteren avond nog even bezig geweest met NAS. Kan de NFS share mounten maar heb dan alleen lees rechten. Terwijl er in me exports file duidelijk rw staat. Morgenavond nog maar even stoeien. Wilde graag gisteren een paar grootte files erheen gooien om te kijken hoe snel dat zou gaan.

[Demo]

DJ-Promo schreef op dinsdag 28 december 2010 @ 11:35:
Gisteren avond nog even bezig geweest met NAS. Kan de NFS share mounten maar heb dan alleen lees rechten. Terwijl er in me exports file duidelijk rw staat. Morgenavond nog maar even stoeien. Wilde graag gisteren een paar grootte files erheen gooien om te kijken hoe snel dat zou gaan.

Heeft de user die gebruikt wordt voor het sharen wel rechten om te schrijven? Maak eens een map aan en chmod die naar 777. Als je daar wel in kan schrijven heb je de oorzaak gevonden.

[DJ-Promo]

Het is de user waar ik altijd mee inlog en daarmee kan ik schrijven op al mijn interne schijven.
Ik mount de NFS share in een map die in de home dir staat van de ingelogde user. Als ik in mijn home dir ls -l doe staan alle mappen open voor schrijven inclusief de map waarin ik de NFS share mount. Mount ik die NFS share wordt die map opeens van root.

[Extera]

X1pheR schreef op maandag 27 december 2010 @ 00:20:
[...]

Ah ok. Ja ik heb zo'n PERC 6/i en wil daarom vmdirectpath gebruiken zodat deze direct in de vm beschikbaar is. maar dan moet ik wel zeker weten een goede cpu/mobo combo hebben die hier mee werkt wat dus totaal niet te vinden is.

op jouw manier van opzetten met RDM en dan dus software raid met mdadm denk ik? wat voor read/write snelheden mag je verwachten dan? ik wil eigenlijk graag esxi gaan gebruiken en dus een grote storage bouwen in een vm maar het begint er op te lijken dat software raid in linux dan de enige optie is. wat voor filesystem ga je dan gebruiken? xfs?

Ik heb hier ook behoorlijk naar lopen zoeken, hier is iemand het gelukt:
Nadeel is dat dit met relatief dure hardware is, welke veel stroom verbruikt.

Ik ga denk ik voor optie 2, RDM.

[FireDrunk]

Waarom RDM? Lijkt me arbeidsintensiever door dat geconfigureer...

[Extera]

wat doen? gewoon vmdk's maken per schijf?

[FireDrunk]

Dat ga ik proberen... Dat lijkt mij persoonlijk makkelijker, maar ieder zijn ding...

Misschien een leuke test, ben beniewd Als RDM echt veel sneller is, wil ik het ook wel gebruiken.
Snapshotting heb ik toch niet nodig...

[Interlace84]

DJ-NaRRa schreef op maandag 27 december 2010 @ 18:33:
goed... na weken testen ben ik niet echt tot een duidelijke bron kunnen komen van waar de storing zit. ik houd het voorlopig even op incompatibel geheugen (evt. brakke cpu) dat moet ik nog uitsluiten.

maar vandaag dus even nasje weer aangevuurd om nog eens IO snelheden te testen. deze keer maar even een single disk gedaan. (Oscar:/home/djn# dd if=/dev/zero of=/dev/sdh bs=1M)

code:

1393671798784 bytes (1.4 TB) copied, 15176.3 s, 91.8 MB/s

voor een single disk (Write) denk ik niet dat dat echt heel slecht te noemen is. kortom ik heb geen duidelijke oorzaak kunnen vinden voor de eerst slechte IO van een paar weken terug (read 50MB/sec write 20-30MB/sec)

maar wat me opviel toen ik een fdisk -l deed was het volgende:

code:

WARNING: GPT (GUID Partition Table) detected on '/dev/sda'! The util fdisk doesn't support GPT. Use GNU Parted.

ik heb geen (G)parted gebruikt en de partities aangemaakt in de installer van Debian (lenny). Is dit iets waar ik me zorgen om moet maken en hoe haal ik die parted partitietabel weg (waar staat ie...iig niet op het begin van de hdd)? ik kan (C)fdisk wel gewoon gebruiken op de disks.

Zie deze link voor meer info over GPT. De GUID Partition Table is de opvolger van het aloude MBR, dat maar tot 2.2TB aan partitiegrootte ondersteunt. Dit is afaik niet te converten; als je van GPT naar MBR wil switchen zul je dus volgens mij je partities opnieuw aan moeten maken, en genoegen met partities <2.2TB nemen.

[Demo]

DJ-Promo schreef op dinsdag 28 december 2010 @ 13:40:
Het is de user waar ik altijd mee inlog en daarmee kan ik schrijven op al mijn interne schijven.
Ik mount de NFS share in een map die in de home dir staat van de ingelogde user. Als ik in mijn home dir ls -l doe staan alle mappen open voor schrijven inclusief de map waarin ik de NFS share mount. Mount ik die NFS share wordt die map opeens van root.

Misschien is dat de root 'aan de andere kant'? Zoals ik zei, maak op die share eens een map aan met rechten voor iedereen. (de hele share chmodden naar 777 kan ook natuurlijk maar zou ik niet aanraden)

[DJ-Promo]

Je hebt gelijk. Begin van de avond de rechten van de share aangepast en toen kon ik gewoon schrijven. Moet alleen nog even kijken hoe ik de rechten goed zet staat nu open voor iedereen. Ging met een stabiele 59.x MB per seconden. Server bestaat uit een AMD LE-1150 is een singel core 2000Mhz met 1GB geheugen en 5x 500GB in Raid5. Met me disken update gaat er ook wat extra geheugen in totaal 2GB of 4GB.

[DJ-NaRRa]

ok vreeeeeemde shit Q of iemand anders met een grote array een antwoord op mijn vraag perhaps?

ik draai mijn nas bak nu even tijdelijk met ander geheugen en een andere CPU om dingen uit te sluiten..

heb opnieuw een mdadm raid 6 gecreate(vooraf fd partities aangemaakt):

code:

mdadm --create /dev/md6 --chunk=64 --level=6 --raid-devices=8 /dev/sd[abcdefhi]1

Njah dat ding begint dus zijn eerste resync en wederom deze verschrikkelijke snelheden:

code:

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md6 : active raid6 sda1[0] sdi1[7] sdh1[6] sdf1[5] sde1[4] sdd1[3] sdc1[2] sdb1[1]
      11721071616 blocks level 6, 64k chunk, algorithm 2 [8/8] [UUUUUUUU]
      [>....................]  resync =  2.4% (47897156/1953511936) finish=1051.9min speed=30187K/sec

unused devices: <none>

kortom ongeveer een 30MB/sec...(read)

mijn iostat:

code:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    6.59    0.00    0.00   93.41

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda             393.00     24592.00         0.00      24592          0
sda1            393.00     24592.00         0.00      24592          0
sdb             409.00     24592.00         0.00      24592          0
sdb1            409.00     24592.00         0.00      24592          0
sdc             413.00     24592.00         0.00      24592          0
sdc1            413.00     24592.00         0.00      24592          0
sdd             381.00     24464.00         0.00      24464          0
sdd1            381.00     24464.00         0.00      24464          0
sde             401.00     24208.00         0.00      24208          0
sde1            401.00     24208.00         0.00      24208          0
sdf             395.00     24720.00         0.00      24720          0
sdf1            395.00     24720.00         0.00      24720          0
sdg               0.00         0.00         0.00          0          0
sdg1              0.00         0.00         0.00          0          0
sdg2              0.00         0.00         0.00          0          0
sdg5              0.00         0.00         0.00          0          0
sdh             371.00     24464.00         0.00      24464          0
sdh1            371.00     24464.00         0.00      24464          0
sdi             368.00     25088.00         0.00      25088          0
sdi1            368.00     25088.00         0.00      25088          0
sdj               0.00         0.00         0.00          0          0
sdj1              0.00         0.00         0.00          0          0
sdk               0.00         0.00         0.00          0          0
sdk1              0.00         0.00         0.00          0          0
md6               0.00         0.00         0.00          0          0

echter als ik tijdens dit proces 8 verschillende lees sessies open op de verschillende disken met:

code:

dd if=/dev/sda1 of=/dev/null bs=1M count=5000

trek ik elke losse schrijf dicht op een ±120MB/sec:

code:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.23    0.00   50.69   36.41    0.00   12.67

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda            2165.00    124102.00         0.00     124102          0
sda1           2165.00    124102.00         0.00     124102          0
sdb            2031.00    115968.00         0.00     115968          0
sdb1           2031.00    115968.00         0.00     115968          0
sdc            2187.00    122535.00         0.00     122535          0
sdc1           2187.00    122535.00         0.00     122535          0
sdd            2111.00    122752.00         0.00     122752          0
sdd1           2111.00    122752.00         0.00     122752          0
sde            2198.00    125458.00         0.00     125458          0
sde1           2198.00    125458.00         0.00     125458          0
sdf            2109.00    120321.00         0.00     120321          0
sdf1           2109.00    120321.00         0.00     120321          0
sdg               0.00         0.00         0.00          0          0
sdg1              0.00         0.00         0.00          0          0
sdg2              0.00         0.00         0.00          0          0
sdg5              0.00         0.00         0.00          0          0
sdh            1563.00     90880.00         0.00      90880          0
sdh1           1563.00     90880.00         0.00      90880          0
sdi            1646.00     94208.00         0.00      94208          0
sdi1           1646.00     94208.00         0.00      94208          0
sdj               0.00         0.00         0.00          0          0
sdj1              0.00         0.00         0.00          0          0
sdk               0.00         0.00         0.00          0          0
sdk1              0.00         0.00         0.00          0          0
md6               0.00         0.00         0.00          0          0

de sync speed daalt als een malle (logisch want de disks worden dichtgetrokken) en nadat iedere dd actie klaar is valt deze weer terug naar ca 30MB/sec.

Kortom het kan geen I/O fout zijn aangezien ik elke disk gewoon tegelijk dicht kan trekken met dd & hdparm (deze geeft nog iets hogere ratings maar dat zijn cache readings)

Enig idee of ik iets fout doe met mijn mdadm of is deze sync tijd normaal voor een array van (effectief) 10.92 TB (8*2TB 5400 rpm wd20ears disks)? of maak ik me zorgen om niets en heb ik (al dan niet) voor jan met een drie letterige achternaam mijn geheugen cpu en andere hardware lopen testen de afgelopen tijd?

als dit nu te specifiek is voor alleen dit topic ook even melden aub dan start ik een losse thread, maar het leek me wel iets voor in dit topic aangezien het toch over NAS functionaliteit gaat....

[ Voor 20% gewijzigd door DJ-NaRRa op 29-12-2010 02:01 ]

[HarmoniousVibe]

dd is natuurlijk helemaal sequentieel en heeft vrijwel geen CPU nodig. Ik weet er verder niet zoveel van, maar ik kan me zo voorstellen dat het resyncen van een array niet helemaal sequenteel gaat. Bij mij gaat mijn raid5 array met +/-65MiB/s terwijl ze toch wel 100MiB/s kunnen, maar raid-5 is wellicht minder ingewikkeld dan raid-6. Ik heb zelf overigens ook 'green' HDD's @5400rpm.

Overigens, is er een specifieke reden dat je een fd-partitie aanmaakt op je schijven? Waarom gebruik je niet gewoon partitieloze block devices? Zit je in de toekomst ook niet te prutsen met de grenzen van een MBR partitietabel.

[ Voor 15% gewijzigd door HarmoniousVibe op 29-12-2010 02:12 ]

[FireDrunk]

LB06 schreef op woensdag 29 december 2010 @ 02:09:
dd is natuurlijk helemaal sequentieel en heeft vrijwel geen CPU nodig. Ik weet er verder niet zoveel van, maar ik kan me zo voorstellen dat het resyncen van een array niet helemaal sequenteel gaat. Bij mij gaat mijn raid5 array met +/-65MiB/s terwijl ze toch wel 100MiB/s kunnen, maar raid-5 is wellicht minder ingewikkeld dan raid-6. Ik heb zelf overigens ook 'green' HDD's @5400rpm.

Overigens, is er een specifieke reden dat je een fd-partitie aanmaakt op je schijven? Waarom gebruik je niet gewoon partitieloze block devices? Zit je in de toekomst ook niet te prutsen met de grenzen van een MBR partitietabel.

Lees een stukje terug over grootte van disks enzo...

DJ-Promo schreef op dinsdag 28 december 2010 @ 22:16:
Je hebt gelijk. Begin van de avond de rechten van de share aangepast en toen kon ik gewoon schrijven. Moet alleen nog even kijken hoe ik de rechten goed zet staat nu open voor iedereen. Ging met een stabiele 59.x MB per seconden. Server bestaat uit een AMD LE-1150 is een singel core 2000Mhz met 1GB geheugen en 5x 500GB in Raid5. Met me disken update gaat er ook wat extra geheugen in totaal 2GB of 4GB.

Ergens in een config staat toch een MDADM max initialize speed? Zal eens googlen voor je... Ik kan je zelf nog niet vertellen hoe lang het bij mij duurt, dan moet je nog 2-3 weken geduld hebben

Ik heb het in een VM even nagebouwd (goede oefening om met MDADM te leren werken )
Als ik 8 vDisks (van 8GB/stuk) aan een VM geef en een RAID6 array assemble, initializeert hij met ~5MB/s per disk.
Rebuilden gaat wel *veel* sneller... Ongeveer 11MB/s per disk.
Mijn onderliggende storage device is een P410 met 8*1.5TB in RAID5.

[ Voor 10% gewijzigd door FireDrunk op 29-12-2010 08:27 ]

[DJ-NaRRa]

LB06 schreef op woensdag 29 december 2010 @ 02:09:
dd is natuurlijk helemaal sequentieel en heeft vrijwel geen CPU nodig. Ik weet er verder niet zoveel van, maar ik kan me zo voorstellen dat het resyncen van een array niet helemaal sequenteel gaat. Bij mij gaat mijn raid5 array met +/-65MiB/s terwijl ze toch wel 100MiB/s kunnen, maar raid-5 is wellicht minder ingewikkeld dan raid-6. Ik heb zelf overigens ook 'green' HDD's @5400rpm.

Overigens, is er een specifieke reden dat je een fd-partitie aanmaakt op je schijven? Waarom gebruik je niet gewoon partitieloze block devices? Zit je in de toekomst ook niet te prutsen met de grenzen van een MBR partitietabel.

De reden dat ik partities heb aangemaakt is omdat dit voorkwam in de handleidingen die ik heb gevonden op inet. deels zou dit zijn zodat je mooie ronde getallen kunt aangeven (2TB rond ipv 2.00000000003TB) en omdat mdadm de partities kan herkennen met mdadm --detail --scan en zo de mdadm.conf kan vullen...

Als jij een betere reden hebt om hele disks te gebruiken hoor ik het ook graag want nu kan ik nog wijzigingen aanbrengen m.b.t. mijn array. Ik weet verder niet wat de voors en tegens zijn voor hele disks versus partities.

FireDrunk schreef op woensdag 29 december 2010 @ 07:50:
[...]
Ergens in een config staat toch een MDADM max initialize speed? Zal eens googlen voor je... Ik kan je zelf nog niet vertellen hoe lang het bij mij duurt, dan moet je nog 2-3 weken geduld hebben

Ik heb het in een VM even nagebouwd (goede oefening om met MDADM te leren werken )
Als ik 8 vDisks (van 8GB/stuk) aan een VM geef en een RAID6 array assemble, initializeert hij met ~5MB/s per disk.
Rebuilden gaat wel *veel* sneller... Ongeveer 11MB/s per disk.
Mijn onderliggende storage device is een P410 met 8*1.5TB in RAID5.

die max / min sync speed heb ik al aangepast naar 50MB/sec min 200MB/sec max. Dit heeft 0,0 effect op de sync speed van mijn array. Bij het switchen naar een internal bitmap (mdadm handleiding) krijg ik een error.

kan je voor de grap ook even een read testje(op een losse vDisk) doen voor de dd speed of die ook vele malen hoger ligt dan 5MB/sec?

Inmiddels is de array op een 50% met nog een goede 11 uur te gaan. we laten hem maar even uitrammelen.

[FireDrunk]

DJ-NaRRa schreef op woensdag 29 december 2010 @ 10:27:
kan je voor de grap ook even een read testje(op een losse vDisk) doen voor de dd speed of die ook vele malen hoger ligt dan 5MB/sec?

code:

root@NAS01:~# dd if=/dev/sdb of=/dev/null bs=1M count=4096
4096+0 records in
4096+0 records out
4294967296 bytes ( 4.3 GB) copied, 10.0355 s, 428MB/s

Nou is dit natuurlijk niet helemaal representatief omdat alle vDisks om het zelfde device liggen... Dus tijdens MDADM acties word het onderliggende IO device geterroriseerd met Random IO....

Toch maar even goed testen:


test.sh

code:

dd if=/dev/sdb of=/dev/null bs=1M count=1024 > sdb.log &
dd if=/dev/sdc of=/dev/null bs=1M count=1024 > sdc.log &
dd if=/dev/sdd of=/dev/null bs=1M count=1024 > sdd.log &
dd if=/dev/sde of=/dev/null bs=1M count=1024 > sde.log &
dd if=/dev/sdf of=/dev/null bs=1M count=1024 > sdf.log &
dd if=/dev/sdg of=/dev/null bs=1M count=1024 > sdg.log &
dd if=/dev/sdh of=/dev/null bs=1M count=1024 > sdh.log &
dd if=/dev/sdi of=/dev/null bs=1M count=1024 > sdi.log &

code:

root@NAS01:~# ./test.sh
root@NAS01:~# 1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 23.6491 s, 45.4 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 23.9228 s, 44.9 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 24.5712 s, 43.7 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 24.6788 s, 43.5 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 24.9833 s, 43.0 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 25.0952 s, 42.8 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 25.2728 s, 42.5 MB/s
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 25.3771 s, 42.3 MB/s

[ Voor 52% gewijzigd door FireDrunk op 29-12-2010 12:00 ]

[HarmoniousVibe]

DJ-NaRRa schreef op woensdag 29 december 2010 @ 10:27:
[...]

De reden dat ik partities heb aangemaakt is omdat dit voorkwam in de handleidingen die ik heb gevonden op inet. deels zou dit zijn zodat je mooie ronde getallen kunt aangeven (2TB rond ipv 2.00000000003TB) en omdat mdadm de partities kan herkennen met mdadm --detail --scan en zo de mdadm.conf kan vullen...

Als jij een betere reden hebt om hele disks te gebruiken hoor ik het ook graag want nu kan ik nog wijzigingen aanbrengen m.b.t. mijn array. Ik weet verder niet wat de voors en tegens zijn voor hele disks versus partities.

Nee dat heeft er niks mee te maken. Je kunt ook prima scannen op block devices. Immers, mdadm --detail --scan gaat over /dev/mdX en niet over /dev/sdXY. Voor mdadm maakt het niet uit op er nu partities of block devices onder /dev/mdX liggen.

Overigens zou ik niks gaan veranderen, omdat al je disks/partities <2.2TB zijn (MBR, GPT of partitieloos maakt dan niet veel uit). Wat je overigens niet moet doen is op /dev/mdX weer een MBR-partitietabel moet gaan aanmaken! Dan gaat het mis!

Nu heeft het dus nog geen impact, maar wel iets om in je achterhoofd te houden als je nog ooit iets gaat doen met schijven groter dan 2.2TB, en die kans is aanzienlijk . Dan moet je namelijk kiezen tussen GPT en partitieloos. Met partitieloos heb je iets meer ruimte en hoef je niet na te denken over partitie-alignment, maar het voordeel van GPT is weer dat je eventueel je partitie nog kunt verkleinen als je dat later zou willen.

[Nielson]

Heb zelf ook fd partities op m'n harde schijven gezet. Voordeel ervan is dat je de schijven iets kleiner kunt indelen dan de volledige grootte, waardoor je bij vervanging geen last hebt dat een 1TB van een ander merk bv net iets kleiner is. Plus, mdadm scant bij het booten op fd partities en zal zo automatisch je array samenstellen, heb je helemaal geen mdadm.conf voor nodig. Vind het tevens wat overzichtelijker en heb je minder kans dat je per ongeluk toch een partitie aanmaakt omdat de schijf leeg lijkt.

[Q]

Mijn 18 TB NAS doet ongeveer 50 MB/s bij het rebuilden / syncen. De lage snelheid is vanwege het feit dat alle disks heelveel reads en writes = random io moeten doen.

Geef eens een paar outputs van

iostat -xm


leuk scriptje:

http://louwrentius.blogsp...-eta-of-raid-rebuild.html

[FireDrunk]

Hmm.. Wat ik doe blijkt helemaal niet te werken... VMWare ziet dat het nullen zijn die langskomen, en schrijft ze niet keihard weg onderwater... Hierdoor is de test niet meer nuttig...
Ik kan gigantische snelheden halen door gewoon if=/dev/zero te gebruiken

/dev/random en /dev/urandom zijn weer te langzaam om fatsoenlijk mee te benchen...
Iemand een ander idee?

[DJ-NaRRa]

Q schreef op woensdag 29 december 2010 @ 12:46:
Mijn 18 TB NAS doet ongeveer 50 MB/s bij het rebuilden / syncen. De lage snelheid is vanwege het feit dat alle disks heelveel reads en writes = random io moeten doen.

Geef eens een paar outputs van

iostat -xm


leuk scriptje:

http://louwrentius.blogsp...-eta-of-raid-rebuild.html

scriptje ga ik downloaden. die had ik over het hoofd gezien. je benchmark en temperatuur scriptjes heb ik al wel gedownload (en aangepast). Hier de Output. er is zo te zien alleen Read activiteit nu.

Maar dan is die lage snelheid in ieder geval te verklaren..

code:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    7.89    0.00    0.00   92.11

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda            7687.00     0.00  535.00    0.00    31.88     0.00   122.03     3.02    4.12   0.86  46.00
sda1           7687.00     0.00  535.00    0.00    31.88     0.00   122.03     3.02    4.12   0.86  46.00
sdb            7694.00     0.00  531.00    0.00    32.13     0.00   123.92     2.00    3.77   0.50  26.80
sdb1           7694.00     0.00  531.00    0.00    32.13     0.00   123.92     2.00    3.77   0.50  26.80
sdc            7687.00     0.00  538.00    0.00    32.13     0.00   122.30     1.31    2.43   0.46  24.80
sdc1           7687.00     0.00  538.00    0.00    32.13     0.00   122.30     1.31    2.43   0.46  24.80
sdd            7671.00     0.00  554.00    0.00    32.13     0.00   118.77     0.81    1.47   0.31  17.20
sdd1           7671.00     0.00  554.00    0.00    32.13     0.00   118.77     0.81    1.47   0.31  17.20
sde            7681.00     0.00  544.00    0.00    32.13     0.00   120.96     1.39    2.55   0.73  39.60
sde1           7681.00     0.00  544.00    0.00    32.13     0.00   120.96     1.39    2.55   0.73  39.60
sdf            7669.00     0.00  555.00    0.00    32.07     0.00   118.33     1.69    2.98   0.54  30.00
sdf1           7669.00     0.00  555.00    0.00    32.07     0.00   118.33     1.69    2.98   0.54  30.00
sdg               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdg1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdg2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdg5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdh            7724.00     0.00  506.00    0.00    32.38     0.00   131.04     2.72    5.83   0.86  43.60
sdh1           7724.00     0.00  506.00    0.00    32.38     0.00   131.04     2.72    5.83   0.86  43.60
sdi            7718.00     0.00  507.00    0.00    32.13     0.00   129.78     2.30    4.53   1.10  56.00
sdi1           7718.00     0.00  507.00    0.00    32.13     0.00   129.78     2.30    4.53   1.10  56.00
sdj               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdj1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdk               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdk1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md6               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

code:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    6.39    0.00    0.00   93.61

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda            7142.00     0.00  505.00    0.00    29.87     0.00   121.14     0.80    1.58   0.32  16.40
sda1           7142.00     0.00  505.00    0.00    29.87     0.00   121.14     0.80    1.58   0.32  16.40
sdb            7157.00     0.00  490.00    0.00    29.87     0.00   124.85     0.82    1.68   0.35  17.20
sdb1           7157.00     0.00  490.00    0.00    29.87     0.00   124.85     0.82    1.68   0.35  17.20
sdc            7188.00     0.00  472.00    0.00    30.87     0.00   133.95     2.42    5.40   0.68  32.00
sdc1           7188.00     0.00  472.00    0.00    30.87     0.00   133.95     2.42    5.40   0.68  32.00
sdd            7140.00     0.00  507.00    0.00    29.87     0.00   120.66     1.17    2.30   0.33  16.80
sdd1           7140.00     0.00  507.00    0.00    29.87     0.00   120.66     1.17    2.30   0.33  16.80
sde            7145.00     0.00  502.00    0.00    29.87     0.00   121.86     2.32    4.61   0.61  30.80
sde1           7145.00     0.00  502.00    0.00    29.87     0.00   121.86     2.32    4.61   0.61  30.80
sdf            7152.00     0.00  495.00    0.00    29.87     0.00   123.59     1.57    3.18   0.47  23.20
sdf1           7152.00     0.00  495.00    0.00    29.87     0.00   123.59     1.57    3.18   0.47  23.20
sdg               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdg1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdg2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdg5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdh            7167.00     0.00  469.00    0.00    29.12     0.00   127.16     2.51    4.39   0.84  39.60
sdh1           7167.00     0.00  469.00    0.00    29.12     0.00   127.16     2.51    4.39   0.84  39.60
sdi            7185.00     0.00  471.00    0.00    30.28     0.00   131.65     2.36    5.15   0.74  34.80
sdi1           7185.00     0.00  471.00    0.00    30.28     0.00   131.65     2.36    5.15   0.74  34.80
sdj               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdj1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdk               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdk1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md6               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

code:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    6.97    0.00    0.00   93.03

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sda            6839.00     0.00  491.00    0.00    29.00     0.00   120.96     1.00    2.04   0.34  16.80
sda1           6839.00     0.00  491.00    0.00    29.00     0.00   120.96     1.00    2.04   0.34  16.80
sdb            6830.00     0.00  501.00    0.00    29.13     0.00   119.07     2.53    5.05   0.61  30.40
sdb1           6830.00     0.00  501.00    0.00    29.13     0.00   119.07     2.53    5.05   0.61  30.40
sdc            6850.00     0.00  468.00    0.00    28.00     0.00   122.55     1.06    2.00   0.43  20.00
sdc1           6850.00     0.00  468.00    0.00    28.00     0.00   122.55     1.06    2.00   0.43  20.00
sdd            6851.00     0.00  482.00    0.00    29.24     0.00   124.25     1.60    3.32   0.85  40.80
sdd1           6851.00     0.00  482.00    0.00    29.24     0.00   124.25     1.60    3.32   0.85  40.80
sde            6828.00     0.00  503.00    0.00    29.00     0.00   118.09     1.72    3.43   0.63  31.60
sde1           6828.00     0.00  503.00    0.00    29.00     0.00   118.09     1.72    3.43   0.63  31.60
sdf            6854.00     0.00  478.00    0.00    29.24     0.00   125.27     1.76    4.18   0.61  29.20
sdf1           6854.00     0.00  478.00    0.00    29.24     0.00   125.27     1.76    4.18   0.61  29.20
sdg               0.00     9.00    0.00    2.00     0.00     0.04    44.00     0.00    0.00   0.00   0.00
sdg1              0.00     9.00    0.00    2.00     0.00     0.04    44.00     0.00    0.00   0.00   0.00
sdg2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdg5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdh            6897.00     0.00  434.00    0.00    29.13     0.00   137.46     2.01    4.64   0.81  35.20
sdh1           6897.00     0.00  434.00    0.00    29.13     0.00   137.46     2.01    4.64   0.81  35.20
sdi            6887.00     0.00  434.00    0.00    28.72     0.00   135.54     3.05    6.87   0.98  42.40
sdi1           6887.00     0.00  434.00    0.00    28.72     0.00   135.54     3.05    6.87   0.98  42.40
sdj               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdj1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdk               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdk1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md6               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

[FireDrunk]

30MB/s Random is toch nog niet eens zo slecht

Wat ik dan weer vreemd vind... MDADM kan toch anticiperen welke data er op een disk moet komen bij initialisatie... Er zou dus eigenlijk gewoon sequentieel geschreven moeten kunnen worden...

[DJ-NaRRa]

FireDrunk schreef op woensdag 29 december 2010 @ 14:07:
30MB/s Random is toch nog niet eens zo slecht

Wat ik dan weer vreemd vind... MDADM kan toch anticiperen welke data er op een disk moet komen bij initialisatie... Er zou dus eigenlijk gewoon sequentieel geschreven moeten kunnen worden...

Wat jij bedoelt is waarschijnlijk het opzetten van een internal bitmap structuur... daarmee anticipeert mdadm welke data er veranderd om zo onnodig volledig syncen te voorkomen.

Write-intent bitmap

A write-intent bitmap is used to record which areas of a RAID component have been modified since the RAID array was last in sync. Basically, the RAID driver periodically writes out a small table recording which portions of a RAID component have changed. Therefore, if you lose power before all drives are in sync, when the array starts up a full re-sync is not needed. Only the changed portions need to be re-synced.

To turn on write-intent bitmapping:
Install a modern mdadm: >=sys-fs/mdadm-2.4.1 Install a modern kernel: >=2.6.16
Your RAID volume must be configured with a persistent superblock and has to be fully synchronized. Use the following command to verify whether these conditions have been met:

mdadm -D /dev/mdX

Make sure it says:
State : active
Persistence : Superblock is persistent

Add a bitmap with the following command:
mdadm /dev/mdX -Gb internal

You can monitor the status of the bitmap as you write to your array with:
watch -n .1 cat /proc/mdstat

mjah ik vond 30MB/sec een beetje tegenvallen om eerlijk te zijn maar als Q "maar" 50MB/sec haalt met 20 disks denk ik dat ik niet zo moet klagen

bijna klaar met syncen hier nog 300mins

[FireDrunk]

8*8GB duurde hier 2 minuten.. Dus 8 * 1.5TB zou ongeveer 16 uur moeten duren...

[Q]

Als je zeker bent dat alle disks bad-sector vrij zijn dan kun je initialisatie trouwens overslaan met --assume-clean oid.

Handig voor testen.

[DJ-NaRRa]

komtie nu mee ach jah zitten op 91% dus nu geen zin meer om af te breken. meteen een dubbelcheck op bad sectors kans is wel klein met nieuwe disks maar je weet nooit

@fd: denk je dat je iets hebt aan mijn DM?

ik ben heel benieuwd naar je ervaring met die DX controllers. Ik wacht nog heel even met bestellen. Ik heb ze ook niet direct nodig maar in het geval dat ik later toch naar 20 disks wil gaan is zo'n controller of 2 wel handig

voornamelijk benieuwd naar de chip lsi1068e en smartmontools (om te zien of ie dan geen disks eruit knalt)

[ Voor 55% gewijzigd door DJ-NaRRa op 29-12-2010 20:32 ]

[FireDrunk]

Ja, ik heb nog niet echt tijd gehad om te kijken, thnx iig
Ik wacht nog even op mijn controllers, en ik moet nog ff tijdelijke disks kopen om mijn data op te zetten voor ik aant spelen kan gaan...

[thof]

Ben ook wel benieuwd naar de DX controllers ;-)
Wacht jullie tests af

[ Voor 24% gewijzigd door thof op 29-12-2010 20:38 ]

[HarmoniousVibe]

FireDrunk schreef op woensdag 29 december 2010 @ 20:28:
Ja, ik heb nog niet echt tijd gehad om te kijken, thnx iig
Ik wacht nog even op mijn controllers, en ik moet nog ff tijdelijke disks kopen om mijn data op te zetten voor ik aant spelen kan gaan...

Ik heb nog wel 4*1TB in de aanbieding

Jammer dat het altijd zolang duurt bij DX. Hopelijk heeft de douane m'n controller niet onderschept

[ Voor 12% gewijzigd door HarmoniousVibe op 29-12-2010 20:41 ]

[FireDrunk]

Stiekum denk ik over 8*2TB erbij, maar dat is wel overdreven
Heb nu 5TB aan data, en 8*2 is ook weer zo veel (geld )

[ Voor 4% gewijzigd door FireDrunk op 29-12-2010 21:11 ]

[DJ-NaRRa]

FireDrunk schreef op woensdag 29 december 2010 @ 21:11:
Stiekum denk ik over 8*2TB erbij, maar dat is wel overdreven
Heb nu 5TB aan data, en 8*2 is ook weer zo veel (geld )

Het is pas overdreven als je een array maakt voor personal use a la een backblaze pod

oftewel gewoon doen 2TB disks heb je voor rond de 80,- euro

[Jormungandr]

En toch zou ik een business als dat over laten aan pakweg een EMC² .

Ik denk dat we stilaan bij de grens komen waar 10TB geen nerdy stuff meer is maar eerder modaal. En hup, alweer een excuus voor een badass storage bak thuis .

[FireDrunk]

Zeg, het kost wel geld he

[Q]

FireDrunk schreef op woensdag 29 december 2010 @ 23:09:
Zeg, het kost wel geld he

Je heb toch twee nieren?

[HyperBart]

DJ-NaRRa schreef op woensdag 29 december 2010 @ 21:27:
[...]

Het is pas overdreven als je een array maakt voor personal use a la een backblaze pod

oftewel gewoon doen 2TB disks heb je voor rond de 80,- euro

Nice!

[FireDrunk]

Q schreef op donderdag 30 december 2010 @ 13:19:
[...]


Je heb toch twee nieren?

En dat wil ik graag zo houden

[Verwijderd]

Mijn baas heeft ze aan geschaft! super..!

[FireDrunk]

Verwijderd schreef op donderdag 30 december 2010 @ 13:50:
Mijn baas heeft ze aan geschaft! super..!

Die nieren? Kanniet, ik heb ze nog

[SymbolicFrank]

Hoi,

Ik heb de hardware besteld (met een goede voeding), en nou vroeg ik me af of ik de schijven die ik in Linux software RAID 1/5 wil zetten niet eerst moet wipen? Ik heb 2 nieuwe, de rest is al gebruikt.

Zo ja, hoe kan ik dat dan het beste doen?

[heuveltje]

Worden toch volledig overschreven bij het initialiseren van je raid5 array, dus dat maakt niet uit.

[FireDrunk]

heuveltje schreef op donderdag 30 december 2010 @ 15:33:
Worden toch volledig overschreven bij het initialiseren van je raid5 array, dus dat maakt niet uit.

Tenzij je --asume-clean gebruikt uiteraard Maar een wipe kan nooit kwaad...
Inclusief bad-sector test natuurlijk dan gelijk

[SymbolicFrank]

Ok, bedankt.

Edit: nou weet ik het toch weer niet.

Moet ik nu:

1. Gewoon tegen mdadm zeggen dat hij die schijven in RAID moet zetten?
2. Zeggen dat hij ze eerst moet wissen (hoe?)
3. Een tool als wipe installeren?

Ik ga eerst de / schijven (gebruikt) in RAID 1 zetten, dus dat is dan via een live-cd.

[ Voor 92% gewijzigd door SymbolicFrank op 30-12-2010 15:40 ]

[heuveltje]

FireDrunk schreef op donderdag 30 december 2010 @ 15:35:
[...]


Tenzij je --asume-clean gebruikt uiteraard Maar een wipe kan nooit kwaad...
Inclusief bad-sector test natuurlijk dan gelijk

Dan word alles gewiped tijdens het beschrijven van je array. maakt niet uit

[SymbolicFrank]

Ok, dus gewoon aanmaken en gaan met die banaan.

[Q]

FireDrunk schreef op donderdag 30 december 2010 @ 15:35:
[...]


Tenzij je --asume-clean gebruikt uiteraard Maar een wipe kan nooit kwaad...
Inclusief bad-sector test natuurlijk dan gelijk

Als je de array nu voor het eerst aanmaakt dan zou ik deze optie zeker niet gebruiken, maar als je loopt te testen is er niets mis mee.

Ik ben nog even aan het rondneuzen op www.fractal-design.com.

Mijn god wat maken die mooie kasten. Helemaal voor een hele strakke NAS. Moet je dit nu zien:

http://www.fractal-design...roduct&category=2&prod=42


Ruimte voor 6 harde schijven van 3.5 inch. Dus 8 TB in RAID 6 of 10 TB in RAID5 als je van wat risico houdt.

Dat is toch super? Wel relatief duur, maar het oog wil ook wat.

[ Voor 38% gewijzigd door Q op 01-01-2011 16:47 ]

[mphilipp]

Q schreef op zaterdag 01 januari 2011 @ 16:43:
[...]
Dat is toch super? Wel relatief duur, maar het oog wil ook wat.

Kweenie, ik kom niet zo vaak in dat hok waar mijn NAS staat... Design interesseert me eigenlijk niet veel. De belangrijkste eisen zijn zoveel mogelijk plek voor zo min mogelijk geld, goed te koelen en that's it. Mijn 'desktop' moet/mag mooi zijn, maar die staat in mijn kantoortjes (onder het buro) dus daar kijk ik ook niet zo vaak naar.

De enige waar ik veel aan het design heb gehecht was mijn HTPC, maar daar kijk ik de hele tijd recht op. Gelukkig had Silverstone een hele mooie (maar dure!) kast die exact bij mijn Pioneer VSX-AX5Ai receiver past.

[DARKLORD]

iemand al bezig geweest met dit nieuwe project?

http://zfsguru.com/

ziet er veelbelovend uit. volledige freebsd installatie maar wel met GUI! heb nu nog freenas maar als ik kan overstappen ga ik dat zeker doen.

[FireDrunk]

Dammnit

Ik dacht, hej, mijn moederbord ondersteund VT-d, misschien is het wel eens grappig om ESX te proberen en mijn HP P410 te 'passthrough'en naar een VM.

Afijn, esx staat er zo op. nu VT-d nog aan de praat krijgen...
2 uur aan het sleutelen geweest, kom ik erachter dat een i3-530 geen VT-d ondersteund.
En ik maar denken dat dat in je chipset zat en dus CPU onafhankelijk was...

[Dadona]

Het is toch VT-x? Dat doet de 530 wel. http://ark.intel.com/Product.aspx?id=46472

[FireDrunk]

VT-x != VT-d...

http://ark.intel.com/MySe...adCountMax=8&MaxTDPMax=73

Vanaf de i5

[ Voor 80% gewijzigd door FireDrunk op 02-01-2011 13:46 ]

[Zerobase]

Zitten er in de courante Linux 2.6 kernel al drivers voor die LSI kaart, of moet ik de drivers van de LSI website gebruiken?

Voor de volledigheid nog een keer de link naar de kaart: http://www.dealextreme.com/details.dx/sku.51316

Ga toch ook maar zo'n kaartje bestellen. Ben bezig om de eigen film/muziek collectie naar harddisk over te brengen en dan kom je er achter dat het hard gaat met de schijfruimte. Met 8x 2TB in RAID6 kan ik dan een tijdje vooruit.

Weet iemand of er in een Fractal Design Define R3 kast achter de schijven voldoende ruimte is voor standaard break-out kabels (met rechte SATA connector)? Of kan ik beter break-out kabels met een haakse SATA connector bestellen?

Edit: Link naar kaart toegevoegd

[ Voor 12% gewijzigd door Zerobase op 02-01-2011 14:58 ]

[SymbolicFrank]

Nou, dat was nog een heel gepruts.

+ Fijne kast (pricewatch: Cooler Master Elite 333), schijven moeten er wel langs de achterkant in, maar met een klein moederbordje en geen videokaart gaat dat goed, en de koeling is prima
+ Ubuntu Server 10.04 LTS ondersteunt in de setup RAID aanmaken en werkt intuïtief (mits je weet wat je aan het doen bent)
- 3x opnieuw moeten beginnen, bleek de DVD speler kapot te zijn (was een oude)
+ De PATA en SATA kaartjes werden automatisch herkend door Ubuntu
- Het moederbord (pricewatch: Asus M4A78LT-M LE) boot niet van de PATA kaart, alhoewel je dat in de BIOS wel zo in kunt stellen (dus dat zal wel aan het kaartje liggen), dus moet ik de connector omwisselen als ik van hdd/dvd wil booten (2 RAID 1 schijven op hetzelfde kanaal vind ik een slecht idee)
+ Na het omprikken van de kabels wordt het RAID array gewoon herkend
+ De RAID arrays zijn meteen bruikbaar
- Het duurde 15 uur om het RAID 5 array (4 * 1,5 TB) te resyncen
+ Het aanmaken van de samba shares is een eitje
-- Het installeren van de mailserver (Postfix) als satellite met smarthost waarbij je moet inloggen en domain rewrite was erg lastig
+ hddtemp, sensors, smartctl en mdadm maken het eenvoudig om de status op te vragen
+ sabnzbdplus werkt mooi
++ Wat is het toch fijn om zo'n systeem te beheren, in tegenstelling tot Windows!

Nog een paar vraagjes:

- Wat is nou een mooi pakket om de temperaturen en status in een browser te krijgen? Cacti zou het wel kunnen (heb ik er opgezet), maar is erg gebruikersonvriendelijk met zijn handmatige installatie van templates. Misschien toch maar Nagios installeren, maar dat is volgens mij ook niet erg gebruikersvriendelijk.

- Hoe weet ik nu of Grub2 op allebei mijn schijven staat?

[mphilipp]

DARKLORD schreef op zondag 02 januari 2011 @ 11:15:
iemand al bezig geweest met dit nieuwe project?
http://zfsguru.com/
ziet er veelbelovend uit. volledige freebsd installatie maar wel met GUI! heb nu nog freenas maar als ik kan overstappen ga ik dat zeker doen.

Dat is een complete distro zo te zien? Net zoiets als FreeNAS of OpenFiler zeg maar. Kun je daar nou ook zelf dingen bij installeren zoals sabnzb oid? Ik vind het zo jammer om mijn NAS alleen maar NAS te laten zijn.
In principe ben ik happy zoals ik het nu heb, gewoon Ubuntu en de shares met samba. Ooit had ik NFS, maar dat was een drama met Windows PC's. En dit is snel genoeg. Beheer doe ik met WebMin en je hoeft er in principe niet meer aan te zitten als het eenmaal loopt, toch?

[DJ-Promo]

Vind ik ook, ben van Freenas afgestapt omdat ik iets meer wil dan alleen NAS mogelijkheden. Draai nu Ubuntu en dit bevalt goed. Doe alles via Putty vanaf me PC installeren / instellen. Vind het ook nog eens leuk om veel van de command line te leren.
Grootte andere reden voor mij om een ander OS op me NAS te zetten was dat ik me laptop en PC allebei heb voorzien van een Linux OS. Draai nu via NFS en dat gaat erg lekker. Haal 60MB per seconden. Ben vanochtend even bezig geweest met de blocksize van NFS maar als ik die vergroot gaat de performance naar beneden. Ik denk dat ik de snelheid niet hoger ga krijgen. Ben nu aan het kijken hoe ik alles moet monitoren om zo te kijken waar het nog sneller kan. Aan de Raid 5 ligt het niet die doet 250MB per seconden read.

[FireDrunk]

mphilipp schreef op zondag 02 januari 2011 @ 15:23:
[...]
Ooit had ik NFS, maar dat was een drama met Windows PC's.

Hmm... Dat wil ik ook... Maar ik wil eigenlijk een losse Client installeren
Maar het is bij jou nooit iets geworden?

[SymbolicFrank]

Nog een vraagje: hoe veilig is het als ik Webmin open zet op de router, zodat ik er van buiten af bij kan? Of kan ik dan beter een VPN verbinding inrichten?

[FireDrunk]

VPN is altijd beter, maar webmin met password is " voor de gewone mens" meestal wel afdoende...

[Black_Adder]

Zerobase schreef op zondag 02 januari 2011 @ 14:38:
Zitten er in de courante Linux 2.6 kernel al drivers voor die LSI kaart, of moet ik de drivers van de LSI website gebruiken?

Voor de volledigheid nog een keer de link naar de kaart: http://www.dealextreme.com/details.dx/sku.51316

Ga toch ook maar zo'n kaartje bestellen. Ben bezig om de eigen film/muziek collectie naar harddisk over te brengen en dan kom je er achter dat het hard gaat met de schijfruimte. Met 8x 2TB in RAID6 kan ik dan een tijdje vooruit.

Weet iemand of er in een Fractal Design Define R3 kast achter de schijven voldoende ruimte is voor standaard break-out kabels (met rechte SATA connector)? Of kan ik beter break-out kabels met een haakse SATA connector bestellen?

Edit: Link naar kaart toegevoegd

De LSI drivers zitten inderdaad standaard in de 2.6 kernel. Heb zelf ook een kaartje van DXE gekocht en werd binnen 14 dagen afgeleverd.

[FireDrunk]

Ik zit met smart te wachten op de mijne

[Dadona]

FireDrunk schreef op zondag 02 januari 2011 @ 13:44:
VT-x != VT-d...

http://ark.intel.com/MySe...adCountMax=8&MaxTDPMax=73

Vanaf de i5

Ach, ik volg het ook niet echt meer, voor dit soort zaken mag je, zeker bij Intel, een paar dagen zoeken wat je precies voor functionaliteiten wil, welke software daarbij past en welke hardware functionaliteiten je nodig hebt. Klap op de vuurpijl is dan de processor, chipset en mobo. En volgens mij wou Intel dit niet versimpelen maar juist verder doorvoeren, omwille van product differentiatie.

Maar kun je de passthrough van USB ed nu schudden, of werkt het minder? Bijvoorbeeld ESXi zou het kunnen. Daarnaast, is het echt relevant voor een server? Het lijkt mij vooral interessant voor desktop virtualisatie, of mis ik iets?

[lampie1979]

VT-x en VT-d werken bij mij prima, echter de mobo en cpu moeten dit ondersteunen! Zeker bij VMWARE kun je dan beter werken van een White-list.

USB passthrough gebruik ik af en toe, echter doe ik dit softwarematig vanaf mijn werk-pc (dus steek iets in de USB poort van mijn niet gevirtualiseerde werk pc en deze wordt dan opgepakt door mijn gevirtualiseerde pc). Van de week nog gebruikt om een printer te configureren

[mphilipp]

FireDrunk schreef op zondag 02 januari 2011 @ 15:38:
[...]
Hmm... Dat wil ik ook... Maar ik wil eigenlijk een losse Client installeren
Maar het is bij jou nooit iets geworden?

Ik heb er een gekocht, want indertijd met XP kreeg ik die van Bill niet goed aan de praat. Het werkte op zich wel, maar op mijn HTPC met Vista ( ) ging het niet altijd goed. Zo af en toe vertikte hij het ineens weer. Ik heb dat NFS dus maar opgegeven. Ik zie verder de toegevoegde waarde niet. Ik kan alle HD content prima op mijn HTPC krijgen en downloaden gaat rechtstreeks naar de NAS toe. En als ik iets met de exploder naar de NAS toe stuur over SMB komt ie op +/- 100Mb/s.

[Q]

FireDrunk schreef op zondag 02 januari 2011 @ 16:10:
VPN is altijd beter, maar webmin met password is " voor de gewone mens" meestal wel afdoende...

Zodat de gemiddelde hacker ook bij je porno kan?

Webmin moet je niet aan het internet hangen.

Installeer gewoon even openvpn en ga daarmee aan de slag.

[FireDrunk]

Dadona schreef op zondag 02 januari 2011 @ 17:06:
[...]
Ach, ik volg het ook niet echt meer, voor dit soort zaken mag je, zeker bij Intel, een paar dagen zoeken wat je precies voor functionaliteiten wil, welke software daarbij past en welke hardware functionaliteiten je nodig hebt. Klap op de vuurpijl is dan de processor, chipset en mobo. En volgens mij wou Intel dit niet versimpelen maar juist verder doorvoeren, omwille van product differentiatie.

Maar kun je de passthrough van USB ed nu schudden, of werkt het minder? Bijvoorbeeld ESXi zou het kunnen. Daarnaast, is het echt relevant voor een server? Het lijkt mij vooral interessant voor desktop virtualisatie, of mis ik iets?

Niks nakkes nada.... Geen passthrough...
alleen bij een Xeon of een i5... Volgende upgrade dan maar weer...
Het leek mij wel wat om mijn nieuwe LSI kaartjes door te geven aan een vm...

Ik zie wel...

[Dadona]

Eventjes wat informatie her en der ingewonnen. Het is AMD dat 'VT-d' in de chipset heeft zitten: IOMMU. Het zit erin sinds de 800 series, dus je desktop is ook niet een geschikte oplossing.
Ik was er niet van op de hoogte dat je een controller wou doorgeven aan een VM. Met USB zou ik mij zo kunnen voorstellen dat er een optie zou kunnen zijn zoals Virtualbox doet, waarbij de 'hypervisor' de vertaalslag maakt. Maar met een controller wil je dat niet.

Maar toch vraag ik mij af hoe puur die passthrough is. Is het echt zo dat een VM precies zo communiceert alsof de VM direct op de hardware draait? Ik zat zelf namelijk te denken aan een soortgelijke situatie, met een passthrough van een controller naar een VM met FreeBSD als OS en (natuurlijk) ZFS als filesystem. Maar ik vraag mij of de voor mij voornaamste reden, data integriteit, misschien toch niet gegarandeerd kan worden omdat er toch iets gebeurt met een passthrough.
Zeker gezien ESXi een HCL heeft lijkt het mij dat de 'bare-metal' hypervisor met passthrough functionaliteiten nog niet gelijk is aan het theoretische bare-metal virtualiseren. Per slot van rekening zou daarbij het OS direct kunnen praten met de controller. Maar ook Xen en XenServer zouden een bare metal hypervisor zijn, maar waarom is USB 'passthrough' dan al zo moeilijk? Bij Xen heb je alleen een aangepast Kernel van Debian en Ubuntu (of mogelijk ook een andere) distro nodig en bij XenServer hebben ze de kernel van CentOS aangepast en de zaak wat gestript. Waarom is dat dan opeens 'bare metal'?
Naar mijn idee zou een bare metal hypervisor hooguit mogen tegenhouden welke VM wat ziet. Dus dat je als het ware de kaart er bij VM één eruit hebt getrokken en bij de andere dat deze er wel inzit. En liefst op zo'n manier dat je een ongelovelijke prutser kunt zijn die twee VMs direct laat praten met hetzelfde stukje hardware en zo zaken door elkaar heen kunt laten weergeven. (100 Hz beelden en dan uit fase )

Maar ook vraag ik mij af hoe groot het verschil is tussen een 'passthrough' op hosted hypervisor niveau (denk aan een gedeelde map met de host in Virtualbox) en een datashare van de ene VM naar de andere, op dezelfde hardware. Want dat is wat jij zou gaan doen, jij laat VM2 data wegzetten op VM1. Nu zou ik misschien voor de zekerheid, tenzij iemand kan aantonen dat het echt niet nodig is, VM1 data laten wegschrijven op de host.
Zeker met de recente ontwikkelingen zoals het kunnen benutten van AMD-V en VT-x in bijvoorbeeld Virtualbox zou het verschil wel eens kunnen meevallen, terwijl je er wel extra zekerheid voor terugkrijgt?

[winux]

Ik ben van plan om ook een DIY-nas te bouwen mbv FreeNAS.

Nu heb ik de volgende hardware geselecteerd.

#	Product	Prijs	Subtotaal
1	Intel D510MO	€ 63,67	€ 63,67
1	Promise FastTrak SATA 300 TX4	€ 55,94	€ 55,94
4	Western Digital Caviar GreenPower WD20EARS, 2TB	€ 76,76	€ 307,04
1	Lian Li PC-Q08B	€ 89,-	€ 89,-
1	Kingston ValueRAM KVR800D2N6K2/4G	€ 63,45	€ 63,45
1	be quiet! Pure Power L7 530W	€ 55,90	€ 55,90
Bekijk collectie Importeer producten		Totaal	€ 635,-

Ik heb nog 2 WD 36gb raptor schijven liggen, daar wilde ik FreeNAS op installeren.

Maar aangezien dit moederbord geen RAID ondersteund kan ik die niet in RAID-1 zetten.
Nu heb ik zitten denken om hier een SSD-schijf voor te nemen van 30gb ofzo. Aangezien de installatie 3 keer niks inneemt. En een SSD schijf geen draaiende mechanische onderdelen heeft, is de kans dat deze defect gaat aanzienlijk minder dan met een 'oldskool' hardeschijf.

Andere optie is om een USB-stick of een SD-card te gebruiken voor de installatie. Nu vind ik een USB stick die uitsteek geen fraai gezicht. Dus heb ik zitten kijken voor een internal USB-to-SDcard, maar deze is nergens te vinden. Maar ik weet dat ze er wel moeten zijn, ooit eens een keer tegen gekomen op internet. Maar nu niet meer kunnen vinden Andere optie is een internal USB-to-USB en deze gewoon lekker in de kast te verbergen.

Wat is jullie mening?

[Verwijderd]

winux: FreeNAS does software RAID; moederbord onboard RAID is toch Windows-only. Heb je al besloten tussen software RAID en ZFS?

PCI kaart moet je natuurlijk niet doen; gebruik PCI-express of de onboard aansluitingen.

En misschien toch beter de Samsung F4 nemen ipv EARS; wie weet krijg je de oude EARS versie met 4x500GB platter configuratie ipv 3x666GB wat veel beter is.

En als je voor ZFS gaat, kan ik je aanraden om 2x4GiB=8GiB RAM te nemen. Wordt niet ondersteund op Atom platforms, though. Maar misschien kun je eens kijken naar Zotac Mini-ITX platform met Core i3; is even zuinig in idle maar met meer power en je kunt 8GiB RAM gebruiken en je hebt écht PCI-express.

[Dadona]

Met de F4 moet je wel even in de gaten houden dat deze up to date is (http://sourceforge.net/ap...wiki/SamsungF4EGBadBlocks)

[Verwijderd]

Hallo mede Tweakers. Na jaren lezen wordt dit mijn eerste vraag op het forum.
De afgelopen twee jaar heb ik als home server gebruikt een Mac Mini samen met een Drobo voor storage.
Aangezien deze combinatie niet meer voldoet aan mijn storage behoefte, moet er wat veranderen.

Ik ben van plan om een 19" inch rack te plaatsen in de schuur. Hier kan ik alles in kwijt.
Mijn budget is minimaal en ik wil graag het maximaal haalbare wat betreft storage space en veiligheid.

Vandaag heb ik een klein opzetje in elkaar gezet. Onderstaande heb ik daarbij ingedachte.

behuizing: Norcotek RPC-470
voeding: Corsair AX750
moederbord: Intel S3420GPV
geheugen: Kingston ValueRAM KVR1333D3E9SK2/8G
cpu: Intel Core i3 550

De behuizing bied ruimte voor 10 x 3.5 en 3 x 5.25. Ik wil beginnen met 5 x 2 TB in raid 5 op het
moederbord zelf. Later hang ik er dan 8 x 2 TB in raid 6 bij via een raid controller.
Ik heb voor de HDD's Hitachi Deskstar 7K2000, 2TB in gedachte.

Bovenstaande kost ongeveer € 1300,- euro met afwerking. Het rack krijg ik voor niets.
Ik vraag me af of er alternatieven zijn die wellicht beter zijn? En wat ik het beste als OS kan draaien.
Ik prefereer aan een makkelijke web interface zoals bijvoorbeeld een QNAP Nas.
Naast file sharing moet er ook SABNZBD+ en Airvideo op draaien. Wellicht andere services.

[winux]

Verwijderd schreef op zondag 02 januari 2011 @ 21:28:
winux: FreeNAS does software RAID; moederbord onboard RAID is toch Windows-only. Heb je al besloten tussen software RAID en ZFS?

PCI kaart moet je natuurlijk niet doen; gebruik PCI-express of de onboard aansluitingen.

En misschien toch beter de Samsung F4 nemen ipv EARS; wie weet krijg je de oude EARS versie met 4x500GB platter configuratie ipv 3x666GB wat veel beter is.

En als je voor ZFS gaat, kan ik je aanraden om 2x4GiB=8GiB RAM te nemen. Wordt niet ondersteund op Atom platforms, though. Maar misschien kun je eens kijken naar Zotac Mini-ITX platform met Core i3; is even zuinig in idle maar met meer power en je kunt 8GiB RAM gebruiken en je hebt écht PCI-express.

Dank voor je reactie.
Ja klopt dat FreeNAS alleen software raid doet. Maar wilde eigenlijk die 2 x 36gb raptor in hardware RAID-1 plaatsen zodat ik daar FreeNAS op kan installeren. Zodat wanneer 1 van de raptor schijven defect gaat niet gelijk me RAID set kapot is.

Ik ben eerlijk gezegd niet zo'n fan van Samsung schijven, heb paar keer slechte tussen gehad, overigens wel netjes via RMA omgeruild, maar WD schijven heb ik goede ervaringen mee. Dus vandaar de keuze voor de WD. Kan kijken of ik keuze heb welke platter config.

Dit mobo ondersteund maar 2gb per bank dus kan niet hoger dan die 4 gaan. Dat ik voor PCI "moet" kiezen is omdat er te weinig poorten onboard zitten, en dat dit mobo alleen PCI ondersteund.

Maar ik zal een kijken voor die Zotac Mini-ITX. Ik heb er eigenlijk geen ervaringen mee. Met Intel mobo wel.

[Verwijderd]

Echt zonde als je 2011 nog voor een PCI storage systeem gaat; dat moet je nu echt achter je laten IMO.

Intel Core i3 met 2x4=8GiB RAM, 6 onboard SATA, onboard gigabit en een PCI-express x16 slot; dat zou een aardig begin zijn voor een mooie setup die ook redelijk low-power is.

FreeNAS kan ook van sofware RAID1 booten denk ik; hoef je echt geen hardware RAID voor te nemen; en dat kaartje wat je had is FakeRAID geen hardware RAID; alles wordt door Windows-only drivers gedaan dus onder Linux/BSD is dat gewoon een SATA controller. Maar zowel linux md-raid and freebsd ondersteunen wel weer de 'fakeraid' arrays die zijn aangemaakt (wordt opgeslagen in de laatste sector van elke schijf) en past zijn eigen software RAID toe. Maargoed, ik raad dus een andere oplossing aan!

Het AMD Zacate platform zou ook erg interessant zijn, en nog meer low-power als dat je doel is. Nog niet beschikbaar maar een foto zie je hier. Ook mini-ITX. Beetje de AMD-tegenhanger van het Atom platform voor desktops.

[winux]

Verwijderd schreef op zondag 02 januari 2011 @ 21:54:
Echt zonde als je 2011 nog voor een PCI storage systeem gaat; dat moet je nu echt achter je laten IMO.

Intel Core i3 met 2x4=8GiB RAM, 6 onboard SATA, onboard gigabit en een PCI-express x16 slot; dat zou een aardig begin zijn voor een mooie setup die ook redelijk low-power is.

FreeNAS kan ook van sofware RAID1 booten denk ik; hoef je echt geen hardware RAID voor te nemen; en dat kaartje wat je had is FakeRAID geen hardware RAID; alles wordt door Windows-only drivers gedaan dus onder Linux/BSD is dat gewoon een SATA controller. Maar zowel linux md-raid and freebsd ondersteunen wel weer de 'fakeraid' arrays die zijn aangemaakt (wordt opgeslagen in de laatste sector van elke schijf) en past zijn eigen software RAID toe. Maargoed, ik raad dus een andere oplossing aan!

Het AMD Zacate platform zou ook erg interessant zijn, en nog meer low-power als dat je doel is. Nog niet beschikbaar maar een foto zie je hier. Ook mini-ITX. Beetje de AMD-tegenhanger van het Atom platform voor desktops.

Die PCI kaart is helemaal geen RAID zelfs, das een pure sata controller, omdat het mobo te weinig sata poorten heeft

Heb net zitten kijken voor die Zotac zitten kijken, had deze gevonden:
pricewatch: Zotac NM10-DTX WIFI

Maar die ondersteund ook alleen maar DDR2 en maar max. 4GB Plus dat de onboard CPU net zo sterk is als diegene die ik nu in me lijst heb staan. Niet echt een vooruitgang dus.

Maar wat ik me afvroeg is een Core i3 niet overkill voor een NAS?

Ben nog ff het verschil tussen ZFS en software raid aan het uitzoeken.

Maar ben het met je eens dat die PCI eigenlijk niet mee kan. Ga nog even verder zoeken

[FireDrunk]

@Dadona

Ik denk dat je nog even verder moet lezen... Het echte voordeel van een echte HyperVisor met IOMMU is dat een device via DMA direct in het geheugen van de vm kan schrijven. En wat je ook al zegt. Bij USB is het vrij gemakkelijk om het sikgnaal door te sluizen... Bij een highperformance controller is dat lastiger...

[ Voor 89% gewijzigd door FireDrunk op 02-01-2011 23:12 ]

[Jormungandr]

ZFs heeft zijn eigen "raid" beheer, samen met snapshots en de hele santeboetiek. Het is dus meer dan alleen RAID of alleen FS. "Nadeel" is dan weer dat het enkel BSD is.

Een I3 of X2 e-serie is zeker geen overkill tbh. Je gaat wat meer verbruiken, maar je kan die dingen ook zeer laag gaan klokken waardoor het verbruik sterk afneemt. Kijk bv naar de C&Q van AMD. Als je in het BIOS je cpu naar die waarden (en soms zelfs minder) klokt heb je direct een hele hap uit het stroomverbruik terwijl je nog genoeg rekenkracht hebt voor andere dingen buiten gewoon fileserven. (VPN, mail, web, ...)

PCI is out. Zowat alles wat je kan kopen loopt tegen de PCI-grens aan, dus doe jezelf een plezier en ga evt voor een µATX bord met PCI-E.

[winux]

Jormungandr schreef op zondag 02 januari 2011 @ 23:38:
ZFs heeft zijn eigen "raid" beheer, samen met snapshots en de hele santeboetiek. Het is dus meer dan alleen RAID of alleen FS. "Nadeel" is dan weer dat het enkel BSD is.

Een I3 of X2 e-serie is zeker geen overkill tbh. Je gaat wat meer verbruiken, maar je kan die dingen ook zeer laag gaan klokken waardoor het verbruik sterk afneemt. Kijk bv naar de C&Q van AMD. Als je in het BIOS je cpu naar die waarden (en soms zelfs minder) klokt heb je direct een hele hap uit het stroomverbruik terwijl je nog genoeg rekenkracht hebt voor andere dingen buiten gewoon fileserven. (VPN, mail, web, ...)

PCI is out. Zowat alles wat je kan kopen loopt tegen de PCI-grens aan, dus doe jezelf een plezier en ga evt voor een µATX bord met PCI-E.

Heb net even zitten spelen met FreeNAS mbt zfs in vmware. Werkt wel veel beter als die software RAID. Lijkt wel of hij veel sneller de RAID set opbouwt.

Ben wel overtuigd nu dat ik die PCI weg moet laten. Heb al zitten kijken voor een I3. Zal morgen eens ff verder kijken en de lijst aanpassen.

Loop alleen nog tegen punt aan, waar ik de Freenas software op ga installeren. Zijn er mensen van jullie die hem gewoon op singel disk hebben staan? Wat ik me afvraag en niet zo snel kan vinden, maar kan misschien komen omdat ik hele avond al zit te focussen en er zomaar overheen kijk, als de schijf/partitie waar FreeNAS op geïnstalleerd staat, defect gaat, blijft de RAID set dan behouden?
Als ik zo bedenk lijkt me dat niet, omdat die bij een hardware matig RAID set op de controller wordt opgeslagen en als die defect gaat ben je volgens mij ook alles kwijt.
Anderzijds bedenk ik me weer, dat de RAID informatie wordt weggeschreven naar elke schijf.

Ben even confused.