Het grote DIY RAID NAS topic deel 3

[DJ-Promo]

Ja precies die waarde klopt niet of er iets gruwelijks mis.

[Nielson]

Schommelt zo tussen de 65MB/s en 90MB/s. Is dit redelijk voor een raid5 set van 7 1.5TB samungs disks?

Hier 220+ MB/s schrijven met 5 x 1TB Samsung F2 EG in raid 5, wel met xfs ipv ext3/4.

[ Voor 39% gewijzigd door Nielson op 24-05-2011 16:28 ]

[FireDrunk]

hier ook xfs...

[Danfoss]

Kan zoiets ook niet aan waar hij op de disks schrijft liggen? Je arraysnelheid is toch nooit constant.

Ik heb net even dat dd commando getest en op mijn mdadm raid-5 array van 3x 1.5TB (500GB vrij; ext4) geeft hij 48 MB/s aan. Is ook niet veel eigenlijk. Kan me herinneren toen ik hem net aanzette 1.3 jaar geleden ik rond de 200MB/s schrijven haalde.

De ubuntu disk utility read benchmark gaat van 220MB/s tot 90MB/s.

[brid]

array heeft in het begin rond de 90MB/s gezetten.
De array is begonnen met 4 disk toen naar 5 en toen naar 7
bij de grow van 5 naar 7 was hij met 5 disk voor 75% gevult.
Weet niet hoe efficient een grow is maar denk dat de meeste vrije ruimte op de nieuwe disks zit en de rest redelijk vol is.

Andere mogelijkheid is dat hij het niet leuk vind dat er 2 disk op de lsi sas controller zitten en 5 onboard.
Heb helaas geen ruimte om de data even ergens anders te stallen en is 4x 2tb net een te grote investering leuke investering(vakantie geld) anders had ik de array opnieuw gebouwd.

Iemand nog tips voor het aanmaken van een XFS partitie?
Wat is beter mdadm raid > lvm2 > XFS of kun je beter Mdadm raid > xfs doen?

[ Voor 13% gewijzigd door brid op 24-05-2011 21:38 ]

[Q]

LVM lijkt me niet nodig. Gewoon rechtstreeks op de /dev/mdx device. Asjeblieft gebruik XFS. EXT4 moet bij wet verboden worden.

De huidige write speed lijkt niet ok. Kan dit ook niet een alignement probleem zijn door een oneven aantal disks? Kijk eens met iostat -xm 5 en kijk eens of er disks zijn die veel zwaarder worden belast dan anderen qua bezetting?

Als je de data tijdelijk weg kunt zetten of een nieuwe array gaat maken kun je zelf eens lekker testen. Het kost wel wat tijd maar met dit script kun je de waarden vinden die voor jou handig zijn.

http://louwrentius.com/bl...raid-benchmarking-script/

[ Voor 73% gewijzigd door Q op 24-05-2011 22:49 ]

[Rostvertol-Mil]

Q schreef op dinsdag 24 mei 2011 @ 22:42:
LVM lijkt me niet nodig. Gewoon rechtstreeks op de /dev/mdx device. Asjeblieft gebruik XFS. EXT4 moet bij wet verboden worden.

De huidige write speed lijkt niet ok. Kan dit ook niet een alignement probleem zijn door een oneven aantal disks? Kijk eens met iostat -xm 5 en kijk eens of er disks zijn die veel zwaarder worden belast dan anderen qua bezetting?

Als je de data tijdelijk weg kunt zetten of een nieuwe array gaat maken kun je zelf eens lekker testen. Het kost wel wat tijd maar met dit script kun je de waarden vinden die voor jou handig zijn.

http://louwrentius.com/bl...raid-benchmarking-script/

Wat is er zo fout aan ext4? Heb bij een reinstall er juist voor gekozen omdat het zo betrouwbaar "klonk"

[ Voor 5% gewijzigd door Rostvertol-Mil op 25-05-2011 07:55 ]

[FireDrunk]

http://www-958.ibm.com/so...-ext4-filesystems-compa/1

Misschien wel boeiend voor sommige mensen.. Lijkt me wel een beetje verouderd...
Ik draai trouwens EXT4 op / en XFS op mijn data array

[ Voor 12% gewijzigd door FireDrunk op 25-05-2011 08:45 ]

[YaNightmare]

Ik zal even mijn duit in het zakje doen,

Ik draai inmiddels ~3maanden oid mdadm + lvm + xfs op mijn array (4x2TB samsungs).

"In den beginne" was het allemaal vrij vlot, maar al snel liep ik tegen tragere momenten aan, gezien ik rtorrent gebruik en het een vrij hoog belaste seedbox is (~4 TB traffic per maand) bleek alles te fragmenteren.

Nu ben ik absoluut geen pro in raid systemen en heb ik waarschijnlijk het eea aan blocksizes fout gezet ed, maar ik wou dit toch even gemeld hebben.

XFS heeft hier trouwens 2 opties tegen/voor, de prealloc (welke in mijn geval niet werkte, reden hiervoor is heel veel kleine en grote bestanden, dus bij een prealloc van 512MB had ik ~2000 20kb bestanden die 512MB allocation kregen)
en:
system.file_allocate.set optie in rtorrent, dit zou ervoor moeten zorgen dat alle ruimte word gereserveerd, ook dit werkte voor geen meter (geen enkele impact).

Qua verduidelijking, deze machine download meerdere files tegelijkertijd (meerdere users met meerdere files) het was dus niet een uitzondering dat een 1,5Gb .mkv over 9000+ blocks was uitgesmeerd (of inodes oid, ben even kwijt hoe dit heet).

Uiteindelijk was de "oplossing" om elke dag ~3 uur defragmentatie te laten draaien welke de defrag van 1 dag (~40%) terugkreeg naar ~15%, soms naar 2%.

Anyway, ik switch vanaf deze week naar FreeBSD + ZFS mede door dit probleem. (deze hoeveelheid fragmentatie zorgt er dus voor dat bestanden meerdere malen verplaatst worden wat simpelweg onnodige wear and tear is voor de HDD's).

[ Voor 0% gewijzigd door YaNightmare op 25-05-2011 09:21 . Reden: Paar spelfouten, tis erg vroeg voor mij op een vrije dag :) ]

[Sleepie]

I'm puzzled.

Ik maak een array aan:

code:

mdadm --create /dev/md0 -l 5 -n 3 --assume-clean /dev/sda /dev/sdb /dev/sdd

Array wordt gemaakt, ik pas daarna mdadm.conf aan:
(De ARRAY regel is de output van mdadm --detail --scan --verbose)

code:

DEVICES /dev/sda /dev/sdb /dev/sdd
ARRAY /dev/md0 <etc>

Filesystem erop

code:

mkfs.xfs /dev/md0 -f

mounten gaat ook prima

code:

mount -t xfs /dev/md0 /mnt/raid

/etc/fstab aanpassen:

code:

/dev/md0  /mnt/raid xfs  defaults  0  0

Als ik nu reboot krijg ik steevast de melding dat er een filesystem niet gemount kan worden.
Skippen die melding dan maar en gewoon booten please....

Wat blijkt, 'cat /proc/mdstat' vertelt me dat ik een array heb: /dev/md127

Wat doe ik fout?

[FireDrunk]

Omdat hij eerst de scan doet en dan pas devices aanmaakt die je custom opgegeven hebt...
Ik heb de scan gewoon op de devices gezet die in de array horen.. iets van SCAN /dev/sd[defghij].

[Nielson]

Heb zelf op m'n schijven fd partities (linux raid autodetect) aangemaakt en daarmee een array gecreëerd. Voordeel is dat je de schijf iets kleiner kan maken zodat eventuele verschillen tussen merken niets uitmaken, er staat al een partitie op dus je vergist je minder makkelijk in fdisk en je array wordt bij het booten automatisch gevonden (dus zonder mdadm.conf) en gestart.

[FireDrunk]

Dat doet die van mij ook hoor... Alleen maar scannen aangezet in MDADM

[LightStar]

Vraag !

Ik ben mijzelf aan het orrienteren op een nieuwe file server welke zal bestaan uit de onderstaande behuizingen:

Nocro RPC-4220 - 20 bay
Nocro DS-24E - 24 bay

nu ben ik hiervoor opzoek na een nieuwe raid controller en zat te denken aan de Areca ARC-1880ix-24 6x SFF-8087 SAS2.0 6G Marvell 88RC9580 PCI-E x8 is deze kaart voldoende om de SAS compleet aan te sturen ??

[FireDrunk]

Verschil tussen de kasten is dat de een met expanders werkt en de ander niet. Je moet in de eerste kast dus een kaart met 20 aansluitingen hebben, en bij de tweede voldoet elke kaart die overweg kan met SAS expanders (in theorie elke SAS kaart).

Bedenk dat een SAS Expander je bandbreedte limiteerd...

[HarmoniousVibe]

Sleepie schreef op woensdag 25 mei 2011 @ 09:43:
I'm puzzled.

Ik maak een array aan:

code:

mdadm --create /dev/md0 -l 5 -n 3 --assume-clean /dev/sda /dev/sdb /dev/sdd

Array wordt gemaakt, ik pas daarna mdadm.conf aan:
(De ARRAY regel is de output van mdadm --detail --scan --verbose)

code:

DEVICES /dev/sda /dev/sdb /dev/sdd
ARRAY /dev/md0 <etc>

Filesystem erop

code:

mkfs.xfs /dev/md0 -f

mounten gaat ook prima

code:

mount -t xfs /dev/md0 /mnt/raid

/etc/fstab aanpassen:

code:

/dev/md0  /mnt/raid xfs  defaults  0  0

Als ik nu reboot krijg ik steevast de melding dat er een filesystem niet gemount kan worden.
Skippen die melding dan maar en gewoon booten please....

Wat blijkt, 'cat /proc/mdstat' vertelt me dat ik een array heb: /dev/md127

Wat doe ik fout?

Alle arrays stoppen:

mdadm --stop /dev/md127

Dan een nieuwe scan draaien:

mdadm -A --scan

of

mdadm -A /dev/md0 /dev/sd[abcdetc]

Even zo uit m'n hoofd hoor. Als het niet lukt zo dan zoek ik wel even verder.

[ Voor 50% gewijzigd door HarmoniousVibe op 25-05-2011 14:54 ]

[FireDrunk]

Mja, maar hij heeft het over de mdadm.conf manier, niet de cli manier.. (Die verschillen )

[LightStar]

FireDrunk schreef op woensdag 25 mei 2011 @ 14:53:
Verschil tussen de kasten is dat de een met expanders werkt en de ander niet. Je moet in de eerste kast dus een kaart met 20 aansluitingen hebben, en bij de tweede voldoet elke kaart die overweg kan met SAS expanders (in theorie elke SAS kaart).

Bedenk dat een SAS Expander je bandbreedte limiteerd...

Oke.... onderstaand de specs wat ik hier uit begrijp is dat ik 24 internal heb en up to 128 drives via de sas expander of lees ik dit verkeerd ?

Disk Interface
4/8/12/16/24 internal and/or 4/8 external 6Gb/s SAS ports
Up to (128) 6Gb/s and 3Gb/s SAS/SATA/SSD drives using 6Gb/s SAS expanders
Up to 6Gb/s per SAS port

[FireDrunk]

128 devices is gewoon de max van SAS... net als dat de max is van USB... Maar dat zijn theoretische getallen... Ik zou geen 128 Disks op 1 controller willen

[Sleepie]

Over het /dev/md127 probleem:

Ik kan inderdaad het /dev/md127 array stopppen en re-assemblen als /dev/md0.
Echter, na de volgende reboot is /dev/md0 weer verdwenen en /dev/md127 weer terug

Het was gisteravondnacht te laat om nog te zoeken, maar schijnbaar lost dit het probleem wat ik heb op:
Stopping and re-assembling the array with "--update=homehost"

Ik ga vanavond gewoon weer vrolijk verder puzzelen.

Andere optie waar ik over nadenk (en ik weet eigenlijk niet wat slimmer is) is om in /etc/fstab de name van het array te gebruiken om te mounten "TANK:0" in mijn geval, dan zou je als ik het allemaal goed begrijp helemaal onafhankelijk zijn van welk md device je OS aan je raidset hangt.

[ Voor 31% gewijzigd door Sleepie op 25-05-2011 15:06 ]

[Nitrous]

Hoi!

Ik wil graag 2 EcoGreens van 2TB in RAID1 hebben met een onboard controller van mijn H67 mini-itx bordje van Zotac. Stel dat mijn onboard RAID controller nou faalt, kan ik dan de harde schijven nog apart uitlezen zonder tussenkomst van een RAID controller?

Ik snap dat dat bij RAID5 en RAID0 niet gaat werken omdat je dan dezelfde controller moet gebruiken, mocht de originele falen. Maar bij RAID1 is er 1:1 mirror, dus ik zou denken dat je (mocht de controller falen) één schijf eruit kunt halen en op een ander systeem zo kunt lezen. Klopt dit?

[Verwijderd]

Dat moet in principe kunnen ja. Overigens:

Ik snap dat dat bij RAID5 en RAID0 niet gaat werken omdat je dan dezelfde controller moet gebruiken, mocht de originele falen.

Dat is niet helemaal waar, je kunt met een Ubuntu Linux cdtje gewoon de array laten herkennen en je hebt toegang tot de data. Je bent dus in principe niet afhankelijk van enige hardware, alleen onder het Windows OS.

Wat betreft RAID1: dat wordt vaak als vervanging van een echte backup gebruikt. Onterecht, vind ik, je kunt veel beter géén RAID gebruiken en een externe schijf als backup gebruiken. Dan bescherm je tegen veel meer risico's alleen heb je geen uptime garantie zoals bij een mirror het geval is. Voor thuisgebruikers is dat laatste vaak geen enkel probleem, maar het gebrek aan bescherming tegen filesystem corruptie, virussen en perongeluk verwijderde bestanden wel zeer waardevol. Vandaar dat een RAID1 voor thuisgebruik alleen zin heeft als je daarnaast al een backup hebt maar juist aan uptime waarde hecht. In gok dat dat in jouw geval niet geldt.

[FireDrunk]

Vandaag maar eens de stoute schoenen aangetrokken en mijn ESXi setup vervangen voor een Ubuntu setup (op een los 2.5" schijfje) en ik moet zeggen dat ik er HEEL erg naar neig om ESXi te dumpen...

IO Performance is gewoon echt veel beter nu. Ik haal bijvoorbeeld op Samba nu zowel lezen als schrijven 115MB/s (98% van GBit)

Op de host direct met mijn array haal ik 280MB/s schrijven en 440MB/s lezen (10G file)

Inlezen van complete TV series folder door sickbeard (normaal een tijdrovend klusje) duurde 3 minuten (3TB aan series )

Misschien toch maar eens nadenken waarom ik ook alweer ESX wilde....

En dit alles zonder enige vorm van tweaking.. (geen TCP_NO_DELAY, geen extra mount opties, gewoon alles default)

[ Voor 8% gewijzigd door FireDrunk op 25-05-2011 22:09 ]

[Q]

Tja, IO is niet te virtualiseren. ziet er goed ut.

[FireDrunk]

Ik gebruikte VT-d Dus wat je zegt klopt wel, maar mijn setup was/is wel "As-close-as-you-can-get"...
Nu alles op 1 distro, dat heeft natuurlijk ook zijn voor en nadelen

[HarmoniousVibe]

FireDrunk schreef op woensdag 25 mei 2011 @ 14:56:
Mja, maar hij heeft het over de mdadm.conf manier, niet de cli manier.. (Die verschillen )

Ik zou zo weinig mogelijk hardcoded configureren en MDADM gewoon z'n werk laten doen door hem dit zelf te laten detecteren. Doe gewoon

code:

DEVICE partitions

En append de output van

mdadm -E --scan

naar mdadm.conf

Haal wel even de bestaande ARRAY-regels weg.

[ Voor 5% gewijzigd door HarmoniousVibe op 26-05-2011 11:55 ]

[FireDrunk]

ik heb (na een herinstall gister ) de hele device regel weggehaald en vervangen door

ARRAY /dev/md0 devices=/dev/sd[ghijklmn]

en dat werkt prima.

[ Voor 4% gewijzigd door FireDrunk op 26-05-2011 11:56 ]

[Sleepie]

HarmoniousVibe schreef op donderdag 26 mei 2011 @ 11:53:
[...]

Ik zou zo weinig mogelijk hardcoded configureren en MDADM gewoon z'n werk laten doen door hem dit zelf te laten detecteren. Doe gewoon

code:

DEVICE partitions

En append de output van

mdadm -E --scan

naar mdadm.conf

Haal wel even de bestaande ARRAY-regels weg.

DEVICE partitions werkt volgens mij niet, aangezien ik geen partitions heb aangemaakt.
Ik heb er nu staan DEVICE /dev/sd[a-z]
Output van mdamd -Es heb ik geappend naar mdadm.conf
Als ik dan de array stop (mdadm -S /dev/md127) en vervolgens laat assemblen (mdadm -As) krijg ik keurig netjes een /dev/md0
Echter, als ik mijn pc reboot krijg ik een /dev/md127, die ook nog eens read-only mounted is.

Overigens vind ik via Google wel meer mensen die dit probleem hebben (vaak na een update van Ubuntu 10.10 naar 11.04), maar een oplossing zie ik er niet tussen staan.

FireDrunk schreef op donderdag 26 mei 2011 @ 11:56:
ik heb (na een herinstall gister ) de hele device regel weggehaald en vervangen door

ARRAY /dev/md0 devices=/dev/sd[ghijklmn]

en dat werkt prima.

Dat ga ik vanavond nog eens proberen dan.
Jij hebt nu ook Ubuntu (Server?) geinstalleerd toch? Ik neem aan ook versie 11.04 (64-bit)?

[brid]

Q schreef op dinsdag 24 mei 2011 @ 22:42:
LVM lijkt me niet nodig. Gewoon rechtstreeks op de /dev/mdx device. Asjeblieft gebruik XFS. EXT4 moet bij wet verboden worden.

De huidige write speed lijkt niet ok. Kan dit ook niet een alignement probleem zijn door een oneven aantal disks? Kijk eens met iostat -xm 5 en kijk eens of er disks zijn die veel zwaarder worden belast dan anderen qua bezetting?

Als je de data tijdelijk weg kunt zetten of een nieuwe array gaat maken kun je zelf eens lekker testen. Het kost wel wat tijd maar met dit script kun je de waarden vinden die voor jou handig zijn.

http://louwrentius.com/bl...raid-benchmarking-script/

Ben nog even op zoek geweest naar info over alignment en ext3/XFS
Kwam deze blog tegen, staat alleen niet wat voor raid er is gebruikt.

XFS zorgt bij een raid set zelf voor de alignement, ext3 moet je zelf doen.
Even belangrijkste uit de blog knip/plak:
summary:
If you are using the ext3 or ext4 filesystem, you should always use -E stripe-width=x,stride=y to tell the filesystem about your RAID configuration.
If you are using XFS directly on the RAID device, the system should detect your RAID configuration for you automatically.
If you are using XFS on an LVM partition created on a RAID, use -d sunit= x,swidth=y at mkfs.xfs time to tell it about your RAID configuration.
If you are using another filesystem, check that it has detected your RAID configuration – in particular, check the stripe and chunk size – at mkfs time.

Zat ook een mooie tabel in, XFS direct op de array is super voor de read 175MB/s tegen 140MB/s voor via LVM
Bij write is LVM weer beter met 125 MB/s tegen 110MB/s




Hier wordt trouwens uitlegd hoe je de width and stride berekend

[ Voor 3% gewijzigd door brid op 26-05-2011 12:47 ]

[FireDrunk]

Sleepie schreef op donderdag 26 mei 2011 @ 12:03:
Jij hebt nu ook Ubuntu (Server?) geinstalleerd toch? Ik neem aan ook versie 11.04 (64-bit)?

Jup.

[Nitrous]

Verwijderd schreef op woensdag 25 mei 2011 @ 21:02:
Dat moet in principe kunnen ja. Overigens:


[...]

Dat is niet helemaal waar, je kunt met een Ubuntu Linux cdtje gewoon de array laten herkennen en je hebt toegang tot de data. Je bent dus in principe niet afhankelijk van enige hardware, alleen onder het Windows OS.

Wat betreft RAID1: dat wordt vaak als vervanging van een echte backup gebruikt. Onterecht, vind ik, je kunt veel beter géén RAID gebruiken en een externe schijf als backup gebruiken. Dan bescherm je tegen veel meer risico's alleen heb je geen uptime garantie zoals bij een mirror het geval is. Voor thuisgebruikers is dat laatste vaak geen enkel probleem, maar het gebrek aan bescherming tegen filesystem corruptie, virussen en perongeluk verwijderde bestanden wel zeer waardevol. Vandaar dat een RAID1 voor thuisgebruik alleen zin heeft als je daarnaast al een backup hebt maar juist aan uptime waarde hecht. In gok dat dat in jouw geval niet geldt.

Dat RAID geen backup is weet ik, toch bedankt voor de uitleg. Ik bewaar sowieso een off-site backup met belangrijke documenten op een externe hd.

Je hebt wel misgegokt heb die uptime wél nodig. In ieder geval de rest van de mensen hier in huis.

Maar bedankt voor de hulp!

EDIT: ben trouwens ook geïnteresseerd in die Ubuntu methode om die RAID setup uit te lezen. Heb je toevallig ergens een linkje met een bult info hierover die ik kan lezen?

[ Voor 6% gewijzigd door Nitrous op 26-05-2011 18:47 ]

[Verwijderd]

Boot van Ubuntu cd
Klik op Places->Home
Nu hoor je aan de linkerkant je RAID volume te zien (... GB filesystem) en daarop klikken zou je de data moeten zien.

Niks installeren of configureren dus, alles zou out-of-the-box moeten werken.

[Sleepie]

@FireDrunk
Ik heb mdadm.conf nu als volgt (alle andere regels uitgecomment):

ARRAY /dev/md0 devices=/dev/sda,/dev/sdb,/dev/sdc,/dev/sde

Hoewel mijn bootschijf op SATA Port0 hangt, maakt Ubuntu daar /dev/sdd van, maar goed dat zou verder niks uit moeten maken lijkt me zo.

Na aanpassen de raid gestopt en mdadm -As geeft me een raid op /dev/md0

En na een reboot .....

root@TANK:/home/ori0n# cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md127 : active (auto-read-only) raid5 sde[3] sda[0] sdb[1] sdd[2]
      4395412224 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

[brid]

wat geeft hij terug op dit commando: mdadm --detail --scan --verbose
Dit is bij mij de output

code:

ARRAY /dev/md10 level=raid5 num-devices=7 metadata=0.90 UUID=7421b7fd:fd7b72d2:79ad0ead:0b2927c2
   devices=/dev/sdb1,/dev/sdc1,/dev/sdd1,/dev/sde1,/dev/sdf,/dev/sdh1,/dev/sdg1

DIt staat er in de mdadm config:

code:

ARRAY /dev/md10 level=raid5 num-devices=7 metadata=0.91 UUID=7421b7fd:fd7b72d2:79ad0ead:0b2927c2

Je hoeft eigen de specifieke drives niet mee te geven

[Sleepie]

mdadm -Dsv geeft

code:

root@TANK:/home/ori0n# mdadm -Dsv
ARRAY /dev/md/TANK:0 level=raid5 num-devices=4 metadata=1.2 name=TANK:0 UUID=3e194b4e:1fd774bb:63ce1fe4:8ec2e4d5
   devices=/dev/sdb,/dev/sdc,/dev/sde,/dev/sda

Als ik de raid stop en vervolgens assemble met mdadm -As heb ik een /dev/md0
mdadm -Dsv geeft dan:

code:

ARRAY /dev/md0 level=raid5 num-devices=4 metadata=1.2 name=TANK:0 UUID=3e194b4e:1fd774bb:63ce1fe4:8ec2e4d5
   devices=/dev/sdb,/dev/sdc,/dev/sde,/dev/sda

Ik begin te geloven dat het iets te maken heeft met het feit dat er ooit GPT partitions op (sommige van) de disks hebben gestaan.

[FireDrunk]

hmm, ik heb ook echt mijn partitietabel er hard vanaf gegooid (dd if=/dev/zero of=/dev/disk bs=1 count=1024) dan weet je zeker dat alle partitietabellen er van af zijn

[Nitrous]

Verwijderd schreef op donderdag 26 mei 2011 @ 19:05:
Boot van Ubuntu cd
Klik op Places->Home
Nu hoor je aan de linkerkant je RAID volume te zien (... GB filesystem) en daarop klikken zou je de data moeten zien.

Niks installeren of configureren dus, alles zou out-of-the-box moeten werken.

En dan zeggen ze dat Linux lastig is

[Sleepie]

FireDrunk schreef op donderdag 26 mei 2011 @ 23:03:
hmm, ik heb ook echt mijn partitietabel er hard vanaf gegooid (dd if=/dev/zero of=/dev/disk bs=1 count=1024) dan weet je zeker dat alle partitietabellen er van af zijn

Mounten op de name gaat overigens prima hoor (/dev/md/TANK:0)

Maar ik kan het gewoon niet uitstaan dat ik er niet achter kom waarom die raidset maar blijft assemblen als /dev/md127

Nog wat meer zitten lezen en er is een optie in mdadm.conf om auto-assembly uit te schakelen, zodat alleen raid-sets die expliciet in mdadm.conf zijn opgegeven worden assembled. (Zo'n beetje letterlijk wat er in man mdadm.conf staat)
Ok, dus we passen mdadm.conf aan:

code:

AUTO -all
ARRAY /dev/md0 devices=/dev/sd[bcde]

Volgens de manpage zou de AUTO -all optie ervoor moeten zorgen dat er niks auto-assembled wordt, behalve de /dev/md0 die expliciet genoemd is.

Maar wat denk je, na een reboot heb ik weer een (read-only) /dev/md127

Morgen nog eens proberen om de partities compleet te wipen zoals FireDrunk voorstelt.

_{Ik ben wel blij dat ik er voor gekozen heb om eerst een test-machine te bouwen, nu kan ik naar hartelust raid-sets maken/killen/whatever}

[dutch_warrior]

FireDrunk schreef op woensdag 25 mei 2011 @ 14:53:
Verschil tussen de kasten is dat de een met expanders werkt en de ander niet. Je moet in de eerste kast dus een kaart met 20 aansluitingen hebben, en bij de tweede voldoet elke kaart die overweg kan met SAS expanders (in theorie elke SAS kaart).

Bedenk dat een SAS Expander je bandbreedte limiteerd...

Is het wel een echte SAS Expander in de Norco 4224 ? Ik dacht dat die minisas connectors werden gebruikt om de hoeveelheid kabels te beperken.
Als je een LSI kaartje koopt met 2x minisas kan je daar via breakout cables 8 disken op kwijt, is het niet zo dat de norco backplane doet wat je normaal met een breakout cable doet ?
Ik zou even moeten nazoeken wat de bandbreedte is van Mini-Sas ik geloof 12Gb/s Half Duplex per 4 lanes en de nieuwste generatie 24Gb/s, dat zou betekenen dat je of op sata 1 speed werkt of sata II speeds.

Blijft een feit dat bij twijfel de 4020 backplane handiger is voor ZFS, geen gezeik.

[Verwijderd]

Ik volg het niet zo met die Norco's, maar het beste kun je iets hebben wat 'dumb' is dus geen interne expander erin maar gewoon Mini-SAS aansluitingen voor handiger kabelmanagement maar zonder expander. Dan heb je gewoon meerdere HBAs nodig en kun je een expander-vrije setup bouwen wat het meest ideaal is voor een ZFS setup.

[dutch_warrior]

Ja, maar dat bedoel ik dus ook.
Q heeft als reactie op mijn twijfel tussen een 4020 en 4220 toen onderstaande post gemaakt. Vooral vanwege 'expanders' ging ik er dus vanuit dat hij bedoelde dat deze backplanes hetzelfde als break-out cables doen dus 4 lanes mini-sas verdelen over 4x sata schijf.
Misschien dat Q het even kan verduidelijken hoe het nou echt zit met de norco's .

Q schreef op zaterdag 16 april 2011 @ 12:10:
Als je een Norco koopt doe dan een 42xx en zeker niet meer de 4020 vanwege kabel management door de 'expanders'. Vergeet ook niet dat er zelfs een 24 bay versie is. Als je dat geld gaat uitgeven doe het dan meteen goed.

[chronoz]

Ik zit eraan te denken om mijn ESXi installatie uit te breiden met een NAS en een extra ESXi server, gezien ik van plan ben te updaten van Windows Server 2003 naar Windows Server 2008. Er komen dan 20 virtuele machines op te draaien.

NAS: X3450, 4GB, 8x1TB Software RAID ZFS, FreeNAS op USB disk
ESXi: X3450, 8GB, flash disk
ESXi: X3450, 8GB, flash disk

Welke raid zou ik hiervoor het beste kunnen gebruiken? RAID 6, 10 of 50? Ik heb de RAID FAQ doorgenomen en ben ook nog actief aan het googlen voor meer informatie.

[Verwijderd]

ZFS betekent dat je RAID-Z of RAID-Z2 gebruikt, of had je wat anders in gedachte? Heb je een software-controller of gebruik je hardware RAID? Voor 8 disks zou ik altijd voor RAID-Z2 gaan. Met 4K sector disks kun je beter voor 10 disks gaan, maar ik denk dat jouw 1TB schijven gewoon normaal 512-byte sectoren hebben.

[Verwijderd]

Verwijderd schreef op donderdag 26 mei 2011 @ 23:40:
Ik volg het niet zo met die Norco's, maar het beste kun je iets hebben wat 'dumb' is dus geen interne expander erin maar gewoon Mini-SAS aansluitingen voor handiger kabelmanagement maar zonder expander. Dan heb je gewoon meerdere HBAs nodig en kun je een expander-vrije setup bouwen wat het meest ideaal is voor een ZFS setup.

heb jij (of iemand anders) nou een idee hoe dat zit als je zo'n norco met backplane, vb 3216, aansluit met 4 minisas/minisas kabeltjes op 2x een intel SASUC8I geflashte kaart.

hoe krijg je nou die hard drive activity and failure LED’s aangestuurd.. moet er dan nog een extra kabeltje bij of gaat dat helemaal niet _knipperen

[JTibben]

Snel vraagje: Volgens mij heb ik een keer ergens in dit tipic een post gezien over dat E-350 bordjes geen hardware raid kaartjes accepteren. Is dit het geval?

En nog een snel vraagje, is iedere hardware raid controller in staat om raid 5 uit te breiden of is er een term waar ik op moet letten?

[Verwijderd]

JTibben schreef op vrijdag 27 mei 2011 @ 12:34:
Snel vraagje: Volgens mij heb ik een keer ergens in dit tipic een post gezien over dat E-350 bordjes geen hardware raid kaartjes accepteren. Is dit het geval?

En nog een snel vraagje, is iedere hardware raid controller in staat om raid 5 uit te breiden of is er een term waar ik op moet letten?

het lijkt erop dat het pci-e x 16 slot momenteel alleen geschikt is voor een videokaart.
er wordt gewerkt aan een nieuwe bios versie.

[JTibben]

Verwijderd schreef op vrijdag 27 mei 2011 @ 12:40:
[...]


het lijkt erop dat het pci-e x 16 slot momenteel alleen geschikt is voor een videokaart.
er wordt gewerkt aan een nieuwe bios versie.

Ok, bedankt voor de snelle reactie!

[Obscurax]

Verwijderd schreef op vrijdag 27 mei 2011 @ 10:59:
[...]


heb jij (of iemand anders) nou een idee hoe dat zit als je zo'n norco met backplane, vb 3216, aansluit met 4 minisas/minisas kabeltjes op 2x een intel SASUC8I geflashte kaart.

hoe krijg je nou die hard drive activity and failure LED’s aangestuurd.. moet er dan nog een extra kabeltje bij of gaat dat helemaal niet _knipperen

Volgende week kan ik hier op antwoorden, dan wordt mijn 3216 geleverd.

[FireDrunk]

Tis toch gewoon een activity LED? Dus kan de expander chip het regelen? Als het om online/offline/failure gaat zal er wel iets geregeld moeten worden volgens mij... Maar zelfs dat kan best eens in het SAS protocol zitten...

[Verwijderd]

Obscurax schreef op vrijdag 27 mei 2011 @ 13:06:
[...]


Volgende week kan ik hier op antwoorden, dan wordt mijn 3216 geleverd.

ik overweeg ook zo'n kast aan te schaffen, maar is het nou een 'expander' of een soort 'splitter.. kan het niet vinden.
of een 4020/4220 .. zelfde verhaal/vraag, en als het een 'expander is.. in hoeverre beinvloed dat de ZFS performance dan .. #durftevragen


* _{en firedrunk weet het ook niet helemaal zeker}

[ Voor 36% gewijzigd door Verwijderd op 27-05-2011 15:22 ]

[vargo]

Verwijderd schreef op vrijdag 27 mei 2011 @ 10:59:
[...]


heb jij (of iemand anders) nou een idee hoe dat zit als je zo'n norco met backplane, vb 3216, aansluit met 4 minisas/minisas kabeltjes op 2x een intel SASUC8I geflashte kaart.

hoe krijg je nou die hard drive activity and failure LED’s aangestuurd.. moet er dan nog een extra kabeltje bij of gaat dat helemaal niet _knipperen

Ik heb de Norco 3216 icm Intel SASUC8I.

In de kast kunnen 16 disks, verdeeld over 4 rijen. Iedere rij heeft zijn eigen backplane.
Per plane kan je dus 4 SATA/SAS disks aansluiten. De disks schroef je in de disk tray welke je doorschuift tot aan de backplane waar de disk in de SATA aansluiting klikt. Voorzichtig dat je je disk niet ondersteboven in je tray hebt want dan heb je kans dat je je connector stuk maakt als je kracht zet. Deze zijn nl niet heel robuust: ik had 1 lossen connector bij aflevering welke overigens wel netjes vervangen is.

Per backplace heb je verder 1 SAS aansluiting en 2 power aansluitingen (handig met redundant power supply).

De SAS aansluiting is van het type: SFF-8087.

• voor de Intel SASUC8I heb je dus SFF-8087 => SFF-8087 nodig.
• daarnaast kan je ook de SATA poorten van je moederbord aansluiten. Hiervoor heb je nodig een 'Discrete SATA to SFF-8087 Mini SAS Reverse breakout cable'.
  Hier moet je opletten, want er is een kabel die hierop lijkt, namelijk van het type 'SFF-8087 to SATA breakout'. Maar deze is alleen geschikt als je vanuit je SASUC8I zou willen splitsen naar 4 losse SATA aansluitingen.

Ik heb mijn spullen gehaald bij Ri-vier. Die heeft ook kabels en heb de juiste maar even opgezocht:

• http://cybershop.ri-vier....-breakout-cable-p-61.html
• http://cybershop.ri-vier....ilane-sas-cable-p-62.html

Tot slot de vragen over hard drive activity & failure:

• de failure lampjes zitten op je backplane en worden via je SAS connector doorgegeven
  (lampjes zijn wel zichtbaar aan voorkant van de kast)
• de kast heeft - net als iedere andere kast - kabeltjes welke op je moederbord kunnen worden aangesloten (je weet wel; die kabeltjes waarbij het altijd de vraag is welke op welke pin moet komen te zitten). Op de kast zitten lampjes voor power / hdd activity / 2x NIC.
  Ik zie de activity van de Intel kaart trouwens niet terug op het lampje maar ik moet zeggen dat ik daar geen tijd in heb gestoken om het op te lossen.

Laatste opmerking: check of je form factor van je moederbord past in de 3116. Anders moet je een losse backplane bestellen (10 euro wederom bij ri-vier).

[Verwijderd]

vargo schreef op vrijdag 27 mei 2011 @ 14:56:
[...]
Ik heb de Norco 3216 icm Intel SASUC8I.

tnx voor je uitgebreide antwoord

het is mij nu duidelijk dat de failure led's, en daar gaat het mij om, gewoon functioneren wanneer de 3216 aangestuurd wordt door SASUC8I via minisas ongeacht welk OS

* uhh.. toch ook als die kaart geflasht is ?
* en is het echt nodig om de (volgens sommigen) luidruchtige fans te vervangen ?

wat ik overigens niet begrijp zijn de prijzen in nederland :

RPC-3216 €393.89 16 hot swap bays met 4 minisas connectors
RPC-4220 €387.94 20 hot swap bays met 5 minisas connectors

direct in de NORCO shop kost de RPC-3216 $338.00

[ Voor 123% gewijzigd door Verwijderd op 27-05-2011 15:47 ]

[FireDrunk]

Het begint hier ook te jeuken om zo'n kast te halen, maar ik vind ze wel echt duur
De 20 bay á 320 euro is leuk en de 24 bay á 370 euro ook, maar _370_ euro voor een kast...

[dutch_warrior]

Volgens mij doet de Norco backplane dus gewoon wat de forward breakout cable normaal doet.
Aangezien je een 'Discrete SATA to SFF-8087 Mini SAS Reverse breakout cable'. nodig hebt om de onboard poorten te gebruiken kan je ervan uitgaan dat het geen expander is want dan zou je met 1 SAS kabel uitkunnen.

The Mini SAS 4i connector is used (SFF-8087) to create so-called SAS wide ports, which typically consist of four SAS connections.
http://www.tomshardware.c...S-PCI-EXPRESS,1665-2.html

Dus mini-sas naar mini-sas staat gewoon gelijk aan 4x sas, alleen is het even de vraag wat nou precies de bandbreedte is 12Gb/s of 24Gb/s half duplex?

[Verwijderd]

FireDrunk schreef op vrijdag 27 mei 2011 @ 15:44:
Het begint hier ook te jeuken om zo'n kast te halen, maar ik vind ze wel echt duur
De 20 bay á 320 euro is leuk en de 24 bay á 370 euro ook, maar _370_ euro voor een kast...

btw BTW

* _{mijn desktop kast was nog iets duurder}

[ Voor 8% gewijzigd door Verwijderd op 27-05-2011 15:53 ]

[FireDrunk]

ohja, nog harder janken dus... Nou ja, ik heb een eigen bedrijf, dus is eventueel aftrekbaar

[KDVken]

Verwijderd schreef op vrijdag 27 mei 2011 @ 15:16:

* en is het echt nodig om de (volgens sommigen) luidruchtige fans te vervangen ?

Neen. Is helemaal niet nodig. Als je tegen het "lawaai" (en verbruik!) kan dan werken ze perfect.

[Verwijderd]

FireDrunk schreef op vrijdag 27 mei 2011 @ 15:55:
ohja, nog harder janken dus... Nou ja, ik heb een eigen bedrijf, dus is eventueel aftrekbaar

tis dat de verzendkosten uit de states ruim 200,- zijn ..

[FireDrunk]

Hmm, het word onderhand leuk om naar de states op reis te gaan... Samsunb Galaxy Tab 10.1 halen, Norco-tje halen... Ff een 1day trip

[dutch_warrior]

Denk dat je wel opvalt op t vliegveld wanneer je een norco als handbagage probeert mee te nemen

[FireDrunk]

Nee joh, tis toch geen bom

[Dadona]

Ook @JTibben:

Verwijderd schreef op vrijdag 27 mei 2011 @ 12:40:
[...]het lijkt erop dat het pci-e x 16 slot momenteel alleen geschikt is voor een videokaart.
er wordt gewerkt aan een nieuwe bios versie.

Even een aanvulling, die bios versie slaat op de ASUS E35M1-m Pro. Daar zou inmiddels een beta bios versie voor uit zijn waarmee ook andere kaarten in het pci-e x16 slot werken. Het is niet dat dit opgaat voor alle Brazos bordjes, laat staan van andere fabrikanten dan Asus.

[Verwijderd]

Dadona schreef op vrijdag 27 mei 2011 @ 16:11:
Ook @JTibben:

[...]
Even een aanvulling, die bios versie slaat op de ASUS E35M1-m Pro. Daar zou inmiddels een beta bios versie voor uit zijn waarmee ook andere kaarten in het pci-e x16 slot werken. Het is niet dat dit opgaat voor alle Brazos bordjes, laat staan van andere fabrikanten dan Asus.

ter aanvulling :

ik heb zelf de ASUS E35M1-m Pro vervangen door een MSI H55M-ED55 waarvan de 2 PCI-e x16 sloten wel werken met raidcontrollers.

_{geheime labfoto's}

[ Voor 8% gewijzigd door Verwijderd op 27-05-2011 16:33 ]

[Dennism]

Ook ik ben op zoek naar een goede NAS configuratie voor 2 doelen:

Nu zie ik echter door de vele bomen ook het bos niet meer.

1. Hij moet mijn te bouwen homelab voor de studie gaan ondersteunen. VMware ESX 4.1 waar minimaal de volgende basis configuratie op komt te draaien voor de studie. Hiervoor zal minimaal 1 aparte ESX host komen.

• AD Server
• SQL Server
• Exchange server
• Vcenter server
• Random VMs (Op dat moment nodig voor studie, denk aan bijv. een terminalserver, een windows 7 werkstation e.d.)

2. Opslag en aanbeiden van mijn media files (Films, Series, Muziek) aan mijn media player (op dit moment een Dune HD Smart D1). Daar ik gek word van de ~100mbit transfer beperking van de Dune naar de ingebouwde HDD, ook veroorzaakt deze veel warmte daar de dune geen actieve koeling heeft.
Streamen van 1080p is een vereiste.

Nu heb ik de volgende basis configuratie in gedachten:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220 Boxed	€ 165,01	€ 165,01
1	Intel RAID Controller SASUC8I	€ 131,-	€ 131,-
1	Kingston ValueRAM KVR1333D3E9SK2/8G	€ 96,53	€ 96,53
1	Supermicro X9SCM-F	€ 182,90	€ 182,90
Bekijk collectie Importeer producten		Totaal	€ 575,44

Deze cpu, mobo en geheugen configuratie lijkt mij afdoende. SAS kaart neem ik mee voor het feit dat het mobo maar 6 schijven ondersteund, en deze kaart vaak aanbevolen wordt. Bij Boot disk, SSD voor cache/Zil en 4 schijven zit je namelijk al snel aan de maximale 6. Mocht de CPU niet afdoende zijn kan er natuurlijk altijd een Xeon E3 1230 overwogen worden, wanneer het geheugen niet afdoende is, is 8 GB extra ook mogelijk.

Een van mijn vragen is wat verstandig is qua installatie. De NAS "baremetal" installeren met bijv. Nexenta of Freenas of de NAS opnemen als ESX host en dan een VSA versie van een NAS Applicatie draaien. Nexenta lijkt mij voor beide keuzen na het doorkijken van de website een goede keuze, of zie ik dit toch verkeerd en zijn er betere opties? Wanneer de keuze valt om de NAS ook ESX host te maken zal er uiteraard gekozen worden voor een E3 1230 of hoger, en 16GB ram.

Ook qua schijven zou ik graag wat advies willen. Wat zou qua schijven een goede configuratie zijn wanneer bovenstaande eisen mee worden genomen. Te denken aan "Green power disks vs 7200 rpm", ik verwacht te kiezen voor minimaal 4x 2TB (of meer wanneer aangeraden voor performance technische redenen).

Nu lijkt het me aan te raden een SSD te gebruiker voor L2arc en Zil, echter mag dit 1 SSD zijn die opgedeeld is in 2 partities, of is het verplicht 2x een losse SSD te gebruiker. Wanneer 1 SSD afdoende is zit ik te denken aan een Vertex 3 max iops, mochten er 2 nodig zijn, wat zijn dan aanraders?

[Verwijderd]

Ik neem aan dat dit om een ZFS build gaat? Dat is namelijk wel handig te vermelden. Ook handig is als je vermeld wat voor RAID level / redundancy je wenst. Je kunt een RAID-Z3 met 4 disks maken en dus 2TB storage, of je kunt zonder redunancy RAID0 draaien met 8TB storage. Het is moeilijk advies geven als je niet weet wat de gebruiker hoopt te bereiken.

Toch wat tipjes:
RAM: pricewatch: ICIDU Value DDR3,1333-8GB KIT
HDD: pricewatch: Samsung EcoGreen F4EG HD204UI, 2TB
SSD: pricewatch: Intel 320 120GB

6x Samsung F4 in RAID-Z2 is een goede allround configuratie met goede bescherming. Op een Solaris platform zoals Nexenta kun je de SSD niet voor zowel SLOG als L2ARC gebruiken. Je kunt ook niet booten van je ZFS pool dus dat wordt dan weer 2 aparte hardeschijven in mirror alleen voor een paar honderd MB om van te booten. Beetje zonde vind ik. Bij BSD platform heb je die beperkingen niet; je kunt rechtstreeks van je pool booten en een SSD voor zowel L2ARC als SLOG gebruiken.

Voor SLOG is een supercapacitor wenselijk zo niet noodzakelijk; een Vertex 3 is dus ongeschikt. Alleen de Vertex 2/3 Pro is geschikt, maar ik zou het bij Intel houden die doet Supercaps op al zijn moderne SSDs.

Maar waar ben nu precies mee bezig? Je wilt open source ZFS gebruiken om zo'n beetje all proprietary pakketten en OS te draaien die er zijn? Is het dan niet beter bij Microsoft te blijven en WHS te draaien? ZFS en ESXi lijkt mij ook geen ideale combinatie. Dus misschien moet je wat afstand nemen en afvragen of dit hele project wel met de juiste intenties en doelen is omgeven, en misschien juist een hele andere richting kiezen.

[analog_]

Ik gok dat hij richting gevirtualiseerde ZFS wilt gaan maar dan heb je toch wel te weinig RAM, zeker als je ook nog AD/Windows server wilt draaien. Windows server vreet al minimum 4G, blijft er 1G voor je ESXi, 1G voor NS en 2G als ramcache en je bent klaar, dus schop dat maar omhoog tot 16G. Cheat #9123: SSD met VMFS, hierop meerdere VMDKs en je kan je SSD voor meerdere doeleinden gebruiken. Verstandig: nee, werken: ja.

[ Voor 27% gewijzigd door analog_ op 28-05-2011 19:27 ]

[Sleepie]

Mijn testmachine op Ubuntu 11.04 draait intussen.
Ik ben nu bezig om (voor alle zekerheid) een backup van mijn data te maken, zodat ik de eigenlijke NAS machine kan gaan ombouwen in de nieuwe kast met wat nieuwe hardware.

Enige probleem, tijdens het kopieren van de data heb ik nu al drie keer een kernel panic voorbij zien komen Betekent dus ook dat daarna er een resync gaat draaien, dus dat kopieren schiet niet op.

Probleem is dat ik uit de melding niet kan opmaken of het aan de (wat oudere) hardware ligt of dat de Ubuntu 11.04 mdadm/samba oplossing gewoon niet stable is. Met mijn OpenFiler machine heb ik dat probleem in ieder geval nooit gehad.

Of zou het misschien een disk met bad sectors kunnen zijn? (Disks zijn gloednieuw overigens).

Hmm, het zou ook nog wel eens aan de RealTek NIC kunnen liggen lees ik nu.
Toch maar eens een paar extra Intel Pro/1000's aanschaffen dan.

edit:

Hoe stop je een mdadm resync?
Wat ik kan vinden is via het checkarray script, maar dat lijkt niet te werken....

[ Voor 15% gewijzigd door Sleepie op 29-05-2011 13:39 ]

[FireDrunk]

http://www.tp-link.com/en...spx?mid=0103030402&id=434
Na mijn vakantie toch deze maar eens kopen denk ik

Heb nog een paar dual port gbit kaartjes liggen, even een extra kabel naar mijn desktop trekken en kijken of ik > 1gbit kan halen over SMB

[Verwijderd]

Denk dat je beter kunt wachten op 10GBaseT producten die goedkoper worden en zelfs LOM (LAN-on-Motherboard). Gigabit trunking werkt vaak met LACP maar dan krijg je maximaal 1 gigabit per link/verbinding. Je hebt het protocol-violating round robin nodig aan beide zijden om > 1 gigabit te krijgen; en dat gaat dus never nooit werken als Windows aan één van die zijden draait.

[Sleepie]

Even wat dingen rechtzetten uit mijn ervaringen tot nu toe

1) /dev/md127 probleem is inderdaad ontstaan door (restanten?) van GPT partition tables op mijn disks. Toen ik deze had verwijderd werd mijn array keurig als /dev/md0 gemount.

2) Kernel panic - not syncing: Fatal exception in interrupt
Hoogstwaarschijnlijk was brak geheugen de boosdoener hier. Ik heb mijn RAM reepjes vervangen door twee andere, daar eerst eens een memtest op laten lopen. Die gaf geen errors en tot nu toe gaat het kopieren ook probleemloos.

3) Netwerk transfers traag:
Als je hierover gaat lezen blijkt dat dit 9 van de 10 keer ligt aan je onboard netwerk kaart. Vooral Realtek kaarten met de 8111/8168 kaarten zijn berucht wat dit betreft (en die krengen zitten op veel mobo's zo te zien. In ieder geval op al mijn Gigabyte mobos).
Voor iedereen die een NAS wil bouwen: Stop er voor 2 tientjes een Intel Pro/1000 in, je zult er geen spijt van krijgen.

[FireDrunk]

Ik dacht dat het met de Intel drivers wel ging onder windows... dan krijg je ook echt een nieuwe adapter met 2Gbit als verbindingssnelheid...

[Verwijderd]

@Sleepie: Realtek haalt bij mij anders 950 megabit+; heb je wel een PCI-express NIC nodig niet eentje die op PCI bus wordt aangesloten; maar dat is alleen op hele oude borden.

@FireDrunk: Windows heeft helemaal geen trunking functionaliteit, en moet in proprietary drivers worden geïmplementeerd, zoals die van Intel. Die ondersteunen alleen LACP en FEC voor zover ik weet; dan heb je maximaal 1 gigabit per connectie. Dus dat kan nog steeds niet wat jij wilt. En over die switch: je hebt geen managed L2 switch nodig een 'smart' switch kan precies wat je wilt met LACP en round robin.

Op Windows is dus niet mogelijk een 2Gbps verbinding te krijgen om een snellere verbinding met je NAS te hebben. Althans dat is hoe ik het heb begrepen; als iemand meer info hierover heeft sta ik er volledig voor open.

[FireDrunk]

Dat is die.. De L2 is nog een tikkie duurder

[Dennism]

Excuses als mijn eerdere post onduidelijk was.

Wat ik graag zou willen is inderdaad een ZFS build die het volgende gaat doen:

1. Datastore aanbieden aan een ESX host via NFS of iSCSI voor een homelab ten behoeve van trainingen en testen van software. Denk hierbij aan microsoft certificering en in de toekomst waarshcijnlijk ook VMware trainingen e.d.

2. Het aanbieden van een NFS share aan mijn Dune HDI Smart D1 zodat de interne HD eruit kan die voor veel warmte zorgt daar de Dune geen actieve koeling heeft. Ook is dataverplaatsen naar de Dune erg traag door de 100mbit connectie die vaak zelfs nog niet optimaal benut wordt. Voor het kijken van media is dit geen probleem, echter bij het verplaatsen van data is dit zeer vervelend.

Virtualisatie van de NAS is zeker geen must enkel wanneer dit de performance ten goede kost. Tevens zal er geen 100% onvervangbare data op de NAS komen en zal van belangrijke data een backup zijn. Raid 0 of een variant daar op lijkt me echter niet wenselijk.

Mijn vraag is dus wat een aan te raden disk setup + raid level is om en voldoende IOPS te hebben voor het homelab en voldoende storage voor de media. 4 tot 6 TB zal voor het starten afdoende zijn, zeker wanneer uitbreiding in de toekomst mogelijk is. Een compleet andere insteek is uiteraard ook mogelijk wanneer dit aangeraden wordt.

Hieronder nog de basis setup uit mijn eerdere post.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220 Boxed	€ 165,01	€ 165,01
1	Intel RAID Controller SASUC8I	€ 131,-	€ 131,-
1	Kingston ValueRAM KVR1333D3E9SK2/8G	€ 96,53	€ 96,53
1	Supermicro X9SCM-F	€ 182,90	€ 182,90
Bekijk collectie Importeer producten		Totaal	€ 575,44

[FireDrunk]

Waarom een raid controller op een bord wat al 6 sata poorten heeft?

[Dennism]

FireDrunk schreef op zondag 29 mei 2011 @ 22:35:
Waarom een raid controller op een bord wat al 6 sata poorten heeft?

Zoals uitgelegd in mijn eerdere post staat de controller erbij mocht deze nodig zijn wanneer de 6 onboard sata niet afdoende zijn voor een correcte setup.

[FireDrunk]

6 * 2TB maakt 10TB bruto... RAIDZ maakt 8TB RAIDZ2 6TB... Dat is meer dan je voor ogen had/hebt...
Ik zou die controller pas aanschaffen als de rest vol is

[ Voor 23% gewijzigd door FireDrunk op 29-05-2011 22:39 ]

[Verwijderd]

FireDrunk schreef op zondag 29 mei 2011 @ 22:39:
6 * 2TB maakt 10TB bruto... RAIDZ maakt 8TB RAIDZ2 6TB... Dat is meer dan je voor ogen had/hebt...
Ik zou die controller pas aanschaffen als de rest vol is

volgens mij 12 TB bruto RAIDZ 10TB en RAIDZ2 8 TB

[FireDrunk]

*kuch* het is al laat

[dutch_warrior]

Ik zou een datastore voor vm's appart houden van de media. Bijvoorbeeld media & data op een raidz pool met 5400rpm schijven en de daadwerkelijke vm's op snellere schijven in een mirror of mirror+stripe (raid 1+0) configuratie. De disken uit de media pool kunnen dan gewoon een spindown doen wanneer je ze niet aanspreekt. Een bijkomend voordeel zou zijn dat je iso's en dergelijke op de media pool kan zetten waardoor een installatie of kopieer actie van en naar de media pool niet direct de vm's in de weg zit.

Wanneer je twee aparte pools hebt moet je eigenlijk wel werken met een dedicated storage lan, trunking hoeft niet perse als alleen de datastore de verbinding gebruikt. Voor een datastore is het ook belangrijk om disken te hebben met een zo laag mogelijke access-time, afhankelijk van het budget zou je zelfs SSD of SAS disken kunnen overwegen. Twee SSD's in mirror configuratie biedt enige fault tolerance en toch voldoende performance als nadeel heb je dan wel weinig opslag ruimte voor daadwerklijke vm's.
Een pool met 4 snelle sata schijven en een SSD voor L2ARC en ZIL zou dan ook goed kunnen presteren.

Bovenstaande is mijn visie, dit is gebaseerd op mijn hobby ervaringen met Hyper-V en iscsi datastores.
Wellicht dat het voor ZFS compleet anders ligt echter lees ik in de Sun ZFS best practices guide dat mirror beter werkt met kleine random I/O acties.

[chronoz]

FireDrunk schreef op zondag 29 mei 2011 @ 22:39:
6 * 2TB maakt 10TB bruto... RAIDZ maakt 8TB RAIDZ2 6TB... Dat is meer dan je voor ogen had/hebt...
Ik zou die controller pas aanschaffen als de rest vol is

Ik had raid-z gemaakt van 4x15GB en kwam maar uit op 33GB... via raid-z2 kwam ik uit op 25GB.

[Verwijderd]

@dutch_warrior: je hoeft VMs die random I/O nodig hebben niet persé op een andere pool te huisvesten, mits je een SSD voor L2ARC kunt inzetten en liefst ook SLOG zodat je random I/O kunt opvangen en de HDDs alleen sequential I/O laten doen. Je kunt per dataset aangeven of de L2ARC gevolgd moet worden. SSDs in mirror vind ik niet snel een goede opstelling, vooral als ze geen supercaps hebben biedt dat schijnveiligheid; corruptie is nog steeds mogelijk bij een stroomstoring ook beide tegelijk. Bovendien zijn SSDs al striped dus een RAID0 lijkt me logischer en een backup van de SSD op de HDD-pool, bijvoorbeeld.

Zelf heb ik mijn VMs wel op een aparte SSD pool staan, maar dat had ik evengoed anders kunnen doen. ZFS is erg flexibel en het mixen van SSDs met HDDs is juist een van de kernfeatures en voordelen boven andere systemen.

@chronoz: dan heb je toch wat fout gedaan.

[Verwijderd]

chronoz schreef op maandag 30 mei 2011 @ 16:55:
[...]
Ik had raid-z gemaakt van 4x15GB en kwam maar uit op 33GB... via raid-z2 kwam ik uit op 25GB.

GiB of GB daar ligt waarschijnlijk het verschil

[Verwijderd]

45GB -> 33GiB lijkt me niet. Dan kom ik uit op 41,9GiB.

[dutch_warrior]

Verwijderd schreef op maandag 30 mei 2011 @ 20:24:
@dutch_warrior: je hoeft VMs die random I/O nodig hebben niet persé op een andere pool te huisvesten, mits je een SSD voor L2ARC kunt inzetten en liefst ook SLOG zodat je random I/O kunt opvangen en de HDDs alleen sequential I/O laten doen.

Tja, ik heb betere ervaringen met dedicated storage voor vm's maar het ligt natuurlijk ook aan je eisen.
Dennism geeft aan dat de data niet van essentieel belang is dus ik heb het ook niet bekeken met betroubaarheid als belangrijkste aandachtspunt. Maar twee intel 320SSD's zouden wel supergoede prestaties bieden voor VM's en deze hebben gewoon supercaps.

Een mirror zou als voordeel hebben dat er van beide schijven tegelijkertijd kan worden gelezen, maar het ligt ook aan het type vm en de netwerkverbinding natuurlijk.

[ Voor 10% gewijzigd door dutch_warrior op 30-05-2011 23:04 ]

[Dennism]

Bedankt voor de input , ik ga de alternatieven eens langs elkaar leggen en kijken wat financieel haalbaar is van de alternatieven.

[Verwijderd]

ZFS doet mirroring bijna even goed qua RAID0; maar RAID0 is natuurlijk nóg beter qua performance met name de writes, bovendien heb je meer storage en ook niet onbelangrijk: je max write cycles / levensduur is verdubbeld ten opzichte van een mirror; je SSDs slijten er dus minder snel van. Met name belangrijk als je veel writes hebt of gewoon erg lang met je SSDs wilt doen. Mijn Intels kunnen denk ik wel 20 jaar mee.

Maar als je gewoon HDD pool je VM images op zet en die dataset de L2ARC laat gebruiken, zouden alle random reads uiteindelijk vanaf de SSD geserveerd worden. Dat maakt het makkelijker om de ruimte op SSDs effectief te gebruiken. Als je gaat splitsen primary storage + L2ARC + SLOG dan moet je vooraf weer een keuze maken in de verdeling van de ruimte; Met alleen L2ARC +SLOG is dat veel makkelijker dan cache je dynamisch de dataset waarvan je random read versnelling wilt. Wel is het zo dat een SSD primary storage minder RAM slurpt dan L2ARC.

[Verwijderd]

nieuwe 8 poorts SAS/SATA PCIe x8 kaart ..(kan er verder nog niets over vinden)

[Jormungandr]

Bitter weinig info over die kaart . De prijs suggereert wel dat het iets degelijk is tho.

[Verwijderd]

De heatsink erop betekent dat je hem gelijk kan afschrijven. LSI 6Gbps adapters met 2x Mini-SAS hebben geen heatsink met fan nodig. De prijs is ook zeer onaantrekkelijk; dus dit product is duidelijk iets wat je niet moet kopen.

[Nielson]

Ik had eigenlijk wel gehoopt dat bv Silicon Image nog wel wat goedkope leuke controllers op de markt zou gooien, bv een simpele 4x s-ata 3.0Gbps controller op pci-e 4x oid. In combinatie met de huidige 4-6 onboard s-ata connectors kom je dan al een aardig eind.

[Verwijderd]

Silicon Image zou een 6Gbps SATA -> PCI-express 2.0 controller moeten maken; maar daar heb ik nog niets van gezien. Wel jammer want dit ligt toch wel op het pad van Silicon Image. Dan kunnen ze samen met hun port multiplier techniek ook een leuke HBA maken die enorm veel disks kan aansturen.

Met 6Gbps SATA kun je aardig wat conventionele disks mee aansluiten zonder gelijk de bandbreedte te verkrachten. Bijvoorbeeld 4 HDDs op één 6Gbps kanaal. Met 4 kanalen zit je dan aan 16 disks. Dus een goedkope 16-disk SATA controller zou dan een mogelijkheid worden, 5 euro kostprijs 100 euro verkoopprijs, zoiets.

[Verwijderd]

* opgelost : brakke connector op mobo

[ Voor 86% gewijzigd door Verwijderd op 31-05-2011 17:53 ]

[Nielson]

Kwam deze fabrikant nog tegen, die heeft wel een aantal creatieve manieren gevonden om om het ontbreken van die heel goedkope controllers heen te werken:


Ik dacht eerst dat het een JMicron JMB363 (2x SATA2 +1xPATA <--> PCI-e 1x) was met twee SATA 1 <--> 2 port multipliers (JMB360?), maar het lijkt er echter op dat twee SATA(2) poorten rechtstreeks van de 363 komen en de andere twee SATA(1) via twee P-ATA <--> SATA converters (JMH330?) aan de PATA poort van de 363 hangen.


Silicon Image 3124 4x SATA2 <--> PCI-X met daaraan weer een PCI-X <--> PCI-e 1x bridge chip.


JMicron JMB363 (2xSATA2 + 1x PATA <--> PCI-e 1x) met daarachter een JMB393 5-ports RAID5 Port Multiplier.

Allemaal 'net niet' kaartjes dus. Zag wel dat de Marvell 4 poort s-ata/sas PCI-e kaartjes ook niet duur meer zijn op ebay, heb bij Marvell alleen niet zo'n goed gevoel over de drivers.

Kwam tevens deze tegen, 4x SATA/SAS LSI SAS3041E-R PCI-e 4x voor $30,- Hoewel de bracket ontbreekt lijkt het me nog erg goedkoop (afgezien van de verzendkosten). Volgens deze site wel goede bsd/linux/solaris ondersteuning.

[Verwijderd]

en ik kwam deze nog tegen :



IBM - Storage controller - SATA-300 / SAS - RAID 0, 1, 1E - PCI Express x1


deze is ook wel goedkoop

[ Voor 16% gewijzigd door Verwijderd op 31-05-2011 23:59 ]

[tbusquet]

Nielson schreef op dinsdag 31 mei 2011 @ 14:39:


Kwam tevens deze tegen, 4x SATA/SAS LSI SAS3041E-R PCI-e 4x voor $30,- Hoewel de bracket ontbreekt lijkt het me nog erg goedkoop (afgezien van de verzendkosten). Volgens deze site wel goede bsd/linux/solaris ondersteuning.

Alle LSI's die wat ouder zijn worden goed ondersteunt door BSD. Maar als je dan toch goedkoop meer poorten wil zou ik eerder naar een LSI 3081E-R zoeken. Kosten nieuw zo'n 120 euro heb je gelijk 8x sata.

http://www.lsi.com/storag...nal/sas3081e-r/index.html

Moet 2de hands wel te vinden zijn.

[Verwijderd]

Verwijderd schreef op zaterdag 21 mei 2011 @ 01:21:
@backlash: PCIe SATA kaart op basis van Marvell kun je beter niet kopen. Koop dan een modern AMD bord waar je 'gratis' 6x SATA/600 native krijgt ipv een Marvell via PCIe 2.0 x1 laat lopen. Bovendien heb je dan geen gezeik met drivers.

Een Intel SASUC8i erbij en misschien 10 schijven ipv 7, dan kun je in een optimale configuratie RAID-Z2 draaien. 7 disks is namelijk geen optimale configuratie voor 4K sector disks zoals de Samsung F4.

Is er een storage controller voor 2 sata welke wel aan te raden is? Ik wil 6 2TB met een aparte bootdisk.

[tbusquet]

Verwijderd schreef op dinsdag 31 mei 2011 @ 17:23:
[...]


Is er een storage controller voor 2 sata welke wel aan te raden is? Ik wil 6 2TB met een aparte bootdisk.

De Intel SASUC8i dus.. goede kaart, niet al te duur, goede support.

[brid]

koop in ieder geval geen asrock sata3 kaartje, heb er hier 2 gehad en beide waren defect.

De intel kaart + kabels is wel 10x zo duur maar werkt een stuk beter.

[Verwijderd]

tbusquet schreef op dinsdag 31 mei 2011 @ 17:38:
[...]

De Intel SASUC8i dus.. goede kaart, niet al te duur, goede support.

Ok, er dus dus geen enkele goedkopere? Is het trouwens slim cross controller een raidz2 pool aan te maken?

[ Voor 13% gewijzigd door Verwijderd op 31-05-2011 17:49 ]