Het grote DIY RAID NAS topic deel 3

[Sannieboy]

Het schijnt dat software RAID onder windows niet goed werkt. (zie oa beginpost)
Maar dat kan ik zelf ook niet bewijzen,want ik heb mijn systeempje nog niet.
Wat ik mijzelf wel afvraag of de RAID 10 prestaties in windows ook slecht zijn, kan het uberhaupt wel in software RAID?

[FireDrunk]

In ieder geval RAID 0,1,5,en 10 zijn mogelijk in Windows. RAID 6 weet ik niet zeker.

Maar de software RAID in Windows is NIET te zien in Linux hoor?

[Verwijderd]

Windows onboard RAID kun je gewoon in Linux gebruiken; pseudoRAID wordt dat ook wel genoemd. De metadata van jouw RAID-fabrikant moet wel supported zijn, maar bijna alle onboard formaten worden ondersteund.

Andersom kan weer niet; je kunt in Windows niet een software RAID van Linux/BSD aanspreken, in elk geval niet zonder third party (raid recovery) tools. En ZFS onder Windows kun je al helemaal vergeten; virtualbox is dan nog een betere oplossing.

Maar de kwaliteit van RAID drivers wordt nauwelijks over gepraat, en die kwaliteit is droevig op het Windows-platform; met name de RAID5 implementatie is gevaarlijk. Zo'n RAID5 array zou je onveiliger moeten beschouwen als een enkele schijf zonder RAID. Voor een NAS is Windows dus geen logische keuze, aangezien onder Linux/BSD je veel betere software kunt gebruiken en een veel veiliger en stabieler platform overhoudt. Bovendien heb je geen TLER-capable disks nodig maar gewoon goedkope F4 of EARS is prima.

[Sannieboy]

FireDrunk schreef op maandag 22 november 2010 @ 15:07:
In ieder geval RAID 0,1,5,en 10 zijn mogelijk in Windows. RAID 6 weet ik niet zeker.

Maar de software RAID in Windows is NIET te zien in Linux hoor?

Lees een paar post terug, ik had ergens een linkje geplaatst. Gewone software raid gaat niet, maar wel als je een onboard Raid controller hebt (fake RAID).

[Sannieboy]

Maar hoe zit het nou met dualboot windows/linux. Linux met Sofware Raid 10 en windows zonder Raid?
Heeft iemand hier ervaringen mee? Ik heb maar 1 schijf nodig om spellen te plaatsen (250 GB is bijv. zat).

[FireDrunk]

Die disks zie je gewoon, alleen snapt windows het filesystem niet...

[Sannieboy]

FireDrunk schreef op maandag 22 november 2010 @ 15:25:
Die disks zie je gewoon, alleen snapt windows het filesystem niet...

Maar je kunt wel gewoon opslaan op de disks? Of wordt er dan gevraagd om te formateren?

[FireDrunk]

Hij vraagt om ze te formatteren. Wat je dus niet moet doen

[Sannieboy]

Ok, duidelijk dit is dus ook een optie. Niet ideaal, maar je hebt iig geen fake Raid nodig.

[FireDrunk]

Sannieboy schreef op maandag 22 november 2010 @ 15:42:
Ok, duidelijk dit is dus ook een optie. Niet ideaal, maar je hebt iig geen fake Raid nodig.

Even voor de duidelijkheid, als het je alleen om gamen gaat, dan HOEF je toch ook niet bij de data uit je linux OS?

[Sannieboy]

FireDrunk schreef op maandag 22 november 2010 @ 15:46:
[...]


Even voor de duidelijkheid, als het je alleen om gamen gaat, dan HOEF je toch ook niet bij de data uit je linux OS?

KLOPT
Maar het gaat mij meer om de NAS mogellijkheden, gamen is eerder een gimmick. Gamen waarschijnlijk om de zoveel weken, dus niet dagelijks.
Trouwens dan moet ik nog een videokaart erbij zetten ook, maar mij gaat het ook om de mogelijkheid, ik wil niet beperkt worden

[FireDrunk]

Kan je niet beter gewoon 2 pc's maken? 1 Gamebak en 1 NAS? Dan heb je dit hele ge-eikel niet

[Sannieboy]

FireDrunk schreef op maandag 22 november 2010 @ 15:53:
Kan je niet beter gewoon 2 pc's maken? 1 Gamebak en 1 NAS? Dan heb je dit hele ge-eikel niet

Dit ge-eikel kost minder geld en ziet er nog goed uit ook!

[Verwijderd]

Mja eerlijk gezegd is het wel vragen om problemen. In theorie kan het, misschien lukt het in de praktijk ook nog wel, maar zodra er iets fout gaat gaat het bij dit soort dingen vaak erg hard fout. En het idee van een NAS is over het algemeen o.a. om e.e.a. veilig op te slaan. Deze combinatie levert m.i. te veel risico's op.

Het is ongetwijfeld goedkoper, maar goedkoop kan duurkoop worden. Kwaliteit en zekerheid kosten geld. Het is maar net hoeveel het je waard is.

[Sannieboy]

Verwijderd schreef op maandag 22 november 2010 @ 16:24:
Mja eerlijk gezegd is het wel vragen om problemen. In theorie kan het, misschien lukt het in de praktijk ook nog wel, maar zodra er iets fout gaat gaat het bij dit soort dingen vaak erg hard fout. En het idee van een NAS is over het algemeen o.a. om e.e.a. veilig op te slaan. Deze combinatie levert m.i. te veel risico's op.

Het is ongetwijfeld goedkoper, maar goedkoop kan duurkoop worden. Kwaliteit en zekerheid kosten geld. Het is maar net hoeveel het je waard is.

Ik wil mijn server/NAS meer als downloadbak gebruiken en op zijn tijd de files back-uppen naar mijn desktop waar een 2TB schijf zit. Veiliger kan volgens mij niet. Het 'veiligste' lijkt mij om juist 1 schijf als back-up te gebruiken die je na zoveel tijd inwisselt voor een nieuwe. De back-up schijf berg ik dan lekker op in een doos (en nee ik bedoel niet in mijn vriendin )

[Jormungandr]

"Veilig" natuurlijk. De veiligste manier is mijn inziens al je data op een designated machine zetten die over RAID beschikt tegen schijfuitval, en waar een backup device aan hangt (Denk aan 1 of meerdere externe schijven).

Aan onze synology hangt ook een externe schijf die 2x per week de homedirs backupt. Daarnaast backup ik zelf mijn muziek op een extra 2.5" schijf. (Films mogen kwijt, maar als mijn muziekcollectie ooit eens zou verdwijnen spring ik wel ff door het raam )

Data bewaren op een systeem waar andere dingen op gebeuren is altijd riskant. Als je data gewoon op een NAS staat draait daar (meestal) enkel fileserving en evt downloading op. Geen musicplayer, movieplayer, browser, game, office pakket, ... . Hoe minder hoe beter.

[FireDrunk]

Jormungandr schreef op maandag 22 november 2010 @ 18:24:
"Veilig" natuurlijk. De veiligste manier is mijn inziens al je data op een designated machine zetten die over RAID beschikt tegen schijfuitval, en waar een backup device aan hangt (Denk aan 1 of meerdere externe schijven).

Aan onze synology hangt ook een externe schijf die 2x per week de homedirs backupt. Daarnaast backup ik zelf mijn muziek op een extra 2.5" schijf. (Films mogen kwijt, maar als mijn muziekcollectie ooit eens zou verdwijnen spring ik wel ff door het raam )

Data bewaren op een systeem waar andere dingen op gebeuren is altijd riskant. Als je data gewoon op een NAS staat draait daar (meestal) enkel fileserving en evt downloading op. Geen musicplayer, movieplayer, browser, game, office pakket, ... . Hoe minder hoe beter.

En belangrijk, *veel* minder kans op virussen...

[DJ-NaRRa]

Verwijderd schreef op maandag 22 november 2010 @ 14:37:
[...]

Dus dat zou dan worden SuperMicro AOC-USAS-L8i of de Intel SASUC8i. Eerstgenoemde heeft een afwijkend bracket, laatstgenoemde heeft nog een firmware flash naar IT-firmware nodig.

Een betere chip dan de LSI 1068E heb ik niet gevonden; dit is de controller chip met de minste problemen. Met name die marvell chips zijn eigenlijk nauwelijks bruikbaar als controller; elke minuut wel timeouts. Dat zal best een driverprobleem kunnen zijn, maar ook onder Linux hoor ik mensen klagen over de Marvell-chip in AOC-SASLP-MV8.

Ik heb ook gekeken naar die AOC-USAS-L8i als sata / sas controller in mijn bak. echter ik kwam ook heel veel tegen over die chipset 1068e (iig binnen debian). Naast dat deze kaart ook nog maar op weinig plekken verkocht werd is dat wel een reden geweest waarom ik die L8i niet gekocht heb.

Gelukkig dat ie bij anderen wel stabiel draait, ik wilde het risico iig niet nemen.

Sannieboy schreef op maandag 22 november 2010 @ 16:49:
[...]
Ik wil mijn server/NAS meer als downloadbak gebruiken en op zijn tijd de files back-uppen naar mijn desktop waar een 2TB schijf zit. Veiliger kan volgens mij niet. Het 'veiligste' lijkt mij om juist 1 schijf als back-up te gebruiken die je na zoveel tijd inwisselt voor een nieuwe. De back-up schijf berg ik dan lekker op in een doos (en nee ik bedoel niet in mijn vriendin )

Kortom je geeft hier al antwoord op je eigen vraag. Je wilt een NAS die je ook kunt uitschakelen mocht je een keer willen gamen. Dat is prima te realiseren, alleen moet je dus niet willen dat je je raid kunt benaderen in Windows.

[Verwijderd]

Geen enkele HBA werkt perfect, dus als je iets perfects wilt dan koop je beter helemaal niks. De enige chip die in de buurt van 'perfect' komt is de LSI 1068E. Onder alle OS zou deze chip goed moeten werken, mits je smartd uitschakelt en onder Solaris/Linux zou je wellicht de MSI interrupts uit moeten schakelen. Dan heb je wel een retestabiele controller. Ik gebruik deze controller nu al meer dan een jaar en ben er extreem tevreden mee. Waar Areca mijn ietwat oudere disks continu uit de array trapte, laat LSI de schijfjes rustig draaien en niet gelijk een doodstraf als een schijf een timeout heeft (bad sector), dat komt nog weleens voor bij met name oudere disks.

Je alternatief is die Marvell chip, en daar is heel wat meer mis mee. Onder BSD eigenlijk sowieso niet bruikbaar. Onder Linux zou hij nog redelijk werken, maar ook dan heb je timeouts en ander gedonder zonder dat je er wat tegen kunt doen. Geen truucje voor, voor zover ik weet. Dus ik zou zeker een USAS-L8i aanbevelen boven een AOC-SASLP-MV8 met Marvell controller.

[Q]

Met sas expander kun je er zelfs tot 16 disks aan hangen, maar hoe duur zo'n expander is weet ik niet. De goetkoopste 16 poort kaart die ik ken is de highpoint 2340 maar die doet al bijna 480 euro. Dus als je daar onder kunt blijven koel.

[NoepZor]

ZIjn er al leuke moederbordjes welke zuinig zijn en 8 s-ata poorten met RAID5 ondersteunen? Ik heb momenteel een Intel DG45ID moederbord met 5 interne poorten en 1 externe poort. In dit systeem zit een raid5 array van 4x 1,5TB en een 160GB laptop hdd voor het OS. Eerst dacht ik er wel even mee vooruit te kunnen, maar de lege space daalt zo langzaam richting de 600GB. Dit betekent waarschijnlijk dat ie nog maximaal een half jaar tot een jaar mee kan

[Black_Adder]

Verwijderd schreef op dinsdag 23 november 2010 @ 10:10:
Geen enkele HBA werkt perfect, dus als je iets perfects wilt dan koop je beter helemaal niks. De enige chip die in de buurt van 'perfect' komt is de LSI 1068E. Onder alle OS zou deze chip goed moeten werken, mits je smartd uitschakelt en onder Solaris/Linux zou je wellicht de MSI interrupts uit moeten schakelen. Dan heb je wel een retestabiele controller. Ik gebruik deze controller nu al meer dan een jaar en ben er extreem tevreden mee. Waar Areca mijn ietwat oudere disks continu uit de array trapte, laat LSI de schijfjes rustig draaien en niet gelijk een doodstraf als een schijf een timeout heeft (bad sector), dat komt nog weleens voor bij met name oudere disks.

Je alternatief is die Marvell chip, en daar is heel wat meer mis mee. Onder BSD eigenlijk sowieso niet bruikbaar. Onder Linux zou hij nog redelijk werken, maar ook dan heb je timeouts en ander gedonder zonder dat je er wat tegen kunt doen. Geen truucje voor, voor zover ik weet. Dus ik zou zeker een USAS-L8i aanbevelen boven een AOC-SASLP-MV8 met Marvell controller.

De Supermicro AOC-SASLP-MV8 (Marvell chip) moet je echt niet willen gebruiken. Dat ding werkt echt voor geen meter. Single disk werkt het nog wel aardig, maar zodra je MDADM of een andere vorm van soft-raid gebruikt is het echt huilen met de pet op. Met een normale kernel vallen om de haverklap random disks uit de array. Met een experimentele kernel is het iets beter (vanaf 2.6.36), maar hapert de raidarray random en hangt deze voor tenminste 30 seconden.
De array blijft intact, maar videomateriaal of zelfs mp3's streamen van de array is echt niet mogelijk. Queue je 10 of meer torrents en heb je een leuke verbinding dan slaat heel de array op hol en zit je elke minuut minimaal 30seconden vast. Ik raad de controller dan ook ten sterkste af!

Ik heb de SM-controller inmiddels vervangen door de pricewatch: Intel RAID Controller SASUC8I . Hier heb ik de LSI IT firmware op geflashed zodat de disks 1:1 aan het os aangeboden worden. Deze werkt echt perfect, geen haperingen, geen droppende disks. Ben dan tot nu toe (2 maanden) echt super tevreden over de intel controller.

[DJ-NaRRa]

NoepZor schreef op woensdag 24 november 2010 @ 07:59:
ZIjn er al leuke moederbordjes welke zuinig zijn en 8 s-ata poorten met RAID5 ondersteunen? Ik heb momenteel een Intel DG45ID moederbord met 5 interne poorten en 1 externe poort. In dit systeem zit een raid5 array van 4x 1,5TB en een 160GB laptop hdd voor het OS. Eerst dacht ik er wel even mee vooruit te kunnen, maar de lege space daalt zo langzaam richting de 600GB. Dit betekent waarschijnlijk dat ie nog maximaal een half jaar tot een jaar mee kan

Het enige bordje met 8 onboard poorten(video onboard) wat ik ben tegengekomen tijdens mijn zoektocht is de Gigabyte GA-890GPA-UD3H. Dit is wel een AM3 bordje. met een korte zoektocht zijn dit iig alle bordjes met 8 sata poorten. onboard raid kun je daar niet op selecteren.

Black_Adder schreef op woensdag 24 november 2010 @ 08:27:

Ik heb de SM-controller inmiddels vervangen door de pricewatch: Intel RAID Controller SASUC8I . Hier heb ik de LSI IT firmware op geflashed zodat de disks 1:1 aan het os aangeboden worden. Deze werkt echt perfect, geen haperingen, geen droppende disks. Ben dan tot nu toe (2 maanden) echt super tevreden over de intel controller.

Ik zal die controller even in de gaten houden mocht ik in de toekomst meer disks willen..

[ Voor 23% gewijzigd door DJ-NaRRa op 24-11-2010 10:07 ]

[lampie1979]

Black_Adder schreef op woensdag 24 november 2010 @ 08:27:
[...]
Ik heb de SM-controller inmiddels vervangen door de pricewatch: Intel RAID Controller SASUC8I . Hier heb ik de LSI IT firmware op geflashed zodat de disks 1:1 aan het os aangeboden worden. Deze werkt echt perfect, geen haperingen, geen droppende disks. Ben dan tot nu toe (2 maanden) echt super tevreden over de intel controller.

Is idd een rebranded LSI SAS3081E-R.

[FireDrunk]

3 van die kaarten zou een leuke Software Array maken

[Oblivion11]

Hallo,

Naar aanleiding van de recentste best buy guide ben ik aan't overwegen om mijn huidige NAS te vervangen door een zelf samengestelde NAS.

De voornaamste taken van deze NAS zijn:

• backups
• mediasharing
• usenent/torrent downloads (inclu. par/unrar)
• fileserver

Momenteel heb ik een 'kant-en-klare' NAS van Synology (DS210j) en over het algemeen ben ik hier wel tevreden over, zeker wat betreft functionaliteit en verbruik. Ik ben nu echter op zoek naar een oplossing die wat meer ruimte biedt voor interne hdd's (en hotswap bays). Daarnaast zou ik ook een wat krachtiger systeem willen. Qua streaming/filesharing is de performance van de synology zeker ok voor mij, echter wanneer ik hem tegen volle snelheid laat downloaden (30Mbit) heeft hij er toch moeite mee. En het parren/unrarren gaat mij helemaal te traag: +30min voor een 7GB download uit te pakken, enkele uren om te repareren indien ie erg beschadigd is.

Dus samengevat de punten die voor mij belangrijk zijn:

• ondersteuning voor voldoende hdd's / met 1 of 2 hot-swappable bays
• verbruik, aangezien deze 24/24 7/7 zal aanstaan
• ondanks dat ik het verbruik zoveel mogelijk wil beperken, wil ik toch voldoende performance hebben om vlot via usenet te kunnen downloaden (inclu. par/unrar)

De NAS zal meerdere hdd's bevatten maar ga ik deze niet in een RAID config steken denk ik. Ik vind het een beetje overbodig aangezien ik 's nachts automatisch de kritieke data kopieer naar een andere machine of externe schijf. Naast deze "data-schijven" ga ik er ook een zuinigere laptopschijf insteken voor het OS en de tijdelijke data (actieve downloads, enz.).

Oorspronkelijk had ik een Atom systeempje in gedachten gelijkaardig aan diegene voorgesteld in de best buy guide. Maar ik vraag me af of deze wel krachtig genoeg zal zijn om (worst case) gelijktijdig de volgende taken te doen:

• streamen HD media
• downloaden tegen 30Mbit
• parren / unrarren van downloads
• verwerken van backup data

Ik zou ook voor een krachtiger systeem kunnen gaan, bv op basis van een i3 540, maar deze gaat dan misschien weer te veel van het goede zijn (met een te hoog verbruik als gevolg).

Enig advies is zeer welkom

[mphilipp]

Oblivion11 schreef op woensdag 24 november 2010 @ 14:49:
Oorspronkelijk had ik een Atom systeempje in gedachten gelijkaardig aan diegene voorgesteld in de best buy guide. Maar ik vraag me af of deze wel krachtig genoeg zal zijn om (worst case) gelijktijdig de volgende taken te doen:

• streamen HD media
• downloaden tegen 30Mbit
• parren / unrarren van downloads
• verwerken van backup data

Dat kan een Atom allemaal niet tegelijk. Dan moet je idd aan een multicore gaan denken. Ik heb zelf gekozen voor een Athlon X4 omdat ie niet zo gek veel duurder was dan een Intel dualcore en 4 cores geven een betere multitasking performance.

[Verwijderd]

mphilipp schreef op woensdag 24 november 2010 @ 15:47:
[...]

Dat kan een Atom allemaal niet tegelijk. Dan moet je idd aan een multicore gaan denken. Ik heb zelf gekozen voor een Athlon X4 omdat ie niet zo gek veel duurder was dan een Intel dualcore en 4 cores geven een betere multitasking performance.

Je weet dat een Atom D330/D510/D525 multicore is?

[mphilipp]

Verwijderd schreef op woensdag 24 november 2010 @ 15:51:
[...]
Je weet dat een Atom D330/D510/D525 multicore is?

Ja, ik bedoel een krachtigere multicore. My bad.

[Oblivion11]

Hmm, ok een (krachtigere) multicore dus.

Zou het in mijn geval de meerprijs waard zijn om voor een intel setup te gaan (bv i3 530/540)? Of zou een goedkopere amd setup voldoende zijn (bv athlon II x2 250e/240e)?

Is er eigenlijk in de praktijk een merkbaar verschil qua verbruik tussen beiden? Meer specifiek heb ik de volgende systemen in gedachten:

INTEL

• intel core i3 540
• gigabyte GA-H55M-UD2H
• kingston valueram KVR1066D3N7/2G
• be quiet! L7 300W

AMD

• athlon II X2 250e
• asus M4A78LT-M
• kingston valueram KVR1066D3N7/2G
• be quiet! L7 300W

De overige onderdelen heb ik al btw.

De 2 configs schelen ongeveer 60 euro.

[FireDrunk]

Het zal mekaar niet ver ontlopen qua verbruik, maar de i3-540 rent rondjes om de 250e heen als het gaat om performance... Maar die is dan ook 30 euro duurder...

[Jormungandr]

Beide zijn wel krachtig genoeg voor hetgeen je wilt, dus het zal afhangen van prijs en verbruik. De AMD e's zijn al vrij zuinig, en met wat undervolten zeer laag te krijgen. Met de I3 heb ik geen ervaring.

[Jormungandr]

Q schreef op dinsdag 23 november 2010 @ 23:00:
Met sas expander kun je er zelfs tot 16 disks aan hangen, maar hoe duur zo'n expander is weet ik niet. De goetkoopste 16 poort kaart die ik ken is de highpoint 2340 maar die doet al bijna 480 euro. Dus als je daar onder kunt blijven koel.

De oplossing, HP SAS expander:
http://hardforum.com/showthread.php?t=1484614

[Q]

Jormungandr schreef op woensdag 24 november 2010 @ 21:16:
[...]

De oplossing, HP SAS expander:
http://hardforum.com/showthread.php?t=1484614

YES

YES

Dat is precies wat ik zoek. Ding kost 350 tot 400 euro, plus nog een reguliere RAID controller of: moederboard....

Dit lijkt mij een goede basis voor als ik ooit nog een opvolger bouw.

Dromen

Dromen.

- Norco 4224
- Goedkope SAS controller met support voor expander
- HP SAS controller
- 24x 3TB disks in 1 grote RAID 6? Eentje als hot-spare?

Eventueel de oude 4020 als een DAS aansluiten met een extra expander?
Tot 1 grote array van 44 disks?

[ Voor 25% gewijzigd door Q op 24-11-2010 21:45 ]

[DJ-NaRRa]

Jormungandr schreef op woensdag 24 november 2010 @ 21:16:
[...]

De oplossing, HP SAS expander:
http://hardforum.com/showthread.php?t=1484614

*kwijl*

Oscar is nu up en running btw. ik wil nog een keer testen met Squeeze ipv Lenny voordat ik er echt live mee ga met mijn eigen data.

Q: ik wil dat benchmark scriptje een keertje gaan draaien om tot een keuze te komen welk FS de beste performance doet en met welke blocksize. Ben je geinteresseerd in de resultaten? if so laat maar weten dan post ik het hier of ik mail het eventjes naar je.

[Q]

Laat maar zien in het topic, is informatief denk ik. Ben benieuwd. 8x 2 TB was het toch? Dat moet toch leuke doorvoersnelheden geven. Geef dan ook even de specs mee van de array, (raid 5/6).

Btw, ziet er trouwens netjes uit in die kast, mooi strak.

[ Voor 61% gewijzigd door Q op 24-11-2010 23:09 ]

[DJ-NaRRa]

Q schreef op woensdag 24 november 2010 @ 23:00:
Laat maar zien in het topic, is informatief denk ik. Ben benieuwd. 8x 2 TB was het toch? Dat moet toch leuke doorvoersnelheden geven. Geef dan ook even de specs mee van de array, (raid 5/6).

Btw, ziet er trouwens netjes uit in die kast, mooi strak.

ja 8 x 2tb nu in raid 6. Ik heb nu de kabels ook nog eens achter de backplate van het mobo weg kunnen werken dus de airflow is nagenoeg optimaal nu. --> plaatje 1 / plaatje 2. De kabels die nu nog zichtbaar zijn kreeg ik niet via de backplate omgeleid door lengte van de kabels

Ik wil de kast nog uitrusten met een zooi 120mm fans met groene leds (oscar ). Ik zal eens kijken of ik een fototje kan doen van als het straks af is met fans etc.

Het ding is overigens retestil... ik hoor hem niet eens tijdens volledige activiteit. de pomp van het aquarium en mijn laptop maken nog meer geluid

[ Voor 7% gewijzigd door DJ-NaRRa op 24-11-2010 23:56 ]

[Verwijderd]

Jormungandr schreef op woensdag 24 november 2010 @ 21:16:
[...]

De oplossing, HP SAS expander:
http://hardforum.com/showthread.php?t=1484614

Is inderdaad een oplossing, maar alleen voor non-RAID systemen zoals FlexRAID.

De nadelen:
- veel probleemgevoeliger; compatibiliteitsissues
- gecastreerde bandbreedte; je deelt 32 apparaten met één Mini-SAS kabel; terwijl normaal elk apparaat zijn eigen 3Gbps lane heeft.
- interne bugs die alleen aan het licht komen als je afwijkt van de getest windows+NTFS omgeving
- vrijwel onbruikbaar voor ZFS

Verreweg het grootste nadeel is dat het zelfs duurder is dan losse HBAs kopen met pure dedicated bandwidth en 100% geen gezeik. Dus het is vooral een oplossing als je weinig/geen PCI-express hebt.

Als je in de toekomst iets als ZFS wilt draaien ook een verloren investering; dus bedenk je goed voordat je met expanders gaat kloten! Voor minder geld heb je met échte HBAs denk ik véél meer plezier.

[Q]

Waarom werkt zo'n sas expander niet met ZFS?

Met de bandbreedte van 4x sas kom je toch een eind, niet de performance van een hba, maar wel voldoende?

[Jormungandr]

De SAS expander is nochtans wel geschikt voor ZFS. De SAS expander heeft zelf geen raid, hij maakt alleen het aansluiten van meerdere disks mogelijk. Dat is net goed voor ZFS, dat ingebouwde "raid" functionaliteiten heeft.

Ik heb de volle 59 paginas nog niet volledig doorgenomen, dus ivm snelheid en compatibiliteit ben ik nog niet helemaal mee. Er staan wel een aantal kaarten in de startpost die supported zijn.

[Verwijderd]

Je wilt geen expanders gebruiken voor een ZFS box. Het kan wel ja, maar dan moet je ook gecastreerde performance voor lief nemen. Waar expanders met name goed voor werken is iets als FlexRAID; een JBOD-achtige RAID vorm waarbij er slechts van één disk tegelijk wordt gelezen.

ZFS is juist het omgekeerde; alle disks worden tegelijk aangesproken. Dat kan niet met expanders; de signalen kunnen fysiek niet tegelijk door dezelfde kabel, dus wordt het seriëel gedaan. Dat betekent dat schijf 3 een hogere latency kan hebben dan een willekeurige andere disk. Maar de I/O is pas voltooid als alle disks klaar zijn met de I/O (in elk geval in RAID-Z). Gevolg is dus vrij slechte performance.

En zoals gezegd is er ook nog een issue met sommige expanders, inclusief die HP expander meende ik, in combinatie met ZFS, wat met buffer flush commando's te maken heeft. De mensen die ik spreek praten over weinig anders dan problemen met hun expanders in ZFS config. Velen zijn van ZFS afgestapt en toen werkte het al stukken beter. Toch wel jammer dan vind ik, mag je best van te voren weten.

En waarom zou je? Je betaalt evenveel als meerdere échte controllers aan te schaffen! Waar is het voordeel? Met een échte controller met dedicated bandwidth heb je al dit gezeik niet en je bent nog goedkoper uit. Goed, dan heb je inderdaad ook veel PCIe sloten nodig dus is met name een optie voor als je je hardware nog moet kopen. Dus tenzij je al iets hebt waar echte HBAs geen oplossing voor is, is die expander nog het overwegen waard; maar een mooie nette degelijke oplossing zal het IMO niet worden.

[Q]

Als mijn array maar 500 MB/s zou doen kan ik daat ook mee leven zo' expander geeft je heel veel poorten voor heel weinig geld. Met een lsi hba en zon expander heb je veel meer poorten dan de 2340 met gelijke kosten

In een bedrijfsomgeving zou ik het geen moment overwegen, maar privé zeker wel.

[Verwijderd]

RR2340 + expander = 600 euro ofzo?

vier HBAs met elk 8 dedicated SAS/600 or SAS/300 poorten = 32 fulls peed poorten = minder dan 600 euro
Voor mijn USAS-L8i heb ik 115 euro ofzoiets betaald. Dus dat zou uitkomen op 4x 115 = 460 euro ex. verzendkosten en ex. kabels.

Dus waar zit het prijsvoordeel nu precies?

[ Voor 25% gewijzigd door Verwijderd op 25-11-2010 20:53 ]

[Q]

Vergeet je ook niet dat je een behoorlijk exotisch moederbord nodig hebt met vier PCIe sloten?

Ik ben zeker meer voor HBA's dan voor SAS expanders, alleen wat is echt betaalbaar en praktisch?

Hmm.

Supermicro: http://www.supermicro.com...000/3400/X8SIA.cfm?IPMI=N

Heeft zeker 3x8 + 1x4 = 4 sloten, Is ook betaalbaar, iets van 200 dollar.

Wie weet.

[ Voor 33% gewijzigd door Q op 25-11-2010 21:42 ]

[Dadona]

Exotisch? Het hangt er vanaf wat je allemaal wil doen, maar er zijn meerdere moederborden met vier PCI-E poorten. De goedkoopste is de ASUS P7P55 LX voor een Intel (heb je alleen nog geen 4x >1x PCI-e poorten, die zijn wat duurder), bij AMD moet je (gek genoeg) meer in de buidel tasten voor de ASUS M4A79 Deluxe. Natuurlijk moet je dan nog wel kijken of je de PCI-e poorten kunt inzetten voor niet-gpus, maar op zich bestaan ze gewoon.

Of je gaat natuurlijk voor dit lieve beestje: pricewatch: EVGA X58 Classified 4-Way SLI Oké, iets duurder, maar je krijgt er wel wat voor terug. Dual gigabit nics, 9x SATA onboard en een shitload aan PCI-e lanes.

[ Voor 39% gewijzigd door Dadona op 25-11-2010 22:20 ]

[mphilipp]

Wat is nou de makkelijkste (en goedkoopste) manier om een stuk of 8 - 10 SATA poorten toe te voegen aan je systeem, die te gebruiken zijn in Linux om een softraid volume aan te maken? Ik heb nu zo'n HighPoint, maar aangezien ik de RAID functionaliteit hier niet van gebruik, vraag ik me af of ik niet net zo goed een andere kaart had kunnen kopen die niet zo picky is met de HD's die ik erop aansluit. Maakt dat dan nog uit in performance?

[edit]
Iets als een Supermicro AOC-SASLP-MV8 bijvoorbeeld?

[ Voor 14% gewijzigd door mphilipp op 25-11-2010 22:23 ]

[Dadona]

Die Supermicro is een populaire optie. Ik heb het alleen even niet gevolgd, maar gaat het met je HighPoint echt niet lukken? Heb je ze als legacy aangesloten? (Dus schijven geformateerd en aan de HighPoint gehangen, daarna niets doen met de bios van Highpoint.)
Of is dit meer een theoretisch verhaal, als ik dat had gedaan, zou...?

[Black_Adder]

mphilipp schreef op donderdag 25 november 2010 @ 22:17:
Wat is nou de makkelijkste (en goedkoopste) manier om een stuk of 8 - 10 SATA poorten toe te voegen aan je systeem, die te gebruiken zijn in Linux om een softraid volume aan te maken? Ik heb nu zo'n HighPoint, maar aangezien ik de RAID functionaliteit hier niet van gebruik, vraag ik me af of ik niet net zo goed een andere kaart had kunnen kopen die niet zo picky is met de HD's die ik erop aansluit. Maakt dat dan nog uit in performance?

[edit]
Iets als een Supermicro AOC-SASLP-MV8 bijvoorbeeld?

Ik heb mijn SM AOC-SASLP-MV8 vervangen vanwege slechte driver support in Linux voor een Intel SASUC8I. Ik zou dan ook niet voor de SM gaan als ik jou was, geeft alleen maar ellende. Lees mijn post een stukje terug maar.

Hier een uitgebreid topic over de problemen met de Marvell chipset die op de SM zit. http://hardforum.com/showthread.php?t=1397855

[Verwijderd]

Q schreef op donderdag 25 november 2010 @ 21:29:
Ik ben zeker meer voor HBA's dan voor SAS expanders, alleen wat is echt betaalbaar en praktisch?

Nou dit bijvoorbeeld:

SuperMicro X8ST3-F


Pricewatch linkje erbij

Voordelen:

• degelijk SuperMicro BIOS
• geen rare fratsen maar de juiste features en laag energieverbruik
• 14 onboard SATA/300 poorten (6 van chipset controller 8 van LSI 1068E HBA; zelfde chip als die Intel SASUC8i)
• 4 PCI-e slots waarvan drie x8 lanes electrisch
• dual intel gigabit onboard; perfect voor 2Gbps link aggregation
• 6 DIMM slots voor DDR3 ECC geheugen; is nu supergoedkoop. 12GB DDR3 ECC voor onderde 180 euro met ruimte om te groeien naar 24GB.
• 300 euro is voor alle features een supergoeie prijs

Nadeel is dat je een Xeon CPU nodig hebt om ECC te gebruiken; maar koop toch ECC voor het geval dat je dat ooit wilt het kost je nu 10 euro meer maar heb je later spijt van als je niet doet, denk ik.

[Q]

Hmm.

LSI controller doet het ook goed onder loenux. 14 poorten zonder ook maar een PCIe slot te gebruiken voor 300 euro. Zeg 12 poorten voor een array, want 2 voor het os in raid 1. Dan kun je nog 4 HBA's toevoegen = 32 poorten voor een totaal van 44 poorten voor je array.

Nu nog een chassis die dit kwijt kan.

Het enige probleem is dat je een relatief duurdere processor moet hebben en wat duurder geheugen. Valt mee te leven. Met puur on-board op basis van dat moederbord kun je al een 12 disk RAID 6 van 20 TB opzetten.

[ Voor 118% gewijzigd door Q op 25-11-2010 23:29 ]

[Verwijderd]

Ik denk dat je met 14 onboard poorten hooguit twee HBAs nodig hebt. Dus 14 + 8 + 8 = 30 poorten totaal. Dan nog een 10Gbps ethernet in de toekomst erin en je houd nog een PCIe x4 slot over voor ander spul. Is best een toekomstbestendig platform voor je NAS denk ik.

Met ruimte voor 24GB RAM kan je een hele stoere ZFS server bouwen. Voor Linux met normaal RAID zou ik het rustiger aan doen met maar één RAM module van 4GB. Waarom niet twee van 2GB of drie van 1GB? Nouja dan kun je je nog bedenken en volop uitbreiden naar een ZFS server. Als je dat nu niet wilt wil je dat misschien wel ergens na de zomer 2011, wanneer veel meer ZFS v28 distributies uitkomen en het gebruik ervan onder 'hobby gebruikers' waarschijnlijk ook zal stijgen.

Als je je geld hierin investeert in plaats van zo'n stomme expander, heb je echt véél meer waar voor je geld. En volop ruimte om uit te breiden. Als je tweaker bent en je wilt iets om mee te patsen, kun je hier goed mee thuis komen.

[Dadona]

Ik begin mij toch af te vragen of CiPHER stiekem geen aandelen heeft in geheugenbedrijven, of er op de één of andere manier voordeel bij heeft als geheugen een vlucht neemt

[DJ-NaRRa]

vandaag even een kale benchmark gedraaid op mijn huidige setup.

8 x 2TB allemaal op moederbord aangesloten, 4gb ram en een AMD Athlon X2 250

Raid 6 array op EXT3 chunk size 64kb:

code:

djn@oscar:/mnt$ sudo dd if=/dev/md0 of=/dev/null bs=1M count=50000
50000+0 records in
50000+0 records out
52428800000 bytes (52 GB) copied, 115.328 s, 455 MB/s

Kortom ik mag niet klagen dacht ik.

Ik wil aan de hand van het script wat Q heeft bepalen wat dadelijk het meeste performance geeft en dat eventueel nog proberen te tweaken. Het wordt sowieso EXT3 of XFS. Welke weet ik nog niet. XFS zie ik wat minder zitten omdat ik geen UPS tot mijn beschikking heb. maar als het echt significant betere performance geeft dan ga ik wel op het werk een UPS schooien of er zelf maar een kopen.

@Q: leuke blog / website heb je. Veel interessante artikelen. leuk leesvoer.

[mphilipp]

Dadona schreef op donderdag 25 november 2010 @ 22:27:
Die Supermicro is een populaire optie. Ik heb het alleen even niet gevolgd, maar gaat het met je HighPoint echt niet lukken? Heb je ze als legacy aangesloten? (Dus schijven geformateerd en aan de HighPoint gehangen, daarna niets doen met de bios van Highpoint.)
Of is dit meer een theoretisch verhaal, als ik dat had gedaan, zou...?

Nou...het ging ruim een week prima. Ik gooide er van alles op zonder hikken, maar gisteravond liep ie toch weer gierend vast. Alleen had ik het 'm wel extra 'moeilijk' gemaakt: ik was een paar geripte DVD's aan het ftp-en vanaf de PC (3 ISO's tegelijk, dus iets van 90-100mb/s) en toen ging ik ook nog voor de gein een paar docu's die ik gedownload had en die op de 'downloaddisk' stond moven (via een putty sessie) naar de array (enkele files van elk 8gb oid). Toen ik dat deed, was het na een paar minuutje schluss...

In principe zou ie alles aan moeten kunnen natuurlijk, en normaal gesproken doe je niet al dat soort dingen tegelijk. Maar toch...it shouldn't happen.

Ik vraag me dus af of ik die HighPoint maar niet beter kan verkopen en er iets in doen dat me dezelfde functionaliteit geeft. Ik gebruik die kaart nu alleen maar als een SATA provider. Het is alleen niet zo'n goed huwelijk blijkbaar. En aangezien ik software raid gebruik, zou ik met een andere kaart (en de disks in dezelfde volgorde aansluiten) de array weer op moeten kunnen bouwen.

[FireDrunk]

Verwijderd schreef op donderdag 25 november 2010 @ 23:12:
[...]

Nou dit bijvoorbeeld:

SuperMicro X8ST3-F
[afbeelding]

Pricewatch linkje erbij

Voordelen:

• degelijk SuperMicro BIOS
• geen rare fratsen maar de juiste features en laag energieverbruik
• 14 onboard SATA/300 poorten (6 van chipset controller 8 van LSI 1068E HBA; zelfde chip als die Intel SASUC8i)
• 4 PCI-e slots waarvan drie x8 lanes electrisch
• dual intel gigabit onboard; perfect voor 2Gbps link aggregation
• 6 DIMM slots voor DDR3 ECC geheugen; is nu supergoedkoop. 12GB DDR3 ECC voor onderde 180 euro met ruimte om te groeien naar 24GB.
• 300 euro is voor alle features een supergoeie prijs

Nadeel is dat je een Xeon CPU nodig hebt om ECC te gebruiken; maar koop toch ECC voor het geval dat je dat ooit wilt het kost je nu 10 euro meer maar heb je later spijt van als je niet doet, denk ik.

Not true, de Core i3-530 doet ook ECC, alleen geen Registered geheugen Je moet dus verplicht UDIMMS kopen...

[Verwijderd]

Een beetje googlen leert dat de ECC functies niet werken bij gebruik van een Core i3-530. De xeon-chipset heeft wel ECC nodig, maar geen CPU support dus en dat het cruciale verschil tussen consumentenchips en Xeon serverchips van Intel; terwijl je van AMD wel altijd ECC mag gebruiken, alleen op low-end Semprons werkt dat niet.

[prozak]

Verwijderd schreef op donderdag 25 november 2010 @ 20:52:
RR2340 + expander = 600 euro ofzo?

vier HBAs met elk 8 dedicated SAS/600 or SAS/300 poorten = 32 fulls peed poorten = minder dan 600 euro
Voor mijn USAS-L8i heb ik 115 euro ofzoiets betaald. Dus dat zou uitkomen op 4x 115 = 460 euro ex. verzendkosten en ex. kabels.

Dus waar zit het prijsvoordeel nu precies?

Maak je nu geen telfout? 1 HP SAS Expander heeft 9 poorten. 1 poort raak je kwijt omdat je deze met je raid controller verbindt. Aan de overige 8 poorten kun je per poort 4 schijven aansluiten. Netto resultaat is 32 extra poorten + de mogelijkheid om eventueel een SAS expander door te lussen aan de volgende SAS expander. Als je doorlust raak je dan wel weer 1 poort ( dus 4 schijven) kwijt maar goed. Daarvoor krijg je wel weer 8 x 4 poorten terug.

Volgens mij is dit nog steeds de meest prijsbewuste keus hoor.

[FireDrunk]

Laag-geprijsd is nog niet altijd GOEDkoop he...Dat hij voor een habbekrats 32+ poorten heeft, wil nog niet zeggen dat het opweegt tegen de gevaren van incompatibiliteit en performance issues die mogelijk kunnen optreden.

[prozak]

FireDrunk schreef op vrijdag 26 november 2010 @ 10:13:
Laag-geprijsd is nog niet altijd GOEDkoop he...Dat hij voor een habbekrats 32+ poorten heeft, wil nog niet zeggen dat het opweegt tegen de gevaren van incompatibiliteit en performance issues die mogelijk kunnen optreden.

Er is al redelijk wat ervaring opgedaan op http://hardforum.com/showthread.php?t=1484614 met dergelijke expanders, okay weliswaar niet met zfs maar goed niet iedereen wil persé met zfs aan de slag.

Hoe dan ook is het van belang dat het wel over 32 poorten gaat voor ongeveer 300 euro. Dat scheelt gewoon zoveel met een normale raid controller dat het minstens een interessante optie is om uit te proberen.

[FireDrunk]

Dat zeker... Maar wees gewaarschuwd

Over de ECC:

http://www.atoz.com.mt/pr...CPUINT1156CI3D-530-BX.pdf

Ik kan momenteel even niet bij mijn eigen server (waar een i3-530 in zit met ECC geheugen) dus ik laat het nog wel weten. Iemand een methode om definetly zekersteweten dat het aanstaat?

[ Voor 43% gewijzigd door FireDrunk op 26-11-2010 10:25 ]

[Verwijderd]

prozak schreef op vrijdag 26 november 2010 @ 09:57:
Maak je nu geen telfout?

Wat is de telfout dan? 32 poorten houd je over, plus de leftover ports op de rocketraid controller; die was ik dan misschien vergeten. Doorlussen heb je het over? Dus je wilt 32 HDDs op één mini-SAS kabel en dan nog eens 32 HDDs op één van die expanders? Mijn god je kunt ook gelijk voor 50-miljoen floppies in RAID0 gaan als je het jezelf moeilijk wilt maken. Waarom toch al die moeite voor zo'n slechte oplossing?

Waar zit het voordeel? Het is duurder, langzamer, probleemgevoeliger, waarom? Geef me één goede reden waarom dit handig is. In mijn ogen betaal je meer en krijg je véél minder dan een normale pure HBA oplossing. Dus ik snap echt het voordeel hier niet van.

Volgens mij is dit nog steeds de meest prijsbewuste keus hoor.

Wat is er mis met mijn prijsvoorbeeld dan? Vier HBAs tegen een RR2340 met expander, dan zijn vier HBAs toch goedkoper?

Het enige voordeel wat ik me kan bedenken, is dat die expander minder PCIe sloten nodig heeft. Niet echt een voordeel, want als je 32+ HDDs wilt ga je toch échte geen flutflankje met maar één PCIe nemen. Maargoed, tenminste één reden om het te gebruiken in zéér specifieke situaties. In alle andere situaties ben je denk ik 1000 keer beter af met échte HBAs.

[Verwijderd]

[b][message=35101872,noline]Ik kan momenteel even niet bij mijn eigen server (waar een i3-530 in zit met ECC geheugen) dus ik laat het nog wel weten. Iemand een methode om definetly zekersteweten dat het aanstaat?

Hm misschien kun je Memtest86+ booten (staat op elke Ubuntu cd), die zegt gelijk of ECC enabled is of niet. En je BIOS zou ook wel wat in mogen staan, en wellicht dat je in Linux (als je dat draait?) ook wat info hierover vinden in de kernel logs ofzo.

Als het wel mogelijk is, dan heb ik niks gezegd en is die cpu met ECC een coole combinatie. Maar ik dacht nu juist dat Intel ECC exclusief voor de Xeon wilde houden, dus in dat licht zou het vreemd zijn als jouw CPU wel ECC ondersteunt.

En ik had het inderdaad over unbuffered; registered zou ik sowieso niet kopen.

[FireDrunk]

Verwijderd schreef op vrijdag 26 november 2010 @ 12:14:
[...]

Hm misschien kun je Memtest86+ booten (staat op elke Ubuntu cd), die zegt gelijk of ECC enabled is of niet. En je BIOS zou ook wel wat in mogen staan, en wellicht dat je in Linux (als je dat draait?) ook wat info hierover vinden in de kernel logs ofzo.

Als het wel mogelijk is, dan heb ik niks gezegd en is die cpu met ECC een coole combinatie. Maar ik dacht nu juist dat Intel ECC exclusief voor de Xeon wilde houden, dus in dat licht zou het vreemd zijn als jouw CPU wel ECC ondersteunt.

En ik had het inderdaad over unbuffered; registered zou ik sowieso niet kopen.

Ik zal vanavond thuis even kijken als ik tijd heb. Heb geen DVD drive in mijn server zitten, dus moet even een USB bootdrive maken.

[prozak]

Verwijderd schreef op vrijdag 26 november 2010 @ 12:10:
[...]

Wat is de telfout dan? 32 poorten houd je over, plus de leftover ports op de rocketraid controller; die was ik dan misschien vergeten. Doorlussen heb je het over? Dus je wilt 32 HDDs op één mini-SAS kabel en dan nog eens 32 HDDs op één van die expanders? Mijn god je kunt ook gelijk voor 50-miljoen floppies in RAID0 gaan als je het jezelf moeilijk wilt maken. Waarom toch al die moeite voor zo'n slechte oplossing?

Waar zit het voordeel? Het is duurder, langzamer, probleemgevoeliger, waarom? Geef me één goede reden waarom dit handig is. In mijn ogen betaal je meer en krijg je véél minder dan een normale pure HBA oplossing. Dus ik snap echt het voordeel hier niet van.


[...]

Wat is er mis met mijn prijsvoorbeeld dan? Vier HBAs tegen een RR2340 met expander, dan zijn vier HBAs toch goedkoper?

Het enige voordeel wat ik me kan bedenken, is dat die expander minder PCIe sloten nodig heeft. Niet echt een voordeel, want als je 32+ HDDs wilt ga je toch échte geen flutflankje met maar één PCIe nemen. Maargoed, tenminste één reden om het te gebruiken in zéér specifieke situaties. In alle andere situaties ben je denk ik 1000 keer beter af met échte HBAs.

Je voorbeeld staat qua aantal poorten inderdaad. Op een of andere manier dacht ik dat je ergens verkeerd telde, excuses.

In plaats van een dure RR2340 moet je natuurlijk voor zo weinig mogelijk een sas raid controller aanschaffen (bijv de 130 euro kostende Intel SASUC8I).

Dan zit je op:

130 (pricewatch: Intel RAID Controller SASUC8I)
+
295 (pricewatch unsorted: HP SAS EXPANDER CARD .)
voor een expander

= 430 euro voor 36 poorten. Net onder de 460 euro die jij quote. Jouw quote is ook nog eens exclusief de kosten van een 'fatsoenlijk' mobo met voldoende PCI-E slots voor die 4 HBA's. En je kunt door doorlussen nog eens 32 poorten toevoegen. Ja natuurlijk is het langzamer dan hetgeen jij voorstelt. Aan de andere kant kost het ook een stuk minder en het kán. Dat vind ik het mooie aan de expander. Het schept mogelijkheden die anders een stuk duurder uit zouden vallen. Je hebt in ieder geval aan een eenvoudig moederbord al voldoende. Voor mensen die met ruimtegebrek zitten en met bestaande hardware verder willen het overwegen waard lijkt mij. Het zijn juist die mensen die al een bestaande hardware/server hebben en net wat extra poorten nodig hebben die hiermee gediend zijn.

Of het probleemgevoeliger is durf ik niet te zeggen. Dat zal de praktijk moeten uitwijzen. Ik ben benieuwd of de compatibiliteits problemen waarover jij je zorgen uitdrukt inderdaad zo ernstig zijn.

[FireDrunk]

Maar die RAID controller geeft je alleen RAID0 en 1... Jij wil 36 schijven in RAID 1+0 zetten?
Dat wil ik zien

[mphilipp]

FireDrunk schreef op vrijdag 26 november 2010 @ 13:51:
Maar die RAID controller geeft je alleen RAID0 en 1... Jij wil 36 schijven in RAID 1+0 zetten?
Dat wil ik zien

Je bedoelt die Intel controller? Kan die niet 'gewoon' de aangesloten disks doorgeven aan het OS zodat je software raid kan doen?

[prozak]

mphilipp schreef op vrijdag 26 november 2010 @ 14:59:
[...]

Je bedoelt die Intel controller? Kan die niet 'gewoon' de aangesloten disks doorgeven aan het OS zodat je software raid kan doen?

Natuurlijk kan dat, ik snap de reactie hierboven dan ook niet.....

[prozak]

FireDrunk schreef op vrijdag 26 november 2010 @ 13:51:
Maar die RAID controller geeft je alleen RAID0 en 1... Jij wil 36 schijven in RAID 1+0 zetten?
Dat wil ik zien

Wikipedia: mdadm

[FireDrunk]

Volgens mij kan je niet pass-through naar OS doen met een SAS expander erbij
Correct me if i'm wrong...

I was wrong

[ Voor 10% gewijzigd door FireDrunk op 26-11-2010 15:56 ]

[Jrz]

Q schreef op donderdag 25 november 2010 @ 23:17:
Hmm.

LSI controller doet het ook goed onder loenux. 14 poorten zonder ook maar een PCIe slot te gebruiken voor 300 euro. Zeg 12 poorten voor een array, want 2 voor het os in raid 1. Dan kun je nog 4 HBA's toevoegen = 32 poorten voor een totaal van 44 poorten voor je array.

Nu nog een chassis die dit kwijt kan.

Het enige probleem is dat je een relatief duurdere processor moet hebben en wat duurder geheugen. Valt mee te leven. Met puur on-board op basis van dat moederbord kun je al een 12 disk RAID 6 van 20 TB opzetten.

Backblaze storagepod?

[Verwijderd]

prozak schreef op vrijdag 26 november 2010 @ 13:38:
[...]
In plaats van een dure RR2340 moet je natuurlijk voor zo weinig mogelijk een sas raid controller aanschaffen (bijv de 130 euro kostende Intel SASUC8I).

Dan zit je op: 430 euro voor 36 poorten. Net onder de 460 euro die jij quote. Jouw quote is ook nog eens exclusief de kosten van een 'fatsoenlijk' mobo met voldoende PCI-E slots voor die 4 HBA's.
..
Het schept mogelijkheden die anders een stuk duurder uit zouden vallen. Je hebt in ieder geval aan een eenvoudig moederbord al voldoende. Voor mensen die met ruimtegebrek zitten en met bestaande hardware verder willen het overwegen waard lijkt mij.

Zijn heel redelijke argumenten en je hebt zeker gelijk; er is zeker wel nut voor sommige mensen. Maar als je een volledig nieuwe NAS gaat bouwen lijkt het me niet de meest voordehand liggende keuze, en bijkomend nadeel is dat met name ZFS dit niet leuk vindt. Als je dat nou in de toekomst eens wilt proberen is het toch weer jammer dat je aan je bestaande hardware niks hebt of in elk geval geen ideale combinatie is wat je weer doet bewegen tot aanschaf van nieuwe hardware; en weg is je prijsvoordeel, als je dat al had. Die fout heb ik al zoveel gemaakt in het verleden dus misschien dat ik daarom zo stelling neem.

Of het probleemgevoeliger is durf ik niet te zeggen. Dat zal de praktijk moeten uitwijzen. Ik ben benieuwd of de compatibiliteits problemen waarover jij je zorgen uitdrukt inderdaad zo ernstig zijn.

Nouja hij moet werken met je HBA; die ene HP SAS expander werkt zeker niet op elke SAS controller; maar check dat topic voor meer info hierover. Maar er zijn nog andere specifieke problemen met sommige expanders en ZFS. Als je ook maar de mogelijkheid wilt om ooit over te stappen op dit filesystem is het dus verstandig om expanders te vermijden. Maar als je iets als FlexRAID gebruikt kan het wel prima werken en merk je weinig tot niets van prestatievermindering.

[Q]

Jrz schreef op vrijdag 26 november 2010 @ 15:52:
Backblaze storagepod?

Een oude klassieker, maar net even buiten budget en teveel custom hardware.

DJ-NaRRa schreef op donderdag 25 november 2010 @ 23:58:
vandaag even een kale benchmark gedraaid op mijn huidige setup.

8 x 2TB allemaal op moederbord aangesloten, 4gb ram en een AMD Athlon X2 250

Raid 6 array op EXT3 chunk size 64kb:

code:

djn@oscar:/mnt$ sudo dd if=/dev/md0 of=/dev/null bs=1M count=50000
50000+0 records in
50000+0 records out
52428800000 bytes (52 GB) copied, 115.328 s, 455 MB/s

Kortom ik mag niet klagen dacht ik.

Dat is een uitstekende prestatie. Wat doet hij write?

Mijn ervaring is dat de performance nog beter is als je er een filesystem op gooit en naar een echte file schrijft of van een file leest.

Ik wil aan de hand van het script wat Q heeft bepalen wat dadelijk het meeste performance geeft en dat eventueel nog proberen te tweaken. Het wordt sowieso EXT3 of XFS. Welke weet ik nog niet. XFS zie ik wat minder zitten omdat ik geen UPS tot mijn beschikking heb. maar als het echt significant betere performance geeft dan ga ik wel op het werk een UPS schooien of er zelf maar een kopen.

EXT3 kost je ettelijke gigabytes aan storage, houdt daar rekening mee.

Ongeacht het filesystem zou ik toch eens kijken naar een UPS. Geen grote haast, maar is je data die 100 euro waard (ok + extra stroomverbruik, dat wel)?

@Q: leuke blog / website heb je. Veel interessante artikelen. leuk leesvoer.

Bedankt voor het compliment

[ Voor 80% gewijzigd door Q op 26-11-2010 21:15 ]

[DJ-NaRRa]

Q schreef op vrijdag 26 november 2010 @ 20:57:

Dat is een uitstekende prestatie. Wat doet hij write?

[linux-noob]....hoe test ik dat?[/linux-noob]

Mijn ervaring is dat de performance nog beter is als je er een filesystem op gooit en naar een echte file schrijft of van een file leest.

idem hoe kan ik dat monitoren?

EXT3 kost je ettelijke gigabytes aan storage, houdt daar rekening mee.

Ongeacht het filesystem zou ik toch eens kijken naar een UPS. Geen grote haast, maar is je data die 100 euro waard (ok + extra stroomverbruik, dat wel)?

daar was ik al achter gekomen dat ext3 veel opsnoept een UPS is meer de kers op de taart bij mij. ik heb mijn belangrijke data zowel op de bronnen en op de raid6 en op een raid1 en op online storage staan. De kans dat ik dus wat ga kwijtraken wat niet opnieuw te downloaden is is vrijwel te verwaarlozen (afgezien van menselijke fouten en rampen)..

Bedankt voor het compliment

graag gedaan

[Q]

DJ-NaRRa schreef op vrijdag 26 november 2010 @ 23:55:
[...]

[linux-noob]....hoe test ik dat?[/linux-noob]

[...]

idem hoe kan ik dat monitoren?

read
sudo dd if=/dev/md0 of=/dev/null bs=1M count=50000

PAS OP VERNIETIGD DATA OP DE ARRAY

write
sudo dd if=/dev/zero of=/dev/md0 bs=1M count=50000

Non-destructive:
1. maak filesystem.
2. mount filesystem
3. schrijf file met (voorbeeld)

sudo dd if=/dev/zero of=/storage/test.bin bs=1M count=50000

[Verwijderd]

Ik zou geen ruwe write doen, dat verwijdert ook gelijk je partitietabel enzo. Bovendien werkt dat niet altijd goed op RAIDs; je kunt het beste via je filesystem testen.

Die laatste dd-test die je gaf, lijkt me prima.

[Q]

Testen via een file system geeft vaak nog betere resultaten ook.

[FireDrunk]

Net memtest gedraaid. Die geeft niet echt duidelijk aan of ECC aan staat.
Wel telt hij ECC Errors (0 in mijn geval )

[Jormungandr]

Zijn hier trouwens mensen die op hun NAS een ESX datastore hebben? Ik ben aan het kijken om onze DS210J te vervangen aangezien hij de workload met momenten niet aankan met nare gevolgen vandien.

Ik heb nog een 750Gb schijf liggen die ik dacht te gebruiken in mijn future server/NAS die dan met Gigabit naar de ESX server (HP DL380G3) zou gaan. Ik twijfel alleen aangezien dat volgens mij toch niet zo'n goede impact heeft op performance.

Het is dat, of nog wat SCSI schijven bij men server pompen, maar dat kost ook geld.

[FireDrunk]

Ik zou die NAS zo bouwen dat hij die hele G3 vervangt... Ding is traag en vreet stroom.... Kan je beter een fatsoenlijke Quadcore (Als in Phenom x4 of i5) in je NAS zetten Die is sneller...

[ Voor 10% gewijzigd door FireDrunk op 27-11-2010 16:56 ]

[HaTe]

Verwijderd schreef op woensdag 24 november 2010 @ 15:51:
[...]

Je weet dat een Atom D330/D510/D525 multicore is?

Ik kan eigenlijk nergens vinden hoe snel deze dingen icm een Gigabit netwerk aansluiting over het netwerk data kunnen versturen. Ik wil zelf wel een NAS bouwen, maar een eis is wel dat ik wel minimaal 80MB/s read / write haal.
Dus zijn Atom's snel genoeg deze snelheden te halen?

Een NASje bouwen voor onder de 100 euro moet zeker kunnen!

----
Even iets anders. Ik heb ook nog een Sempron 2800+ (AM2) liggen. Kan ik misschien beter daar een systeem op baseren of slurpt deze toch echt meer energie?

[ Voor 13% gewijzigd door HaTe op 27-11-2010 17:48 ]

[Q]

Ik heb benches in dit topic gezien waarbij een Atom in staat was om rond de 80/90 MB/s te halen over het netwerk samen met een hardware raid controller. Ik betwijfel of dat ook lukt met software raid.

[Verwijderd]

Voor simpel software RAID0/1 of 0+1 kun je zelfs met 10-20% van de kracht van een enkele atom genoeg hebben. Gigabit zal meer CPU verbruiken dan het "raid gedeelte". Tenzij je aparte dingen gaat doen is een snelle CPU in je NAS eigenlijk niet zo'n hoofdzaak. Je bent sneller aan andere bottlenecks gebonden, bijvoorbeeld de beperkte PCIexpress bandbreedte en SATA lanes voor Atom platforms.

Het AMD Ontario/Brazos platform gaat heel erg interessant worden als thuisserver; grofweg twee keer zo snel en met minder platform energie; de chipset en GPU zijn beide in de CPU geïntegreerd dus je houdt eigenlijk nog maar één chip over, en een mini-PCIe hub chip (fusion controller hub heet dat, maar is maar een fancy naam voor een PCIe hub).

Atom is niet zo geschikt voor ZFS, vooral omdat het tot 4GiB is beperkt en je ook slechte I/O via PCIe hebt; slechts één PCIe slot vaak. Maar voor een simpel NASje zou het voldoende moeten zijn.

[ Voor 3% gewijzigd door Verwijderd op 27-11-2010 18:21 ]

[Jormungandr]

FireDrunk schreef op zaterdag 27 november 2010 @ 16:56:
Ik zou die NAS zo bouwen dat hij die hele G3 vervangt... Ding is traag en vreet stroom.... Kan je beter een fatsoenlijke Quadcore (Als in Phenom x4 of i5) in je NAS zetten Die is sneller...

Da's wel knap lastig gezien het een ESXi server is en ik die nog niet meteen wil vervangen. Als hij vervangen zal worden, zal het door een dedicated ESX machine zijn, en daar is geen plaats voor een NAS en vice versa.

[-Moondust-]

Verwijderd schreef op donderdag 25 november 2010 @ 23:12:
SuperMicro X8ST3-F
[afbeelding]

Pricewatch linkje erbij

Voordelen:

• degelijk SuperMicro BIOS
• geen rare fratsen maar de juiste features en laag energieverbruik
• 14 onboard SATA/300 poorten (6 van chipset controller 8 van LSI 1068E HBA; zelfde chip als die Intel SASUC8i)
• 4 PCI-e slots waarvan drie x8 lanes electrisch
• dual intel gigabit onboard; perfect voor 2Gbps link aggregation
• 6 DIMM slots voor DDR3 ECC geheugen; is nu supergoedkoop. 12GB DDR3 ECC voor onderde 180 euro met ruimte om te groeien naar 24GB.
• 300 euro is voor alle features een supergoeie prijs

Dat ziet er geweldig uit, maar is wel bedoeld voor een high performance server. Zelf wil ik het wat kleiner houden met een Core i3 (of equivalente opvolger begin 2011), maar heb wel interesse in tenminste 9 x SATA, Intel gigabit onboard én een laag energieverbruik. Zijn dergelijke serverborden te koop of moet ik toch met een losse SATA-controller en Intel gigabit kaart gaan werken?

edit:
Misschien de Supermicro X8SI6-F-O?

6 x SATA (chipset) + 8 x SATA (LSI 6Gbps SAS 2008) -> SAS naar SATA kabels inbegrepen toch?
2 x Intel gigabit
Vraag is wel of hier een gewone Core i3 met normaal geheugen of ben ik verplicht ECC geheugen met een Xeon in te stoppen? Is de ECC + Xeon optie niet veel duurder?

[ Voor 13% gewijzigd door -Moondust- op 28-11-2010 22:19 ]

[FireDrunk]

Ligt aan het chipset, duur xeon chipset -> ECC el-cheapo chipset -> Non ECC..

[-Moondust-]

FireDrunk schreef op zondag 28 november 2010 @ 22:43:
Ligt aan het chipset, duur xeon chipset -> ECC el-cheapo chipset -> Non ECC..

De Supermicro X8SI6-F-O heeft een Intel® 3420 chipset. Aangezien het bedoeld is voor high performance servers lijkt dat me wel ok, maar ik weet niet of je er een Core i3 in kan zetten met gewoon geheugen of dat je vast zit aan ECC + Xeon.

[FireDrunk]

Dat is hetzelfde chipset als ik heb, daar is ECC verplicht. En een i3 werkt gewoon

[axis]

Dat is een erg mooi bordje, dat supermicro ding.. Maar weet iemand hoe het zit met stroomverbruik? FireDrunk, welke moederbordje heb jij en enig idee hoeveel watt die trekt?

[FireDrunk]

axis schreef op maandag 29 november 2010 @ 09:30:
Dat is een erg mooi bordje, dat supermicro ding.. Maar weet iemand hoe het zit met stroomverbruik? FireDrunk, welke moederbordje heb jij en enig idee hoeveel watt die trekt?

Ik heb de Intel S3420GPC en wat ie verbruikt? Geen idee Met 8 disks en een P410 verbruikt hij idle 80W
Mijn disks doen gemiddeld 5-6W per stuk, dus dat maakt ~35-40W voor bord + cpu + mem + P410.

[axis]

Thnx..

Zie nu dat het bovenstaand bordje ook nog geintegreerde KVM over IP heeft (http://www.servethehome.c...3f-motherboard-review/).. w00t

[FireDrunk]

Oe dat is wel geil ja

[PeterPan]

Ik heb een Windows 2008R2 gebaseerde home file/download server met ~14TB in RAID5 (HP RAID controller met 2 interne SAS aansluitingen, 8xSATA).
Ik zoek een zo goedkoop mogelijke manier om hier zo af en toe een 'backup' van te kunnen maken, of in ieder geval van het grootste deel van die data, 8TB of meer.

Ik zit te denken aan een externe USB of eSATA enclosure waar 4 of 6 2TB SATA disks in kunnen die hardware matig in RAID0 draaien of eventueel allemaal los aan het OS worden 'aangeboden' zodat ik er op Windows nivo op een of andere manier een grote pool van kan maken (software RAID0?).
Liefst iets wat plug&play kan werken dus zonder dat ik de server opnieuw hoef op te starten na het aansluiten en loskoppelen van de enclosure.


Als backup software zou ik dan 1x per week robocopy o.i.d. willen gebruiken om de wijzigingen te synchroniseren (na eerst 1x een volledige copy te maken).

Zou iemand me een duwtje in de rug kunnen geven wat betreft een passende enclosure? Ik wil er eigenlijk exclusief disks niet meer dan €200~300 aan uitgeven.

Eventueel andere aan of opmerkingen?

[ Voor 7% gewijzigd door PeterPan op 29-11-2010 14:35 ]

[iBurger]

-Moondust- schreef op zondag 28 november 2010 @ 22:04:
[...]

Dat ziet er geweldig uit, maar is wel bedoeld voor een high performance server. Zelf wil ik het wat kleiner houden met een Core i3 (of equivalente opvolger begin 2011), maar heb wel interesse in tenminste 9 x SATA, Intel gigabit onboard én een laag energieverbruik. Zijn dergelijke serverborden te koop of moet ik toch met een losse SATA-controller en Intel gigabit kaart gaan werken?

edit:

Misschien de Supermicro X8SI6-F-O?
[afbeelding]
6 x SATA (chipset) + 8 x SATA (LSI 6Gbps SAS 2008) -> SAS naar SATA kabels inbegrepen toch?
2 x Intel gigabit
Vraag is wel of hier een gewone Core i3 met normaal geheugen of ben ik verplicht ECC geheugen met een Xeon in te stoppen? Is de ECC + Xeon optie niet veel duurder?

Volgens mij bestaan er op dit moment geen server mobo's met 9 SATA ports die ook energiezuinig zijn in combinatie met een Core i3. Als je puur kijkt naar energie verbruik kan je het beste een H55/H57 board pakken van MSI of Intel die gemaakt zijn voor de HTPC markt. Meestal zitten daar 4 tot 6 SATA's op. In jouw geval moet je dus kiezen, denk ik, tussen het "ideale" board qua mogelijkheden of energiezuinigheid.

[-Moondust-]

axis schreef op maandag 29 november 2010 @ 13:21:
Thnx..

Zie nu dat het bovenstaand bordje ook nog geintegreerde KVM over IP heeft (http://www.servethehome.c...3f-motherboard-review/).. w00t

En als je het dan nog beter wil aanpakken zet je er een Intel Xeon L3426 processor met een TDP van 45Watt in. Ik moet zeggen dat ik er wel wat voor voel om server grade componenten te gaan gebruiken i.p.v. consumer grade. Kost misschien een paar honder euro extra, maar dan heb je ook wel wat. En ik verwacht ook dat het stabieler is en langer meegaat.

[mphilipp]

PeterPan schreef op maandag 29 november 2010 @ 14:09:
Ik zoek een zo goedkoop mogelijke manier om hier zo af en toe een 'backup' van te kunnen maken, of in ieder geval van het grootste deel van die data, 8TB of meer.

Ik zit te denken aan een externe USB of eSATA enclosure waar 4 of 6 2TB SATA disks in kunnen die hardware matig in RAID0 draaien of eventueel allemaal los aan het OS worden 'aangeboden' zodat ik er op Windows nivo op een of andere manier een grote pool van kan maken (software RAID0?).

Excuse me? Begrijp ik het goed dat je een backup machine wilt maken met schijven in RAID0? Dan is de machine waar je backup op staat onbetrouwbaarder dan de machine die je backupt...kweenie hoor. Ik zou dat RAID0 niet doen. Lijkt me geen goed plan.
Of ik snap het niet goed, dat kan ook.

[PeterPan]

Ja, om het simpel te houden en de kosten te drukken. Een JBOD constructie die softwarematig gezien kan worden als 1 groot volume mag ook (al maakt dat voor het eventuele risico niet veel uit volgens mij).
Ik zie het probleem niet zo om voor het backup storage geen RAID (5/6) te gebruiken.

Hoe groot is de kans dat mijn hoofd fileserver met RAID5 onderuit gaat en dan even later tijdens het terugzetten van de 'backup' een RAID0 van 4 tot 6 2TB schijven er ook nog eens mee stopt?

[redfoxert]

PeterPan schreef op maandag 29 november 2010 @ 19:10:
Ja, om het simpel te houden en de kosten te drukken. Een JBOD constructie die softwarematig gezien kan worden als 1 groot volume mag ook (al maakt dat voor het eventuele risico niet veel uit volgens mij).
Ik zie het probleem niet zo om voor het backup storage geen RAID (5/6) te gebruiken.

Hoe groot is de kans dat mijn hoofd fileserver met RAID5 onderuit gaat en dan even later tijdens het terugzetten van de 'backup' een RAID0 van 4 tot 6 2TB schijven er ook nog eens mee stopt?

Waarschijnlijk groter dan de kans die je wilt lopen er zelf achter te komen

[Demo]

PeterPan schreef op maandag 29 november 2010 @ 19:10:
Ja, om het simpel te houden en de kosten te drukken. Een JBOD constructie die softwarematig gezien kan worden als 1 groot volume mag ook (al maakt dat voor het eventuele risico niet veel uit volgens mij).
Ik zie het probleem niet zo om voor het backup storage geen RAID (5/6) te gebruiken.

Hoe groot is de kans dat mijn hoofd fileserver met RAID5 onderuit gaat en dan even later tijdens het terugzetten van de 'backup' een RAID0 van 4 tot 6 2TB schijven er ook nog eens mee stopt?

Een stuk groter dan de kans dat je RAID6 backup onderuit gaat tijdens het rebuilden van je lekkere snelle RAID0 op je workstation. Niet zozeer de kans dat er een schijf sneuvelt, maar wel dat er één een leesfout tegenkomt.En de kans dat dat gebeurt bij het restoren van 8 - 12 TB is groot, heel groot.
Met andere woorden, mijn tip is om de situatie om te keren.

[ Voor 3% gewijzigd door Demo op 29-11-2010 20:07 ]

[-Moondust-]

iBurger schreef op maandag 29 november 2010 @ 14:33:
Volgens mij bestaan er op dit moment geen server mobo's met 9 SATA ports die ook energiezuinig zijn in combinatie met een Core i3. Als je puur kijkt naar energie verbruik kan je het beste een H55/H57 board pakken van MSI of Intel die gemaakt zijn voor de HTPC markt. Meestal zitten daar 4 tot 6 SATA's op. In jouw geval moet je dus kiezen, denk ik, tussen het "ideale" board qua mogelijkheden of energiezuinigheid.

Ik denk dat een Supermicro X8SI6-F-O wel zuinig is i.c.m. een Core i3, in eider geval wel met een Xeon L3426 (TDP 45 Watt). Op dit mobo kan je 14 SATA-schijven aansluiten. Bovendien zitten er allerlei mooie features op zoals IPMI2.0 waarmee je dus altijd de volledige controle hebt over je server. Ik wacht nog even op de nieuwe Sandybridge procs, maar overweeg zeker een bijbehorend Supermicro bordje te nemen.

[axis]

Erg mooi bord.. Ik had ondertussen mijn zinnen al gezet op een X8SI6-F met Core i3-530, totdat ik dit las:

After testing the X8SIL-F with the Core i3-530 and i5-650, I decided to install a Xeon X3440 so I could take advantage of the memory’s ECC features. Swapping CPU’s was painless and Intel’s stock heatsink/ fan combination was again adequate.

dit staat trouwens in een review van de X8SIL-F.

Geen ecc dus met de i3? Misschien dat het per bord anders is? Eens verder zoeken.

Edit: hier nog wat over powerconsumption: http://www.servethehome.c...r-consumption-xeon-x3440/

Edit2: gevonden op: http://www.interngeheugen...-x8sil-f-motherboard.html

Due to chipset limitations, Kingston's DDR3 Quad Rank memory will operate at 1066MHz in the first bank. Adding Quad Rank modules in the second bank will operate at 800MHz.
This system supports either Registered ECC or Unbuffered ECC memory. Mixing Registered ECC and Unbuffered ECC modules is not supported within this system.

Intel Xeon processors support ECC RDIMMs or ECC UDIMMs. Mixing Registered ECC and Unbuffered ECC modules is not supported within this system. Intel Core i3 and Pentium Dual-Core series processors support ECC UDIMMs only, they do not support RDIMMs..

[ Voor 41% gewijzigd door axis op 29-11-2010 22:51 ]