/u/1176/crop635f8931b2b68_cropped.png?f=community)
Bij kleinere aantallen disks, zeg <6 dan zou RAID5 nog wel voldoen qua risico's denk ik. Dan vallen de kosten mee en heb je toch knappe storage. RAID 1(0) schaalt niet echt. De grote vraag is hoeveel storage je wilt hebben.remmelt schreef op donderdag 09 april 2009 @ 11:40:
[...]
Precies. Ik vermoed dus nu dat het misschien wel veel voordeliger is om een enkele grote schijf in te zetten, heel eventueel nog gemirrored, en het daar dan bij te laten. De meeste data die ik ga opslaan is toch niet echt heel onmisbaar. Mijn originele idee was om te beginnen met 3x1TB in RAID5 en dan later uit te breiden naar 4x1TB. Het URE verhaal heeft me nu aan het denken gezet. Ik vind RAID6 voor thuis too much, dan zou ik dus 4 schijven hebben voor 2TB, dan kan ik beter mirroren, eventueel 10 of 01.
Tja, de afweging tussen kosten en baten is wel listig. Misschien maak ik wel een encrypted en mirrored 500GB set voor de echt belangrijke dingen en een enkele 2TB schijf voor films, series en andere meuk. WD Green @ 500GB is ook maar 50 piek: pricewatch: Western Digital Caviar Green WD5000AACS, 500GB
Dit zijn 2x RaidZ1 arrays (5 disks per array)? Waarom heb je niet gekozen voor 1x RaidZ2 (10 disks)?
Wat voor hardware / welke OS (solaris/freebsd?) + versie draai je?
Mooie performance! Toevallig ook bonnie++ benchmarks liggen (incl write perf)?
Van de week "Solaris Express Community Edition DVD Build 111" geinstalleerd.
Echter, mijn JBOD disks onder de Silicon Image SiI 3114 Controller (mobo=Asus K8N4-E Deluxe) worden niet herkend
(onder FreeBSD werkte dit wel). De controller zelf is zichtbaar; doe ik iets verkeerd of zie ik iets over het hoofd?
[ Voor 3% gewijzigd door vargo op 11-04-2009 11:48 ]
Verwijderd
goede vraag en ik heb ook een tweeledig antwoord (waar ik lang over heb nagedacht nadat ik elke beschikbare pagina over ZFS gelezen heb):
1) met 5 disks het risico bij een crash van 1 kleiner is dan 1 raid met 10 disks.
2) nu kan ik 2 of meer schijven als spare toevoegen (moet ik nog doen) aan de ' tank' waarna elke spare voor elke raidz1 gebruikt kan worden.
3) indien ik meer ruimte nodig heb, kan ik weer een raidz1 toevoegen (gaat dan via AoE)
ik draai:
FreeBSD 7.1-RELEASE AMD64
als je een i386 gebaseerd systeem hebt, zo ik ZFS onder FreeBSD niet aanraden. AMD64 platform is veel stabieler na tunen.
[...]
zal bonnie++ eens installeren en dan draaien waarna ik de resultaten hier neer zal plempen.
ik heb ook echt elke mogelijke combinatie geprobeerd op mijn hardware en FreeBSD ben ik het meest tevreden over.Van de week "Solaris Express Community Edition DVD Build 111" geinstalleerd.
Echter, mijn JBOD disks onder de Silicon Image SiI 3114 Controller (mobo=Asus K8N4-E Deluxe) worden niet herkend
[ Voor 4% gewijzigd door Verwijderd op 11-04-2009 19:41 ]
10 disks = 10 disks. De kans op een disk falen maakt niet uit met 1 grote array of 2 kleine arrays in raid 0, toch? Wat is dan het voordeel? Ik ben nog niet zo heel erg thuis in zfs moet ik zeggen.
'stabieler na tunen'. Brr. Zou je daar wel 8 TB (
) aan storage aan toe vertrouwen?Ik meen dat Enlightenment (leeft ze nog?!) opmerkte dat je dan wel een speciale gepatchte Bonnie moet hebben omdat anders resultaten niet kloppen als je test met een RAID device.
Verwijderd
ik heb http://www.solarisinterna...e_.28x4500_with_raidz2.29 gelezen en daarop mijn layout gebaseerd. en dus heb ik raidz1's gebouwd met losse spares die voor alle raidz1's dienen.
[...]
AMD64 is stabieler dan i386 met ZFS onder FreeBSD. als je op het AMD64 platform dan ook nog tuning erop loslaat, wordt het nog stabieler. ik heb dan ook niet weinig RAM erin gestoken voor ZFS, kost toch geen drol.'stabieler na tunen'. Brr. Zou je daar wel 8 TB (
en ja hoor, vertrouw ik wel, kan fout gaan maar is voor mij de enige oplossing want 1) ik wil geen hardwarematige raid 2) ik werk met Solaris, HP-UX en vertouw nu ZFS genoeg onder Solaris 3) weet dat de jongens en meiden van FreeBSD heel snugger zijn en last but not least 4) de grootste bugs er nu wel uit zijn.
en een gokje meer of minder ben ik echt niet vies van. lees: maakt mij/ons geen reet uit als deze zandbak zou klappen. backup heb ik trouwens niet, 8TB backuppen vind ik waanzin voor wat ik/wij ermee doe(n). belangrijke data (van bedrijven) wordt trouwens over meerdere systemen verspreid buiten dat van de persoonlijke data als documenten, grooooote .pst bestanden onder ZFS bij het schrijven meerdere copyen (3) gemaakt worden.
[...]
hmm, ok, moet ik dan even opzoeken, zal wel ergens hier in het draadje staan.
Verwijderd
had eerst HP 2300's aangeschaft. blijkt dat die niet naast elkaar werken! bummer: 1 erin gaat prima maar als je een tweede ernaast steekt, boot hij niet door, krijg je een out of memory error. balen dus. maar goed.
HP 2340 besteld en geleverd, die erin en meteen gaan bouwen vanwege tijdsdruk. er draait nu een enkele 2340 in met 10 HDD's, heb nog plek op die controller voor 6 HDD's.
heb nu geen zin om te gaan kijken of die 2300 naast de 2340 werkt.
/edit:
en van de SUN site:
If you are creating a RAID-Z configuration with many disks, as in this example, a RAID-Z configuration with 14 disks is better split into a two 7-disk groupings. RAID-Z configurations with single-digit groupings of disks should perform better.
ik heb plek voor 16 HDD's op die 2340. daarnaast kan ik nog 6 op de SATA controller van het mammaplankje kwijt dus mocht het vol gaan lopen, heb ik 3 raidz1 van 5 met 1 spare op de controller waarnaast ik nog spares kan plaatsen op de controller.
[...]
ik heb uren gelezen, geiinstalleerd, gevloekt en kannen koffie er doorheen gejaagd voordat ik tevreden was. alles afgewogen en voor relatief weinig geld veel opslag. en tot nu toe betrouwbaar qua opslag. draai er echter geen veel vragende db's op, dat vertrouw ik dus weer niet. eerst maar FreeBSD 8.x afwachten wil ik dat pad eventueel inslaan. tis allemaal wikken en wegen, voor opslag is het best, scrub draaide eerst om de 4 uur, nu om de twee dagen en afbouwend dus het vertrouwen in ZFS wordt aan deze kant immer groesser! wil ik rustig kunnen knorren, had ik wel wat anders gekozen maar heb geen zin in de rekening van het NUON met bv een EVA 5000 met 96 300GB disks erin.
[...]
gaat ik doen!
[ Voor 12% gewijzigd door Verwijderd op 12-04-2009 02:37 ]
Die 2340 werd met toch te duur voor thuis dus moet het met de 2320 doen.
Dus de highpoint puur als een kaart die je 16 sata poorten geeft. Dan nog 6 op het mobo = 22 disks. Dus totaal zou je 4 raidz1 + 2 spares kunnen doen. Hierbij begrijp ik dat een raidz1 eigenlijk een raid 5 set is.
2 spares en 4 sets van (5-1) disks = 4x4 = 12 TB aan redundante storage?. Dat is toch wel 'duur' gezien de hoeveelheid disks. Ik zag in jouw bron een mooi tabelletje over io vs storage space. Volgens mij is io (NAS?) geen issue en wil je max storage space, dus misschien is het toch een idee om van de standaard af te wijken. Zeker als dit voor privé is?
Aan de andere kant, zover is het nog lang niet en wat kost dan een TB?
Precies. Maar is io een issue? Als het om storage gaat, boeit alleen sequentiële doorvoer en dan zou je volgens mij toch kunnen kiezen voor 1 grote array. Ik vraag me af of het rebuilden van een grotere array langer duurt dan een kleinere array, dat weet ik eigenlijk niet eens zeker. Want dat zou in mijn ogen een goede reden zijn om toch kleinere arrays te maken, de periode dat je risico's loopt gedurende de rebuild is geringer. Maar volgens mij hangt de rebuild tijd voornamelijk af van de grote van de disk.
Met 1 TB disks, een rebuilt kost zo een uurtje of 12+. Dat betekent dat al je disks even lekker extra staan te stampen gedurende die 12+ uur. Als er dan nog een zwakke broeder tussen zit...
Ha, dat is een ander verhaal. Met betrouwbaar doel ik zelf meer dat ZFS, alhoewel erg veel belovend, naar mijn weten alleen op solaris aan 100% grenzend stabiel is, op FreeBSD is het nog relatief nieuw, niets ten kwade van de ontwikkelaars. Alternatief was om gewoon 'ouderwets' geom raid 5 of raid 6 te draaien, maar dan mis je de features van zfs.ik heb uren gelezen, geïnstalleerd, gevloekt en kannen koffie er doorheen gejaagd voordat ik tevreden was. alles afgewogen en voor relatief weinig geld veel opslag. en tot nu toe betrouwbaar qua opslag. draai er echter geen veel vragende db's op, dat vertrouw ik dus weer niet. eerst maar FreeBSD 8.x afwachten wil ik dat pad eventueel inslaan. tis allemaal wikken en wegen, voor opslag is het best, scrub draaide eerst om de 4 uur, nu om de twee dagen en afbouwend dus het vertrouwen in ZFS wordt aan deze kant immer groesser! wil ik rustig kunnen knorren, had ik wel wat anders gekozen maar heb geen zin in de rekening van het NUON met bv een EVA 5000 met 96 300GB disks erin.
Waarom ben je uiteindelijk voor zfs gegaan eigenlijk?
[ Voor 19% gewijzigd door Q op 12-04-2009 12:56 ]
:strip_exif()/u/38813/holland.gif?f=community)
Ik zit even met een kleine uitdaging en ben al de hele ochtend reviews aan het lezen over moederborden, cpu's en power consumptie + performance. Kom er niet uit. Ik zal de situatie schetsen.
Wil de beste basis leggen voor mijn fileserver, gebruik SABnzbd+ erg vaak en hij moet doen zoals de naam aangeeft. Bestanden serveren aan mijn gamepc (muziek + films) en aan mijn notebook (muziek en foto's) + .mkv, mp3 e.d. naar mijn Tvix over GBit LAN.
Nu mijn keuze voor de beste basis, AMD of Intel? Heb geen voorkeur, wil alleen zoveel mogelijk features, performance en een lage power consumptie. Heb zelf een Highpoint 2310 (PCI-E 4x) controller waar nu 4 x 750GB drives in RAID5 op draaien. 2 x 500GB in RAID1 (eventueel plus encryptie) (van plan om aan te sluiten op onboard SATA controller)
Om dus toekomst proof te zijn wil ik zoveel mogelijk SATA HDD's kunnen aansluiten. Ik kan aan een identieke Highpoint controller goedkoop komen en hierdoor is een 2e PCI-E 4x poort noodzakelijk.
Nu kom ik deze tegen Foxconn A7DA-S met 2 x PCI-E 16x (dus voor de 2 controllers) en 6 x SATA300 met o.a. RAID 5 mogelijkheden. Ga ik rekenen, dan kan ik dus 8 x SATA HDD's aansluiten op de controllers en 5 x HDD's (minus SATA voor de DVD brander) waarvan dus al 2 x RAID 1 draait. Heb dan nog 3 x RAID 5 mogelijkheden over.
Ervanuitgaande dat ik nu 2.75TB effectief heb als storage kan ik dan uitbreiden tot max (met 1.5TB schijven) 7.5TB extra ( 4 x 1.5TB @ RAID5 en 3 x 1.5TB @ RAID5) Totaal plaatje levert mij dus 9.75TB op met dit moederbord. Dit kost me dus in totaal 175 eur (mobo en nieuwe controller) exclusief disken.
Kies ik voor de Intel oplossing, dan kom ik op de GB GA-EG45M-DS2H uit. Hier kan ik alleen mijn huidige controller op kwijt (2.25TB) en heb dan nog 5 x SATA300 (plus 1 DVD brander) over. Hiervan gebruik ik al 2 poorten voor 2 x 500GB in RAID1. Dan heb ik nog maar 3 poorten over. Totale capaciteit (uitgaande van 1.5TB drives) is dus 5.75TB voor dit bord. Kost me 100 EUR. Heb als leuke feature dat dit bord een TPM heeft.
Nu is het plaatje duidelijk, 9.75TB voor AMD en 4TB minder als ik de Intel oplossing neem. Alleen hoe zit het met mijn eisen als performance en power consumptie? Intel kent een E7400 als snelle C2D met goede power management features en AMD kent een X2 5050E of een Phenom X3 720.
E7400 kan volgens Tom's Hardware makkelijk mee met de 5050E als het gaat om power consumptie en vernedert deze OOK qua performance.
Phenom X3 720 is een stroom vreter helaas en laat de E7400 achter zich als het gaat om performance.
5050E is lekker zuinig, maar qua performance minder dan de andere 2 CPU's.
Wat moet ik doen?
Gaan voor de AMD oplossing ivm grotere capaciteits mogelijkheden icm een 5050E en hopen dat deze snel genoeg is voor mijn doeleinden
Of voor de Intel oplossing, minder opslagopties maar wel sneller
Iemand?
P.S. extra controller (16 poorts b.v.) is geen optie omdat ik dit echt TE duur vind.
Bedankt voor het lezen
Wil de beste basis leggen voor mijn fileserver, gebruik SABnzbd+ erg vaak en hij moet doen zoals de naam aangeeft. Bestanden serveren aan mijn gamepc (muziek + films) en aan mijn notebook (muziek en foto's) + .mkv, mp3 e.d. naar mijn Tvix over GBit LAN.
Nu mijn keuze voor de beste basis, AMD of Intel? Heb geen voorkeur, wil alleen zoveel mogelijk features, performance en een lage power consumptie. Heb zelf een Highpoint 2310 (PCI-E 4x) controller waar nu 4 x 750GB drives in RAID5 op draaien. 2 x 500GB in RAID1 (eventueel plus encryptie) (van plan om aan te sluiten op onboard SATA controller)
Om dus toekomst proof te zijn wil ik zoveel mogelijk SATA HDD's kunnen aansluiten. Ik kan aan een identieke Highpoint controller goedkoop komen en hierdoor is een 2e PCI-E 4x poort noodzakelijk.
Nu kom ik deze tegen Foxconn A7DA-S met 2 x PCI-E 16x (dus voor de 2 controllers) en 6 x SATA300 met o.a. RAID 5 mogelijkheden. Ga ik rekenen, dan kan ik dus 8 x SATA HDD's aansluiten op de controllers en 5 x HDD's (minus SATA voor de DVD brander) waarvan dus al 2 x RAID 1 draait. Heb dan nog 3 x RAID 5 mogelijkheden over.
Ervanuitgaande dat ik nu 2.75TB effectief heb als storage kan ik dan uitbreiden tot max (met 1.5TB schijven) 7.5TB extra ( 4 x 1.5TB @ RAID5 en 3 x 1.5TB @ RAID5) Totaal plaatje levert mij dus 9.75TB op met dit moederbord. Dit kost me dus in totaal 175 eur (mobo en nieuwe controller) exclusief disken.
Kies ik voor de Intel oplossing, dan kom ik op de GB GA-EG45M-DS2H uit. Hier kan ik alleen mijn huidige controller op kwijt (2.25TB) en heb dan nog 5 x SATA300 (plus 1 DVD brander) over. Hiervan gebruik ik al 2 poorten voor 2 x 500GB in RAID1. Dan heb ik nog maar 3 poorten over. Totale capaciteit (uitgaande van 1.5TB drives) is dus 5.75TB voor dit bord. Kost me 100 EUR. Heb als leuke feature dat dit bord een TPM heeft.
Nu is het plaatje duidelijk, 9.75TB voor AMD en 4TB minder als ik de Intel oplossing neem. Alleen hoe zit het met mijn eisen als performance en power consumptie? Intel kent een E7400 als snelle C2D met goede power management features en AMD kent een X2 5050E of een Phenom X3 720.
E7400 kan volgens Tom's Hardware makkelijk mee met de 5050E als het gaat om power consumptie en vernedert deze OOK qua performance.
Phenom X3 720 is een stroom vreter helaas en laat de E7400 achter zich als het gaat om performance.
5050E is lekker zuinig, maar qua performance minder dan de andere 2 CPU's.
Wat moet ik doen?
Gaan voor de AMD oplossing ivm grotere capaciteits mogelijkheden icm een 5050E en hopen dat deze snel genoeg is voor mijn doeleinden
Of voor de Intel oplossing, minder opslagopties maar wel sneller
Iemand?
P.S. extra controller (16 poorts b.v.) is geen optie omdat ik dit echt TE duur vind.
Bedankt voor het lezen
:strip_icc():strip_exif()/u/23263/crop619cf05922b03_cropped.jpg?f=community)
Verwijderd
ja, raidz1=raid5 en raidz2=raid6 als het ware:
[...]
Die 2340 werd met toch te duur voor thuis dus moet het met de 2320 doen.
Dus de highpoint puur als een kaart die je 16 sata poorten geeft. Dan nog 6 op het mobo = 22 disks. Dus totaal zou je 4 raidz1 + 2 spares kunnen doen. Hierbij begrijp ik dat een raidz1 eigenlijk een raid 5 set is.
ja is voor het grootste deel een NAS. heftige io mbt db's doe ik nog steeds op scsi disks.
[...]
io is hier geen issue.
wat verder mss leuk is om te weten: ik heb een videocamera en plemp de filmpjes daar zo neer. heb vervolgens gzip compressie aangezet en max doorvoer was 2MB tot 3MB. is een 4850ee en niet echt geschikt daarvoor. zonder compressie 'een stuk' sneller
12 uur? wat dacht je van een minuut tot een paar minuten?
heb het getest. servert uitgezet, hdd los getrokken, booten maar, ZFS mekkert, uit, verse lege erin, booten, verzilveren duurde rond de 1 min 20 sec ofzo. ik was ontzettend onder de indruk en heb mijn koffie koud laten worden omdat ik nog meer ben gaan testen.
ben trouwens met een 2300 aan het spelen. 4 500GB HDD's erin en dan raidz1 bouwen, volprakken, 1 disk eruit, enz. kijken wat ZFS allemaal aankan. heb daar soort procedures voor geschreven, niet met stopwatch trouwens, 30 sec meer of minder maakt mij niet uit. paar uur wel, vandaar ZFS.
[...]
ik heb GEOM aan het draaien gehad maar uitbreiden is ruk. heb ook onder Linux zitten spelen met mdadm maar na de kennismaking met ZFS (en idd de features) voor ZFS gekozen.
grootste reden: je kunt de zpool loskoppelen van je systeem, nieuw moederbord, nieuwe processor, FreeBSD erop, zpool koppelen en weer lekker verder. dat in combinatie met het snelle verzilveren, makkelijk uitbreiden, snelheid, leuk en exotisch deed mij voor ZFS kiezen.
verder omdat ik meen dat het het fs is van de toekomst.
Sorry, maar ik geloof niet dat een (lege) disk binnen een paar minuten gerebuild is. Dat zou betekenen dat je bij een mirror na 2 minuten al ook de andere disk zou kunnen los trekken en dan zou alles moeten werken op de 2e blanke disk die in 2 minuten gerebuild is? Dat kan toch niet? Stel 1 TB disk, dan moet je dus even 1 TB in 120 seconden kwijt. Wat ik me wel kan voorstellen: dat ZFS alleen voor het data gedeelte een rebuild doet en niet voor de gehele disk, zoals bij Linux software raid. Bij een lege disk gaat dat super snel, met weinig data ook. Maar bij grote hoeveelheden data neemt dat voordeel snel af. Stel dat je met 100 MB/s kunt rebuilden kost een TB toch nog wel 3 uur. In de praktijk betwijfel ik of 100MB/s realistisch is. Haal je 50 mb/s dan mag je al 6 uur 'm staan te knijpen.
Dat laatste ben ik wel met je eens. Ik hoop dat sun die licentie eens verandert
Btree fs is ook interessant maar doet geen raid 6 en als raid6-fanaticus haak ik dan al af.Als je toch nog aan het testen bent of daar spullen voor hebt: de 2320 die ik gebruik wil disks eerst 'initualiseren' anders kun je ze niet gebruiken, ook al maak je er jbods van voor software raid. Ik ben zelf bang dat als je die disks in een ander systeem stopt dat ze mogelijk niet herkend worden als ze niet ook weer aan een highpoint controller hangen. Ik ben benieuwd of zo'n disk gewoon goed herkend wordt aan een bijv on-board controller. Denk je net hardware-onafhankelijk te zijn door software raid te gebruiken, doet zo'n highpoint mogelijk weer lastig. Ik weet het echter niet want ik heb het niet getest en heb niet meer de ruimte omdat te doen (wil geen 3 TB aan data op het spel zetten). Niet dat je het voor mij perse hoeft te testen, maar is misschien wel goed om rekening mee te houden.
[ Voor 8% gewijzigd door Q op 12-04-2009 23:03 ]
Omdat ZFS niet alleen op block-level maar ook op filesystem-level werkt, kan ZFS door checksums, intent logs (journaling) etc. gewoon nagaan wat de laatste status van de uitgevallen disk is, en vanaf dat punt gaan herbouwen. Dat is een kwestie van een paar minuten changed data in bovenstaand geval, is zo gepiept. Normale dedicated raid controllers kunnen dat niet omdat ze geen filesystems kunnen lezen, ze zijn op een veel lager niveau bezig.:
[...]
12x 280Wp ZW, 12x 280Wp ZO, Zubadan SHW80YAA 8kW, Zehnder Q450 ERV
:strip_exif()/u/26632/dosprompt2.gif?f=community)
Met dank aan Quadro! is er inmiddels een deel 3: Het grote DIY RAID NAS topic deel 3
Dit topic zit vol dus is het tijd om afscheid te nemen
Dit topic zit vol dus is het tijd om afscheid te nemen
Dit topic is gesloten.