advies 3de Nas "de Super Nas" Zfs raidz2

[edje-bel]

Alweer loop ik tegen de grens aan met mijn 2de nas en wil ik dit probleem eens goed aanpakken.

2.5 jaar geleden een thecus 7700 aangeschaft de 1ste nas met 7x1,5 tb schijven (nog steeds in gebruik) raid6
2 maanden een nas overgenomen de 2de nas met 5x 2tb (ook in gebruik) bijna vol.

Een 3de nas ernaast zie ik niet als oplossing, na aandachtig het zfs topic/zuinige nas/show off topic doorgenomen te hebben, denk ik de oplossing gevonden te hebben in een Norcotek 4224.

Toch is er twijfel of de samenstelling correct is, met name punt1 de geheugen/zfs combi de 1Gb/1Tb regel.
2 moederbord/processor (ik denk aan de pricewatch: Supermicro X9SCM-F met een xeon e1220
3 de controller de LSI SAS 9201-16i non raid of de areca variant?

De volledige wenslijst zie hier; wenslijst: Super Nas

Als punt 1 meer belangrijk is wijk ik dan uit naar de bijvoorbeeld de Supermicro X8DTH-6F-O met een xeon E5645? = antwoordt punt 2 , punt 3 is meer een vraag van performance van de 3GbS/6GbS controller/zfs combi.

[Verwijderd]

Waarom oud geheugen van 2008 als je mooie 8GiB modules voor bijna dezelfde prijs per GB kunt krijgen? Je hebt zulke reepjes al voor 45 euro, link. 32GiB is heel goed betaalbaar nu.

Wat je niet vermeldt: wat voor software wil je gaan gebruiken? Wil je virtualisatie toepassen? Dat zijn allemaal zaken die je hardwarekeuze kunnen beïnvloeden.

In plaats van een dure 16-poort HBA, waarom geen 2x 8-poort HBA? Meer bandbreedte, iets van redundancy (afhankelijk van pool config) en vooral goedkoper; IBM M1015 en flashen naar IT-mode. Geen Areca kopen dat zijn altijd RAID controllers toch?

Ik ben niet zo heel bekend met de Xeon-processorfamilie, dus misschien dat anderen je daar beter bij kunnen helpen. Maar ZFS wil vooral laaggeklokte CPUs met veel cores hebben, in plaats van weinig cores met hoge frequency. Een goedkope quadcore is dus prima. Laag TDP hoeft niet; dat zal je idle power niet beïnvloeden en een PicoPSU ga je toch niet nemen; dus je kunt tot 95W gaan. Hoe sneller je CPU klaar is, des te sneller weer naar idle.

Ga je ook je oude schijven erin zetten? Wat voor pool config denk je aan? Verder weet ik niet zoveel te verzinnen.

[ Voor 3% gewijzigd door Verwijderd op 10-04-2012 22:34 ]

[edje-bel]

Verwijderd schreef op dinsdag 10 april 2012 @ 22:34:
Waarom oud geheugen van 2008 als je mooie 8GiB modules voor bijna dezelfde prijs per GB kunt krijgen? Je hebt zulke reepjes al voor 45 euro, link. 32GiB is heel goed betaalbaar nu.

Wat je niet vermeldt: wat voor software wil je gaan gebruiken? Wil je virtualisatie toepassen? Dat zijn allemaal zaken die je hardwarekeuze kunnen beïnvloeden.

In plaats van een dure 16-poort HBA, waarom geen 2x 8-poort HBA? Meer bandbreedte, iets van redundancy (afhankelijk van pool config) en vooral goedkoper; IBM M1015 en flashen naar IT-mode. Geen Areca kopen dat zijn altijd RAID controllers toch?

Ik ben niet zo heel bekend met de Xeon-processorfamilie, dus misschien dat anderen je daar beter bij kunnen helpen. Maar ZFS wil vooral laaggeklokte CPUs met veel cores hebben, in plaats van weinig cores met hoge frequency. Een goedkope quadcore is dus prima. Laag TDP hoeft niet; dat zal je idle power niet beïnvloeden en een PicoPSU ga je toch niet nemen; dus je kunt tot 95W gaan. Hoe sneller je CPU klaar is, des te sneller weer naar idle.

Ga je ook je oude schijven erin zetten? Wat voor pool config denk je aan? Verder weet ik niet zoveel te verzinnen.

Hallo Cipher

Ik dacht aan ecc 1333 modules 4gib en volgens de opgave van supermicro ondersteunt het moederbord die non ecc ram niet, vanzelfsprekend wil ik best die 8 gib reepjes maar in ecc variant kosten die wel wat meer.

Lol.. voor het posten lees ik het door of ik iets vergeten ben software waarschijnlijk OpenIndiana

Die 16 poorts heb ik nodig ivm de beschikbare ruimte op het moederbord nl. 2 slots pcix8 een extra 8 poorts erin en de volgende 12 disks zijn bereikbaar. (op 6g/s) en ben ik klaar tot eind 2013

Areca heeft wel degelijk non raid controllers zie http://www.areca.com.tw/products/sasnoneraid6g.htm met external 8088 poorten dan kan ik er een tweede norco erbij hangen indien nodig (vanaf eind 2013)

Hmm meer cores gewenst bij Zfs dat wist ik niet, maar dan zit ik met die 4 cores goed

Stiekum probeer ik deze aankoop te rechtvaardigen een SuperMicro X8DT6 / met een 6 core xeon dan heb ik de 8 poorts hba on board en 7 pcix8 slots leuk om mee te spelen maar over de top voor mijn gebruik denk ik.

[Verwijderd]

Ah, gaaf! Hier een foto van die ARC-1320-8i met interne SAS:



Maar hij is wel twee keer zo duur als de IBM M1015 volgens de PW:
pricewatch: Areca ARC-1320-8I
pricewatch: IBM ServeRAID M1015 SAS/SATA Controller for System x

En in plaats van één monsterserver kun je toch meerdere servers in je rack hangen? Als je over 3-6 jaar een keer wilt uitbreiden, gooi je er gewoon een norco bij. Zuinigere hardware en gebruik je je huidige systeem als cold backup; dus dat hij altijd uit staat en alleen bijvoorbeeld 's nachts aangaat om met de main server te syncen, en dan gelijk weer uitschakelt. Dat kan een goed toekomstplan zijn waar je nu al rekening mee kunt houden qua afwegingen voor bepaalde hardware.

Wat wil je allemaal op je systeem gaan doen behalve files serveren, en hou je het bij normaal gigabit of ga je ook nog iets van 10 gig proberen of nu of in de toekomst? Met zo'n grote en dure build zou ik daar zeker rekening mee houden. Dan moet je één PCI-express 2.0 x8 (=4GB/s) of x4 (=2GB/s) reserveren. De Intel X540 is bijvoorbeeld een dualport controller. Dan wil je het liefst ook dubbel zoveel bandbreedte hebben dus is x4 iets minder geschikt.

Over je geheugen zal ik nog eens zoeken; maar is het geheugen wat je gelinkt hebt wel echt ECC? Even gekeken, en het betreft non-ECC 2x2GB geheugen. Dat wil je dus echt niet.

4GB 1333MHz DDR3 Non-ECC CL9 DIMM (Kit of 2)

Ik heb wel deze gevonden:
pricewatch: Adata SUDR1333W8G9-B

Ook heel mooi zuinig 1.35v geheugen. Pas een week geleden toegevoegd aan de PW, maar als je toch pas over een paar weken gaat bestellen kun je dit zeker in overweging nemen. Je alternatief is 4GB modules, maar ik zou echt 8GB modules proberen te krijgen!

PS. Als je direct reageert op de persoon erboven hoef je vaak geen quote te doen, zeker niet als het bericht heel lang is. Dat staat alleen maar lelijk.

[ Voor 3% gewijzigd door Verwijderd op 11-04-2012 14:16 ]

[edje-bel]

Ja mooie kaartjes inderdaad van Areca

Wat komt er nog meer op de server te draaien dan fileserver/streamer.. back up/sab/films converteren mijn dochter volgt een opleiding grafisch ontwerper en wil de film richting in, die springt dus regelmatig naar een andere pc omdat die van haar bezig is.

Virtualisatie lol tot een maand geleden nog nooit van gehoord ik moest dat letterlijk opzoeken in de wikipedia
Tweakers.net is verslavend maar reikt me oplossingen aan voor problemen waar ik omheen werkte.

Ik noem het maar voortschrijdend inzicht voor wat nodig is.

een monsterserver wellicht, 72tb is geen doorsnee opslag
de oude schijven gaan eruit als de eerste 12 schijven geïnstalleerd zijn in deze server en alles overgezet is
waarna ik de volgende 12 kan klaarmaken.

ja het geheugen was fout heb ik aangepast bedankt een mooie tip. 32gb

Ja ik wil inderdaad overgaan maar dan volgend jaar naar 10gbit in mijn nieuwe woning... hmm dan kom ik een pcie slot tekort in dit pad op het huidige moederbord

[Verwijderd]

Virtualisatie moet je gewoon aan denken dat je twee besturingssystemen op één PC draait. Denk aan Solaris voor ZFS server en daarnaast Windows of Linux voor gaming/workstation taken. Als je dat beide op één server wilt doen, kun je flink wat problemen tegenkomen. Een oplossing zonder virtualisatie is veel simpeler en makkelijker, evenals minder probleemgevoelig.

Wat wel goed kan is dat je wat extra dingen op virtualbox laat draaien bijvoorbeeld. Je ZFS server heeft dan gewoon directe toegang tot alles (host OS) en Virtualbox kun je dan draaien om een virtual machine met Linux of Windows ernaast te draaien, waarop bijvoorbeeld software als SABnzbd ofzo draait. Dat is maar een voorbeeld; je kunt SAB ook native op je host OS draaien.

Aangezien je met zoveel opslag zit, vind ik je computersysteem eigenlijk wel aan de magere kant. Gezien het budget van de overige onderdelen zou het meer in lijn zijn om 6 tot 8 DRAM-sloten te hebben, eventueel met een dualsocket moederbord. Qua CPU-power is dat overkill met wat je gaat doen, qua RAM kan het wel leuk zijn alhoewel je bij serverborden niet altijd alle DRAM sloten kunt gebruiken met unbuffered ( = NIET registered) geheugen. En ook voldoende PCI-express is belangrijk.

Verder: hoeveel haast heb je met de server? Want Intel released over twee weken de Ivy Bridge CPU-lijn. Ik weet niet hoe snel de xeons een upgrade krijgen, maar het kan leuk zijn hierop te wachten evenals de serverborden van 2012. Echt heel belangrijk is het niet.

En hoe zit het nou met je controller? Je hebt in je wenslijst één controller voor 16 disks, op je moederbord 6 poorten = 22 totaal. Hoe kom je dan aan 72TB? Hoeveel schijven wil je precies kunnen aansturen? Je Norco-behuizing kan in principe 24 3,5" disks kwijt. Maar je wilt wellicht ook een of meer SSDs voor L2ARC caching. Heb je je hierover al ingelezen?

[edje-bel]

Ok ik heb me even ingelezen in L2arc interessant, via het artikel van Femme.
Iets om te overwegen

Ten aanzien van de controller was het de bedoeling eerst een 16 poorts te gebruiken en bij de 2de batch van 12 schijven een 8 poorts hba toe te voegen.

Naar aanleiding van je opmerking over de balans mobo/pros/ geheugen toch maar weer verder gegaan met wikken en wegen en besloten om het moederbord om te gooien naar de pricewatch: Supermicro X8DTH-6F-O
7x pcie, 8 poorts sas2.0, etc een 6 core Xeon en 48gb memory

Een en ander komt nu meer in lijn denk ik wenslijst: Super Nas

Haast is er niet direct ik wil eind mei operationeel zijn met de eerste pool van 12 schijven en door de capaciteit verruiming van 14,5TB naar 30TB kan ik wel toe tot eind 2012 wellicht ga ik met mijn huidige schijven testen met raidz10

[Verwijderd]

Mwa zo'n LGA1366 systeem is toch weer gedateerd. Wat denk je van deze:
http://www.supermicro.com...Xeon/C600/X9DRi-LN4F_.cfm



Je kunt er 16 reepjes van 8GiB unbuffered inzetten = 128GB. Om alle 24 sloten te gebruiken heb je registered nodig. En waarom niet gewoon Registered als je ECC wilt? Veel goedkoper. Je geheugen is dan niet compatible met normale (UDIMM) systemen. Maar je kunt dan wel goedkoop 1.35v geheugen krijgen met ECC, keuze genoeg! Bijvoorbeeld: pricewatch: Kingston ValueRAM KVR1333D3LD4R9S/8GEC

De Hitachi schijven die je hebt genomen zijn 512-byte sector schijven. Zijn je bestaande schijven dat ook? 4K sector schijven willen namelijk andere pool configuraties hebben, zoals:

RAID-Z: 3, 5 of 9 disks (9 disks is niet veilig genoeg!)
RAID-Z2: 4, 6 of 10 disks
RAID-Z3: 5, 7 of 11 of 19 disks

Wat bedoel je precies met 'raidz10' ?

[ Voor 8% gewijzigd door Verwijderd op 12-04-2012 14:53 ]

[edje-bel]

Dat moederbord is "BETER" veel beter, nieuwer en ook nog eens goedkoper. (wat ik niet had verwacht en daarom er niet naar gekeken)

We passen het aan.. de processor wordt dan een E5 2620 weer een besparing

ik heb hier nu 5x Hitachi Deskstar 5K3000, 2TB (SATAIII) en 7x wd15eads 1,5TB sataII

Die sector grootte kan toch aangepast worden indien gewenst?

Ik schrijf het verkeerd moet zijn raid z10 een Vdev bijvoorbeeld met 2+1 schijf voor hogere iops

[Verwijderd]

Sectorsize kun je niet aanpassen, niet van de disk zelf en niet van je pool achteraf. Je kunt wel een pool aanmaken die optimaal werkt met bepaalde sectors. Ashift=12 wil zeggen dat je pool gemaakt is voor schijven met 4K sectors. Ashift=9 is normaal 512-byte sectoren, wat je normaal krijgt als je een pool uitmaakt. Voor 4K schijven is dat veelal niet wenselijk. Er bestaan daarom manieren om de ashift op 12 te krijgen, zodat het goed werkt met 4K schijven. Dit is een permanente instelling voor de hele pool op alle disks en wordt bepaald bij het aanmaken van de pool.

Ik weet nog steeds niet wat je bedoelt met RAID-Z10, laat ik een overzichtje geven:

Mirroring aka RAID10: groepjes van 2 (of meer) disks in een mirror die vervolgens gestriped worden; meerdere mirrors in een stripe dus
RAID-Z - aka RAID5: één disk bescherming met single parity
RAID-Z2 - aka RAID6: twee disks bescherming met double parity

In je pool kun je meerdere vdevs hebben. Een vdev kan zijn: een enkele disk, een mirror of één van de RAID-Z families. Als één van die vdevs niet beschikbaar is, is je pool ook niet beschikbaar.

Je doet er dus verstandig aan óf meerdere pools te maken als je weinig redundancy wilt zoals RAID-Z. Wil je één grote pool, dan raad ik je héél sterk aan om alleen RAID-Z2 te gebruiken, dus met twee parity disks. RAID-Z3 kan ook, met drie parity disks voor hele grote vdevs.

Voorbeeld:
7x WD 1.5TB in RAID-Z2 = 5 disks effectief bruikbaar voor opslag
5x Hitachi 5K3000 2TB in RAID-Z2 = 3 disks effectief bruikbaar voor opslag
12x Hitachi 5K3000 3TB in RAID-Z2 = 10 disks effectief bruikbaar voor opslag

In dit voorbeeld vind ik de 5 disks Hitachi 2TB niet zo geweldig efficient eruit komen. Je kunt ervoor kiezen om die vdev in een eigen pool te stoppen en RAID-Z ipv RAID-Z2 te gebruiken. Zou deze vdev dan falen, dan ben je niet je hoofd pool kwijt omdat je daar altijd RAID-Z2 gebruikt.

RAID-Z2 is héél fijn omdat je tweevoudige bescherming hebt. Denk niet alleen aan twee foute disks, maar ook aan één gefaalde disk en tijdens een rebuild krijg je bad sectors op één of meerdere disks. Dan werkt RAID-Z2 geweldig omdat hij ze allemaal corrigeert.

[edje-bel]

Bedankt Cipher in het zfs topic behandelde je al hetzelfde sector onderwerp die het al duidelijk maakte

Laat ik duidelijk zijn dat de hd keuze meer gebaseerd is op tevredenheid in het forum dan de kenmerken ivm zfs

het kan ook een seagate zijn bv de pricewatch: Seagate Barracuda ST3000DM001, 3TB 7200 toeren 4kb

Mijn oude schijven kan ik voorlopig gebruiken of vervangen indien nodig het is meer dat de aanwezigheid me de mogelijkheid geeft om ervaring op te doen met zfs en uitbreidingen van de zpool

die raid z10 komt uit Femme's artikel

voorbeeld

Zes disks
Raid-z 5 + 1 10 TB 200 iops 100%
Raid-z2 4 + 2 8 TB 200 iops 0%
Raid 10 3x (1 + 1) 6 TB 600 iops 20% (1 / 5)
Raid-z10 2x (2 + 1) 8 TB 400 iops 40% (2 / 5)

reviews: Opslagnetwerken met zfs en Comstar

[Ultraman]

Die raid-z10 zijn twee raid-z array die gestriped worden.
Ik snap denk ik waar naam vandaan komt:
raid-z + stripe => raid-z + "raid0" => raid-z0

Maar dat is een beetje kromme naam, want die 0 lijkt zo op de z te slaan.
Zoals bij raid-z2 het geval is.

Daarom wordt raid-z vernoemd naar raid-z1 (1 parity disk), en wordt daar de 0 achter geplakt om de stripe aan te duiden.

raid-z10 kun je in deze context daarom zien als de ZFS variant van RAID50.

[jadjong]

Prachtig, van een opgeleukte i3 met 8GB geheugen binnnen een uurtje naar een dual xeon die nog niet eens in de winkels ligt
Ik zou het bij een single socket systeem houden. Nu kan je daar betaalbaar 64Gb geheugen in kwijt en tegen de tijd dat een E5-2620 leverbaar is heeft supermicro de X9-SRL-f met 7x PCIe x8 en 10 onboard sata ook leverbaar. Scheelt je flink wat stroom en die extra processor in het eerste bord zal toch niet heel veel doen.

[edje-bel]

Ja dat stripe wilde ik al eerder benoemen maar eerlijk gezegd moet ik me meer inlezen op dat punt, en dan nog ontbreekt eigen gebruikers ervaring.

blijft de vraag of de seagate een betere keus is dan de hitachi 7200 vs de 5400 toeren, de performance zal beter zijn de 4k sectors zijn aanwezig, de storage space is identiek los van de besparing van €15 per hd.

[edje-bel]

Jadjong

1 uurtje? nee hoor kijk naar de datum.

in een dual socket een enkele processor plaatsen kan ook waarmee ik dan ook reken.
het mobo heeft ook een 8 poorts sas2 die ik niet hoef te kopen, die ik dus bijna tegenover elkaar kan wegstrepen.(meerprijs)

probleem is dan wel dat zfs meer geheugen op prijs stelt voor de perfomance (nodig?) maar niet een groot punt

van een 1155 naar een 1366 naar een 2011 bord is de moeite waard.

maar als je een betere oplossing weet wat een lagere investering geeft wil ik graag jouw opinie lezen en onderzoeken.

hmm levertijd 2 weken lees ik bij max itc, dat ie nog niet in de winkel is is een andere benadering toch, er is geen brand en ik kan wel wachten daarop, de specs zien er goed uit.

[ Voor 14% gewijzigd door edje-bel op 12-04-2012 23:01 . Reden: aanvulling ]

[jadjong]

edje-bel schreef op donderdag 12 april 2012 @ 22:00:
in een dual socket een enkele processor plaatsen kan ook waarmee ik dan ook reken.
het mobo heeft ook een 8 poorts sas2 die ik niet hoef te kopen, die ik dus bijna tegenover elkaar wegstrepen.(meerprijs)

Kijk even in de handleiding naar het schema van het bord. Alle onboard apparaten en twee PCIe sloten zijn verbonden met de eerste CPU, de overige PCIe sloten zijn verbonden met de tweede CPU. Om alle functies te kunnen gebruiken moet je de tweede CPU installeren.

Overigens heb je een uitdaging als je een dual-bordje in de Norco kast wilt zetten. De dual varianten steken aan de 'bovenkant' iets uit, op die plek zit bij de Norco kasten de voeding gemonteerd. Dat wordt ff knutselen.

[edje-bel]

Ik zal er eens naar kijken hoe dat zit met die pci slots, ik ga en nu ging ervan uit die die allemaal bereikbaar zijn met 1 processor, goede tip.

hmm de norco case is 483 breed uitwendig, het bordje is 33 cm en de voeding op zijn kant 86 mm, dat geeft me ca. 7 cm speling afhankelijk van de montage gaten en locatie in de case, ik denk dat het past maar zal het checken.

[jadjong]

edje-bel schreef op donderdag 12 april 2012 @ 22:53:
Ik zal er eens naar kijken hoe dat zit met die pci slots, ik ga en nu ging ervan uit die die allemaal bereikbaar zijn met 1 processor, goede tip.

hmm de norco case is 483 breed uitwendig, het bordje is 33 cm en de voeding op zijn kant 86 mm, dat geeft me ca. 7 cm speling afhankelijk van de montage gaten en locatie in de case, ik denk dat het past maar zal het checken.

Ik zal het morgen voor je nameten.

[jadjong]

jadjong schreef op donderdag 12 april 2012 @ 23:29:
[...]

Ik zal het morgen voor je nameten.

Afstand tussen binnenwand en een standaard atx voeding is 32.1cm.
Let er ook op dat de door jou aangehaalde 33cm de diepte is van het dual-bord. De breedte is 37cm.

[ Voor 18% gewijzigd door jadjong op 14-04-2012 20:21 ]

[edje-bel]

Jadjong, bedankt voor het meedenken, ik heb ook een mailtje gestuurd aan ri-vier hopenlijk weet ik maandag meer.

[edje-bel]

Vervelend het moederbord past niet in de norcotek 4224 cee atx en de norco maximaal e-atx.

Niet getreurd dan stappen we over op het moederbord supermicro x9dri-f of de x9dr3 met 16 sas poorten on board.

Helaas is het moederbord nog niet leverbaar dus de bestelling stel ik even uit, betalen en dan de wachtkamer in heb ik geen zin in.

Dan kunnen we ons nog wat beter inlezen op de configuratie en besturing (openindiana)

[ Voor 35% gewijzigd door edje-bel op 16-04-2012 11:06 . Reden: aanvulling ]

[Raoul.TLS]

Is dit wat voor jouw ?
http://www.synology.com/p...t_name=DS2411%2B&lang=enu
En als het vol raakt kan je hem uitbreiden met
http://www.synology.com/products/dx1211.php?lang=enu

[edje-bel]

Ja Raoul, die heb ik ook al overwogen, maar kies toch voor de huidige aanpak, beter schaalbaar en zit ik niet vast aan 1 oplossing/leverancier

[jadjong]

Mocht Supermicro niets worden dan heeft Tyan ook nog iets in de aanbieding.
http://www.tyan.com/produ...=MB&pid=751&SKU=600000296
4x PCIe x8
2x PCIe x16
Dual i350 lan
2x SATA3
4x SATA2 los
4x SATA2 via sff8088 connector
8x SAS2/SATA3 via 2x sff8088 connector op LS2308.

[edje-bel]

Ja Tyan kan een alternatief zijn alleen komt dit bordje pas in de 2de helft van 2012 uit, supermicro levert al uit inmiddels.