Het grote DIY RAID NAS topic deel 3

[Extera]

Gister nieuwe spullenboel binnen gekregen, en begonnen met het bouwen van een virtuele NAS.

Voor de volledigheid, dit is mijn volledige setup:

OS is VMware ESX 5.1
Hierin een VM met de laatste stable FreeNAS, met de IBM 1015 in IT mode via passtrough toegevoegd.
Op dit moment heeft de VM 8GB toegewezen, gezien ik nog wacht op 16GB mem (zit nu 16 in ipv 32).

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 202,10	€ 202,10
1	Supermicro X9SCM-IIF	€ 203,64	€ 203,64
5	Seagate Barracuda HDD.15, 4TB	€ 147,16	€ 735,80
1	Western Digital Caviar Green WDBAAY5000ENC, 500GB	€ 57,95	€ 57,95
1	Kingston DataTraveler 111 16GB Zwart	€ 9,61	€ 9,61
4	Supermicro MEM-DR380L-HL01-EU16	€ 82,05	€ 328,20
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Seasonic G-Serie 450Watt	€ 74,90	€ 74,90
1	Samsung 840 series 250GB	€ 138,70	€ 138,70
Bekijk collectie Importeer producten		Totaal	€ 1.869,48

Ik vermoed nu dat 1 van de schijven niet goed is.
Wanneer ik een RaidZ1 aanmaak van 5 schijven, en ik ga data kopieeren loopt de complete VM vast waarbij ik allerlei errors krijg (ik zal de volgende keer wat screenshots maken, mocht ik er later niet uitkomen).

De error was iets in te trant van 'connection to device da5 lost'

Pas na het herstarten van de complete ESX host kan ik de FreeNAS VM opnieuw booten, maar direct na het kopieren van data weer het zelfde probleem.

Ik heb een andere sata kabel geprobeerd, kabels gewisseld (zodat hij op een andere SAS poort van de IBM1015 kwam) andere power kabel, power via een verloop naar molex geprobeerd, maar helaas, het mocht niet baten, steeds dezelfde error.

Hierna de schijf losgekoppeld en 4 schijven in zraid1 gezet, dit loopt wel stabiel.

vanavond ga ik 'de probleemschijf' wisselen met een andere schijf uit de zraid1 array en kijken hoe dit gaat. Anders maar eens kijken of ik met wat diagnostic tools fouten kan vinden, en de schijf RMA sturen...

Hoe doen jullie dit? Hebben jullie een standaard testprocedure voor nieuw schijven? En met welke tool?
Iemand nog andere tips over wat ik zou kunnen proberen?

Edit:
Schijf in windows getest, maar is daar niet eens te formatteren, de schijf verdwijnt ook soms ineens van het syteem, komt na een reboot pas terug.

Daarna de schijf terug geplaatst in de VM, werkende 4 disk array afgebroken en opnieuw opgebouwd met de probleem disk. Wederom dezelfde foutmelding helaas:



Ik heb een RMA ingeschoten, hopelijk heb ik vlug een nieuwe disk.

Ik ben nog wel benieuwd naar jullie methode's om nieuwe disks te testen.

[ Voor 7% gewijzigd door Extera op 28-06-2013 00:11 ]

[Neptunus]

Extera schreef op donderdag 27 juni 2013 @ 16:26:
Gister nieuwe spullenboel binnen gekregen, en begonnen met het bouwen van een virtuele NAS.


Hoe doen jullie dit? Hebben jullie een standaard testprocedure voor nieuw schijven? En met welke tool?
Iemand nog andere tips over wat ik zou kunnen proberen?

Ik ben nog wel benieuwd naar jullie methode's om nieuwe disks te testen.

Kijk eens naar he tooltje badblocks kan je draaien onder BSD/LINUX. Verder kan je ook je disken volschrijven met nullen en de dmesg checken. Zelf gebruik ik altijd badblocks.

[Goudduif]

Gisteren mijn IBM M1050 controller met vier 3TB disken binnen gekregen.

In vSphere zie ik alles, maar als ik deze vervolgens door middel van pass through aan NEXENTA toe wijst, krijg ik deze in de Nexenta GUI niet te zien.

Wie kan mij vertellen welke stappen ik moet uitvoeren om dit werkend te krijgen?

[FireDrunk]

MPS driver enablen?

[Goudduif]

FireDrunk schreef op vrijdag 28 juni 2013 @ 11:43:
MPS driver enablen?

Hoe doe ik dat?

[goudviske.be]

Aan het kijken om m'n ZFS NAS een beetje uit te breiden, heeft nu 6x WD green EARS 2.0
De M1015 ligt klaar, al weet ik nog niet welke schijven ik er best op aansluit. Vroeger altijd "fan" geweest van WD, maar van de laatste green series lees ik niet veel goeds (veel doa etc), maar blijkbaar lees je dat van zowat alle schijven die momenteel te koop zijn.

Iemand een suggestie naar wat momenteel goed & betaalbaar is?
Zou willen gaan voor 8x 3TB of 8x 4TB in RZ2 (of eventueel 6x 3TB of 6x 4 TB)

[Weiman]

WD Red's zijn eigenlijk gewoon de nieuwe heilige graal voor NAS-purposes.

[Phuncz]

Oeh, bold statement. Helaas gaat die vlieger niet op voor alle NAS-systemen, zoals bv. ZFS-based NAS'en.

[Xudonax]

Klopt, de WD Red heeft namelijk TLER standaard aan staan, terwijl ZFS dit eigenlijk uit wil hebben. Wat dit doet is zorgen dat de schijf na een x aantal seconden opgeeft om een error te herstellen. ZFS vind het best als de disk daarop een timeout geeft, want dan weet het dat die sector hersteld moet worden. Dat is in ieder geval het verhaal in een notendop.

Natuurlijk kun je TLER wel uitzetten, maar waarom koop je dan die schijf?

[Weiman]

Oeh, dat ze TLER aan hadden staan heb ik compleet gemist in alle reviews, dat zou je wel verwachten van een NAS schijf Maar goed, algehele betrouwbaarheid I guess.

[u_nix_we_all]

Goudduif schreef op vrijdag 28 juni 2013 @ 11:36:
Gisteren mijn IBM M1050 controller met vier 3TB disken binnen gekregen.

In vSphere zie ik alles, maar als ik deze vervolgens door middel van pass through aan NEXENTA toe wijst, krijg ik deze in de Nexenta GUI niet te zien.

Wie kan mij vertellen welke stappen ik moet uitvoeren om dit werkend te krijgen?

Heb je een reconfigure gedaan ?

code:

# touch /reconfigure
# reboot

[Phuncz]

Weiman schreef op vrijdag 28 juni 2013 @ 17:25:
Oeh, dat ze TLER aan hadden staan heb ik compleet gemist in alle reviews, dat zou je wel verwachten van een NAS schijf Maar goed, algehele betrouwbaarheid I guess.

De algehele betrouwbaarheid is al aangehaald door onder andere CiPHER, de WD Red schijven zijn identiek aan de WD Green schijven op mechanisch vlak, enkel andere firmware en meer garantie.

[Weiman]

Nou, dan sluit ik achteraan in de rij voor advies welke disks ik moet halen. Ik heb al een WD RED liggen waar ik een paar bij wilde doen voor een ZFS op basis van FreeNAS.

[Xudonax]

Aangezien TLER niet meer uitgezet kan worden schijnbaar, zou ik kijken naar WD Green, Hitach Deskstar 5Kx000 schijven (of hun grote broertjes die op 7200rpm draaien, de 7Kx000) of de vergelijkbare Seagate schijven. Helaas zit ik niet echt in de Seagate schijven, behalve dan disks met TLER aan voor in de RAID set op de servers @ work

[u_nix_we_all]

Ik heb de WD Green AV GP WD30EURS (4 x 3TB) en die bevallen heel goed onder ZFS. Deze hebben wel 3 jaar garantie, en qua prijs tussen de red en green in.

[HyperBart]

FireDrunk heeft al een tijdje de laatste Seagates met 4TB, ook heel tevreden van. Qua betrouwbaarheid en individuele performance ben ik ook SUPER-tevreden van mijn Hitachi Deskstar's 3TB. In mijn optiek en wat ik ervan hoor, is Hitachi een van de duurzaamste merken.

Seagate heb ik vanuit persoonlijk ervaring veel last mee gehad, dus heb daar een beetje een "liever niet" gevoel bij.

[OMX2000]

Allemaal leuk en aardig maar zijn we niet inmiddels bijna 2 jaar verder sinds de overstromingen in Thailand? En waarom wordt het prijspunt van mijn Samsungs F4EG nog steeds niet geëvenaard? Dat was dus als ik het me goed herinner 0.0295 €/GB.

Mijn 4x 2TB Samsungs draaien dus inmiddels ook 2 jaar 24/7 en nog niks aan 't handje (afkloppen). Performance is gewoon goed. Zeker omdat ook met dual GBit het netwerk de bottleneck bij operaties met een hoge througput, bij veel random IO wordt 't een ander verhaal.

[Phuncz]

Ik vermoed omdat een deel van de fabrikanten zijn volledige research inzetten op solid-state en het verkleinen van hard-disk, ipv. het doorontwikkelen van de benodigde opslag. Misschien heeft de economische term "price memory" er ook iets mee te maken, maar dat is een gok van mijn kant.

[OMX2000]

Phuncz schreef op zaterdag 29 juni 2013 @ 07:25:
Ik vermoed omdat een deel van de fabrikanten zijn volledige research inzetten op solid-state en het verkleinen van hard-disk, ipv. het doorontwikkelen van de benodigde opslag. Misschien heeft de economische term "price memory" er ook iets mee te maken, maar dat is een gok van mijn kant.

SSD ontwikkeling is relatief goedkoop. Chips inkopen en software algoritme schrijven voor benaderen van de data. Geen dure ontwikkeling om zoveel mogelijk data op een draaiende schijf te krijgen.

[BartNL]

OMX2000 schreef op zaterdag 29 juni 2013 @ 00:59:
Allemaal leuk en aardig maar zijn we niet inmiddels bijna 2 jaar verder sinds de overstromingen in Thailand? En waarom wordt het prijspunt van mijn Samsungs F4EG nog steeds niet geëvenaard? Dat was dus als ik het me goed herinner 0.0295 €/GB.

misschien omdat de fabrieken nu op minder goedkope plek staan, de verzekeringspremies hoger zijn, er minder afname is, er minder concurrentie is, de euro lager staat. Er zijn redenen genoeg te verzinnen.

[Midas.e]

Ik ben langzaam maar zeker toch eens aan het kijken voor een vervanger van mn huidige server - Midas.e in "Storage showoff topic - 10+ TB storage systems"

Zelf zit ik te denken aan de volgende set:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3570K Boxed	€ 189,90	€ 189,90
1	ASRock B75 Pro3-M	€ 56,-	€ 56,-
24	Western Digital Green WD20EARX, 2TB	€ 84,85	€ 2.036,40
1	Norcotek RPC-4224	€ 487,03	€ 487,03
1	GeIL Evo Leggera GEL332GB1866C10QC	€ 204,90	€ 204,90
1	HP SAS Expander Card	€ 209,33	€ 209,33
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
Bekijk collectie Importeer producten		Totaal	€ 3.302,14

en hierbij overstappend van Areca naar ZFS. Rackmountable omdat ik nu ook mn VMware machines wil vervangen door een stel nieuwe 2u machines en dit allemaal in een rack druk. Scheelt niet veel ruimte maar wel makkelijker.

Ook gelijk maar een vraag, wat zou de oude machine nog waard zijn? de case alleen was al 300+ euro, natuurlijk kan deze ook hergebruiken maar gezien het feit dat ik meer rackmountable wil gaan is dat weer nadelig.

[Shamalamadindon]

Die case moet in ieder geval nog voor een mooi bedrag te verkopen zijn. Hij is in Nederland pracktisch niet meer te krijgen. Ik geloof dat Freezinghardware er nog een paar heeft maar die vragen er geloof ik 500 euro voor.

De hdd bays zullen wel voor een 30-40 per stuk weg kunnen.

Zeg, dat moederbord heeft zeker niet toevallig IPMI functionaliteit? Anders ben ik nog wel geïnteresseerd

Wat voor CPU zit er in?

[ Voor 29% gewijzigd door Shamalamadindon op 29-06-2013 13:34 ]

[Dennisik]

Midas.e schreef op zaterdag 29 juni 2013 @ 12:55:
Ik ben langzaam maar zeker toch eens aan het kijken voor een vervanger van mn huidige server - Midas.e in "Storage showoff topic - 10+ TB storage systems"

Zelf zit ik te denken aan de volgende set:

#	Product	Prijs	Subtotaal
1	Intel Core i5 3570K Boxed	€ 189,90	€ 189,90
1	ASRock B75 Pro3-M	€ 56,-	€ 56,-
24	Western Digital Green WD20EARX, 2TB	€ 84,85	€ 2.036,40
1	Norcotek RPC-4224	€ 487,03	€ 487,03
1	GeIL Evo Leggera GEL332GB1866C10QC	€ 204,90	€ 204,90
1	HP SAS Expander Card	€ 209,33	€ 209,33
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
Bekijk collectie Importeer producten		Totaal	€ 3.302,14

en hierbij overstappend van Areca naar ZFS. Rackmountable omdat ik nu ook mn VMware machines wil vervangen door een stel nieuwe 2u machines en dit allemaal in een rack druk. Scheelt niet veel ruimte maar wel makkelijker.

Ook gelijk maar een vraag, wat zou de oude machine nog waard zijn? de case alleen was al 300+ euro, natuurlijk kan deze ook hergebruiken maar gezien het feit dat ik meer rackmountable wil gaan is dat weer nadelig.

Waarvoor niet voor 3TB disks gaan?

Snap de build niet echt, als je zoveel geld eraan uitgeeft en je wilt met VMware gaan werken mag ik hopen dat je VT-D wilt. Vervang je CPU eventueel voor een Xeon versie, maar op ze minst een veel beter moederbord die tevens VT-D ondersteunt.

Heb even snel gekeken, ben zelfs 150 euro goedkoper uit.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 202,10	€ 202,10
1	MSI Z77A-G45	€ 97,01	€ 97,01
8	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 106,90	€ 855,20
8	Western Digital Green WD30EZRX, 3TB	€ 104,67	€ 837,36
1	Norcotek RPC-4224	€ 487,03	€ 487,03
1	GeIL Evo Leggera GEL332GB1866C10QC	€ 204,90	€ 204,90
2	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 237,16
2	Samsung 840 series Pro 128GB	€ 113,05	€ 226,10
Bekijk collectie Importeer producten		Totaal	€ 3.146,86

2x SSD voor L2ARC/ZIL voor ZFS

2 IBM geef je met VT-D direct door aan je ZFS VM in Vmware.
De 8x3TB kan je elk op een IBM zetten.

2x SSD op moederbord en tevens een Xeon processor gekozen.

Kan het niet goed opmaken uit je verhaal, maar mss dat je VMware los wilt draaien van je storage dat kan. Al zou ik dan nog in je bestaande built wat aanpassen. Je hebt dan iig genoeg geld ervoor over, nice!

[ Voor 34% gewijzigd door Dennisik op 29-06-2013 14:01 ]

[thof]

HyperBart schreef op vrijdag 28 juni 2013 @ 20:35:
FireDrunk heeft al een tijdje de laatste Seagates met 4TB, ook heel tevreden van. Qua betrouwbaarheid en individuele performance ben ik ook SUPER-tevreden van mijn Hitachi Deskstar's 3TB. In mijn optiek en wat ik ervan hoor, is Hitachi een van de duurzaamste merken.

Seagate heb ik vanuit persoonlijk ervaring veel last mee gehad, dus heb daar een beetje een "liever niet" gevoel bij.

Welke 4TB seagates? Er zijn er inmiddels namelijk twee, eentje voor de desktop (HDD.15) en een NAS variant.
Review: http://www.tweaktown.com/...0gb-hdd-review/index.html

Performance tussen beide is vrijwel gelijk, wel andere verschillen (zie review). Iemand deze toevallig al geprobeerd i.c.m. ZFS? Heeft de nas-versie TLER, want dat wil ZFS liever niet.

[Midas.e]

Leo1010 schreef op zaterdag 29 juni 2013 @ 13:33:
Die case moet in ieder geval nog voor een mooi bedrag te verkopen zijn. Hij is in Nederland pracktisch niet meer te krijgen. Ik geloof dat Freezinghardware er nog een paar heeft maar die vragen er geloof ik 500 euro voor.

De hdd bays zullen wel voor een 30-40 per stuk weg kunnen.

Zeg, dat moederbord heeft zeker niet toevallig IPMI functionaliteit? Anders ben ik nog wel geïnteresseerd

Wat voor CPU zit er in?

Er zit een supermicro C2SBX in, geen idee of dat lpmi ondersteund(normaal heeft supermicro vaak een lpmi kaart los erbij)
CPU is een Xeon 3065

Dennisik schreef op zaterdag 29 juni 2013 @ 13:44:
[...]


Waarvoor niet voor 3TB disks gaan?

Snap de build niet echt, als je zoveel geld eraan uitgeeft en je wilt met VMware gaan werken mag ik hopen dat je VT-D wilt. Vervang je CPU eventueel voor een Xeon versie, maar op ze minst een veel beter moederbord die tevens VT-D ondersteunt.

Heb even snel gekeken, ben zelfs 150 euro goedkoper uit.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230V2 Boxed	€ 202,10	€ 202,10
1	MSI Z77A-G45	€ 97,01	€ 97,01
8	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 106,90	€ 855,20
8	Western Digital Green WD30EZRX, 3TB	€ 104,67	€ 837,36
1	Norcotek RPC-4224	€ 487,03	€ 487,03
1	GeIL Evo Leggera GEL332GB1866C10QC	€ 204,90	€ 204,90
2	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 237,16
2	Samsung 840 series Pro 128GB	€ 113,05	€ 226,10
Bekijk collectie Importeer producten		Totaal	€ 3.146,86

2x SSD voor L2ARC/ZIL voor ZFS

2 IBM geef je met VT-D direct door aan je ZFS VM in Vmware.
De 8x3TB kan je elk op een IBM zetten.

2x SSD op moederbord en tevens een Xeon processor gekozen.

Kan het niet goed opmaken uit je verhaal, maar mss dat je VMware los wilt draaien van je storage dat kan. Al zou ik dan nog in je bestaande built wat aanpassen. Je hebt dan iig genoeg geld ervoor over, nice!

de ESXI machines komen los ervan, dat worden 2x een R610 met 64GB ram elk. Goed punt van de SSD's, hiervoor heb ik 2x een intel 320 liggen, 120GB, de 2TBers heb ik gekozen omdat ik meer spindels wil ipv bulk storage, vooral als je databaseservers draait is dat wel fijn, iets wat ik wel redelijk vaak test.

[Dennisik]

Midas.e schreef op zaterdag 29 juni 2013 @ 16:18:
[...]


Er zit een supermicro C2SBX in, geen idee of dat lpmi ondersteund(normaal heeft supermicro vaak een lpmi kaart los erbij)
CPU is een Xeon 3065


[...]

de ESXI machines komen los ervan, dat worden 2x een R610 met 64GB ram elk. Goed punt van de SSD's, hiervoor heb ik 2x een intel 320 liggen, 120GB, de 2TBers heb ik gekozen omdat ik meer spindels wil ipv bulk storage, vooral als je databaseservers draait is dat wel fijn, iets wat ik wel redelijk vaak test.

Kwa prijs scheelt het bijna niks, de 3TB zijn voor dezelfde storage 300 euro goedkoper waarvan je 2 leuke SSD's kan kopen. Daarnaast is het zuiniger in stroom en de SSD's zijn stuk sneller.

Je gaat dan ESX draaien of ESXI? Als je ESXI gaat draaien heb je op elke machine 32GB ram teveel.

Als je database servers test is het dan niet leuker om 2 SSD's in RAID1 of RAID0 te zetten voor snelheid. Dan bied je dmv ISCSI simpelweg 2 storage platformen aan, aan je VMware en dan je kiezen waarop je, je VM's opslaat.

[ Voor 9% gewijzigd door Dennisik op 29-06-2013 16:27 ]

[Midas.e]

Dennisik schreef op zaterdag 29 juni 2013 @ 16:25:
[...]


Je gaat dan ESX draaien of ESXI? Als je ESXI gaat draaien heb je op elke machine 32GB ram teveel.

Als je database servers test is het dan niet leuker om 2 SSD's in RAID1 of RAID0 te zetten voor snelheid. Dan bied je dmv ISCSI simpelweg 2 storage platformen aan, aan je VMware en dan je kiezen waarop je, je VM's opslaat.

ESXI is de naam van de hypervisor sinds versie 5, esx bestaat niet meer. Aangezien ik een interne licentie heb voor VMware vSphere kan ik dat wel gebruiken.
De storage zal ik via NFS aanbieden, dat maakt het makkelijker om data weer naar een productie omgeving te zetten ipv via converter om te zetten.

[ Voor 10% gewijzigd door Midas.e op 29-06-2013 16:31 ]

[Dennisik]

Midas.e schreef op zaterdag 29 juni 2013 @ 16:28:
[...]

ESXI is de naam van de hypervisor sinds versie 5, esx bestaat niet meer. Aangezien ik een interne licentie heb voor VMware vSphere kan ik dat wel gebruiken.

Ah ja, dat is hem. Excuses.

Neem aan dat je via vCenter alles gaat regelen? Profile-Driven storage ziet er leuk uit, heb het op test cluster van mijn werk tijd terug niet aan de praat gekregen helaas.

Is leuk spelen met het spul wat jij thuis hebt staan, wil dat ook wel thuis hebben staan

[ Voor 8% gewijzigd door Dennisik op 29-06-2013 16:33 ]

[HyperBart]

thof schreef op zaterdag 29 juni 2013 @ 13:52:
[...]


Welke 4TB seagates? Er zijn er inmiddels namelijk twee, eentje voor de desktop (HDD.15) en een NAS variant.
Review: http://www.tweaktown.com/...0gb-hdd-review/index.html

Performance tussen beide is vrijwel gelijk, wel andere verschillen (zie review). Iemand deze toevallig al geprobeerd i.c.m. ZFS? Heeft de nas-versie TLER, want dat wil ZFS liever niet.

FireDrunk in "Het grote ZFS topic"

De .15 dus

[OMX2000]

Soort van review van de Supermicro X10sl7-f met een Xeon e3 v3. Dus onboard 4x SATA 2 en 8x SATA 3.

http://www.servethehome.c...ll-intel-xeon-e3-1200-v3/

Nu ff wachten wat ie in Nederland gaat kosten.

[HyperBart]

Dat is best een HEEL mooi bordje op zo een formaat... En er is een separate controller (LSI), zou wel cool zijn als je die kant VT-d'en naar een VM voor bv. ZFS.

Als je dan even gaat combineren en je gaat voor small factor high density met een hele kleine case waar je 2 x 5,25 in kwijt kan met 2 x 5,25 naar 6 x 2,5inch, dan heb je een heel klein VOLGESTOUWD NAS'je... Ik denk dan nog even aan 2 SSD's en hupppaaaa

pricewatch: Lian Li PC-V355

Zoiets bv. . Kan je al 10 x 2,5 in kwijt. En met wat gepriegel kunnen daar makkelijk nog 2 SSD's bij...

OK, het kost wel wat meer als je voor deze knakkers moet gaan pricewatch: Western Digital Green WD20NPVT, 2TB , maar dan zit je met 20TB bruto storage zo klein als het maar kan denk ik...

Of iets ruimer: http://www.fractal-design...roduct&category=2&prod=58

Zonder dat je iets moet bijkopen kan je daar al 6 x 2,5inch in kwijt in de ingebouwde trays....

Ideeën ideeën!

[ Voor 51% gewijzigd door HyperBart op 29-06-2013 20:07 ]

[Phuncz]

Super, die gaat nog in mijn NAS geraken ! Uitermate interessant bordje.

[HyperBart]

Enige nadeel: maximaal 8GB DIMM's, anno 2013 en naar de toekomst toe is dat wat weinig... Maar voor een NAS voorlopig genoeg, zelfs voor ZFS

[ Voor 23% gewijzigd door HyperBart op 29-06-2013 20:40 ]

[FireDrunk]

Het is ook wel jammer dat ze geen stroomverbruik cijfers naar buiten hebben gebracht. (Of ik mis iets... )

[Wimo.]

FireDrunk schreef op zondag 30 juni 2013 @ 10:04:
Het is ook wel jammer dat ze geen stroomverbruik cijfers naar buiten hebben gebracht. (Of ik mis iets... )

Idd, als het stroomverbruik van zo'n combo acceptabel is (25w Xeon) koop ik er ook één. Heb nu een zelfbouw Xpenology met 8x3Tb maar die mist nog wat power..

[Nielson]

OMX2000 schreef op zaterdag 29 juni 2013 @ 18:56:
Soort van review van de Supermicro X10sl7-f met een Xeon e3 v3. Dus onboard 4x SATA 2 en 8x SATA 3.

http://www.servethehome.c...ll-intel-xeon-e3-1200-v3/

Nu ff wachten wat ie in Nederland gaat kosten.

http://azerty.nl/0-5688-629966/super-micro-x10sl7-f.html

[OMX2000]

Nielson schreef op zondag 30 juni 2013 @ 13:09:
[...]
http://azerty.nl/0-5688-629966/super-micro-x10sl7-f.html

Thx! Ik hoopte stiekem dat ie een paar tientjes goedkoper zou zijn Maar dit gaat dus wel mijn volgende plankje worden. Eerst alleen plankje + cpu + memory upgrade, en daarna heb ik de flexibiliteit om mijn schijven te upgraden. Ideaal ook, mijn huidige 2 SSD's kunnen dan op SATA 600, 4 Samsung 2TB drives op de 4 SATA 300 poorten. En daarna upgraden met een X aantal schijven.

[jacovn]

Het scheelt wel 120 euro voor een M1015 kopen met die 8 poort lsi controller on board.

[beodepeo]

thof schreef op zaterdag 29 juni 2013 @ 13:52:
[...Over de NAS Seagate ST4000VN000...]
Heeft de nas-versie TLER, want dat wil ZFS liever niet.

Ja, deze HDD heeft 'NASWorks'.
Uit dit Seagate document:

NAS Error Recovery Controls
Seagate NASWorks helps to ensure drives remain active in a RAID environment.
For example, in a typical desktop environment, if a drive needs to rebuild data,
it can take 20 seconds or longer. In a typical NAS application, if the drive takes
longer than seven seconds to recover data, the RAID assumes the drive dropped
out of the array and will start the time-consuming task of rebuilding the entire
drive. With NASWorks, however, the drive will stop trying to recover data within
seven seconds. Instead, the drive will notify the RAID that it needs help rebuilding
a specific piece of data. The RAID can help correct that data from backups, and a
full drive rebuild is avoided.

[thof]

Beodepeo, bedankt voor het aanvullende uitzoekwerk. Dat stukje had ik dus gemist. Deze disken dus proberen te vermijden i.c.m. ZFS. Wel goed om te zien dat de prijs verschillen tussen "raid editie" en reguliere schijven minder extreem geworden zin voor de mensen die juist TLER enabled schijven willen.

[IceTeaGX]

Momenteel bezig met een nieuwe build:

#	Product	Prijs	Subtotaal
2	Intel Xeon E5530 Boxed	€ 546,92	€ 1.093,84
1	Asus Z8PE-D12X	€ 468,50	€ 468,50
1	Samsung EcoGreen F3, 1.5TB	€ 0,-	€ 0,-
7	Seagate Barracuda LP ST31500541AS, 1.5TB	€ 0,-	€ 0,-
1	IBM ServeRAID BR10i	--	--
1	Norcotek RPC-4220	€ 445,28	€ 445,28
1	Noctua NH-U12DX 1366	€ 57,85	€ 57,85
1	Scythe Ninja Mini Rev. B	€ 0,-	€ 0,-
12	Hynix 2GB DDR3 PC10600 ECC/REG	--	--
1	Highpoint RocketRAID 2340	€ 0,-	€ 0,-
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 118,58	€ 118,58
1	Corsair AX760	€ 142,80	€ 142,80
Bekijk collectie Importeer producten		Totaal	€ 2.326,85

IBM controllers worden in IT mode geflasht voor ZFS gebruik.
Er komen nog nieuwe schijven bij, zodanig dat de data van de oude RAID array kan overgezet worden. Ben nog een beetje aan het twijfelen welke juist.
Verder nog enkele schijven/ssd in RAID1 om VMware en hosts op te plaatsen.
Koelers dienen vervangen te worden.
Misschien nog wat custom kabels (laten) maken.
...

Nog wel wat plezier aan te beleven dus Maar ik hou jullie uiteraard op de hoogte.

[Dennisik]

Waarvoor geen norco 4224?

Voor de rest een hele leuke build! Zit genoeg kracht in zo te zien.

[Shamalamadindon]

Of eentje van het Ri-vier huismerk? Het Norco soldeerwerk op de backplanes is naar verluid van nogal lage kwaliteit.

[GHorsie]

Dennisik schreef op zaterdag 29 juni 2013 @ 13:44:
[...]


Snap de build niet echt, als je zoveel geld eraan uitgeeft en je wilt met VMware gaan werken mag ik hopen dat je VT-D wilt. Vervang je CPU eventueel voor een Xeon versie, maar op ze minst een veel beter moederbord die tevens VT-D ondersteunt.

Sorry, daar moest ik toch even op reageren...

Wat is er mis met dat moederbord? Buiten het feit dat dit moederbord in het zuinige server topic aangeraden wordt ondersteund deze toch echt VT-d. Sterker nog, ik heb dit moederbord in combinatie met een I5-3570 en gebruik dit met ESXi en VT-d.

[IceTeaGX]

Dennisik schreef op maandag 01 juli 2013 @ 00:25:
Waarvoor geen norco 4224?

Voor de rest een hele leuke build! Zit genoeg kracht in zo te zien.

Het verschil tussen de 4220 en de 4224 (is al een pak meer dan het het verschil 4216-4220.
Toen ik deze case bestelde had ik trouwens nog niets gezien/gehoord van ri-vier huismerk cases.
De ruimte bovenaan is eventueel nog te gebruiken voor SSD/HDD's, dat is dan minder hotswap, maar nog steeds gemakkelijk toegankelijk.

[Dennisik]

Gerard v.d. Horst schreef op maandag 01 juli 2013 @ 00:41:
[...]


Sorry, daar moest ik toch even op reageren...

Wat is er mis met dat moederbord? Buiten het feit dat dit moederbord in het zuinige server topic aangeraden wordt ondersteund deze toch echt VT-d. Sterker nog, ik heb dit moederbord in combinatie met een I5-3570 en gebruik dit met ESXi en VT-d.

Je hebt helemaal gelijk, excuses.

Dat is dan potver een leuk boord voor dat geld. Ik heb niks gezegd nee.

[jacovn]

IceTeaGX schreef op maandag 01 juli 2013 @ 01:13:
[...]

Het verschil tussen de 4220 en de 4224 (is al een pak meer dan het het verschil 4216-4220.
Toen ik deze case bestelde had ik trouwens nog niets gezien/gehoord van ri-vier huismerk cases.
De ruimte bovenaan is eventueel nog te gebruiken voor SSD/HDD's, dat is dan minder hotswap, maar nog steeds gemakkelijk toegankelijk.

En er kan een optisch loopwerk in de 4220, handig voor initiele installatie, maar goed dat kan ook met een tijdelijke oplossing. Als je hem niet zuiver als NAS gebruikt KAN dat een voordeel zijn.

[GHorsie]

Dennisik schreef op maandag 01 juli 2013 @ 12:51:
[...]

Je hebt helemaal gelijk, excuses.

Dat is dan potver een leuk boord voor dat geld. Ik heb niks gezegd nee.

Geen probleem, maar ik dacht nu moet ik even reageren. Normaal lees ik alleen

[thof]

jacovn schreef op maandag 01 juli 2013 @ 12:54:
[...]

En er kan een optisch loopwerk in de 4220, handig voor initiele installatie, maar goed dat kan ook met een tijdelijke oplossing. Als je hem niet zuiver als NAS gebruikt KAN dat een voordeel zijn.

Ik zelf zit ook te twijffelen tussen de Norco cases. RPC 4224 was voor mij even iets te vele van het goede en zo kwam de 4220 in beeld. Zoals het er nu voor staat kies ik waarschijnlijk voor de RPC 4216. Minder ruimte voor 3.5 inch schijven, maar 16bays is alsnog veel. Plus dat ik de 5.25 inch bays dan kan gebruiken om SSD(s) in te mounten voor de ESXI-datastore(s). Tis maar net hoe je het in wilt delen.

[IceTeaGX]

Aan zo'n setup, met 2 * 6 * 2.5" bays in de 5.25" drives, heb ik ook gedacht. Maar uiteindelijk toch niet gedaan.

Het prijsverschil tussen de 4216 en 4220 is vrij klein. De ruimte boven de hotswap bays kan, mits een beetje tweaken, ook voor meerdere ssd's gebruikt worden. Optical was eigenlijk mijn grootste zorg niet. Daarom dat ik toch voor de 4220 gekozen heb. Zelfs al zal het even duren eer ik meer dan 16 schijven heb.

[-The_Mask-]

IceTeaGX schreef op dinsdag 02 juli 2013 @ 01:11:
Het prijsverschil tussen de 4216 en 4220 is vrij klein. De ruimte boven de hotswap bays kan, mits een beetje tweaken, ook voor meerdere ssd's gebruikt worden. Optical was eigenlijk mijn grootste zorg niet. Daarom dat ik toch voor de 4220 gekozen heb. Zelfs al zal het even duren eer ik meer dan 16 schijven heb.

Is je voeding dan niet wat overdreven? Als je staggered spin-up gaat gebruiken dan heb je met 16 HDD's een verbruik van max rond de 350W.

[IceTeaGX]

Waarschijnlijk, maar ik heb 2 * 8pin EPS nodig voor het moederbord, en ik kon van kleinere/goedkopere modellen geen versie vinden die mij gegarandeerd dual EPS kon geven. (zeer onduidelijke sites enzo)
Uiteindelijk is de corsair AX760 een zeer efficient design, ook op lagere vermogens, dus ben ik gewoon daarvoor gegaan.

[hidde212]

IceTeaGX schreef op dinsdag 02 juli 2013 @ 20:06:
Waarschijnlijk, maar ik heb 2 * 8pin EPS nodig voor het moederbord, en ik kon van kleinere/goedkopere modellen geen versie vinden die mij gegarandeerd dual EPS kon geven. (zeer onduidelijke sites enzo)
Uiteindelijk is de corsair AX760 een zeer efficient design, ook op lagere vermogens, dus ben ik gewoon daarvoor gegaan.

pricewatch: Seasonic M12II 520W?

http://www.seasonicusa.com/M12II-Bronze.htm
Als je naar beneden scrollt zie je dat hij een 4+4 pin EPS12V/ATX12V heeft en daarnaast nog een 8 pin EPS12V.

Zie ook de review van dit model: http://www.jonnyguru.com/...Reviews&op=Story&reid=185

[IceTeaGX]

Ik heb zo veel modellen gezien die ovolgens de specs dual EPS hebben, maar bij navraag blijkt dat maar 1 connector te zijn, die zowel vermeld staat bij 8 pins als 4+4 pins. Ik was het op een gegeven moment gewoon beu ben ben voor het zekere gegaan.
Dit zijn trouwens ook oudere en minder efficiente modellen, en ook ook niet volledig modulair.
De kans is vrij groot dat ik nog ga kijken voor custom kabels te (laten) maken, omdat ik nu wel met veel spagetti zit. Ook heb ik niet zoveel SATA aansluitingen nodig, maar vooral molex, en daar heb ik er nu zelfs 2 te weinig van. Dus daar moet ik ook nog een mouw aan passen.

[Farmie]

Ik heb een vraagje i.v.m. de "Western Digital Green WD30EZRX"
Voor mijn ZFSGuru NAS heb ik 4 stuks van deze schijven gekocht van 3TB een 5de is onderwerg.

Nu lees ik commentaren dat men best de "idle timer" aanpast bij deze schijven. Zet men deze best gewoon uit of op een bepaalde tijd? Iemand hier ervaring mee?
Ik heb hier een kleine handleiding voor een tooltje te gebruiken: http://www.jzab.de/content/wdidle-bootcd

[Verwijderd]

Het beste denk ik niet uitschakelen maar op een hoge tijd zetten, zoals 300 tot 600 seconden ofzo. Ik kan me herinneren dat iemand zei dat je hem met WDIDLE niet helemaal kunt uitschakelen maar alleen op een hoog getal zetten. Je kunt controleren of dit werkt door in de SMART te letten op Load Cycle Count (LCC). De raw-waarde hiervan mag niet te snel stijgen. 300.000 tot 600.000 is de opgegeven max gedurende de levensduur, al kun je hier prima ver bovenuit gaan. Maar het zal vast slijtage in de hand werken.

[tsjoender]

Bij mijn WD20EARS zag ik die LCC teller ook heel snel oplopen (tientallen per dag). Met die wdidle tool heb ik toen de timer op het maximum van 300 gezet en daarmee bleef die teller constant over meerdere dagen. Geen verschil trouwens kunnen meten in het verbruik van de schijf met de verhoogde idle time.

[Extera]

Ik denk dat ik gek word

Korte samenvatting:
5 Seagate .15 4TB disks gekocht, en deze in mijn ESXi host geplaatst met een naar IT firmware geflashde IBM 1015 via VT-d gemount, daar draait FreeNAS op.

Direct na het aanmaken van het volume en datasets data over gaan pompen, en al heel snel bleek 1 disk steeds problemen te geven. Deze disk heb toen via RMA omgewisseld.

Tussentijds gecontrolleerd of de setup met 4 disks wel goed werkt, dit was wel het geval.
5e disk teruggeplaatst en helemaal opnieuw beginnen, met al snel weer dezelfde problemen.

Daarna besloten alle disks individueel te controlleren in een windows machine met HD Sentinel.
toen bleken 3 (!!!!) disks een behoorlijk aantal bad sectors te hebben.
Deze heb ik via een RMA weer om kunnen ruilen. In de winkel samen met de verkoper de nieuw disks gechecked op bad sectors. Alle disks waren in orde.

Vanavond weer opnieuw begonnen, alle disks aangesloten, en alles leek goed te gaan, om 19:00 had ik alles draaien, en ben begonnen met het overzetten van data.

Helaas, wederom problemen na een paar uurtjes gebruik.
En: Wederom disk da5 (toeval bestaat??).

Ik begin nu behoorlijk aan mijzelf te twijfelen, de disks heb ik allemaal los getest op bad sectors, zo uit de verpakking. Ik heb ze echter alleen kort aangesloten, geen langdurige self-test uitgevoerd.

Nu zou voor de 3e keer een nieuwe schijf defect zijn?
Ik heb voor het opnieuw opbouwen vandaag de SAS --> SATA kabels vervangen, en de SATA voeding splitter vervangen voor een silverstone 4-in-1 splitter.

Wat kan hier aan de hand zijn? Botte pech? Zou mijn voeding de schijven 'slopen'?
Is er een probleem met de IBM 1015?...

Jullie nog ideen wat ik zou kunnen doen?

Voor de volledigheid een output van shell van de VM

[ Voor 3% gewijzigd door Extera op 04-07-2013 23:26 ]

[jacovn]

Ik heb ook ooit een M'1015 gehad waar 1 van de 8 poorten niets werkte.
Wissel de 2 sff-8087 stekkers om en kijk of het probleem meeverhuisd, dan kun je de controller uitsluiten.

Overigens moet je de M1015 wel wat koelen, hij wordt erg warm, zelfs in een norco 4220 was de airflow niet genoeg bij mij. Dus ik heb er maar een ventilator boven gehangen.

[goudviske.be]

tsjoender schreef op donderdag 04 juli 2013 @ 11:09:
Bij mijn WD20EARS zag ik die LCC teller ook heel snel oplopen (tientallen per dag). Met die wdidle tool heb ik toen de timer op het maximum van 300 gezet en daarmee bleef die teller constant over meerdere dagen. Geen verschil trouwens kunnen meten in het verbruik van de schijf met de verhoogde idle time.

bedankt voor de info,
vanavond eens naar mijn WD20EARS-en kijken

[Extera]

jacovn schreef op vrijdag 05 juli 2013 @ 06:52:
Ik heb ook ooit een M'1015 gehad waar 1 van de 8 poorten niets werkte.
Wissel de 2 sff-8087 stekkers om en kijk of het probleem meeverhuisd, dan kun je de controller uitsluiten.

Overigens moet je de M1015 wel wat koelen, hij wordt erg warm, zelfs in een norco 4220 was de airflow niet genoeg bij mij. Dus ik heb er maar een ventilator boven gehangen.

bedankt voor de tip, ik heb er direct even een fan bij gezet. Binnenkort maar kijken voor een meer permanente oplossing.

Ik heb de disk nu aan ander kanaal gehangen (6 ipv 5), en zpool clear gedaan.
Hij geeft nu aan 560 bad sectors te hebben, maar de pool status is de hele nacht healty gebleven.

Kunnen bad sectors veroorzaakt worden door een defecte controller>?

[jacovn]

Bad sectors ligt wel aan de hdd denk ik.
Ik kreeg cable errors door die poort die niet helemaal goed was (heel veel cable errors)

[Verwijderd]

Hij geeft nu aan 560 bad sectors te hebben

Passieve of actieve bad sectors? Dat maakt nogal verschil. Passieve bad sectors zijn niet zichtbaar voor de host, en dus ook niet voor ZFS.

[Extera]

/dev/da5 [SAT], 560 Currently unreadable (pending) sectors.
/dev/da5 [SAT], 560 Offline uncorrectable sectors

SMART output van de dive:

code:

[root@freenas] ~# smartctl -A /dev/da5
smartctl 5.43 2012-06-30 r3573 [FreeBSD 8.3-RELEASE-p7 amd64] (local build)
Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   102   100   006    Pre-fail  Always       -       3763568
  3 Spin_Up_Time            0x0003   095   095   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       5
  5 Reallocated_Sector_Ct   0x0033   080   080   010    Pre-fail  Always       -       25968
  7 Seek_Error_Rate         0x000f   100   253   030    Pre-fail  Always       -       129531
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       19
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       5
183 Runtime_Bad_Block       0x0032   100   100   000    Old_age   Always       -       0
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   099   000    Old_age   Always       -       4295032833
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   072   070   045    Old_age   Always       -       28 (Min/Max 25/30)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       5
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       45
194 Temperature_Celsius     0x0022   028   040   000    Old_age   Always       -       28 (0 20 0 0 0)
197 Current_Pending_Sector  0x0012   097   097   000    Old_age   Always       -       560
198 Offline_Uncorrectable   0x0010   097   097   000    Old_age   Offline      -       560
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
240 Head_Flying_Hours       0x0000   100   253   000    Old_age   Offline      -       235514531676176
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       681613585
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       144678

Voordat ik begon gisteravond was de schijf perfect in orde....
Zoals ik het nu lees, zijn er al 25968 sectors opnieuw gealloceerd?

[sphere]

Ik was bijna klaar om WD 3TB EZRX te kopen, tot ik dit las: http://koitsu.wordpress.c...-aggressive-head-parking/

Is dit een probleem icm ZFS? Is dit typisch voor moderne groene schijven?

[Verwijderd]

Kun je ook even naar zoeken in het DIY RAID NAS topic.
Headparking kun je met WDIDLE utility verhogen naar 300 seconden, dat is denk ik de meest ideale setting.

PS. dankzij FireDrunk ben ik ook achter deze schijf gekomen: pricewatch: Seagate ST4000VN000, 4TB. Kun je eventueel ook nog overwegen. Heb je meer vragen, dan svp in het DIY RAID NAS topic, wat meer over de hardwarematige kant gaat; dan houden we dit topic meer voor de softwarematige kant van een ZFS NAS.

Edit: inmiddels verplaatst van ZFS topic naar DIY RAID NAS topic

[ Voor 60% gewijzigd door Verwijderd op 06-07-2013 00:24 ]

[sphere]

Volgens WD kan je voor deze schijf geen IDLE3 gebruiken. Maar goed, het gaat me meer om wat voor invloed schijven die snel aggressive parking gebruiken voor invloed hebben op ZFS. Zal even zoeken wat er in dat andere topic over te vinden is.

[Verwijderd]

Extera schreef op vrijdag 05 juli 2013 @ 14:04:
Voordat ik begon gisteravond was de schijf perfect in orde....
Zoals ik het nu lees, zijn er al 25968 sectors opnieuw gealloceerd?

26000 passieve bad sectors en 560 actieve bad sectors. Deze schijf moet je afschrijven of ter garantie opsturen! Ver boven de grens. Opzich kan ZFS er nog wel even mee vooruit, maar deze schijf zal continu nieuwe bad sectors aanmaken en is daardoor véél minder betrouwbaar geworden. Hopeloos geval dus, snel omwisselen!

[Extera]

Helemaal mee eens Cipher.
Maar heb ik nu gewoon domme pech? Dit zou de 3e keer zijn dat ik een disk omruil, na aanschaf 24 juni....

Ik wil er zeker van zijn dat ik ze niet zelf 'sloop' door andere foute hardware.
Ik kan daarvoor alleen mijn voeding bedenken als schuldige, maar dat is een nieuwe seasonic G-power.
Daarnaast zou ik de problemen dan op alle disks verwachten.

[ Voor 49% gewijzigd door Extera op 06-07-2013 15:23 ]

[Verwijderd]

Ik weet niet wat voor problemen je met de overige twee disks had; dan zou ik de SMART daarvan moeten zien. Maar in dit geval denk ik dat het onwaarschijnlijk is dat je problemen van buitenaf hebt gehad. Hooguit zou fysieke schok nog een oorzaak kunnen zijn, maar bad sectors vormen zich niet doordat je voeding verkeerde voltages afgeeft. Dan zie ik eerder dat het electronische gedeelte het begeeft en de hardeschijf dus helemaal niet meer herkend wordt in het BIOS, bijvoorbeeld.

Het hoge aantal passieve sectoren wil zeggen dat er fysieke schade is op het mediumoppervlak. Dat kan bijvoorbeeld komen doordat er stofdeeltjes zijn vrijgekomen die door de hoge omwentelingssnelheid schade aanrichten. Hoe dan ook, in dit geval lijkt het een kwestie te zijn van een defecte hardeschijf in de klassieke zin.

[Extera]

Met de overige disks heb ik dezelfde problemen gehad, veel bad sectors.

In heb inmiddels bijna alle 5 schijven een keer omgewisseld.
Ik ga deze ook aanmelden voor RMA nu.

Laten we het dan maar houden op een slechte batch.
Misschien een foutje van een heftruck chauffeur ergens onderweg oid

bedankt voor je input!

[ Voor 4% gewijzigd door Extera op 06-07-2013 15:39 ]

[FireDrunk]

Bad sectors is meestal gewoon pech... Een slechte voeding (of enig ander hardwareprobleem) veroorzaakt (doorgaans) geen bad sectors.

In een heeeeel zeldzaam geval kan een instabiel voltage misschien zorgen voor een slecht functionerende schijf...

[jacovn]

Bij mij draaien ook de 2 servers op seasonic voedingen. Nooit een probleem geweest, ze waren me aangeraden i.v.m. Supermicro moederborden.
Wel heb ik de hdds in staggered spinup gezet, maar met 20 hdd's piekt de zaak op iets minder dan 500 watt en draait vervolgens rond de 180 watt. (10x3TB Toschiba, en 10x4TB hitachi)

[webfreakz.nl]

Test de vervangende harddisk eens een tijdje in een andere PC, en daarna in je NAS om te kijken of de problemen eerst uitblijven en daarna direct terugkomen.

[Phuncz]

Extera schreef op zaterdag 06 juli 2013 @ 15:38:
Met de overige disks heb ik dezelfde problemen gehad, veel bad sectors.

In heb inmiddels bijna alle 5 schijven een keer omgewisseld.

Hoe zit de situatie met de case en de ophanging van de disks ? Misschien dat deze schokken krijgen van bv. iemand die langsloopt op een houten vloer of stoot iemand met zijn voet regelmatig tegen de case misschien ?

Want zoveel disks tegelijk is niet normaal. Het is misschien uit te leggen met "een slechte batch" maar je moet al vrij veel geluk hebben wil je je eerste disks uit dezelfde batch hebben en de omgeruilde zijn sowieso een andere batch.

Heb in het verleden nog gezien dat iemand schijven sneller sloopte dan normaal, lag aan de overmatige vibratie in de case met gebruik van goedkope consumer drives. Schijven die gebruikt worden in datacenters en professionele omgevingen hebben betere bescherming tegen vibraties.

[Extera]

goede tip webfreaks, zal ik zeker doen.

Phuncz,

De disks hangen in een 4-in-3 cage, welke met rubber is gedempt.
Schokken door voorbij lopen oid zijn niet aan de orde.

[BartNL]

Extera schreef op zaterdag 06 juli 2013 @ 16:46:
Schokken door voorbij lopen oid zijn niet aan de orde.

toch moet je bij zoveel "pech" wel zoeken naar iets gemeenschappelijks bij de harddisk. Dan zou ik in volgorde denken brakke voeding, slechte koeling of trillingen.

[-The_Mask-]

Nee voeding komt niet eens voor in het rijtje.

[BartNL]

-The_Mask- schreef op zaterdag 06 juli 2013 @ 21:21:
Nee voeding komt niet eens voor in het rijtje.

want?
Ik heb hier in het verleden wel harde schijf problemen gehad met af- en opspinnen a.g.v. brakke voeding / slechte verbindingen waarbij ook disks omvielen. Goede voeding en bekabeling worden denk ik onterecht onderschat dus van daar mijn volgorde.
Wat ik onverklaarbaar vind in dit geval is dat er zoveel schijven falen want dat heb ik zelf nog niet meegemaakt.

[Extera]

BartNL schreef op zaterdag 06 juli 2013 @ 20:23:
[...]

toch moet je bij zoveel "pech" wel zoeken naar iets gemeenschappelijks bij de harddisk. Dan zou ik in volgorde denken brakke voeding, slechte koeling of trillingen.

Dat is ook precies waar ik hier naar vraag.
trillingen of slechte koeling is het niet. De disks zijn stevig in een cage gebouwd, met een goede fan.
In de smart data is ook te zien dat geen van de disks warmer is geweest als 32 graden.

De schijven heb ik bij de winkel opgehaald, dat doe ik altijd met schijven, omdat de post pakketjes nog wel eens mishandeld. Schokken tijdens gebruik zijn er niet.

De voeding is een nieuwe seasonic G-Power G-Serie 450 watt. Stroomverbruik van de gehele server is 105 watt. Lijkt me ruim voldoende overhead. De schijven zijn aangesloten op de sata power, met een silverstone 4-in-1 splitter.

Het hele systeem is aangesloten op een UPS, en ik heb zelfs een polsbandje gebruikt bij het in elkaar zetten van het systeem (gewend vanuit mijn werk).

Ik heb nu van meerdere mensen gehoord dat bad sectors eigenlijk niet door een PSU veroorzaakt kunnen worden. Ik kan dan nog 2 mogelijke oorzaken bedenken:

- Een foutieve batch, de serienummers van de schijven zijn op de laatste 3 karakters allemaal gelijk. Het lijkt er dus op dat ze uit een zelfde batch komen. Mogelijk is de hele zending ooit een keer goed gevallen, of blootgesteld geweest aan magnetisme, ik noem maar wat...

- Een fout met de geflashde IBM 1015 controller. Dit lijkt mij alleen ook uitgesloten. Dat waren er CRC errors te zien in de smart output.

Verder kan ik echt niets verzinnen....

[Phuncz]

Extera schreef op zondag 07 juli 2013 @ 00:44:
De schijven heb ik bij de winkel opgehaald, dat doe ik altijd met schijven, omdat de post pakketjes nog wel eens mishandeld. Schokken tijdens gebruik zijn er niet.

Just so you know, HDD's zijn vrij robust wanneer ze not-powered zijn:

With regard to computers, it typically refers to the measurement of a hard disk's ability to withstand being dropped on the floor. Measured in Gs (acceleration), the average desktop hard disk rates between 100 and 200 Gs in a non-operating state. It can be dropped up to a foot without damage, depending on the floor surface.

Laptop drives have a higher G rating, and extremely ruggedized drives can measure up to 10,000 Gs, which means the computer can literally be thrown across a room. However, when the drive is in use, it is much more vulnerable, which is why the type of measurement must be equal when comparing models: operating vs. operating, non-operating vs. non-operating.

Mijn WD Green EARS 2TB kunnen non-operating 250G aan. Aangezien de verpakking (karton/plastic holders in nog eens karton waarschijnlijk in nog eens karton), dit exponentieel verhoogt, moet je je geen zorgen maken. Het is niet dat de transporteurs van de fabriek naar de boot, van de boot naar de groothandelaar en van de groothandelaar naar de winkels, nooit "iets" laten vallen Al mijn huidige HDD's komen via webshops, ze werken al jaren probleemloos. Ik heb meer problemen gehad met de "schokvaste" SSD's

De voeding is een nieuwe seasonic G-Power G-Serie 450 watt. Stroomverbruik van de gehele server is 105 watt. Lijkt me ruim voldoende overhead. De schijven zijn aangesloten op de sata power, met een silverstone 4-in-1 splitter.

Hoeveel Watt zegt eigenlijk niets over de stabiliteit van de voltages of eventuele vreemde resultaten, maar zoals al aangehaald is, zou je geen Bad Sectors kunnen krijgen door uitvallende stroom en ik vermoed dat HDD's ook wel een kleine capacitator hebben om lees- en schrijfbewerkingen af te kunnen maken (15-20ms ?)

Ik kan dan nog 2 mogelijke oorzaken bedenken:

- Een foutieve batch, de serienummers van de schijven zijn op de laatste 3 karakters allemaal gelijk. Het lijkt er dus op dat ze uit een zelfde batch komen. Mogelijk is de hele zending ooit een keer goed gevallen, of blootgesteld geweest aan magnetisme, ik noem maar wat...

Dat zouden al zeer zware gevallen van schade of magnetisme moeten zijn, een HDD is niet onder de indruk van iets anders dan zware electromagneten. En dan nog zou dat met een full format opgelost moeten zijn lijkt me. Het is aannemelijker dat, als het idd. echt uit één batch komt, ze gewoon een productiefout hebben.

Neem dit dan ook op bij de winkel waar je ze gekocht hebt, dat je eentje krijgt die tenminste de laatste 5 karakters verschillend heeft.

- Een fout met de geflashde IBM 1015 controller. Dit lijkt mij alleen ook uitgesloten. Dat waren er CRC errors te zien in de smart output.

Ook een aannemelijke oorzaak lijkt me.

[Extera]

Ik ben 2 dagen van huis geweest, en kom net thuis... da5 is nu compleet overleden. De schijf maakte zoveel geluid dat ik hem door de deur van mijn hobbykamer heen hoorde.

Erg vreemd deze problemen. De schijf zit aan dezelfde voedingskabel als de andere schijven, lijkt me dus niet dat de voeding hier oorzaak kan zijn...

[jacovn]

Molex connector kan maximaal 11 ampere doen volgens Wikipedia: Molex connector
Sata power is 1.5 ampere per lijn, 3 12v lijnen per stekker volgens Wikipedia: Serial ATA

Dat is 12v x 11A = 132 Watt, en 12v x 4.5A = 54 Watt.


4 tb seagates staan voor 2 Ampere startup, en 7.5 Watt tpyical power http://www.seagate.com/fi...sheet-ds1770-1-1212us.pdf


Als je dan 1 sata power naar 4x uitsplitst kom je wel boven de 4.5 Ampere bij startup. Dus je moet staggered spinup gebruiken denk ik.
Als het draait moet het wel lukken.

[ Voor 32% gewijzigd door jacovn op 09-07-2013 10:18 ]

[Extera]

Dit zou hooguit problemen mogen geven met de stekkers / bekabeling.
Daar zou dan wel kortsluiting in kunnen onstaan, wat weer schade aan de drives kan veroorzaken.
Dit kortsluting zou dan ontstaan op het punt waar je de power splitst, niet bij de connector bij de drive.

Toeval wil ook, dat de 4 disks welke in orde zijn aan de splitter zitten, de defecte drive zit voor de splitter aan dezelfde kabel.

Ik ben nu geneigd om de voeding tijdelijk om te wisselen voor een corsair 1000watt, want ik weet het nu echt niet meer...

[jacovn]

Je kunt natuurlijk de standaard geleverde kabels van de seasonic gebruiken.
Als dit dezelfde modulaire stekkers zijn als bij de x series dan heb ik nog wel modulaire sata power kabels voor je liggen (3 x sata power kabels).
Deze gaan met wat dikkere kabels uit een ander soor plug direct van de voeding uit naar je hdd's.
Ik zou niet gaan splitsen als het voor de lengte niet nodig is.

[ Voor 3% gewijzigd door jacovn op 09-07-2013 21:39 ]

[Extera]

Bedankt voor je aabod! Je hebt een DM

[Joenuh]

Hallo Tweakers!

Ik hoop het niveau niet te veel omlaag te halen met deze post. Helaas zit ik met een probleem. Een tijd geleden kwam ik op het idee een NAS in huis te halen Oké leuk, dat is dus eerst onderzoek doen. De prijzen van kant en klare oplossingen vielen me tegen dus dat werd zelfbouw.

Nu ben ik tot de volgende setup gekomen:

Asrock B75 Pro3-M
Intel Celeron G540
Kingston ValueRAM 4GB
WD RED 3TB(achteraf misschien niet zo handig. Ik begin nu toch aan ZFS te denken, maar goed)
Bitfenix Shinobi
Corsair VS350

Als OS heb ik FreeNAS gekozen. Deze leuk mij vrij makkelijk op te zetten. Dit lukte ook. Alles toegankelijk, lezen en schrijven. Top zou je bijna denken. Alleen nu moet ik dus mijn 1 TB film/muziek collectie van een desktop naar m'n NAS zien te krijgen. Niet zo moeilijk leek me, alleen haal ik maar een schrijfsnelheid van ongeveer 11,5 MB/s plus als ik een grote lading films in één keer over wil zetten loopt het process vast. Nu dacht ik dat dit aan misschien aan m'n netwerkkaart van m'n desktop zou liggen. Nu heb ik een Sitecom LN-027 Gigabit netwerk adapter in de NAS en desktop geplaatst maar de snelheid is nog steeds hetzelfde.

Heeft iemand enig idee waar dit aan kan liggen?

Bij voorbaat dank

Joenuh

[Xudonax]

Het vastlopen klinkt vreemd, maar 11.5MByte/s is de praktische limiet van 100Mbit/s ethernet. Ergens in de lijn tussen je PC en de NAS zit dus een component dat maar 100Mbit/s doet ipv 1Gbit/s. Dit kan een slechte kabel tussen PC en switch/router zijn, de switch/router zelf, of de kabel naar je NAS toe. Bekijk de lampjes eens bij de netwerkaansluiting van je PC, en alle apparaten tussen je PC en de NAS. Als er één of meer zijn die aangeven slechts op 100Mbit/s te werken, dan heb je de schuldige gevonden

Hoe de lampjes precies moeten staan voor 100Mbit/s ipv 1Gbit/s staat in de handleiding van de betreffende apparaten.

[Joenuh]

Bedankt voor je snelle reactie. Voor mijn gevoel kan het ook alleen maar of de netwerkkaarten zijn of de kabels. Maar van de NAS naar m'n router(Cisco EPC3925) ligt een CAT6 kabel en van m'n desktop een CAT5e. Deze zouden beide snel genoeg moeten zijn? Als een kabel defect is zou hij toch helemaal niet moeten werken? Of gaat dan de performance alleen omlaag?

Nu ik gekeken heb. Op m'n NAS brand het lampje wel van 1Gbit/s maar op de PC niet. Toch heb ik de laatste driver geinstalleerd en de snelheid op 1Gbit Full Duplex gezet. Zou het dan toch de (CAT5e) kabel zijn?

[Xudonax]

Zitten je PC en je NAS op hetzelfde apparaat aangesloten (dezelfde router/switch)? Zoja, dan kan dat ding dus schijnbaar wel 1Gbit/s aan. Probeer eens om de kabels van je PC en NAS om te draaien indien mogelijk?

[redfoxert]

Voor gbit snelheden kan je beter gewoon de NIC op auto-detect laten staan wat betreft de linkspeed. Als hij zelf vind dat hij geen Gbit aan kan dan is er een goede reden voor (zoals al eerder vermeld).

[Joenuh]

M'n NAS en PC zitten inderdaad op dezelfde router aangesloten. Deze wordt standaard door Ziggo geleverd voor de snelste Alles in 1 pakketen met 120Mb/s internet dus die moet inderdaad Gigabit-poorten hebben.

Helaas kan ik die kabels niet zo snel omwisselen. Ze lopen allebei via een andere plek de kruipruimte in. Kan ik dan het beste zorgen dat ik een nieuwe CAT6 kabel heb om van m'n PC naar m'n router te leggen zodat ik dat uitgesloten heb?

[Xudonax]

Probeer dan eerst eens een ander poortje op de router. Misschien dat er gewoon een poortje half dood aan het gaan is. Zou niet de eerste keer zijn dat ik dat tegenkom

[Joenuh]

Goede tip! Helaas geen succes, geen enkele poort laat het 1Gbit lampje branden. Of is dit nou mijn noob zijn?

[-The_Mask-]

jacovn schreef op dinsdag 09 juli 2013 @ 06:54:
Molex connector kan maximaal 11 ampere doen volgens Wikipedia: Molex connector
Sata power is 1.5 ampere per lijn, 3 12v lijnen per stekker volgens Wikipedia: Serial ATA

Is afhankelijk van de dikte van de draad, hoeveel stroom er doorheen mag.
Draad met een dikte van 18AWG kan prima voor een paar minuten 14A aan, maar niet veel langer want dan wordt de kabel te warm. 9A is volgens mij de standaard volgens de ATX spec voor 24/7.

Draad met een dikte van 16AWG kan prima voor een paar minuten 20A aan en de ATX spec ligt dacht ik op 11A.

Maar als je praat over spin-up van een HDD dan gaat het natuurlijk maar om een fractie van een seconde in zo'n korte tijd kan er natuurlijk wel wat meer door een draad.

Extera schreef op dinsdag 09 juli 2013 @ 10:27:
Ik ben nu geneigd om de voeding tijdelijk om te wisselen voor een corsair 1000watt, want ik weet het nu echt niet meer...

Als je die hebt liggen kan het natuurlijk geen kwaad, maar de kans van de voeding is best wel heel dicht bij 0%.

jacovn schreef op dinsdag 09 juli 2013 @ 20:53:
Je kunt natuurlijk de standaard geleverde kabels van de seasonic gebruiken.
Als dit dezelfde modulaire stekkers zijn als bij de x series dan heb ik nog wel modulaire sata power kabels voor je liggen (3 x sata power kabels).
Deze gaan met wat dikkere kabels uit een ander soor plug direct van de voeding uit naar je hdd's.
Ik zou niet gaan splitsen als het voor de lengte niet nodig is.

Het is in principe nooit verstandig om een kabel van een andere voeding te gebruiken, als de pin-out anders is dan is de kans best wel erg groot dat je meer sloopt.

[deludi]

Ik heb 2 freenas 8.3 boxen (usb stick install).
Beide met 16 stuks toshiba 3TB disken in 2 raidz2 sets (1 van 6 en 1 van 10).
Disken aangesloten op 2 stuks it geflashte m1015's per box.
Memory is 32GB per box.
Ik wil er nog zil en l2arc ssd's aan toevoegen.
Heb nog wat vraagjes:
Is de intel 320 nog steeds de meest geschikte zil ssd?
Welke ssd kan ik het beste gebruiken voor l2arc en is 128GB dan afdoende?

[FireDrunk]

Intel 320 is idd de veilige en betrouwbare keuze.
Eventuele alternatieven zijn de Crucial M500 of de Seagate 600 Pro.
De 600 Pro is de snelste van allemaal maar ook het nieuwst, dus heb je meer kans op firmware bugs enzo.

Allemaal hebben ze supercaps.

[ Voor 6% gewijzigd door FireDrunk op 11-07-2013 17:09 ]

[Phuncz]

Extera schreef op dinsdag 09 juli 2013 @ 10:27:
Toeval wil ook, dat de 4 disks welke in orde zijn aan de splitter zitten, de defecte drive zit voor de splitter aan dezelfde kabel.

Nu je het daarover hebt, je had toch een Silverstone 4-in-1 splitter he ?

The SilverStone CP06 is a set of continuous SATA cable connectors designed to facilitate cabling and reduce clutter inside a PC with multiple SATA devices. It hooks up to four SATA devices via four right angled connectors. Two high quality 2200μF capacitors are included on the cable to provide stable voltage to all connected devices. So if you have a lot of SATA drives in your system, the CP06 is a must buy for improving aesthetics and drive reliability.

Misschien dat je toch met een onstabiele 12V zit ?

[Xudonax]

Joenuh schreef op woensdag 10 juli 2013 @ 22:48:
Goede tip! Helaas geen succes, geen enkele poort laat het 1Gbit lampje branden. Of is dit nou mijn noob zijn?

Kun je dan nog een ander apparaat op die kabel testen? Als die ook op 100Mbit/s blijft staan, dan is je kabel gewoon niet 1Gbit/s. Doet een ander apparaat het wel, dan is je PC de hoofdverdachte.

Mocht het hierna nog niet werken, dan is het denk ik tijd om een modje te vragen deze posts naar een apart topic te verhuizen

[Joenuh]

Ik heb letterlijk 5 minuten geleden de oude CAT5e kabel vervangen voor een CAT6 kabel en het probleem is verholpen. Ik haal nu ongeveer 50 tot 55 MB/s schrijfsnelheid. Is dit ongeveer het maximum wat ik zou kunnen halen of is er nog meer uit te persen?