Het grote DIY RAID NAS topic deel 3

[Verwijderd]

Ja dat zal prima werken. Alleen de onboard gigabit kan mogelijk problemen opleveren. Omdat je maar één PCIe slot hebt is het wel lastig als die niet goed werkt, omdat je dan geen losse controller meer kan bijplaatsen die het PCIe slot zal bezetten.

Overigens zie ik meer in het MSI bordje (denk ik zuiniger en beter dan ASRock), het mooiste bord is echter de pricewatch: Asus E35M1-I DELUXE. Die heeft passieve koeling en is toch wel het beste (en duurste) Zacate bord wat (met mate) verkrijgbaar is.

Je kunt op deze bordjes max 16GB DDR3 UDIMMs stoppen, maar in de praktijk betekent dat 2x4GiB = 8GiB. Dat is een goede investering als je ZFS wilt gaan draaien, ZFS heeft erg veel baat bij veel RAM. Bovendien is DDR3 DRAM nu spotgoedkoop; voor minder dan 70 euro heb je al 8GiB. Kies geheugen wat een voltage heeft van 1.5V of lager; geen 1.65V enzo.

Als je dan een Intel SASUC8i erbij neemt kun je in totaal 8 + 5 + 1 = 14 schijven aansluiten, waarbij je mag opmerken dat de 6e slot eSATA is bij het ASUS Deluxe bordje. Bovendien wil je de SATA/600 ports vrijhouden voor SSDs waar ZFS ook erg veel baat bij heeft. Wacht daarmee tot de nieuwe Intel G3 uitkomt, die zijn erg geschikt voor ZFS. Dus 8 schijven op Intel HBA en 2 op de onboard SATA = één 10-disk RAID-Z2 of twee 5-disk RAID-Z1. Zijn beide goede opties voor 4K schijven zoals Samsung F4.

[Tenshu]

Verwijderd schreef op maandag 14 maart 2011 @ 20:00:
Ja dat zal prima werken. Alleen de onboard gigabit kan mogelijk problemen opleveren. Omdat je maar één PCIe slot hebt is het wel lastig als die niet goed werkt, omdat je dan geen losse controller meer kan bijplaatsen die het PCIe slot zal bezetten.

Daar is een work-around voor en zo te lezen werkt deze redelijk tot goed.
Zie: http://www.kristijan.org/...nas-realtek-network-card/

[b][message=35684530,noline]
Overigens zie ik meer in het MSI bordje (denk ik zuiniger en beter dan ASRock), het mooiste bord is echter de pricewatch: Asus E35M1-I DELUXE. Die heeft passieve koeling en is toch wel het beste (en duurste) Zacate bord wat (met mate) verkrijgbaar is.

Als ik zo hier en daar op een paar websites kijkt, dan is er een duidelijk verschil tussen de ASRock en de Asus E35M1-I DELUXE. Idle draaien ze (Asus E35M1-I DELUXE = 30 watt / ASRock = 22 watt) Dat is een aardig verschil in de voordeel van ASRock. Niet erg een goede vergelijking zie ik nu. De ene draait zonder hdd's andere met hdd's

[b][message=35684530,noline]Je kunt op deze bordjes max 16GB DDR3 UDIMMs stoppen, maar in de praktijk betekent dat 2x4GiB = 8GiB. Dat is een goede investering als je ZFS wilt gaan draaien, ZFS heeft erg veel baat bij veel RAM. Bovendien is DDR3 DRAM nu spotgoedkoop; voor minder dan 70 euro heb je al 8GiB. Kies geheugen wat een voltage heeft van 1.5V of lager; geen 1.65V enzo.

Ik zat eerst te denken aan 2X2GB, maar ik kies er nu voor om 2x4GB erin te stoppen

Thanks

[Verwijderd]

nou dacht ik begrepen te hebben, dat als je ZFS gaat draaien, je beter ECC memory kan gebruiken, en die passen niet op genoemde bordjes ?

Entry DIY Storage Server
Mid-range DIY Storage Server
High-End DIY Storage Server
How to build a NAS box
Mirrored SSD ZFS root boot
DIY: Home NAS Box with OpenSolaris and ZFS

[ Voor 84% gewijzigd door Verwijderd op 14-03-2011 21:39 ]

[Verwijderd]

Pas op met power vergelijkingen tussen verschillende reviews; de invloed van PSU en andere componenten is vééls te groot. Kijk hier eens: MSI Zacate bordje doet 7.3W met 2 sticks ram en een SSD.

http://www.xbitlabs.com/a...display/amd-e-350_12.html

Het is wel mogelijk dat Asus net iets meer verbruikt dan MSI, door de extra features. Onduidelijk is of het uitschakelen van deze extra functionaliteit (bluetooth enzo) ook invloed heeft op het stroomverbruik. Maar ik denk dat de verschillen eigenlijk vrij klein zijn en het vooral van belang is dat je voeding goed kan omgaan met lage wattages. Dat is zeker niet altijd zo. Om die reden is een PicoPSU wel aantrekkelijk, maar heb je een beperkt vermogen om schijven op te spinnen. Stel je gaat uit van 100W dan heb je hooguit 75W om de schijven op te spinnen. Als we uitgaan van Samsung F4 met 14W per schijf zit je dus aan 5 schijven max, tenzij je een krachtiger +12V stroomblok kunt vinden.

En over die workaround; dat is alleen relevant voor de oudere FreeNAS releases. Ik raad aan dat je eens kijkt of FreeNAS 0.8 of ZFSguru of misschien toch een kale FreeBSD 8.2 installatie aan je wensen voldoet, dan heb je een veel modernere ZFS implementatie dan de oude FreeNAS 0.7.x releases gebruiken.

[ Voor 13% gewijzigd door Verwijderd op 14-03-2011 21:14 ]

[Arnoud1]

Beter niet voor de Asus E35M1-I DELUXE gaan, maar voor de Asus E35M1-M PRO.
Ik kocht hem voor 128€, meet 7 tot 13watt (alles uitgeschakeld wat niet nodig is), nog eens 25€ voor 2Gb DDR3 1333.
Grote voordeel is dat je 2x PCI en 2x PCIe hebt. Draadloos moet ik niet voor een NAS (kan via usb of pci(e) kaart)
Op al deze bordjes heb je 5x interne SATA 600 en 1x eSATA. Raid-Z2 of raid6 lukt dus niet zonder extra kaart.

Als er niet teveel gebruikers op moeten is 4Gb of zelfs 2Gb ram genoeg. Hangt er allemaal vanaf wat je wilt draaien. Voor mij enkel DHCP, Samba en printserver.

Investeren in nieuwe schijven lijkt mij ook niet interessant:
* Mijn oude schijven + Intel hba + Zacata mobo zorgt dat ik vanaf het 2e jaar mijn investering terug heb
* 4 Nieuwe schijven + Zacate mobo heb ik terugverdient na 3 jaar (uitbreiding niet mogelijk)
* 4 Nieuwe schijven + Zacate mobo + Intel hba pas na 5 jaar terug.
(gerekend als aankoop + stroomverbruik )
5 jaar is te lang voor computermateriaal, dan moet ik terug een nieuwe nas kopen.
Het interessantste is dus de Zacate met intel hba en mijn oude schijven blijven gebruiken.
(Tenzij ik alle 7 x 1Tb schijven nog kwijtgeraak voor samen ~200€ of 28€ stuk)
Deze NAS kost mij dan 135€ per jaar aan stroom.
Ik vraag mij af of power saving mogelijk is op zo'n intel hba kaart. met 3Ware lukte dat niet. Dan zou het veel goedkoper uitkomen per jaar (En het verschil met de aankoop van 2Tb schijven nog groter maken.)

[ Voor 4% gewijzigd door Arnoud1 op 15-03-2011 13:08 ]

[me1299]

Arnoud1 schreef op maandag 14 maart 2011 @ 22:28:
Beter niet voor de Asus E35M1-I DELUXE gaan, maar voor de Asus E35M1-M PRO.
Ik kocht hem voor 128€, meet 7 tot 13watt (alles uitgeschakeld wat niet nodig is), nog eens 25€ voor 2Gb DDR3 1333.
Grote voordeel is dat je 2x PCI en 2x PCIe hebt. Draadloos moet ik niet voor een NAS (kan via usb of pci(e) kaart)
Op al deze bordjes heb je 5x interne SATA 600 en 1x eSATA. Raid-Z2 of raid6 lukt dus niet zonder extra kaart.

Als er niet teveel gebruikers op moeten is 4Gb of zelfs 2Gb ram genoeg. Hangt er allemaal vanaf wat je wilt draaien. Voor mij enkel DHCP, Samba en printserver.

Investeren in nieuwe schijven lijkt mij ook niet interessant:
* Mijn oude schijven + Intel hba + Zacata mobo zorgt dat ik vanaf het 2e jaar mijn investering terug heb
* 4 Nieuwe schijven + Zacate mobo heb ik terugverdient na 3 jaar (uitbreiding niet mogelijk)
* 4 Nieuwe schijven + Zacate mobo + Intel hba pas na 5 jaar terug.
(gerekend als aankoop + stroomverbruik )
5 jaar is te lang voor computermateriaal, dan moet ik terug een nieuwe nas kopen.
Het interessantste is dus de Zacate met intel hba en mijn oude schijven blijven gebruiken.
(Tenzij ik alle 7 x 1Tb schijven nog kwijtgeraak voor samen ~200€ of 28€ stuk)
Deze NAS kost mij dan 135€ per jaar aan stroom.
Ik vraag mij af of power saving mogelijk is op zo'n intel hba kaart. met 3Ware lukte dat niet. Dan zou het veel goedkoper uitkomen per jaar (En het verschil met de aankoop van 2Tb schijven nog groter maken.)

Als ik 4 schijven van 2 TB zou kopen, dan duurt het 5 jaar vooraleer ik winst t.o.v de 7 schijven van 1 TB die ik nu heb (aankoop + stroomverbruik).

Kan ik dan een stuk van het bord afzagen om deze in een Mini ITX kast te proppen?

[FireDrunk]

Ja dat kan!

offtopic:
maar of het nog werkt

-------

Ontopic:

Is het iemand al gelukt om spindown werkend te krijgen op de LSI 3068 controller?

[ Voor 69% gewijzigd door FireDrunk op 15-03-2011 11:29 ]

[Arnoud1]

Die asus heeft een PCIe 16x slot @4x . Ik veronderstel dat die intel SASUC8I PCIe 8x daar geen problemen mee zal hebben en gewoon aan 4x zal draaien. Of heb ik het mis?
3Ware 9550SXU deed geen spindown of het heeft toch nooit gewerkt, hoe zit dat met de SASUC8I?
Moet ik die flashen en ondersteund hij dan nog hotswap?

[Verwijderd]

Is het iemand al gelukt om spindown werkend te krijgen op de LSI 3068 controller?

Njet, heb die kaart onder FreeBSD lopen en met het camcontrol commando alleen de foutmelding dat het command niet begrepen is. Ik heb er Samsumg F4's aanhangen.

Vond nog dit op hardforum : http://hardforum.com/showpost.php?p=1036661550&postcount=87 schijnt gewoon een beperking te zijn van de firmware. Zie posting nr 87.

[FireDrunk]

dat is wel echt kak, dat was nou juist een van de redenen dat ik deze kaart had gekocht...
Met mijn 12 disks is dat nou juist wel fijn om te hebben

[Arnoud1]

Heeft iemand weet van een 8poort SAS/SATA kaart waar spindown wel werkt? Of zou het aan FreeBSD liggen en werkt het onder Linux wel?
Is het dan niet beter om de raid functionaliteit te behouden? Bij 3Ware had je de optie 'Export Unconfigured Disk', waarmee het ook als JBOD werkte. Hebben Intel of LSI dit dan niet?

[ Voor 41% gewijzigd door Arnoud1 op 15-03-2011 14:22 ]

[Sonic]

Hallo allemaal,

Wellicht dat iemand mij met het volgende kan helpen.

Ik ben in het bezit van een ESXi server met daarop Nexentastor als virtual NAS.
- De ESXi software draait vanaf een 4GB USB stick
- De Areca ARC-1210 met twee maal 320GB (mirror) is voor de VM's

Nu heb ik één 2TB WD-EARS schijf via RDM aan mijn Nexentastor VM gekoppeld. Dit werkt allemaal perfect!
Echter, zou ik hier graag drie of vier extra schijven bij aan knopen en deze met een RaidZ configureren.

Is dit mogelijk, zonder dat ik mijn data op de bestaande schijf kwijt raak? Van wat ik op internet lees is het lastig cu niet mogelijk om een ZFS pool makkelijk uit te breiden met extra schijven, maar misschien heeft iemand hier een goed idee hoe dit zonder data verlies kan?

[Verwijderd]

Arnoud1 schreef op maandag 14 maart 2011 @ 22:28:
Beter niet voor de Asus E35M1-I DELUXE gaan, maar voor de Asus E35M1-M PRO.
Ik kocht hem voor 128€, meet 7 tot 13watt (alles uitgeschakeld wat niet nodig is), nog eens 25€ voor 2Gb DDR3 1333.
Grote voordeel is dat je 2x PCI en 2x PCIe hebt. Draadloos moet ik niet voor een NAS (kan via usb of pci(e) kaart)
Op al deze bordjes heb je 5x interne SATA 600 en 1x eSATA. Raid-Z2 of raid6 lukt dus niet zonder extra kaart.

zeker een leuk bordje.
nou zag ik bij de specs DDR 1033 staan . en jij hebt daar DDR1333 ingeprikt.. maakt dat niet uit dan ?

2 1 x intelkaartje erin kan je in principe 20 13 12 disks aansturen.. heb je dan wel genoeg 'processingpower' ?

[ Voor 7% gewijzigd door Verwijderd op 15-03-2011 15:18 ]

[Verwijderd]

Sonic schreef op dinsdag 15 maart 2011 @ 14:44:
Hallo allemaal,

Wellicht dat iemand mij met het volgende kan helpen.

Ik ben in het bezit van een ESXi server met daarop Nexentastor als virtual NAS.
- De ESXi software draait vanaf een 4GB USB stick
- De Areca ARC-1210 met twee maal 320GB (mirror) is voor de VM's

Nu heb ik één 2TB WD-EARS schijf via RDM aan mijn Nexentastor VM gekoppeld. Dit werkt allemaal perfect!
Echter, zou ik hier graag drie of vier extra schijven bij aan knopen en deze met een RaidZ configureren.

Is dit mogelijk, zonder dat ik mijn data op de bestaande schijf kwijt raak? Van wat ik op internet lees is het lastig cu niet mogelijk om een ZFS pool makkelijk uit te breiden met extra schijven, maar misschien heeft iemand hier een goed idee hoe dit zonder data verlies kan?

eerst je data ergens opslaan.. nieuwe ZFS pool maken met je uitbreiding en daarna data terugzetten

[Sonic]

Daar was ik al bang voor.
Gelukkig gaat het nu om nog "maar" 2TB aan data. Bij de volgende upgrade zal het toch wat lastiger worden.

[Verwijderd]

Sonic schreef op dinsdag 15 maart 2011 @ 14:57:
Daar was ik al bang voor.
Gelukkig gaat het nu om nog "maar" 2TB aan data. Bij de volgende upgrade zal het toch wat lastiger worden.

ben geen deskundige hoor.. hang me er niet aan op, maar ik zit met hetzelfde probleem, ik wil een nas gaan bouwen met voldoende mogelijkheden om in de toekomst de raid te kunnen expanden ..en ZFS is daar niet zo geschikt voor om 'even' een 1 diskje erbij te prikken zover ik begrepen heb.

[FireDrunk]

Verwijderd schreef op dinsdag 15 maart 2011 @ 14:46:
[...]


[afbeelding]

zeker een leuk bordje.
nou zag ik bij de specs DDR 1033 staan . en jij hebt daar DDR1333 ingeprikt.. maakt dat niet uit dan ?

2 x intelkaartje erin kan je in principe 20 disks aansturen.. heb je dan wel genoeg 'processingpower' ?

2 kaartjes in een bord met 1 PCIe slot?

[Verwijderd]

FireDrunk schreef op dinsdag 15 maart 2011 @ 15:01:
[...]


2 kaartjes in een bord met 1 PCIe slot?

oeps.. zag 2 sloten maar = 1 x 4 en 1 x 1

maar alles overwegende ga ik niet voor een grote snelle NAS maar voor een zuinige minder snelle NAS met max 12 disks

8 st via intel controller raid 6 + 1 spare
4 st via mobo (maar welke ?) 2 x raid 1

[ Voor 3% gewijzigd door Verwijderd op 15-03-2011 15:15 ]

[FireDrunk]

Waarom 2 x RAID1? waarom niet RAID10? Of wil je actief disk sets downspinnen?

[Dadona]

Je kunt ten koste van de doorvoersnelheid natuurlijk het 1x slot ook inzetten. De limiet is dan zo uit mijn hoofd 250MB/sec.

[FireDrunk]

250MB/s bij PCIe 1.0, 500MB/s bij PCIe 2.0

[Verwijderd]

FireDrunk schreef op dinsdag 15 maart 2011 @ 15:36:
Waarom 2 x RAID1? waarom niet RAID10? Of wil je actief disk sets downspinnen?

harde lessen uit het verleden... GB's kosten niks meer dus raid 1 + losse usb disk buitenshuis.. mijn data kwijtraken wil ik niet meer.. (1 x meegemaakt en via een bedrijf teruglaten halen.. koste een vermogen)j

[FireDrunk]

Ik doelde niet op het feit dat RAID1 overbodig is, alleen dat 2 x RAID1 of RAID10 vrijwel even veilig is, maar RAID10 meer performance geeft

[Verwijderd]

FireDrunk schreef op dinsdag 15 maart 2011 @ 15:52:
Ik doelde niet op het feit dat RAID1 overbodig is, alleen dat 2 x RAID1 of RAID10 vrijwel even veilig is, maar RAID10 meer performance geeft

ah ok.. maar raid 10 met 4 disk op zo'n 'lowpower' bordje met daarnaast ook nog een raid 6 zfs voor het 'gewone' werk.. ding staat zich kleurenblind te stripen en dat passief gekoeld

[HarmoniousVibe]

Dadona schreef op dinsdag 15 maart 2011 @ 15:47:
Je kunt ten koste van de doorvoersnelheid natuurlijk het 1x slot ook inzetten. De limiet is dan zo uit mijn hoofd 250MB/sec.

Een x4-kaartje past toch niet in een x1-slot? Volgens mij zijn de meeste raid-kaartjes namelijk x4 en dan past het fysiek gewoon niet,

[Verwijderd]

x4, x8 en x16 past in x1 slot als het fysiek past. In de praktijk betekent dat dat het slot een open einde moet hebben. Serverborden hebben dat veelvuldig, bijvoorbeeld een PCIe x4 slot waar je een PCIe x8 kaart in kan zetten komt erg veel voor.

Je kunt ook een PCIe x1 kaartje in een x4, x8 of x16 slot doen. Dus eigenlijk hoort PCIe altijd te werken. Er kunnen wel BIOS problemen zijn waardoor sommige controllers niet bootable zijn, maar dat is een ander verhaal.

Overigens: voor ZFS gebruiken we geen RAID controllers maar SATA controllers (HBA) zonder RAID functie.

[Dadona]

Verwijderd schreef op dinsdag 15 maart 2011 @ 16:18:
x4, x8 en x16 past in x1 slot als het fysiek past. In de praktijk betekent dat dat het slot een open einde moet hebben. Serverborden hebben dat veelvuldig, bijvoorbeeld een PCIe x4 slot waar je een PCIe x8 kaart in kan zetten komt erg veel voor.

Je kunt ook een PCIe x1 kaartje in een x4, x8 of x16 slot doen. Dus eigenlijk hoort PCIe altijd te werken. Er kunnen wel BIOS problemen zijn waardoor sommige controllers niet bootable zijn, maar dat is een ander verhaal.

Je kunt het uiteinde van het slot natuurlijk ook open maken. Bij het bovenstaande bord is dat noodzakelijk omdat die standaard gesloten is.

Compatibiliteit is inderdaad een issue, maar dat gaat eigenlijk altijd op. Zelfs als een controller qua lanes past (bijvoorbeeld in een 16x slot - videokaartslot), dan is dat nog geen garantie dat de controller daadwerkelijk gaat werken.

[Verwijderd]

In principe moet het wel werken zodra je in je OS bent, maar voornamelijk boot support hangt af of het moederbord BIOS interrupt 19 ondersteunt, en dan ook op het slot waar de controller zich in bevindt. Als dat niet zo is kun je er niet van booten, maar bij gebruik van een ander bootdevice kun je hem in je OS uiteindelijk wel gebruiken dus interrupt 19 support is niet absoluut vereist.

[Dadona]

Ah, dat is goed om te weten. Ik las elders dat bepaalde kaarten het niet zouden doen in moederborden, waardoor ik daar toch meer op ben gaan letten bij mijn keuze. Maar goed, eigenlijk dus niet echt zo'n groot probleem. Ik neem aan dat de meesten gewoon booten van de onboard SATA poorten of misschien zelfs de IDE poort.

[Arnoud1]

Verwijderd schreef op dinsdag 15 maart 2011 @ 14:46:
[...]


zeker een leuk bordje.
nou zag ik bij de specs DDR 1033 staan . en jij hebt daar DDR1333 ingeprikt.. maakt dat niet uit dan ?

2 1 x intelkaartje erin kan je in principe 20 13 12 disks aansturen.. heb je dan wel genoeg 'processingpower' ?

DDR3 1333 wekt gewoon als 1066 maar dan met betere timings. Normaal is het CL9, op 1066 is het CL7.
En 2Gb 1333 was net wat goedkoper dan 2Gb 1066..

Mijn 2x Opteron 246 is nooit boven de 1% processorgebruik gegaan. Ram verbruik was zo'n 250Mb/2000Mb. Die Zacate's kunnen dat echt wel aan. De bottelneck is vaak de 1Gbit verbinding of 125Mbyte/s en zelfs dit haal je niet door overhead (iSCSI minder dan TCPIP). Voor IO is hardware raid beter (dacht ik toch, is mijn eerste test met ZFS), maar als je maar met enkele gebruikers op de server zit heb je niet veel nodig. Er is een groot verschil tussen een NAS die maar enkele 'thuisgebruikers' moet bedienen of een server waar een heel bedrijf op moet. Tijdens het kopiëren wordt de snelheid dan weer beperkt door de PC waarvan/vanwaar je kopieert.
Het besturingssysteem maakt wel een groot verschil uit. Zo zal solaris of freeBSD veel minder nodig hebben dan Linux (en enorm veel minder dan Windows). Driver-support vind ik dan wel weer beter onder Linux.
(Ik twijfel nog tussen FreeBSD en Debian 6.0)

PCIe 1x Raid of sata kaarten bestaan ook. Ik denk alleen niet dat je er zal vinden met meer dan 4 poorten. (zie 4-Port SATA II PCI-Express 1x Raid Card Adapter SIL3124 etc.)
Voor die PCI sloten heb je ook nog 4-port SATA kaartjes. Je kan er zelfs compatibele PCI-X kaarten in kwijt. Werkt wel heel wat trager, maar over je Lan verbinding merk je dat niet meer.

[Verwijderd]

Arnoud1 schreef op dinsdag 15 maart 2011 @ 16:52:
[...]


DDR3 1333 wekt gewoon als 1066 maar dan met betere timings. Normaal is het CL9, op 1066 is het CL7.
En 2Gb 1333 was net wat goedkoper dan 2Gb 1066..

Mijn 2x Opteron 246 is nooit boven de 1% processorgebruik gegaan. Ram verbruik was zo'n 250Mb/2000Mb. Die Zacate's kunnen dat echt wel aan. De bottelneck is vaak de 1Gbit verbinding of 125Mbyte/s en zelfs dit haal je niet door overhead (iSCSI minder dan TCPIP). Voor IO is hardware raid beter (dacht ik toch, is mijn eerste test met ZFS), maar als je maar met enkele gebruikers op de server zit heb je niet veel nodig. Er is een groot verschil tussen een NAS die maar enkele 'thuisgebruikers' moet bedienen of een server waar een heel bedrijf op moet. Tijdens het kopiëren wordt de snelheid dan weer beperkt door de PC waarvan/vanwaar je kopieert.
Het besturingssysteem maakt wel een groot verschil uit. Zo zal solaris of freeBSD veel minder nodig hebben dan Linux (en enorm veel minder dan Windows). Driver-support vind ik dan wel weer beter onder Linux.
(Ik twijfel nog tussen FreeBSD en Debian 6.0)

PCIe 1x Raid of sata kaarten bestaan ook. Ik denk alleen niet dat je er zal vinden met meer dan 4 poorten. (zie 4-Port SATA II PCI-Express 1x Raid Card Adapter SIL3124 etc.)
Voor die PCI sloten heb je ook nog 4-port SATA kaartjes. Je kan er zelfs compatibele PCI-X kaarten in kwijt. Werkt wel heel wat trager, maar over je Lan verbinding merk je dat niet meer.

maar je gebruikt dat bordje nu met ZFS ?

ik zit echt nog in dubio.. lowpower consumption of beetje meer processing power.

zou in de toekomst ook is wat willen prutsen met virtuele disks/nas/ ect. en denk dat ik dan wellicht beter een SUPERMICRO X8SIL-F + xeon 3440 kan nemen.. maar wel gelijk een stuk prijziger.

[Arnoud1]

Verwijderd schreef op dinsdag 15 maart 2011 @ 16:18:
Overigens: voor ZFS gebruiken we geen RAID controllers maar SATA controllers (HBA) zonder RAID functie.

ZFS werkt voor zover ik weet perfect op een RAID kaart waarvan de schijven in een hardware raid array staan. Nadelen zijn dan het probleem van bitrotting die je met hardware raid hebt en de slechte portabiliteit. Als de raid kaart kapot is, moet je dezelfde of een compatibele terugplaatsen. Bij software raid heb je dit niet.
Ik ben dus van plan om de raid functionaliteit wel de houden maar niet te benutten. Door de schijven als single te exporteren. Dit zou hetzelfde moeten zijn. Bijna alle hardware raid kaarten kunnen dit, en dan ziet je os gewoon alle schijven apart. Ik zie bij de specificaties dat die Intel SASUC8I ook gewoon JBOD aankan... Begrijp echt niet waarom je moet flashen?

[Verwijderd]

The Intel SASUC8I is an Intel branded version of the LSI SAS3081E-R eight port SAS/ SATA controller. Effectively identical in specifications, the Intel card differentiates itself in two areas. First, it has an Intel firmware that is geared towards Intel servers with features such as a firmware update tool that works exclusively with EFI servers. The other main advantage is that the street price of the Intel SASUC8I is approximately $50 lower than the LSI SAS3081E-R counterpart. Luckily, the Intel firmware can be flashed with a DOS based tool to the LSI IT firmware (removes RAID settings making this a JBOD controller) or IR firmware (retains the RAID 0/1/1E/10E functionality). Once flashed, the main difference remaining is the $50 lower price for the Intel based part.

http://www.servethehome.c...suc8i-lsi-firmware-guide/

http://www.servethehome.c...d-raid-controller-review/

[Arnoud1]

Verwijderd schreef op dinsdag 15 maart 2011 @ 17:09:
[...]


maar je gebruikt dat bordje nu met ZFS ?

ik zit echt nog in dubio.. lowpower consumption of beetje meer processing power.

zou in de toekomst ook is wat willen prutsen met virtuele disks/nas/ ect. en denk dat ik dan wellicht beter een SUPERMICRO X8SIL-F + xeon 3440 kan nemen.. maar wel gelijk een stuk prijziger.

Momenteel gebruik ik LVM onder Ubuntu. Ik ga nu overstappen naar ZFS.
Reden is vooral het gigantische stroomverbruik! Mijn server verbruikte bijna 2.5 MegaWatt per jaar. Mijn elektriciteitsrekening was verdubbeld. Voor die prijs koop je al een nieuwe PC. Je bespaart dus zéér veel geld door voor low power te gaan EN een systeem met downthrottle, spindown, hybernate, en al die andere technieken. Dit zoek ik nu uit.
Processing power had ik 99% teveel. En die hardware raid ging supersnel, maar dit merkte ik enkel bij benchmarks. Als ik kopieerde naar mij pc had ik gewoon de limiet van mijn eigen schijf (Samsung T3).

[Verwijderd]

Arnoud1 schreef op dinsdag 15 maart 2011 @ 17:28:
[...]


Momenteel gebruik ik LVM onder Ubuntu. Ik ga nu overstappen naar ZFS.
Reden is vooral het gigantische stroomverbruik! Mijn server verbruikte bijna 2.5 MegaWatt per jaar. Mijn elektriciteitsrekening was verdubbeld. Voor die prijs koop je al een nieuwe PC. Je bespaart dus zéér veel geld door voor low power te gaan EN een systeem met downthrottle, spindown, hybernate, en al die andere technieken. Dit zoek ik nu uit.
Processing power had ik 99% teveel. En die hardware raid ging supersnel, maar dit merkte ik enkel bij benchmarks. Als ik kopieerde naar mij pc had ik gewoon de limiet van mijn eigen schijf (Samsung T3).

ja daar zit wat in .. ik moet ditmaal niet eigenwijs zijn en gewoon naar het stroomverbruik kijken en niet naar de bling faktor .. (en toch wil ik een 19 rack )


inmiddels nog wat meer gelezen over de Asus E35M1-M Pro

idd erg energie zuinig

[ Voor 13% gewijzigd door Verwijderd op 15-03-2011 20:42 ]

[Verwijderd]

Arnoud1 schreef op dinsdag 15 maart 2011 @ 17:21:
ZFS werkt voor zover ik weet perfect op een RAID kaart waarvan de schijven in een hardware raid array staan.

Nou laat ik dan maar snel reageren voordat mensen zo'n setup overwegen.

Het kan wel werken, maar dan heb je significant de veiligheid van je pool verlaagt en schakel je de helft van ZFS features uit. Dit is absoluut niet de manier om ZFS te draaien.

Mogelijke problemen:

• Je vertrouwt nu op hardware RAID ipv ZFS voor data veiligheid. RAID5 met write-back is zéér gevoelig en door de RAID5 write hole is het gemakkelijk om inconsistenties te krijgen; dat betekent potentieel dat je hele pool corrupt is en niet meer gebruikt/gerecovered kan worden.
• Voor ZFS is je hardware RAID een enkele schijf zonder enige bescherming/redundancy; dus beschouw het als RAID0.
• Je hebt TLER (RAID edition) schijven nodig voor een hardware RAID controller; vrijwel alle controllers schoppen je schijven uit de array bij bad sector timeouts. Daar kan ZFS niets aan verhinderen en verlaagt de veiligheid van je bestanden enorm.
• Zaken als TRIM werken niet op hardware RAID; wel software RAID op een normale ATA controller

Kortom: NIET doen! Je wilt een normale non-RAID HBA - dat is een controller voor SATA of SAS zonder RAID functies.

Ik ben dus van plan om de raid functionaliteit wel de houden maar niet te benutten. Door de schijven als single te exporteren. Dit zou hetzelfde moeten zijn. Bijna alle hardware raid kaarten kunnen dit, en dan ziet je os gewoon alle schijven apart.

Dan ziet je OS dus allemaal aparte Hardware RAID arrays. Je schijven kunnen nog steeds uitvallen bij Current Pending Sector en TRIM en normaal SMART opvragen kun je ook vergeten.

Voorbeeld is de Areca controller; prima ding maar in elk geval de firmware die ik heb getest (1.44 ofzo?) schopt keihard disks uit de array. Of je nou de hele controller in "JBOD" zet (foute term want er wordt configurationless passthrough bedoeld en NIET JBOD!) of losse passthrough disks aanmaakt, in beide gevallen zorgt een current pending sector ervoor dat de schijf floeps verdwijnt. Dat is dus wat je niet wilt.

Ik zie bij de specificaties dat die Intel SASUC8I ook gewoon JBOD aankan... Begrijp echt niet waarom je moet flashen?

JBOD wordt voor drie verschillende technische implementaties gebruikt:
1) Concatenating ("spanning" or JBOD)
2) Passthrough modus in RAID mode
3) non-RAID HBA modus

Alleen de laatste is wat je wilt; 100% HBA, 0% RAID. Dan bepaalt het OS of de schijf uit de array geschopt wordt of niet, behoud je TRIM mogelijkheid en heb je ook geen gezeik met SMART.

Bottom line: als je voor ZFS gaat wil je veiligheid voor je bestanden, gooi dat niet in het water door een onveilige hardware RAID adapter te gebruiken. Het gaat pas fout als het te laat is: tijdens rebuilden van een degraded array en dan een bad sector op een van je resterende schijven; dán heb je een probleem! Voorkom die problemen door een non-RAID controller te gebruiken.

[dvvelzen]

ben nu ook al een tijdje aan het zoeken naar een DIY NAS setup en zie zoveel verschillende mogelijkheden om dit samen te stellen; Eisen:

* FSZ Software Raid 5. ( 6x sams 2TB. )

* Er gaan max tegelijk:
+ 2 htpc's video/muziek
+ 1 file acces via pc.

* toekomst
+ mogelijk een webservertje en torrent.
+ controller / extra disks (4)

Bij alternate staat een setje:
MSI 880GM-E41/X2 250/4GB

Ben bang dat in de toekomst de Atom niet blijft lopen.

Vraag;
1. Ik neem aan dat dit wel genoeg is, heeft iemand daar nog ideeen over?
2. Iemand enig idee wat voor voeding er ongeveer voor nodig is ?

[Verwijderd]

dvvelzen schreef op dinsdag 15 maart 2011 @ 20:16:
ben nu ook al een tijdje aan het zoeken naar een DIY NAS setup en zie zoveel verschillende mogelijkheden om dit samen te stellen; Eisen:

* FSZ Software Raid 5. ( 6x sams 2TB. )

* Er gaan max tegelijk:
+ 2 htpc's video/muziek
+ 1 file acces via pc.

* toekomst
+ mogelijk een webservertje en torrent.
+ controller / extra disks (4)

Bij alternate staat een setje:
MSI 880GM-E41/X2 250/4GB

Ben bang dat in de toekomst de Atom niet blijft lopen.

Vraag;
1. Ik neem aan dat dit wel genoeg is, heeft iemand daar nog ideeen over?
2. Iemand enig idee wat voor voeding er ongeveer voor nodig is ?

als je nu al rekening houd met uitbreiding gelijk een zwaardere voeding/kast nemen denk ik
en booten.. doe je dat van usb ?

is er eigenlijk al zicht op freenas 8 'the final'

[zzattack]

Enigszins verlaat, en niet al te beste plaatjes, maar toch.
De Norco:



De ASUS KGPE-D16, met momenteel 16GB RAM en maar 1 CPU. Ook is de RR 2340 vaag te zien.





Voorheen had ik een bigtower gevuld met 5.25" enclosures om de geluidsoverlast beperkt te houden, maar die zijn nu dus overbodig.



In de kelder staat een Procurve 2824 met 4x gbit trunk naar mijn kamer. De procurve is nogal luidruchtig maar de d-link DGS 3024 in mijn kamer is fluisterstil. Zelfs 's nachts niet te horen.




En ja, ik weet het, ik zou eens patchpanels moeten aanschaffen, bedrading moeten fatsoeneren etc., dat komt misschien ooit nog wel eens.

[ Voor 3% gewijzigd door zzattack op 16-03-2011 00:19 ]

[dvvelzen]

Verwijderd schreef op dinsdag 15 maart 2011 @ 20:46:
[...]


als je nu al rekening houd met uitbreiding gelijk een zwaardere vording/kast nemen denk ik
en booten.. doe je dat van usb ?

ja was ik wel van plan was ook van plan zo'n CM Elite 335 kast te halen (6x intern hdd) en dan later in de 5.25 de extra hd's te plaatsen. (install via usb of tijdelijk IDE dvdrom aansluiten) en dus ook booten via usb.

misschien zet ik er in eerste instantie freenas op en daarna freebsd.

[Verwijderd]

zzattack schreef op dinsdag 15 maart 2011 @ 21:19:
Enigszins verlaat, en niet al te beste plaatjes, maar toch.
De Norco:

[afbeelding]
[afbeelding]

De ASUS KGPE-D16, met momenteel 16GB RAM en maar 1 CPU. Ook is de RR 2340 vaag te zien.

[afbeelding]
[afbeelding]
[afbeelding]

Voorheen had ik een bigtower gevuld met 5.25" enclosures om de geluidsoverlast beperkt te houden, maar die zijn nu dus overbodig.

[afbeelding]

In de kelder staat een Procurve 2824 met 4x gbit trunk naar mijn kamer. De procurve is nogal luidruchtig maar de d-link DGS 3024 in mijn kamer is fluisterstil. Zelfs 's nachts niet te horen.

[afbeelding]
[afbeelding]

En ja, ik weet het, ik zou eens patchpanels moeten aanschaffen, bedrading moeten fatsoeneren etc., dat komt misschien ooit nog wel eens.

pf.. heavy

heb je dan 4 kabels naar je switch lopen vanaf die norco ?

[Q]

zzattack schreef op dinsdag 15 maart 2011 @ 21:19:
Enigszins verlaat, en niet al te beste plaatjes, maar toch.

In de kelder staat een Procurve 2824 met 4x gbit trunk naar mijn kamer. De procurve is nogal luidruchtig maar de d-link DGS 3024 in mijn kamer is fluisterstil. Zelfs 's nachts niet te horen.

Yeah, weer een monsterbuild.

Maar wat zit er nu precies in en wat draait het? In ieder geval de RR2324, maar meer specs?

[zzattack]

Verwijderd schreef op dinsdag 15 maart 2011 @ 21:30:
heb je dan 4 kabels naar je switch lopen vanaf die norco ?

Nope, twee. Was eventjes 4, met een Intel PRO Dual NIC kaartje, maar die was bestemd voor de pfSense router die er inmiddels ook is. Nu gewoon twee naar de switch, en dan nog (o.a.) 4 andere van de switch in de kelder naar de switch in mijn kamer. Niet dat dat nuttig is

Q schreef op dinsdag 15 maart 2011 @ 21:35:
Maar wat zit er nu precies in en wat draait het? In ieder geval de RR2324, maar meer specs?

Had het hier ergens al gepost, maar dat terugzoeken is waarschijnlijk meer moeite dan het opnieuw typen De SATA controller is idd een RR2340, geprikt op een G34 platform met als moederbord de ASUS KGPE-D16, vooralsnog 1 CPU (6128/8-core) en 16GB DDR3/ECC RAM (max 64) en nu nog 10x2TB. Nu ga ik hem langzaamaan volgooien met meer RAM, extra CPU, meer HDD's en zodra het krap begint te worden misschien een iets sterkere voeding (nu 550W be quiet!).

[Verwijderd]

de reden om flink te investeren in opslagcapaciteit is meestal.. ruimte gebrek

[ Voor 62% gewijzigd door Verwijderd op 17-03-2011 17:08 ]

[-Moondust-]

Wat moet ik nu precies doen om de Intel SASUC8I (RAID Controller) te flashen zodat deze feitelijk een eenvoudige HBA wordt?

[ Voor 18% gewijzigd door -Moondust- op 16-03-2011 23:26 ]

[Verwijderd]

-Moondust- schreef op woensdag 16 maart 2011 @ 23:25:
Wat moet ik nu precies doen om de Intel SASUC8I (RAID Controller) te flashen zodat deze feitelijk een eenvoudige HBA wordt?

http://www.servethehome.c...suc8i-lsi-firmware-guide/

[Q]

Verwijderd schreef op woensdag 16 maart 2011 @ 14:49:
de reden om flink te investeren in opslagcapaciteit is meestal.. ruimte gebrek

mijn goedkoopste nas oplossing hier in beeld :

Sharkoon SATA QuickPort Duo 48,- (zit via esata aan qnap ts-119 t) totaal 6 TB
en een stapeltje 2 TB disks.. wel zelf wisselen

[afbeelding]

Een heel voordelige oplossing, dat zeker.

Gun jezelf een keer een DIY NAS zodat je alle data altijd on-line hebt. Veel makkelijker toch? Zo duur wordt dat niet.

[ Voor 5% gewijzigd door Q op 16-03-2011 23:40 ]

[Verwijderd]

Q schreef op woensdag 16 maart 2011 @ 23:39:
[...]


Een heel voordelige oplossing, dat zeker.

Gun jezelf een keer een DIY NAS zodat je alle data altijd on-line hebt. Veel makkelijker toch? Zo duur wordt dat niet.

haha.. ja, die data staat min of meer online op deze manier, maar ik verblijf opvallend vaak in dit topic, niet voor niets natuurlijk

die 2 qnaps + los dock + nog eea wil ik gaan vervangen door 1 nieuwe 10 TB ++ DIY nas.

[FireDrunk]

Ik denk ook dat er wel een maximum zit aan het aantal keer dat je zo'n SATA disk in een socket ramt Die connectoren zijn niet van gehard staal

[Birdie_NL]

Even een vraagje met betrekking tot de aanschaf van een raid controller.

Ik heb een MSI 785GM-E65 moederbord.


Nu ben ik op zoek naar een SAS/SATA Raid controller met de RAID5 functionaliteit voor een capaciteit tot 8 hdd's.

Ik heb gisteravond flink lopen zoeken in de pricewatch naar een controller die op mijn moederbord past.
Ik zie voornamelijk controllers met een PCI-x8 aansluiting, past een controller met deze aansluiting ook in mijn pci-16x slot?

Wie heeft er voor mij tips voor de aanschaf van een geschikte RAID controller die aan mijn eisen voldoet?
(ik weet dat dit niet het ''wat moet ik kopen'' topic is)

[FireDrunk]

Ik heb nog een P410 liggen Die werkt gewoon in dat slot

[Birdie_NL]

FireDrunk schreef op donderdag 17 maart 2011 @ 10:59:
Ik heb nog een P410 liggen Die werkt gewoon in dat slot

Dus het komt er op neer dat een pci-8x controller in een pci-e16x slot past?
In dat geval verbreed dat de keuze naar een controller.

[FireDrunk]

Ja hoor, dat werkt bij veel moederborden gewoon... Aan de controller ligt het meestal niet, hoewel er wat problemen bekend zijn met Dell's PERC controllers omdat die het missen van een SMBUS niet zo grappig vinden. (Die zit alleen in Server borden). Maar met HP heb ik daar nog nooit last van gehad.

Een enkel moederbord verwacht een GPU in het PCIe x16 slot en vind een RAID controller niet zo grappig in dat slot en kan er dan niet van booten. Maar een bord wat de kaart echt niet slikt moet ik nog tegenkomen.

[Birdie_NL]

FireDrunk schreef op donderdag 17 maart 2011 @ 11:29:
Ja hoor, dat werkt bij veel moederborden gewoon... Aan de controller ligt het meestal niet, hoewel er wat problemen bekend zijn met Dell's PERC controllers omdat die het missen van een SMBUS niet zo grappig vinden. (Die zit alleen in Server borden). Maar met HP heb ik daar nog nooit last van gehad.

Een enkel moederbord verwacht een GPU in het PCIe x16 slot en vind een RAID controller niet zo grappig in dat slot en kan er dan niet van booten. Maar een bord wat de kaart echt niet slikt moet ik nog tegenkomen.

Wat bedoel je dan met 'kan er dan niet van booten'?
Logisch dat het moederbord denkt van heé dit is geen grafische kaart.
Ik heb dus nu al een bestaande installatie van server 2008 r2 er op staan met 2x 500GB in raid1.(onboard)
Indien ik dan dus een pci-x8 controller in het pci-e16x slot prik, gaat dat dus zonder problemen?

[HarmoniousVibe]

brndst schreef op donderdag 17 maart 2011 @ 11:37:
[...]

Wat bedoel je dan met 'kan er dan niet van booten'?
Logisch dat het moederbord denkt van heé dit is geen grafische kaart.
Ik heb dus nu al een bestaande installatie van server 2008 r2 er op staan met 2x 500GB in raid1.(onboard)
Indien ik dan dus een pci-x8 controller in het pci-e16x slot prik, gaat dat dus zonder problemen?

Ja je kunt altijd een x8-kaart in een x16-slot prikken. Ik heb ook nog nooit meegemaakt dat de kaart het dan niet doet. 'Niet van kunnen booten' betekent dat je je OS er niet van kan booten. Dus dat je in dat zeldzame geval je OS direct op je mobo moet aansluiten.

Voor hardwarematige raid-5 zou ik gaan voor de Areca 1220(ML). Overigens is raid-5 wel wat mager als je 8 schijven in 1 array wilt zetten.

[ Voor 8% gewijzigd door HarmoniousVibe op 17-03-2011 12:03 ]

[Birdie_NL]

HarmoniousVibe schreef op donderdag 17 maart 2011 @ 12:02:
[...]

Ja je kunt altijd een x8-kaart in een x16-slot prikken. Ik heb ook nog nooit meegemaakt dat de kaart het dan niet doet. 'Niet van kunnen booten' betekent dat je je OS er niet van kan booten. Dus dat je in dat zeldzame geval je OS direct op je mobo moet aansluiten.

Voor hardwarematige raid-5 zou ik gaan voor de Areca 1220(ML). Overigens is raid-5 wel wat mager als je 8 schijven in 1 array wilt zetten.

Bedankt voor de informatie.
OS staat inderdaad geinstalleerd op de (onboard) sata raid controller van het moederbord.

Alleen ik vind 400+ euro wel aan de hoge kant voor zo'n controller.

[HarmoniousVibe]

brndst schreef op donderdag 17 maart 2011 @ 12:12:
[...]

Bedankt voor de informatie.
OS staat inderdaad geinstalleerd op de (onboard) sata raid controller van het moederbord.

Alleen ik vind 400+ euro wel aan de hoge kant voor zo'n controller.

Je hebt geen andere keuze. Een kaart voor hardware RAID5/6 voor 8 schijven kost nu eenmaal knaken.

Lager kun je bijna niet, tenzij je bereid bent om een eenvoudiger RAID level te gaan gebruiken (0, 1, 10) of te kiezen voor Linux of BSD (ZFS) softraid. Of als performance je niks uitmaakt kun je ook Windows softraid gebruiken. In deze gevallen kun je namelijk kiezen voor een controller als de Intel SASUC8I.

Dit betekent dus wel dat je of voor softraid moet gaan (je zou dan zelfs nog voor de 4-poorts versie kunnen gaan omdat je onboard SATA dan ook nog gewoon kunt blijven gebruiken) of dat je een simpeler RAID-level moet accepteren.

In het eerste geval moet je of overstappen op een ander (beter) OS of een veel lagere (write) performance moeten accepteren. In het tweede geval offer je schijfruimte op.

[ Voor 35% gewijzigd door HarmoniousVibe op 17-03-2011 12:57 ]

[ErikCornelissen]

Je kunt kijken naar een PERC 5/i of PERC 6/i. Dat zijn RAID Controllers die erg populair zijn en tevens snel. Moet alleen even goed controleren of de controller compatible is met je MOBO.

Verschil tussen de 5/i en 6/i is:
5/i doet alleen RAID 5
6/i doet zowel RAID 5 als RAID 6.
Mocht je deze RAID controller aanschaffen, zorg dat je een BBU er bij koop i.v.m. performance.

[Verwijderd]

Ik had eigenlijk een vergelijkbare vraag (gezien de eerdere antwoorden denk ik nu van yes)

ik kijk op dit moment naar mobo E35M1-M PRO die heeft een 16x slot en ik wil daar de bekende intel SASUC8I inprikken en die heeft een 8 x aansluiting.


booten wil ik vanaf een sata600aansluiting op mobo (ssd)... ' vakantieman ..gaat dat werken ' ?

[Verwijderd]

Kiezen voor hardware RAID5 betekent:
- dure RAID kaart
- RAID edition hardeschijven (TLER)
- Battery Backup Unit (of je moet writeback uitschakelen dus 5MB/s write speed)

Om maar heel duidelijk te zijn: je hebt ook niets aan zo'n dure controller als je voor Linux/BSD software RAID of ZFS gaat. Een hardware RAID controller is alleen nuttig als je niet af kan van het Windows platform en je parity RAID wilt draaien (RAID5 of RAID6). Het is ook zeker geen toekomstvaste investering, en zoals gezegd wil je later iets veel veiligers (ZFS) draaien dan heb je weinig aan die dure controller. Normale schijven aansluiten betekent dat ze bij bad sectors met bosjes uit de array worden geschopt. Hardware RAID is niet zo romantisch als velen denken.

@borroz: dat werkt maar Zacate is PCIe 2.0 x4 en de kaart is PCIe 1.0 x8 dus hij draait op PCIe 1.0 x4 en dat is 1GB/s max. Met de opvolger die 6Gbps SATA poorten heeft (LSI SAS2008) heb je een controller die PCIe 2.0 x8 is, en dus op dat Zacate bordje nog 2GB/s kan volhouden omdat het op PCIe 2.0 x4 werkt ipv PCIe 1.0.

[ Voor 20% gewijzigd door Verwijderd op 17-03-2011 13:17 ]

[FireDrunk]

Normale schijven aansluiten betekent dat ze bij bad sectors met bosjes uit de array worden geschopt.

En zoals ik wel vaker heb gezegd, is het ook weer geen doemscenario wat CiPHER zegt... Ik heb ruim 5 jaar een Hardware RAID5 array gehad en er is vaak zat een disk kapot gegaan en ook bad sectors, en mijn controller meld dat keurig, en gooit een disk er NIET uit... Hij blijft hem gewoon gebruiken tot het erger word. In de tussentijd kan je gewoon een nieuwe schijf erin hangen.

RAID5 is (vooral bij hele grote schijven) wel een tikkeltje mager (dan wil je liever RAID6), maar als je netjes backups maakt van de belangrijkste data en het niet zo heel erg vind om een offline rebuild te doen bijvoorbeeld, dan kan je best voor Hardware RAID5 gaan...

Een leuke tweedehands Hardware RAID5 controller heb je (in de goedkopere segmenten) al voor 125,- en in de goede dure segmenten al voor 250,-.
Een 'dikke' ZFS build heb je niet snel in elkaar gedraaid, en dan is Hardware RAID een prima (goedkoper) alternatief.

[ Voor 14% gewijzigd door FireDrunk op 17-03-2011 13:34 ]

[Verwijderd]

[

@borroz: dat werkt maar Zacate is PCIe 2.0 x4 en de kaart is PCIe 1.0 x8 dus hij draait op PCIe 1.0 x4 en dat is 1GB/s max. Met de opvolger die 6Gbps SATA poorten heeft (LSI SAS2008) heb je een controller die PCIe 2.0 x8 is, en dus op dat Zacate bordje nog 2GB/s kan volhouden omdat het op PCIe 2.0 x4 werkt ipv PCIe 1.0.

uhhh

met 'de opvolger' bedoel je een ander mobootje ?

ik zit me rot te zoeken naar een matx bordje die weing verbruikt en liefst goed overweg kan met 1 (of 2) controllers (x8 ?) .. lastig

[Verwijderd]

Opvolger van de LSI 1068E 3Gbps SAS controller is de LSI SAS2008 controller. Grote verschil is 6Gbps SAS/SATA ipv 3Gbps maar ook PCI-express 2.0 ipv 1.0; en dat maakt dus verschil bij dat Zacate bordje wat wwel PCI-express 2.0 is maar geen 8 lanes dus 4 lanes bij 2.0 is nog steeds 2GB/s bandbreedte ipv 1GB/s.

Dus met LSI 1068E (3Gbps) controller op dat Zacate bordje = 1GB/s
Met LSI SAS2008 (6Gbps) controller op dat Zacate bordje = 2GB/s; deze controller wordt nog niet optimaal ondersteund in BSD, in Solaris en Linux werkt het wel prima en BSD heeft al een driver die redelijk moet werken in 8-STABLE branch.

@FireDrunk: ik zie niet in waarom een ZFS build opeens ingewikkelder zou zijn dan eentje met Hardware RAID? Wat voor schijven en controller gebruikte je? Merk op dat met de huidige hoge capaciteitschijven de datadichtheid heel hoog is geworden en dat hardeschijven veel gevoeliger zijn geworden voor Current Pending Sectors (onleesbare sectoren). Dat betekent dat controllers die met hoge timeouts niet om kunnen gaan de schijf eruit trappen. Dat gebeurt dus relatief vaker met moderne 2TB schijven dan met oudere 250GB schijven die relatief veel minder problemen met BER (Bit-Error-Rate) hebben. Fijn om te horen over je positieve ervaringen, maar dat is zeker geen garantie met de huidige stand van de techniek, waarbij BER is toegenomen en gevaarlijke pending sectors steeds vaker voorkomen.

[FireDrunk]

Verwijderd schreef op donderdag 17 maart 2011 @ 13:43:
Opvolger van de LSI 1068E 3Gbps SAS controller is de LSI SAS2008 controller. Grote verschil is 6Gbps SAS/SATA ipv 3Gbps maar ook PCI-express 2.0 ipv 1.0; en dat maakt dus verschil bij dat Zacate bordje wat wwel PCI-express 2.0 is maar geen 8 lanes dus 4 lanes bij 2.0 is nog steeds 2GB/s bandbreedte ipv 1GB/s.

Dus met LSI 1068E (3Gbps) controller op dat Zacate bordje = 1GB/s
Met LSI SAS2008 (6Gbps) controller op dat Zacate bordje = 2GB/s; deze controller wordt nog niet optimaal ondersteund in BSD, in Solaris en Linux werkt het wel prima en BSD heeft al een driver die redelijk moet werken in 8-STABLE branch.

@FireDrunk: ik zie niet in waarom een ZFS build opeens ingewikkelder zou zijn dan eentje met Hardware RAID? Wat voor schijven en controller gebruikte je? Merk op dat met de huidige hoge capaciteitschijven de datadichtheid heel hoog is geworden en dat hardeschijven veel gevoeliger zijn geworden voor Current Pending Sectors (onleesbare sectoren). Dat betekent dat controllers die met hoge timeouts niet om kunnen gaan de schijf eruit trappen. Dat gebeurt dus relatief vaker met moderne 2TB schijven dan met oudere 250GB schijven die relatief veel minder problemen met BER (Bit-Error-Rate) hebben. Fijn om te horen over je positieve ervaringen, maar dat is zeker geen garantie met de huidige stand van de techniek, waarbij BER is toegenomen en gevaarlijke pending sectors steeds vaker voorkomen.

Omdat er over Windows 2008R2 gesproken word, en dat is qua config, alleen maar een drivertje installeren.
ZFS betekend een compleet ander OS, een andere manier van beheren, een andere manier van sharen, en een andere manier van features gebruiken (Online Grow op ZFS werkt heel anders dan Online Grow op een RAID controller )

Uiteraard heb je zeker gelijk dat BER gevaarlijker is op grote schijven, daar ben ik het ook niet mee eens, maar je zegt 'vallen er met bosjes uit', en dat heb ik nog nooit meegemaakt...

Maar je kunt ook (een paar pagina's terug) lezen dat ik op RAID6 overgestapt ben. Precies om de reden dat ik nu een Full time baan heb, en ik geen zin heb om 's avonds na mijn werk nog eens met mijn server bezig te zijn. Dat ding moet gewoon werken... En ik wilde spindown op mijn RAID array, maar nu blijkt dat mijn LSI dat ook niet ondersteund... Dat waren voor mij veel grotere redenen om naar software raid over te stappen.

Maar achteraf gezien had ik Prima bij hardware raid kunnen blijven (op RAID6 na dan) omdat ik nu Passthrough gebruik, en dat kan met mijn P410 ook

Maar dat terzijde

[Verwijderd]

Verwijderd schreef op donderdag 17 maart 2011 @ 13:43:
Opvolger van de LSI 1068E 3Gbps SAS controller is de LSI SAS2008 controller. Grote verschil is 6Gbps SAS/SATA ipv 3Gbps maar ook PCI-express 2.0 ipv 1.0; en dat maakt dus verschil bij dat Zacate bordje wat wwel PCI-express 2.0 is maar geen 8 lanes dus 4 lanes bij 2.0 is nog steeds 2GB/s bandbreedte ipv 1GB/s.

Dus met LSI 1068E (3Gbps) controller op dat Zacate bordje = 1GB/s
Met LSI SAS2008 (6Gbps) controller op dat Zacate bordje = 2GB/s; deze controller wordt nog niet optimaal ondersteund in BSD, in Solaris en Linux werkt het wel prima en BSD heeft al een driver die redelijk moet werken in 8-STABLE branch.

aha .. duidelijk en als ik sata 300 drives aan ga sluiten (heb ik in voorraad ) maakt dat voor mij niet uit..sata 300 drives aan een sata 600 controller is zinloos (behalve voor nieuwe drives/ssd's)

ik heb ook nog overwogen om een X8SI6-F mobo te nemen, ben je gelijk van alle 'gezeur' af..( bordje is momenteel in heel nederland overigens niet te koop en levertijden onbekend.)
maar vind het energie verbruik toch wel erg belangrijk dus liever een langzamer maar zuinig systeempje.

[Verwijderd]

ZFS is inderdaad wel wat anders dan Windows storage; maar als het om een NAS gaat dan betekent dat de computer geen desktop wordt. In die zin kun je even simpel een boxje bouwen als zelfbouw NAS en er FreeNAS op installeren dat hoeft ook geen heisa te worden en binnen kwartier heb je je ZFS NAS draaiend en heb je er geen omkijken meer naar. Dus een alternatief is er zeker en je hoeft echt geen storage guru te zijn om baat te hebben bij ZFS. Juist omdat ZFS zo'n stabiele RAID layer heeft en fouten automatisch zelf oplost is het bijzonder nuttig voor heel veel mensen die betrouwbare opslag nodig hebben, daarom dat ik ook hoop dat het gebruik van ZFS zal stijgen onder 'amateurs' die mijns inziens de bescherming het meeste nodig hebben, omdat zij vaak geneigd zijn om gevaarlijke RAID combo's te draaien.

LSI controller is de enige waarbij ik timeout control heb gezien. Controllers als Highpoint en Areca schoppen schijven keihard eruit. Mijn RAID6 was vroeger gefaald met 3 schijven eruit gekickt. Geen enkele schijf was stuk, maar toch was de array failed. Waren geen superbelangrijke dingen en heb alsnog alles terug kunnen halen met software recovery. Maar het grote punt is: conventioneel RAID is niet helemaal veilig! Zeker met normale consumentenschijven en controllers die heel strict zijn, is het een kwestie van tijd tot de array faalt. De controller zal elke schijf die langer dan 10 seconden aan recovery besteedt om een bad sector te recoveren, uit de array smijten ook als de array al degraded was. Dit soort gedrag is erg vervelend en heeft veel mensen data gekost. Ook is er veel onduidelijkheid onder; betrouwbare informatie is nauwelijks te halen. Denk niet dat je op de Areca site kunt zien:

WARNING! The Areca controller is a very good controller, BUT it does not work properly with normal desktop-class consumer disks, due to the controller being very strict about disk timeouts and will kick out your disk if it does not respond within 10 seconds, something that commonly happens when recovering bad sectors (Current Pending Sector in the SMART output).

Maar denk niet dat je zulke waarschuwingen zult zien; je wordt aan je lot overgelaten. Dus om die reden hoop ik mensen te bereiken en de hoge reputatie van Hardware RAID een beetje nuanceren.

[FireDrunk]

Je bent ook een held hoor Ik ben via DM in contact met brndst en hij vertelde dat hij van plan was om met 3 schijven een RAID5 array te maken, en dat lijkt me niet zo'n punt

Ik zou ook wel graag ZFS gebruiken, maar de drempel (qua OS en ondersteuning) is me gewoon nog te hoog...
Linux + MDADM heeft een veel ruimer ondersteunde basis.

Met hardware RAID veranderd er feitelijk niets aan je OS (behalve dan de driver), dus gaan met die banaan!

[Verwijderd]

over 'dat eruit kicken' .. geen ervaring dus vandaar deze vraag :

als je nou in FreeNas een 'spare' drive hebt ingesteld in een zfs2 opstelling, en 1 van de drives reageert wat traag, word die dan direct 'gekickt' en wordt de spare nu ingeschakeld ? en wat als je geen spare hebt, moet je dan die (knipperende als 'defect' aangeduide ) nas disk vervangen voor dat je verder kan ?

[Verwijderd]

Bij gebruik van ZFS op een non-RAID controller:
1. een schijf doet erg lang over een read request (bad sector recovery)
2. ZFS krijgt een soft timeout en leest de data op een andere manier (redundancy/parity/mirror/ditto blocks).
3. Als dat lukt, schrijft ZFS deze data naar de schijf die een soft timeout had, om daarmee de schade te repareren. Immers als een HDD een sector niet kan lezen en jij schrijft er naartoe, dan heb je het probleem opgelost omdat de HDD de beschadigde sector zal omwisselen; dat doet het pas als je zelf de data 'opgeeft' door naar die sector te schrijven.
4. Zonder enige interruptie of handeling van de eigenaar/sysadmin heb je het probleem nu dus opgelost, waar anders bij Hardware RAID je array degraded of failed kan zijn.

Bij gebruik van ZFS op een RAID controller:
1. Een schijf heeft een timeout door bad sector recovery, na 10 seconden wordt de schijf in zijn geheel gedetached. Hardware RAID geeft ZFS dus geen kans om alle andere sectoren te lezen; nee omdat één sector onleesbaar is, wordt de hele schijf als failed aangemerkt.
2. omdat ZFS nu helemaal geen toegang meer heeft tot de schijf, kunnen bad sectors op andere schijven nu je data bedreigen. Met ZFS wil je altijd redundancy over hebben zodat ZFS kan doorgaan met het automatisch 'healen' van je bestanden.
3. Als het nu met nóg een schijf gebeurt dan heeft ZFS 2 schijven verloren buiten zijn controle of autoriteit.

Dat 'uit de array kicken' gaat alleen op voor Hardware RAID; zelfs met Areca in JBOD mode of Pass-through mode wat ik zelf heb geconstateerd. ZFS kan daar niets aan verhinderen; er zit tussen ZFS en de disk een stuk hardware wat vijandig staat tegenover de disk en bij de eerste teken van problemen dan maar de hele schijf als verloren beschouwd; dat is natuurlijk belachelijk en vanuit perspectief van ZFS gewoon DOM. Degene die heeft bedacht dat 10 seconde timeout de disk eruit moet trappen mag wat mij betreft een enkeltje Libië of Fukushima.

Met een hot spare zal die schijf de taak overnemen ja. Maar daar heb je weinig aan als je een bad sector hebt op een degraded volume; dan kun je je rebuild niet voltooien. ZFS zal veel beter kunnen omgaan met fouten tijdens de rebuild dan alle conventionele RAID waarbij de helft het maar gewoon opgeeft en je geen toegang tot niets geeft in zo'n geval. Sommige mensen beschouwen hun data dan als verloren; jammer want de data staat nog steeds op de disks en is in principe recoverable.

[Verwijderd]

Degene die heeft bedacht dat 10 seconde timeout de disk eruit moet trappen mag wat mij betreft een enkeltje Libië of Fukushima.

wow.. heftig
maar wat zou jij nu aanraden, wel of geen spare in zo'n systeempje met 'consumenten' materiaal ?

naar mate ik meer lees over ZFS raak ik toch wel gescharmeerd ... maar wat ik wel begrepen heb is dat de hoeveelheid ram belangrijk is, en laat nu net dat een punt zijn bij die 'goedkopere' mATX /itx bordjes, die vaak max 4 a 8 gb kunnen hebben.

[Verwijderd]

Atom kan maar tot 4GiB. Maar Zacate kan tot 8GiB of 16GiB (met dure 8GiB sticks). Een normaal AMD bord met 4 DIMMs kun je makkelijk 16GiB in kwijt (4x4). Zorg dat je DDR3 gebruikt want dat is veel goedkoper dan DDR2; nog een voordeel van Zacate boven Atom die het nog met DDR2 moet doen.

Voor je eerste ZFS server is 8GiB een mooi getal; Solaris kan met wat minder ook al heel redelijke resultaten neerzetten, BSD eist wat meer geheugen. Spare disk of niet hangt af of je nog een échte backup hebt of niet. Ik zie meer in een RAID-Z2 dan een RAID-Z met hotspare.

Dus een Zacate mobo + 8GiB RAM + Intel SASUC8i controller betekent tot 12/13/14 schijven aansluiten. Bijvoorbeeld twee keer een RAID-Z van 5 disks of één RAID-Z2 van 10 disks en dan nog een paar losse HDDs of juist SSDs voor cache. Met weinig geld kun je dus best een leuk ZFS systeempje bouwen - en bij Zacate dus ook erg low idle power; tot 7W DC verbruik volgens X-Bit Labs. Als je een PicoPSU gebruikt kun je dat wel redden, maar dan kun je niet teveel schijven aansluiten. Samsung F4 2TB gebruikt slechts 14W bij spinup en dat betekent dat je wel 5 schijfjes op een PicoPSU kunt aansluiten zonder veel problemen. Bij gebruik van een normale ATX voeding kan het zijn dat je stroomverbruik verdubbeld, omdat veel ATX voedingen erg inefficient worden bij zo'n lage belasting. Je mag blij zijn als je 60% efficiency haalt bij een DC verbruik van 15W. Dat betekent dan aan het stopcontact zo'n 28W. Met PicoPSU zou dat 17W ofzo zijn.

[ Voor 4% gewijzigd door Verwijderd op 17-03-2011 14:50 ]

[me1299]

Verwijderd schreef op donderdag 17 maart 2011 @ 14:49:
Dus een Zacate mobo + 8GiB RAM + Intel SASUC8i controller betekent tot 12/13/14 schijven aansluiten. Bijvoorbeeld twee keer een RAID-Z van 5 disks of één RAID-Z2 van 10 disks en dan nog een paar losse HDDs of juist SSDs voor cache. Met weinig geld kun je dus best een leuk ZFS systeempje bouwen - en bij Zacate dus ook erg low idle power; tot 7W DC verbruik volgens X-Bit Labs. Als je een PicoPSU gebruikt kun je dat wel redden, maar dan kun je niet teveel schijven aansluiten. Samsung F4 2TB gebruikt slechts 14W bij spinup en dat betekent dat je wel 5 schijfjes op een PicoPSU kunt aansluiten zonder veel problemen. Bij gebruik van een normale ATX voeding kan het zijn dat je stroomverbruik verdubbeld, omdat veel ATX voedingen erg inefficient worden bij zo'n lage belasting. Je mag blij zijn als je 60% efficiency haalt bij een DC verbruik van 15W. Dat betekent dan aan het stopcontact zo'n 28W. Met PicoPSU zou dat 17W ofzo zijn.

Vergeet niet dat de adapter die op de Pico PSU ook niet 100% efficient is Maar het zal sowieso een stuk beter zijn.

Wanneer komt dat verrekte asus bord nu eens uit, in amerika is het wel gewoon voorradig De Asrock & Msi variant zijn wel gewoon te krijgen. Zou er een productiefout inzitten oid?

[ Voor 20% gewijzigd door me1299 op 17-03-2011 15:01 ]

[Verwijderd]

Je kunt hem toch gewoon bestellen bij Salland? Tijdje terug hadden ze hem op voorraad, nu inderdaad weer wat langere levertijd: pricewatch: Asus E35M1-I DELUXE

Bij PicoPSU is het de adapter die je efficientie bepaalt ja. De PicoPSU zelf doet alleen de +5V, +3.3V, -12V en andere voltages (volgens mij waren dat ze wel; ohja 5V standby). Het probleem is vaak dat PicoPSU wel 150W enzo is, maar je +12V adapter maar tot 80W gaat. Stel je zou een 200W +12V adapter hebben, dan zou je dat wel icm met PicoPSU moeten kunnen gebruiken, zeker als dat maar 'eventjes' is bij de spinup van alle disks. De +12V wordt met PicoPSU met rust gelaten dus betrek je direct van de externe power brick. Om deze reden zou het mogelijk zijn om een aardige NAS toch met PicoPSU uit te rusten, maar zo'n sterke +12V voedingblok is vast niet goedkoop!

[ Voor 58% gewijzigd door Verwijderd op 17-03-2011 15:12 ]

[Verwijderd]

Verwijderd schreef op donderdag 17 maart 2011 @ 15:10:
Je kunt hem toch gewoon bestellen bij Salland? Tijdje terug hadden ze hem op voorraad, nu inderdaad weer wat langere levertijd: pricewatch: Asus E35M1-I DELUXE

Bij PicoPSU is het de adapter die je efficientie bepaalt ja. De PicoPSU zelf doet alleen de +5V, +3.3V, -12V en andere voltages (volgens mij waren dat ze wel; ohja 5V standby). Het probleem is vaak dat PicoPSU wel 150W enzo is, maar je +12V adapter maar tot 80W gaat. Stel je zou een 200W +12V adapter hebben, dan zou je dat wel icm met PicoPSU moeten kunnen gebruiken, zeker als dat maar 'eventjes' is bij de spinup van alle disks. De +12V wordt met PicoPSU met rust gelaten dus betrek je direct van de externe power brick. Om deze reden zou het mogelijk zijn om een aardige NAS toch met PicoPSU uit te rusten, maar zo'n sterke +12V voedingblok is vast niet goedkoop!

nee dat bord is wel verkrijgbaar.. ik bedoelde die dure X8SI6-F, met als voordeel dat je geen extra controller kaart hoeft te kopen ect., dat bord is er niet momenteel.

[Keiichi]

Ik ben bezig met het geven van een upgrade aan mijn zelfbouw nas.

Huidige situatie:
- Dual Xeon 2.8ghz
- 512Mbytes RAM
- 8x 500GB schijven van seagate op een JBOD controller.

Deze doet softwarematig (linux md) raid6.

Nieuwe situatie word:
- Intel Atom D525 (moederbord: pricewatch: Gigabyte GA-D525TUD )
- 2Gbytes RAM
- 4x 2TB schijven van Western Digital. Deze komen op de beschikbare sata poorten te zitten

Deze gaat wederom softwarematige raid doen, alleen raid5, anders verlies ik verhoudingsgewijs te veel ruimte en het risico blijft statistisch even groot op schijffailure.

Ik ga hier vandaag en morgen mee aan de slag en wellicht over een weekje kan ik precies zeggen wat ik verloren en gewonnen hebn aan verbruik enzo

[Verwijderd]

zo heel langzaam ontstaat voor mij dit beeld



* nieuwe norco 12 disks RPC-2212

* E35M1-M PRO /8gb ram/intel SASUC8I besteld.. (azerty) want anders blijf ik zoeken en nu kan ik niet meer terug

[ Voor 27% gewijzigd door Verwijderd op 17-03-2011 17:03 ]

[me1299]

Verwijderd schreef op donderdag 17 maart 2011 @ 15:10:
Je kunt hem toch gewoon bestellen bij Salland? Tijdje terug hadden ze hem op voorraad, nu inderdaad weer wat langere levertijd: pricewatch: Asus E35M1-I DELUXE

Ja bestelbaar is hij overal, maar leverbaar ho maar. Ik volg de pricewatch al steevast voor 2 weken en ze zijn nooit op voorraad. Soms staat hij op 3 dagen en dan opeens na 5 dagen is het onbekend geworden.

[Verwijderd]

heb je hier al gekeken ?

* oeps.. dat is een andere (alleen geen wifi)

[ Voor 11% gewijzigd door Verwijderd op 17-03-2011 15:57 ]

[Verwijderd]

DeathKnight24 schreef op donderdag 17 maart 2011 @ 15:38:
[...]


Ja bestelbaar is hij overal, maar leverbaar ho maar. Ik volg de pricewatch al steevast voor 2 weken en ze zijn nooit op voorraad. Soms staat hij op 3 dagen en dan opeens na 5 dagen is het onbekend geworden.

Ik dacht ergens gelezen te hebben dat AMD al een miljoen Fusion APUs heeft verkocht; dus ze worden wel degelijk geleverd al sinds januari geloof ik. Misschien kun je Salland eens bellen of mailen en vragen hoe het zit met levertijd. Kan zijn dat ze zeggen ja we krijgen ze wel binnen, maar ze gaan er gewoon hard weer uit en we kunnen niet genoeg volume bestellen om alle klanten te voorzien. In zo'n geval kun je hem wel krijgen ook al is hij nergens echt op voorraad.

[Verwijderd]

Keiichi schreef op donderdag 17 maart 2011 @ 15:20:
Ik ben bezig met het geven van een upgrade aan mijn zelfbouw nas.


Ik ga hier vandaag en morgen mee aan de slag en wellicht over een weekje kan ik precies zeggen wat ik verloren en gewonnen hebn aan verbruik enzo

succes

[Q]

Verwijderd schreef op donderdag 17 maart 2011 @ 15:32:
zo heel langzaam ontstaat voor mij dit beeld

[afbeelding]

* nieuwe norco 12 disks RPC-2212

* E35M1-M PRO /8gb ram/intel SASUC8I besteld.. (azerty) want anders blijf ik zoeken en nu kan ik niet meer terug

Heel goed.

Je moet jezelf verwennen.

[Arnoud1]

DeathKnight24 schreef op donderdag 17 maart 2011 @ 15:00:
[...]


Vergeet niet dat de adapter die op de Pico PSU ook niet 100% efficient is Maar het zal sowieso een stuk beter zijn.

Wanneer komt dat verrekte asus bord nu eens uit, in amerika is het wel gewoon voorradig De Asrock & Msi variant zijn wel gewoon te krijgen. Zou er een productiefout inzitten oid?

Dat bordje heb ik hier al een weekje liggen hoor! Meerdere groothandelaars verdelen hem. Had hem binnen 3 dagen na bestelling.

[Obscurax]

Verwijderd schreef op donderdag 17 maart 2011 @ 15:32:
zo heel langzaam ontstaat voor mij dit beeld

[afbeelding]

* nieuwe norco 12 disks RPC-2212

* E35M1-M PRO /8gb ram/intel SASUC8I besteld.. (azerty) want anders blijf ik zoeken en nu kan ik niet meer terug

Al beslist wat je hier op zal draaien?

[GioStyle]

De Intel H67 chipset ondersteunt ook raid 5 onder Windows. Uiteraard is hier natuurlijk erg weinig over te vinden, maar heeft iemand dit uitgeprobeerd? Aan welke schrijf- en leessnelheiden mag ik dan aan denken?

[HarmoniousVibe]

Waarom zou je fakeRAID willen in plaats van softRAID? FakeRAID is wel het laatste wat ik zou doen.

[Verwijderd]

Obscurax schreef op donderdag 17 maart 2011 @ 23:24:
[...]


Al beslist wat je hier op zal draaien?

nee.. of freenas/openfiler/nexentastore/amahi of een linux distro...

het is niet alleen iets nieuws bouwen (had goedkoper een qnappie erbij kunnen nemen )maar meer een studie/hobby heb de afgelopen weken al veel bijgeleerd hier (en daar)
vooral dat ZFS vind ik interessant.

de hele avond bezig geweest met het restoren van mijn win7 64 bak.. ik zag een vreemde connectie in de firewalllog en die ik dacht de dader er even snel uit te slopen... waardoor de PC daarna niet eens meer wilde booten.
toevallig 2 dagen geleden een verse full backup gemaakt dus hij draait weer.. maar ben wel mail en linkies kwijt (en mijn nas componenten bestelling) en dat moet in de toekomst dus ook anders.. gelukkig staat mijn webdesignspul wel op mijn nas

ZFS benchmarks .. freenas vs opensolaris

[ Voor 6% gewijzigd door Verwijderd op 18-03-2011 00:43 ]

[Arnoud1]

Verwijderd schreef op donderdag 17 maart 2011 @ 14:25:
Bij gebruik van ZFS op een non-RAID controller:
1. een schijf doet erg lang over een read request (bad sector recovery)
2. ZFS krijgt een soft timeout en leest de data op een andere manier (redundancy/parity/mirror/ditto blocks).
3. Als dat lukt, schrijft ZFS deze data naar de schijf die een soft timeout had, om daarmee de schade te repareren. Immers als een HDD een sector niet kan lezen en jij schrijft er naartoe, dan heb je het probleem opgelost omdat de HDD de beschadigde sector zal omwisselen; dat doet het pas als je zelf de data 'opgeeft' door naar die sector te schrijven.
4. Zonder enige interruptie of handeling van de eigenaar/sysadmin heb je het probleem nu dus opgelost, waar anders bij Hardware RAID je array degraded of failed kan zijn.

Bij gebruik van ZFS op een RAID controller:
1. Een schijf heeft een timeout door bad sector recovery, na 10 seconden wordt de schijf in zijn geheel gedetached. Hardware RAID geeft ZFS dus geen kans om alle andere sectoren te lezen; nee omdat één sector onleesbaar is, wordt de hele schijf als failed aangemerkt.
2. omdat ZFS nu helemaal geen toegang meer heeft tot de schijf, kunnen bad sectors op andere schijven nu je data bedreigen. Met ZFS wil je altijd redundancy over hebben zodat ZFS kan doorgaan met het automatisch 'healen' van je bestanden.
3. Als het nu met nóg een schijf gebeurt dan heeft ZFS 2 schijven verloren buiten zijn controle of autoriteit.

Dat 'uit de array kicken' gaat alleen op voor Hardware RAID; zelfs met Areca in JBOD mode of Pass-through mode wat ik zelf heb geconstateerd. ZFS kan daar niets aan verhinderen; er zit tussen ZFS en de disk een stuk hardware wat vijandig staat tegenover de disk en bij de eerste teken van problemen dan maar de hele schijf als verloren beschouwd; dat is natuurlijk belachelijk en vanuit perspectief van ZFS gewoon DOM. Degene die heeft bedacht dat 10 seconde timeout de disk eruit moet trappen mag wat mij betreft een enkeltje Libië of Fukushima.

Met een hot spare zal die schijf de taak overnemen ja. Maar daar heb je weinig aan als je een bad sector hebt op een degraded volume; dan kun je je rebuild niet voltooien. ZFS zal veel beter kunnen omgaan met fouten tijdens de rebuild dan alle conventionele RAID waarbij de helft het maar gewoon opgeeft en je geen toegang tot niets geeft in zo'n geval. Sommige mensen beschouwen hun data dan als verloren; jammer want de data staat nog steeds op de disks en is in principe recoverable.

Ik kan maar half akkoord gaan. Wat je zegt over ZFS klopt, over hardware raid niet.
Vergeet ook niet dat ZFS na hardware raid kwam om de beperkingen van bestaande filesystemen op te vangen. Raid is nooit gemaakt om samen te werken met ZFS en de houding van raid tegenover slechte schijven is net waarom raid in enterprise systemen gebruikt wordt! Een schijf die voor 80% goed is wil je dan echt niet meer gebruiken.

Ik vraag mij ook af waar die legende over 'geen hardware raid kaarten gebruiken' ontstaan is. Al 3 jaar lang een hardware raid 5 (3Ware 9550SXU-ML + BBU) en 7 gewone schijven van 1TB (Seagate Barracuda 7200.11) en nog nooit is er een schijf uitgekickt. Indien één van mijn schijven ernstige fouten begint te vertonen dan verwacht ik ook wel dat mijn raid controller die niet meer moet hebben. Een schijf kicken gebeurd echt wel met redenen. Niet bij kleine foutjes, wel bij ernstige die moeten opvallen.
De recovery (self healing) van ZFS is beter dan de recovery van hardware raid, daarom is het beter om met ZFS geen hardware raid te gebruiken. Het is niet omdat je een hardware raid kaart hebt dat je die functionaliteit moet gebruiken. Voor zover ik weet ondersteund iedere kaart pass trough (zie verder).

Het klopt dat ZFS beter met fouten omgaat. Waar je vroeger een hele array moest scrubben zal ZFS dit veel efficiënter aanpakken. Wat ik vooral interessant vind is dat je niet meer afhankelijk bent van je hardware (migratie e.d.) en dat ZFS bitrotting en andere tegengaat.

Pass through en JBOD zijn totaal verschillende dingen. Bij pass through heb je GEEN ARRAY. De schijf wordt gewoon doorgegeven aan het OS en die moet er maar zijn ding mee doen.
Bij JBOD heb je meestal 'spanning'. Meerdere schijven vormen een array, zonder dat de voordelen van raid gebruikt worden. Dit is ook geen Raid 0 of striping. Indien er bij Raid 0 iets misloopt ben je alles kwijt. Bij JBOD ben je dan enkel de data op die schijf kwijt.
Voor ZFS gebruik je best pass through en geen JBOD. Verder regelt ZFS alles beter dan je raid. En omdat je bij pass through geen array hebt is er geen sprake van degradatie of dergelijke.
Bij ZFS wordt de term JBOD wel gebruikt voor onderlinge drives wat nogal verwarrend is. Het gebruik van de term JBOD bij ZFS of JBOD bij raid is blijkbaar totaal anders.

ZFS is gewoon een bestandsysteem met lvm en heeft op zich niet rechtstreeks met raid functionaliteit te maken. ZFS kent een softwarematige raid implementatie die in wezen niet verschilt van hardware raid. De foutcorrectie zit hem in het bestandsysteem zelf en die doet dat dus beter dan raid.

Waar ik ook nog eens op wil wijzen is dat raid kaarten met een BBU werken en hierdoor je data beschermen bij stroomuitval. Indien je dus niet met zo'n kaart wil werken met je een externe BBU voorzien op je NAS of met flashcache werken. Ik denk dat velen hier geen rekening mee houden.

En over raid 5 met 2Tb schijven: http://www.zdnet.com/blog...stops-working-in-2009/162

[HarmoniousVibe]

Ik vind het niet kunnen toevoegen van fysieke volumes aan arrays toch een gemis. Voor veel thuisgebruikers en kleinere bedrijven is dit toch wel een gemis. Door ZFS zou ik dan worden gedwongen om vooraf precies zoveel schijven te kopen als ik in mijn array wil. Dat heeft niet alleen tot gevolg dat ik vanaf dat punt geen invloed meer kan hebben op de ruimte-efficientie ((n-1)/n). En dat ik niet meer kan profiteren van de steeds dalende prijzen en toenemende snelheid, zuinigheid ed van de harde schijven.

[mphilipp]

Arnoud1 schreef op vrijdag 18 maart 2011 @ 00:21:
[...]
En over raid 5 met 2Tb schijven: http://www.zdnet.com/blog...stops-working-in-2009/162

Jammer dan...I'll take my chances. Ik denk dat het een beetje een theoretisch verhaal is. Alles kan fout gaan, maar ik heb niet zoveel zin om mijn array op te gaan bouwen met 1Tb schijven.

Overigens kan ik het niet zo goed met je eens zijn over die disks. Mijn Highpoint kaart kan niet goed opschieten met mijn Samsungs. Als ik een RAID5 array maak via de kaart, trapt ie er zo af en toe een disk uit. Random. Ik heb ze nu dus als losse JBODS en met MDAM en dat gaat prima. Helaas kan ik mijn disks niet via dat tooltje omschakelen naar de juiste mode (TLER), want hij raakt die instelling kwijt na een reboot en op een of andere manier werkt het niet door mijn kaart heen. Bij andere schijven lukt het wel om de instelling permanent te veranderen, en dan gaat het ook gewoon goed. Die disks geven nu geen ene krimp meer, dus als het écht een serieuse fout was die hij steeds detecteerde (wat ik ten zeerste betwijfel) had ie nu ook wel opgedoken. En op zich een beetje ongeloofwaardig dat de fout steeds random bij een andere disk optrad en nu helemaal niet meer. En ik heb nét mijn RAID5 naar 6 uitgebreid en er ook nog een disk bij gedaan, dus als het onbetrouwbare schijven waren, was nu het moment aangebroken om te failen natuurlijk.

[Verwijderd]

HarmoniousVibe schreef op vrijdag 18 maart 2011 @ 00:44:
Ik vind het niet kunnen toevoegen van fysieke volumes aan arrays toch een gemis. Voor veel thuisgebruikers en kleinere bedrijven is dit toch wel een gemis. Door ZFS zou ik dan worden gedwongen om vooraf precies zoveel schijven te kopen als ik in mijn array wil. Dat heeft niet alleen tot gevolg dat ik vanaf dat punt geen invloed meer kan hebben op de ruimte-efficientie ((n-1)/n). En dat ik niet meer kan profiteren van de steeds dalende prijzen en toenemende snelheid, zuinigheid ed van de harde schijven.

klopt.. dat is idd een groot nadeel.

en dan heb je het risico dat je een batch disks koopt waar iets mee is... enfin, ik geloof dat ik iedere week de komende tijd maar 1 disk ga kopen en ook nog bij verschillende leveranciers

[ Voor 12% gewijzigd door Verwijderd op 18-03-2011 00:51 ]

[HarmoniousVibe]

sudo smartctl -d hpt,L/M -l scterc,70,70 /dev/sdX

Zoiets. Niet persistent, maar dat kun je gewoon steeds at boot time doen. L is je controller id en M channel id.

Waarom expose je je disks trouwens als JBOD's ipv single disks (als een gewoon SATA/SAS controller?)

[ Voor 42% gewijzigd door HarmoniousVibe op 18-03-2011 00:59 ]

[Q]

mphilipp schreef op vrijdag 18 maart 2011 @ 00:45:
[...]

Jammer dan...I'll take my chances. Ik denk dat het een beetje een theoretisch verhaal is. Alles kan fout gaan, maar ik heb niet zoveel zin om mijn array op te gaan bouwen met 1Tb schijven.

Zijn ure is 10^14 terwijl een beetje disk al 10^15 doet. Dus ipv iedere 12,5 TB aan data die door 1 disk gaat heb je iedere 125 TB een ure.

Dit is dus per disk.

Met 2 TB disks zou ik wel voor de RAID 6 gaan bij 5+ disks, maar voor thuis gebruik is het hele URE niet zo heel spannend.

RAID 6 is gewoon fijn omdat je niet met 1 dode disk meteen zonder redundantie wilt zitten. Zeker met 2 TB schijven duurt een rebuild wel even. 5 uur met 1 TB disks bij mij, dus zeker 10 uur met 2 TB schijven.

[ Voor 7% gewijzigd door Q op 18-03-2011 01:18 ]

[Arnoud1]

Euh... je kan toch altijd fysieke schijven toevoegen aan je ZFS pool? Is toch volledig dynamisch en zonder quota (tenzij je die instelt). Net zoals met klassieke LVM. En met degelijke hardware hoeft er niets offline te gaan.

[FireDrunk]

Arnoud1 schreef op vrijdag 18 maart 2011 @ 01:27:
Euh... je kan toch altijd fysieke schijven toevoegen aan je ZFS pool? Is toch volledig dynamisch en zonder quota (tenzij je die instelt). Net zoals met klassieke LVM. En met degelijke hardware hoeft er niets offline te gaan.

Ja, je kan vdev's toevoegen aan je pool, maar een vdev moet zijn eigen redundantie hebben.
Dus als je 8 disks in RAIDZ2 hebt staan in 1 vdev, kan je die vdev weer in 1 pool gooien.

Maar je kan de oude vdev nooit uitbereiden naar 9 disks bijvoorbeeld.
Je zult dus een redundante vdev moeten toevoegen (3 disks in RAIDZ of 4 in RAIDZ2) in 1 keer.

[HarmoniousVibe]

Yup, je kunt niet een raidz1-array van 4*2TB (6TB effectief) uitbreiden naar 5*2TB (8TB effectief). Je kunt hooguit een extra disk aan de pool toevoegen, maar die beschikt dan niet over redundantie.

[mphilipp]

Q schreef op vrijdag 18 maart 2011 @ 01:18:
[...]
Zijn ure is 10^14 terwijl een beetje disk al 10^15 doet. Dus ipv iedere 12,5 TB aan data die door 1 disk gaat heb je iedere 125 TB een ure.

Ach...het blijven statistieken, en we weten wat die betekenen. Ik ben in datacenters geweest met giga SAN's en een beheerder zei me dat ze ooit hadden berekend dat er elke maand een HD zou sneuvelen. Maar dat gebeurde niet.Ik zie ze in het DC nou echt niet de hele dag met schijven slepen, en die hebben er echt wel meer als ik. Dus die meneer mag wat mij betreft nog heel lang interessante verhalen schrijven in zijn collumn, maar het zegt mij allemaal niet zoveel.

[FireDrunk]

Verwijderd schreef op vrijdag 18 maart 2011 @ 00:17:
ZFS benchmarks .. freenas vs opensolaris

Interresant leesvoer! Handig voor de mensen die FreeNAS overwegen!
Persoonlijk voor mij dus ook handig omdat ik nu mijn voorgaande benchmarks de prullenbak in kunnen omdat ik met FreeNAS getest heb Toch maar eens OpenSolaris proberen

[HarmoniousVibe]

FireDrunk schreef op vrijdag 18 maart 2011 @ 09:44:
[...]


Interresant leesvoer! Handig voor de mensen die FreeNAS overwegen!
Persoonlijk voor mij dus ook handig omdat ik nu mijn voorgaande benchmarks de prullenbak in kunnen omdat ik met FreeNAS getest heb Toch maar eens OpenSolaris proberen

Wel een beetje een scheve vergelijking, in die zin dat FreeNAS 0.7.1 wel een hele oude ZFS gebruikt.

[Verwijderd]

FireDrunk schreef op vrijdag 18 maart 2011 @ 07:58:
[...]

Ja, je kan vdev's toevoegen aan je pool, maar een vdev moet zijn eigen redundantie hebben.
Dus als je 8 disks in RAIDZ2 hebt staan in 1 vdev, kan je die vdev weer in 1 pool gooien.

Maar je kan de oude vdev nooit uitbereiden naar 9 disks bijvoorbeeld.
Je zult dus een redundante vdev moeten toevoegen (3 disks in RAIDZ of 4 in RAIDZ2) in 1 keer.

Mijn overwegingen betreffende ZFS, raidz, mirror, uitbreidbaarheid en peformance:

Ik wil rustig uitbreiden met 2TB per keer indien nodig en zonder al te veel gedoe, wil niet van te voren 10TB of zo optuigen want ik weet niet of dat nodig heb. Verder wil ik de ruimte als een grote bak zien (dus geen nieuwe directories, mounts etc)

Raidz betekend dat je de bestaande vdev niet simpel kan uitbreiden. Door nieuwe vdevs toevoegen aan bestaande pool gaat ZFS over de vdev's stripen. De kleinste raidz is 3 schijven van 1TB voor 2TB netto, voor een mirror heb ik slechts 2x2TB disks nodig. Scheelt een aansluiting op de HBA, plaats in de kast en wat CPU cycles wegens de parity berekeningen die niet nodig zijn.

Mijn strategie is dus mirrored vdevs, ik heb nu 1 mirrored vdev van 2TB waarvan nu 1.3TB in gebruik, binnenkort voeg ik een mirrrored vdev van 2TB aan de bestaande pool toe.

Voor nieuwe bestanden begint ZFS te stripen over beide vdev's waarbij meer blocks naar de nog lege vdev gaan. Bestaande bestanden zitten op de eerste vdev en dat zal zo blijven zonder verdere interventies. Vermoedelijk ga ik wat kopieer/delete/heen-en-weer slagen doen om ook de oudere bestanden meer over beide vdevs te verdelen (alhoewel het nooit een 50/50 verdeling zal worden). Performance is niet zo belangrijk, op dit moment al meer dan snel genoeg om te streamen naar een mediaplayer.

Loop ik tegen de 3TB qua gebruik hang ik weer een 2TB mirrored vdev in de bestaande pool.

Heb geen aparte ZIL devices omdat alle bestanden maar 1x geschreven worden en daarna alleen maar nog gelezen worden.

Server zal binnenkort ook aan een UPS komen te hangen zodat bij een langere stroomuitval het systeem netjes gestopt kan worden en uitstaande transacties afgewerkt kunnen worden.

[ Voor 21% gewijzigd door Verwijderd op 18-03-2011 10:11 ]

[Verwijderd]

Arnoud1 schreef op donderdag 17 maart 2011 @ 23:02:
[...]


Dat bordje heb ik hier al een weekje liggen hoor! Meerdere groothandelaars verdelen hem. Had hem binnen 3 dagen na bestelling.

weet jij wat voor kabeltje ik nodig heb van mobo naar mini sas.. noemen ze dat nou 'reversed' ..ofzo.. ik herken dat type aansluiting (sata 600) niet op de foto

Building your own ZFS fileserver .hier staat ook nog wat over expanden van raidz

[ Voor 15% gewijzigd door Verwijderd op 18-03-2011 11:46 ]