Het grote ZFS topic

[warcow]

Ik kom nog even terug op mijn Freenas setup. (Brazos systeem met 6 x 3 TB WD30EZRX schijven)
De schijven wilden eerst niet in spindown. Vandaag met de wdidle3 tool de headparking van 8 seconden naar uitgeschakeld gezet. Dit verhelpt het continu parkeren van de koppen. Helaas werkte spindown nog steeds niet in Freenas 8. Vervolgens de nieuwste Freenas release van gisteren (8.01 RC1) geinstalleerd, en nu werkt spindown ineens wel!

Ik ging van 50 Watt in rust met headparking aan naar 60 Watt en vervolgens met spindown naar 30 Watt. Ben daar erg tevreden mee.

Smart tests zit nu ook in de GUI geïntegreerd.

[Nopel]

zzattack schreef op vrijdag 02 september 2011 @ 00:34:
[...]

ri-vier heeft ze iets goedkoper
http://cybershop.ri-vier....-breakout-cable-p-61.html

En nog nét iets goedkoper op http://www.allekabels.nl/.../SATA-naar-SAS-kabel.html.

[Pantagruel]

zzattack schreef op vrijdag 02 september 2011 @ 00:34:
[...]

ri-vier heeft ze iets goedkoper
http://cybershop.ri-vier....-breakout-cable-p-61.html

Dank je, is alleen de foute kabel, deze is de juiste. [de controller (host) heeft mini-SAS en het target SATA)]

[ Voor 6% gewijzigd door Pantagruel op 02-09-2011 11:09 ]

[paul999]

Weet iemand wat er weer aan de hand is met de site van zfsguru? Ik krijg momenteel enkel een access denied. Ik was eigenlijk van plan van het weekend zfsguru op me fileserver te gaan zetten, maar dat gaat hem nu dus nog niet worden.

[Verwijderd]

Bij mij doet 'ie het gewoon?

[Ravefiend]

warcow schreef op vrijdag 02 september 2011 @ 01:13:
Vervolgens de nieuwste Freenas release van gisteren (8.01 RC1) geinstalleerd, en nu werkt spindown ineens wel!

Had je al data op je pool staan en dus in feite een upgrade naar 8.0.1 gedaan?

[donnervogel]

paul999999 schreef op vrijdag 02 september 2011 @ 16:11:
Weet iemand wat er weer aan de hand is met de site van zfsguru? Ik krijg momenteel enkel een access denied. Ik was eigenlijk van plan van het weekend zfsguru op me fileserver te gaan zetten, maar dat gaat hem nu dus nog niet worden.

Werkt bij mij gewoon hoor, http://zfsguru.com/ De site was deze week een paar dagen offline.

[ Voor 5% gewijzigd door donnervogel op 02-09-2011 19:27 ]

[warcow]

Ravefiend schreef op vrijdag 02 september 2011 @ 18:45:
[...]


Had je al data op je pool staan en dus in feite een upgrade naar 8.0.1 gedaan?

Ja, update via de GUI werkte niet en ik heb geen cd/dvd drive in het systeem zitten. Ik heb vervolgens gewoon de installatie cd in een andere computer gedaan en de usb stick van de nas ook. Op deze manier heb ik een upgrade gedaan (komt meteen in het menu bovenaan staan). Hij vroeg me ook netjes of ik de configuratie wou bewaren.

[KennieNL]

Iemand nog ooit iets met ZFS on Linux getest?

Ik schrik een beetje van FreeBSD af omdat mijn kennis er minder van is, en dat o.a. virtualbox (wat ik wil gaan draaien) officieel niet ondersteund wordt. (+ ports compile hell )


ZFS on Linux klinkt eigenlijk ideaal, maar ik vraag me af of het nog niet teveel in de kinderschoenen staat...

Enige wat ik eigenlijk zoek is een betrouwbare mirroring laag... snapshots etc. is een leuke extra, maar zeker niet required

[Verwijderd]

Heb je FreeNAS en/of ZFSguru al eens geprobeerd? Die laatste heeft ook een Virtualbox extensie met web-interface, wat met een paar muisklikken te installeren is. Beide werken op FreeBSD en dan heb je een moderne ZFS laag. Dat lijkt me veel beter dan de Linux alternatieven, die allemaal in de kinderschoenen staan en waarschijnlijk niet zo betrouwbaar en stabiel zijn als de implementaties in FreeBSD en Solaris.

[Dadona]

Bij FreeNAS moet je dan wel de 7.x tak pakken. De huidige versie 8.0 is gestript van vele zaken, waaronder zelfs zaken als Rsync. Een deel zou vanaf versie 8.1 terugkomen, maar ja...it's ready when it's ready.
Je zou bijna zeggen, als je een website wil hosten, gebruik dan geen ZFSGuru, zo traag als wat nu

[ Voor 22% gewijzigd door Dadona op 07-09-2011 18:02 ]

[Verwijderd]

Alle ZFS oplossingen zijn nog niet echt mature. Elk project heeft zijn eigen voordelen maar ook tekortkomingen. Dus het is gewoon een kwestie van uitproberen wat je het beste bevalt, en met welke tekortkomingen je het beste kunt leven.

Wat bedoel je precies met website hosten?

[Dadona]

Een onderliggende release versie van BSD geloof ik op zich wel (los van dat ik niet blind gok op één systeem, er moet er één naast staan, hoe lang mensen ook roepen dat je met ZFS toch een soort van backup kunt krijgen). Maar FreeNAS heeft met 8.0 toch wel wat stapjes teruggedaan en door de opzet is het daardoor toch wel een systeem met heel veel tekortkomingen.
Ik was niet helemaal serieus over het website hosten. Ik vind het nogal ironisch dat Jason het over vele mooie implementaties heeft, ook voor de website met failovers enz, maar dat de huidige situatie wel erg onbetrouwbaar is, qua beschikbaarheid en snelheid.

[Verwijderd]

Ik heb ook twee ZFS servers, dus in feite een echte backup. Alleen niet off-site, tenminste niet voor alle data; alleen de écht belangrijke data die klein genoeg is om remote te backuppen via internet. Maar er moet flink wat gebeuren om nu nog data te verliezen, ZFS, snapshots en backup zijn een gouden combinatie.

Je hebt het over dat de ZFSguru website nu op een onbetrouwbare server gehost wordt? Ja dat is wel jammer ja. De website doet het nu wel weer, maar heeft er vaak uitgelegen soms voor meerdere dagen. Dat doet zijn project geen goed denk ik zo. Aan de andere kant: hij gebruikt een gratis server wat niet in een datacentrum staat en heeft pas eind vorige maand een nieuwe server geregeld, maar die is nog niet online geloof ik. Hoop wel dat hij dat snel fixt, want zijn project vind ik wel heel veel potentie hebben. Sommige dingen zitten best wel mooi in elkaar, en zijn PHP code kan ik goed volgen.

Edit: dit zegt hij er zelf over:

Hmm, just checked and seems you're right. Another outage! Not sure why though.

Of course, this is highly undesirable and unworthy of this cool project. However, I'm still not finished with the new server. I have to install software, protect it properly and copy all files, make some file sync available, etc.

So configuring the new system for production use will take at least another week. If during that time the current server has another outage, there's not much I can do about that.

I do agree it doesn't do much good to the reputation of this project. I do hope the reliability of the server hosting will improve significantly when the new servers are in place, as well as making ZFSguru much more resilient against server outages with the upcoming 0.1.9 release. That release might take a little more time but is shaping up quite nicely, I estimate another 10 days or so.

Dus hij heeft de boodschap begrepen.

[ Voor 34% gewijzigd door Verwijderd op 07-09-2011 18:30 ]

[KennieNL]

Verwijderd schreef op woensdag 07 september 2011 @ 17:16:
Heb je FreeNAS en/of ZFSguru al eens geprobeerd? Die laatste heeft ook een Virtualbox extensie met web-interface, wat met een paar muisklikken te installeren is. Beide werken op FreeBSD en dan heb je een moderne ZFS laag. Dat lijkt me veel beter dan de Linux alternatieven, die allemaal in de kinderschoenen staan en waarschijnlijk niet zo betrouwbaar en stabiel zijn als de implementaties in FreeBSD en Solaris.

FreeNAS vind ik teveel uitgekleed. ZFSguru nog niet, mede door dat die website beetje verrot is (vaak down/traag/plaatjes die niet werken etc)

Ik zal ZFSguru nog een try geven

Mn enige requirements op hw niveau zijn ZFS, SMB, Virtualbox en iets als sabnzbd
Rest kan wel virtueel op virtualbox

[Verwijderd]

Als je onder de 18TB aan storage gebruikt; zou ik Nexenta gebruiken. Ergens las ik iets over kinderschoenen en ZFS -- BSD staat ook zeer zeker in de kinderschoenen als je het vergelijkt met Solaris en afgeleiden daarvan.

[Verwijderd]

Hoezo staat BSD in de kinderschoenen als het om ZFS gaat? Alles wat Sun onder de CDDL heeft vrijgegeven zit in FreeBSD en FreeBSD heeft daar mooie features aan toegevoegd zoals ZVOL swap en bootable RAID-Z1/2/3. Wel heeft Solaris beter geheugenmanagement wat betreft ZFS, maar daar krijg je bij ZFS weer andere voordelen voor terug. Zo kun je onder BSD de sectorsize verhogen zodat je een ashift=12 pool krijgt, terwjil je onder Solaris met gevaarlijke patches aan de slag moet.

ZFS onder FreeBSD is zeer volwassen te noemen, en zeer stabiel. Solaris platform is leuk maar kent zoveel haken en ogen dat het niet altijd een pretje is om mee te werken. napp-it is wel een aardige web-interface voor ZFS, maar niet zo gebruiksvriendelijk als FreeNAS of ZFSguru; laatstgenoemde is in elk geval een stuk makkelijker voor beginners.

Ik ben misschien niet helemaal objectief; ik ken Solaris nauwelijks. Maar om te stellen dat ZFS onder BSD in de kinderschoenen staat? Dat mag je uitleggen.

[ Voor 7% gewijzigd door Verwijderd op 07-09-2011 19:29 ]

[Verwijderd]

Verwijderd schreef op woensdag 07 september 2011 @ 19:28:
Maar om te stellen dat ZFS onder BSD in de kinderschoenen staat? Dat mag je uitleggen.

idd.. en ook dat van die 18TB grens graag

[MrBarBarian]

Ehm, leuk die ontwijkende antwoorden/voorstellen voor alternatieven.. Maar wie heeft nu ervaring met ZFS op Linux? Voor mij twee hele eenvoudige redenen waarom ik Linux wil: Ik heb de kennis en mijn machine is niet dedicated.

Ik heb het geïnstalleerd op een virtuele machine, maar verder nog geen ervaring mee. Ik zoek nog een toepassing, zonder dat ik het risico loop data kwijt te raken. E,a, compileerd iig probleemloos op Scientific Linux 6.1.

[Verwijderd]

Verwijderd schreef op woensdag 07 september 2011 @ 19:30:
[...]


idd.. en ook dat van die 18TB grens graag

Nexenta is een commercieel project en geen open source; dus zijn er beperkingen waaronder deze voor de gratis versie. FreeNAS en ZFSguru zijn gewoon open source; evenals OpenIndiana + napp-it.

Ehm, leuk die ontwijkende antwoorden/voorstellen voor alternatieven.. Maar wie heeft nu ervaring met ZFS op Linux? Voor mij twee hele eenvoudige redenen waarom ik Linux wil: Ik heb de kennis en mijn machine is niet dedicated.

Geen ervaring met de nieuwe kernel module op Linux; ik lees er wel eens over. Besef wel dat deze implementaties minder goed getest zijn en ook geen commerciële gebruikers hebben. Is een BSD of Solaris machine met Virtualbox / QEMU / XEN geen oplossing voor je? Dan draai je een beproefde ZFS implementatie terwijl je andere zaken kunt offloaden op Windows of Linux wat je beter kent.

Ik loop in BSD al tegen het punt aan dat de virtualbox RDP extentie niet zal werken gezien dit precompiled files zijn vanuit Oracle.

Klopt ja, omdat de Oracle extension pack niet voor BSD beschikbaar is. Wel jammer, maar misschien komt dat in de toekomst. Tot die tijd kun je met VNC support aan de slag, wat ook prima moet werken. Maar dan heb je geen geluid, wat denk ik het grootste probleem is? Voor server-achtige dingen heb je dat niet nodig natuurlijk.

[ Voor 65% gewijzigd door Verwijderd op 07-09-2011 19:38 ]

[KennieNL]

Ik loop in BSD al tegen het punt aan dat de virtualbox RDP extentie niet zal werken gezien dit precompiled files zijn vanuit Oracle.

Ben het wel eens met MrBarBarian en zoek alsnog ervaringen, dat features zoals snapshots etc niet werken, boeiend. Zolang mn data maar veilig is
Zover vind ik overigens nog geen enge dingen over ZFS on Linux

[smokalot]

Verwijderd schreef op woensdag 07 september 2011 @ 19:35:
Geen ervaring met de nieuwe kernel module op Linux; ik lees er wel eens over. Besef wel dat deze implementaties minder goed getest zijn en ook geen commerciële gebruikers hebben.

Deze kernel module wordt ontwikkeld door het Lawrence Livermore National Laboratory, die het voor een Lustre cluster willen gebruiken op een IBM Sequoia supercomputer. Ze zijn nog niet klaar, en het wordt dus nog niet in productie gebruikt, maar je kunt het zeker geen hobbyprojectje noemen. Als ze klaar zijn (de bedoeling is om eind dit jaar/begin volgend jaar in productie te gaan) kun je er vanuit gaan dat zowel dataintegriteit als performance gewoon goed zijn, en uitvoerig getest.

[Verwijderd]

18 TB; omdat het gratis is en kinderschoenen puur qua hoe lang het al beschikbaar is tov Solaris

[Verwijderd]

Even iets tussendoor: ik ben nog steeds hard bezig over ZFS te leren, en lees nu het advies van iemand om altijd de schrijf-cache van je HDDs uit te schakelen, omdat ZFS anders bij een kritieke h/w fout (stroomonderbreking bijvoorbeeld) in de problemen gaat komen.

Is dit inderdaad waar?

[Verwijderd]

Verwijderd schreef op woensdag 07 september 2011 @ 20:33:
18 TB; omdat het gratis is en kinderschoenen puur qua hoe lang het al beschikbaar is tov Solaris

Dat is wel heel globaal 'gemeten' dan, als je puur kijkt naar de tijd dat het in FreeBSD zit. Ik gebruik ZFS al voordat het in 7.0 geïntegreerd werd, dat is nu meer dan 3,5 jaar geleden en sindsdien is er enorm veel aan ZFS gesleuteld. Daarbij komt dat FreeBSD enorm goede developers heeft. Niet veel, maar wel hele goede. Pawel Jakub Dawidjek in het bijzonder heeft heel bijgedragen aan ZFS op FreeBSD en ZFS niet alleen geport maar ook verbeterd. Nu zijn we bij FreeBSD 9 waar ZFS als default filesystem in de officiële ISO wordt verkozen. Dit terwijl FreeBSD een heel conservatief OS wat stabiliteit en zekerheid voorop stelt vanwege zijn gebruikers die veel professionele servers draaien en ook veel overheden als gebruikers heeft.

Om dan louter op basis van de 3,5 jaar te stellen dat de implementatie in FreeBSD in de kinderschoenen staat vind ik niet erg redelijk. FreeBSD en Solaris hebben beide erg goede ZFS implementaties. FreeBSD heeft meer features, Solaris heeft heeft beter geheugenmanagement. Beide zijn niet belangrijk genoeg om voor het een of het ander te kiezen dat zal van andere dingen afhangen.

Daarbij komt dat Solaris nu in de klauwen van Oracle is gevangen, terwijl FreeBSD doorgaat als echt open source OS. Dat kan grote gevolgen hebben voor de toekomst van ZFS, die denk ik veiliger is bij FreeBSD dan bij Solaris. Zo is ZFS v31 nog niet als open source (CDDL) vrijgegeven. ZFS v28 blijft de laatste CDDL versie, en die zit geheel in FreeBSD. De secret ZFS working group heeft verder bepaald dat er vendor-specific ZFS extensies komen waarbij de compatibiliteit van ZFS op lange termijn enigszins moet worden gegarandeerd. Het blijft ietwat onzeker, maar mijn hoop ligt meer bij FreeBSD en IllumOS voor de toekomst van ZFS dan bij Oracle, wat gewoon een OpenSource onvriendelijk bedrijf is.

[Verwijderd]

Verwijderd schreef op woensdag 07 september 2011 @ 20:37:
Even iets tussendoor: ik ben nog steeds hard bezig over ZFS te leren, en lees nu het advies van iemand om altijd de schrijf-cache van je HDDs uit te schakelen, omdat ZFS anders bij een kritieke h/w fout (stroomonderbreking bijvoorbeeld) in de problemen gaat komen.

Is dit inderdaad waar?

Nee, dit punt zou in Solaris wel waar zijn, maar volgens mijn inquiry op de mailinglist geldt dat alleen voor oudere versies van Solaris icm UFS:
https://opensolaris.org/j...?threadID=141445&tstart=0

ZFS is ontwikkeld om prima om te kunnen gaan met de write cache van hardeschijven, mits ze de flush commando's maar eerbiedigen. Wat je niet moet doen is Areca controllers in write-back modus gebruiken zonder een BBU (accu) maar dat spreekt voorzich.

[Verwijderd]

Verwijderd schreef op woensdag 07 september 2011 @ 20:33:
18 TB; omdat het gratis is en kinderschoenen puur qua hoe lang het al beschikbaar is tov Solaris

ah ok duidelijk tnx

[Verwijderd]

Joyent, OI en Nexenta 4.0 zullen allemaal de Ilumos kernel gebruiken en zodoende allemaal Solaris "based" Dus Solaris onder klauwen van Oracle? Ik zou niet weten waarom.

Oh; BTW die "solaris kan geen cache flushes" discussie ook eindelijk van de baan en gelukkig mits chris hier ook niet te vertrouwen is natuurlijk

[Verwijderd]

mits ze de flush commando's maar eerbiedigen. Wat je niet moet doen is Areca controllers in write-back modus gebruiken zonder een BBU (accu) maar dat spreekt voorzich.

Duidelijk; dank.

[Contagion]

@KennieNL / @MrBarBarian

Ik gebruik ZFS via FUSE onder Linux (Debian Stable) en dat bevalt uitstekend, hoewel ik vermoed dat de snelheid wel wat hoger zou zijn als ik de kernel module zou gebruiken of een ander host OS. Sinds ZFS-Fuse is Debian Stable zit mag ik aannemen dat het productierijp is en voldoende getest.

Ik heb voor Linux gekozen vanwege het feit dat ik daar het meest bekend mee ben, maar ook dat ik ZFS heb liggen 'on top of' een RAID-0 stipe en ik alles van een bestaande Linux Software RAID-5 array heb gemigreerd naar ZFS.

Meer info over de configuratie staat in het 10+ TB Showoff topic (waar mijn setup alweer in het niet is gevallen tussen de monstermachines ) Contagion in "Storage showoff topic - 10+ TB storage systems"

[Verwijderd]

maar ook dat ik ZFS heb liggen 'on top of' een RAID-0 stipe

Waarom dat dan? Zo verlies je ook een aantal voordelen van ZFS. Waarom geef je ZFS niet direct controle over je disks? Zo kunnen ditto blocks (redundante files en metadata) niet over verschillende fysieke schijven worden verdeeld, omdat ZFS geen weet heeft van de fysieke disks. Ook kun je niet van de load balancing technieken van ZFS gebruik maken, die een langzamere device ook minder data geeft zodat de snellere device niet onnodig wordt afgeremd. Kortom, ik zou ZFS altijd directe controle over de disks geven, tenzij je dwingende redenen hebt om dat niet te doen.

Sinds ZFS-Fuse is Debian Stable zit mag ik aannemen dat het productierijp is en voldoende getest.

Misschien mag ik Debian niet met Ubuntu vergelijken. Maar Ext4 is ook vrij snel default in Ubuntu geworden, terwijl er nog allemaal dataloss bugs in zaten. Dus wat je zegt hoeft zeker niet per definitie te gelden. Aannames zijn soms fataal.

[Contagion]

In de array zitten 6 schijven in ZFS RAIDZ1 waarvan 4x 2TB en 2x (2x 1TB in RAID0). Ik neem dus aan dat er wel genoeg metadata op andere schijven opgeslagen is en ik zou ook redeneren dat het misschien niet echt uitmaakt of ZFS 'ziet' dat iets 1 schijf is terwijl het er eigenlijk 2 zijn. Ik wilde vooral mijn 4x 1TB weer inzetten als ware het 2x 2TB aan schijven. Het load balancen maakt me voor deze media server niet uit, en de sequentiele doorvoer is onder ZFS-Fuse ogv 100 MB/sec.

Een defecte disk in een van de RAID0 arrays zou ik zelf ook benaderen als '1' disk en beide 1 TB's vervangen door 1 nieuwe schijf van 2 TB zodra er iets mis is. Ik had ook kunnen kiezen voor 1 Pool met daarin 2 RAIDZ1 arrays (4x 2TB en 4x 1TB) maar dan kom ik nooit meer van die config af (het blijven altijd 2 subpools (? hoe heten die dingen))

Ik bedenk met nu trouwens dat het misschien voor de metadata veiliger zou kunnen zijn om de 2x 1TB niet als raid0 maar als JBOD achter elkaar te zetten dan is de (meta)data van ZFS zelf in elk geval niet ook nog
'intern gestriped' tussen de 2 raid0 disks.

[edit] Debian Stable is inderdaad niet te vergelijken met de release cycle van Ubutnu die gepushed wordt door huun eigen versienummer systeem (11.10 komt er aan want het is 2011 en bijna oktober). Debian 'stable' doet in het algemeen zijn naam eer aan en de stable versies worden ook lang gesupport.

[ Voor 12% gewijzigd door Contagion op 09-09-2011 09:32 ]

[Verwijderd]

Oke dus je gebruikt RAID0 om van 4x 1TB schijven 2x 2TB te maken, en die onderdeel van de RAID-Z te maken; roger! Dat is dus inderdaad geen probleem. JBOD ipv RAID0 is onzin; een disk is een disk; als de helft daarvan mist heb je gewoon die disk niet meer. Ik heb ook meegemaakt dat door onderliggende RAID arrays ZFS de pool als corrupt zag en pas bij verwijderen van die disks de pool weer werkte. Het uit elkaar vallen van de JBOD terwijl die nog wel als device blijft bestaan kan dus voor meer problemen zorgen dan dat je een RAID0 had gehad die gewoon verdwijnt als een van de disks niet aanwezig is. Bovendien compenseer je met RAID0 de lagere snelheid van deze schijven t.o.v. je nieuwere 2TB schijven.

Overigens zou ik bij 6 schijven wel gebruik hebben gemaakt van RAID-Z2, dat is ook sneller als het 4K sector schijven zijn.

Dat Debian conservatiever is dan Ubuntu wat betreft stable releases geloof ik wel ja. Ik verbaas me erover dat Ubuntu voor hun erg populaire OS voor het grote publiek soms erg ingrijpende en controversiële beslissingen neemt zonder daar de tijd voor te nemen. Unity bijvoorbeeld, maar ook Ext4 mag hieronder geschaard worden. Ext4 lijkt nu overigens wel redelijk te werken, maar ik heb best veel corruptie gezien in het begin. Gelukkig draaien mijn systeemdisks via iSCSI op ZFS en kan ik in geval van corruptie dus gewoon een rollback doen; lang leve ZFS.

[FireDrunk]

De doelstelling van Ubuntu is ook om snel nieuwe features te introduceren en niet zo moeilijk te doen over backwards compatible zijn. Debian is daar inderdaad wat conservatiever in.

[iRReeL]

Kan iemand misschien iets advies geven over de benchmark van openindiana met napp-it? Met Freenas was de netwerk snelheid goed, 80-100MB/s maar nu is het meer riching 50-80MB/s terwijl ik dacht dat opensolaris juist een betere performance zou geven.

Het is een Gigabyte MA790FXT-UD5P / X2 245 met 6GB ram en 10x 2TB EARS disks.

Ashift is 9 maar ik begrijp dat is lastig te wijzigen bij opensolaris maar het schijnt dat de impact niet zo groot is als je het juiste aantal disks gebruikt, 10 voor Raidz2.

Bonnie++ benchmark

File 12G
Seq-wr-Chr 73MB/s CPU 90%
Seq-Write 98MB/s CPU 19%
Seq-Rewr 71MB/s CPU 17%
Seq-Rd-Chr 55MB/s CPU 97%
Rnd Seels 524.6/s CPU 3%
Rnd create 17639/s

Misschien nog andere dingen waar ik naar kan kijken? Ook een hoge CPU belasting, is dat misschien een probleem?

Anders toch nog 's met FreeBSD proberen om te kijken of dat beter gaat. Het hoeft niet zo supersnel maar wil wel de gigabit verbinding vol krijgen.

[Phorze]

iRReeL schreef op vrijdag 09 september 2011 @ 15:33:
Het is een Gigabyte MA790FXT-UD5P / X2 245 met 6GB ram en 10x 2TB EARS disks.

Ik heb geen ervaring met de netwerksnelheden, maar ik wil je wel graag wat vragen, ik heb een soortgelijk moederbord (ma790xt-ud4p) met 8x 2TB EARS.

Draai jij gevirtualiseerd of direct? Wat voor extra controller gebruik je? Ik krijg het namelijk met geen mogelijkheid aan de praat met een gevirtualiseerde FreeNAS 8.01RC1 (ESXI 5), waar ik gebruik heb gemaakt van RDM. De machine loopt elke keer vast bij een transfer of een benchmark.

[Verwijderd]

Als je bonnie al zo slecht is, gaat je netwerk performance nog lager zijn.

Wat je kunt proberen is ZFSguru; daarmee kun je je huidige pool importeren en een benchmark doen op de Pools > Benchmark pagina. Als die significant hoger is dan die bonnie kan het zijn dat er andere dingen een rol spelen. Deze test kun je uitvoeren zonder iets te hoeven installeren; gewoon booten van de LiveCD.

Wat betreft Solaris en 4K sector disks; je moet of gevaarlijke patches gebruiken of de pool aanmaken onder FreeBSD met GNOP disks. Dan krijg je betere performance.

Wel raar dat je met 10 disks zo'n lage performance krijgt. Hoe vol is je pool percentueel?

[iRReeL]

Phorze schreef op vrijdag 09 september 2011 @ 16:30:
[...]

Draai jij gevirtualiseerd of direct? Wat voor extra controller gebruik je? Ik krijg het namelijk met geen mogelijkheid aan de praat met een gevirtualiseerde FreeNAS 8.01RC1 (ESXI 5), waar ik gebruik heb gemaakt van RDM. De machine loopt elke keer vast bij een transfer of een benchmark.

Ik draai direct, ik heb alleen openindiana geinstalleerd met napp-it. Ik gebruik geen extra controller Daarom ook dit boardje met 10x sata. Er zit dus een extra 2prt controller op het mobo 2 x JM322 chips.

Verwijderd schreef op vrijdag 09 september 2011 @ 16:30:
Als je bonnie al zo slecht is, gaat je netwerk performance nog lager zijn.

Wat je kunt proberen is ZFSguru; daarmee kun je je huidige pool importeren en een benchmark doen op de Pools > Benchmark pagina. Als die significant hoger is dan die bonnie kan het zijn dat er andere dingen een rol spelen. Deze test kun je uitvoeren zonder iets te hoeven installeren; gewoon booten van de LiveCD.

Wat betreft Solaris en 4K sector disks; je moet of gevaarlijke patches gebruiken of de pool aanmaken onder FreeBSD met GNOP disks. Dan krijg je betere performance.

Wel raar dat je met 10 disks zo'n lage performance krijgt. Hoe vol is je pool percentueel?

Ok bedankt voor de tip, zal zfsguru proberen
Ik had hier eerst Freenas op en via LAN ging het toch veel richting 100MB/s en was ik wel happy, Geen idee wat het lokaal was. Nu is het 50MB/s write en 75MB/s read (win7 SMB)
Ik ben nog altijd aan het testen, heb er maar 10GB of zo op staan (14TB ruimte).
Ja ik had gelezen dat het lastig is op Solaris inzake 4K sectors maar eigenlijk mag het verschil niet zo groot zijn (10% ofzo) en moet het altijd snel genoeg zijn voor Gigabit LAN. Maar goed pool aanmaken via FreeBSD kan eventueel ook wel, thanks

[Verwijderd]

Die JMicron poorten zullen ook zeker de snelheid van je pool afremmen. Dus misschien moet je eens kijken naar een echte controller zoals de Intel SASUC8i.

[Bierkameel]

Ik ben een server aan het bouwen met FreeNAS 8.
Mobo: Supermicro X7SPA-HF-D525 met een Atom D525 dus en 4GB DDR3 en 2 x Intel GBit NIC onboard.
4 x 2TB Samsung EcoGreen F4EG HD204UI
1 x WD Raptor WD3000HLFS 300GB 10K schijf als cache schijf.
Installatie op een 16GB Sandisk stick.

Als ik een raidz pool aanmaak met de cache schijf dan haal ik zo'n 60MB/sec lezen en schrijven, de CPU is niet echt druk dus dat moet sneller kunnen lijkt me? Met of zonder cache schijf lijkt ook niet veel verschil te maken.
In de BIOS staan de poorten op AHCI, HT heb ik uitgeschakeld dus hij zit 2 echte core's ipv 4 core's met HT maar dat maakt ook niet veel verschil, ik heb de X64 en X86 versie van FreeNAS al geinstalleerd.


Hmm was wat grote bestanden aan het kopieren en toen kreeg ik dit:

[ Voor 15% gewijzigd door Bierkameel op 11-09-2011 13:17 ]

[onox]

Bierkameel schreef op vrijdag 09 september 2011 @ 21:50:
Ik ben een server aan het bouwen met FreeNAS 8.
Mobo: Supermicro X7SPA-HF-D525 met een Atom D525 dus en 4GB DDR en 2 x Intel GBit NIC onboard.
4 x 2TB Samsung EcoGreen F4EG HD204UI
1 x WD Raptor WD3000HLFS 300GB 10K schijf als cache schijf.
Installatie op een 16GB Sandisk stick.

Als ik een raidz pool aanmaak met de cache schijf dan haal ik zo'n 60MB/sec lezen en schrijven, de CPU is niet echt druk dus dat moet sneller kunnen lijkt me? Met of zonder cache schijf lijkt ook niet veel verschil te maken.
In de BIOS staan de poorten op AHCI, HT heb ik uitgeschakeld dus hij zit 2 echte core's ipv 4 core's met HT maar dat maakt ook niet veel verschil, ik heb de X64 en X86 versie van FreeNAS al geinstalleerd.


Hmm was wat grote bestanden aan het kopieren en toen kreeg ik dit:
[afbeelding]

Heb je al eens gegoogled? Op internet zeggen ze dat je vm.kmem_size moet aanpassen in /boot/loader.conf naar 1.5 tot onder 2.0 keer je physical memory. Ze raden trouwens aan om voor x64 te gaan voor ZFS. Zie http://wiki.freebsd.org/ZFSTuningGuide

[Verwijderd]

Eer ik me vast leg aan een bepaald systeem wil ik altijd even uitgebreid experimenteren.

Ik zit lekker (virtueel en echt) met ZFS te rommelen, maar bedenk me net iets nieuws, waar ik nergens antwoord op kan vinden: is het mogelijk om FreeNAS te booten vanaf twee USB sticks in RAID1?

[iRReeL]

Iemand bekend met 'Primary label corrupt, using backup'? Ik heb dit probleem nu met de Asus M3N-WS met ARC1160. Volgens mij heb ik dat nadat ik met slecht geheugen gewerkt had. Freenas werkte ok, alleen wat langzaam (2GB ram), totdat ik het nieuwe geheugen ging gebruiken (4x2GB). Het leek goed te werken maar als ik ging kopieeren naar de NAS waren er 'i/o errors' . Memtest -> bijna alles rood. Modules in andere bankjes verhielp het probleem

Maar wilde graag OI gebruiken en installatie ging maar uiteindelijk na een beetje schrijven naar de pool 'valt de lan verbinding' weg. Onder OI+napp-it nog format gedaan, verify geeft aan dat het ok is. Uiteindelijk zelfs nog 'backup' terug gezet maar bleef meldingen zien dat de label corrupt is. Ook met gparted alles partities verwijderd en partition table gereset.

Met ZFSguru life cd geboot maar die bevroor, webpage na 'n paar seconden geen reactie en lokaal ook niets.

In de tussentijd kreeg ik ook nog wat meldingen dat AHCI port 0,1,2 errors gaven. Dat heb ik opgelost door andere poorten op het mobo te gebruiken (kreeg 'too many errors' op verschillende hdd's)

Daarna nog 's Freenas getest en UFS partities erop gezet (in de hoop het te 'resetten') en toen weer ZFS maar toen was de 'backup label corrupt'. Nou ja tenminste 's iets anders

Toen dacht ik wel ff snel windows 7 te installeren om te kijken hoever dat zou werken (kreeg ff genoeg van *nix ) maar die kan geen 'system partition' vinden of aanmaken (ook niet op een 'nieuw' test hdd wat ik ff wilde gebruiken). Dus dan is er blijkbaar een probleem met de controller want die hdd die ik gebruikte was alleen met windows gebruikt. Misschien dat ik een CMOS clear moet doen maar vind ik wel een beetje vaag.

Nouja vanalles van deze tegenslagen dit weekend. Ik denk dat de indeling, MBR of wat een beetje in de war is ofzo dus dat wil ik nu graag resetten.

Ik probeer verder windows te installeren en als dat werkt (moet *nix zeker werken ) dus dan probeer ik op deze machine Freenas weer te installeren.

[Verwijderd]

Heb je nu wel 100% goed geheugen? Memtest86+ meer dan 12 uur gedraaid?

Je kunt een GPT label met 'Primary label corrupt, using backup' herstellen met een gpart recover commando. GPT heeft namelijk een backup van alle data aan het begin en einde van elke schijf, zodat als er ergens corruptie voordoet er nog een backup van de data is. MBR heeft dit echter niet en ook geen checksum om corruptie op te sporen.

Wat bedoel je verder met errors in AHCI poorten? Heb je de SMART data van je disks gecontroleerd?

Onder ZFSguru kun je de disks zero-writen en opnieuw formatteren, dat zou alle problemen met slechte labels moeten verhelpen. Nog één belangrijk ding: heb je write-back in je Areca controller uitgeschakeld? Hij moet op write-through staan.

[iRReeL]

Verwijderd schreef op vrijdag 09 september 2011 @ 18:01:
Die JMicron poorten zullen ook zeker de snelheid van je pool afremmen. Dus misschien moet je eens kijken naar een echte controller zoals de Intel SASUC8i.

Dat zou idd kunnen zijn, evt kan ik het misschien met 8 disks testen zonder de JMicron. De Intel SASUC8i heeft geen ondersteuning voor 3TB disks begrijp ik dus die wil ik vermijden. Als ik iets van 80MB/s lees/schrijf snelheid heb over lan ben ik wel blij.

Inzake corrupt primary label heb ik mijn vriendin zover gekregen memtest op te starten dus dat draait nu . Ik had het maar 'n uurtje laten lopen en nam aan dat het ok is want voorheen kreeg ik zowat meteen errors.

Zondag ben ik maar 's begonnen met alles opschrijven en voorheen niet dus ik heb niet de exacte AHCI melding maar volgens mij was het zoiets als dit:
ahci: [ID 777486 kern.warning] WARNING: ahci0: ahci port 0 has interface fatal error
ahci: [ID 687168 kern.warning] WARNING: ahci0: ahci port 0 is trying to do error recovery
ahci: [ID 551337 kern.warning] WARNING: ahci0: Recovered Data Integrity Error (I)
Maar goed die waren weg toen ik naar 2 andere poorten op het mobo geswitched ben.

Op de Areca heb ik er alleen op gelet dat de drives passthrough staan dus ik zal nog 's moeten kijken of die ook op write-throught staat

goeie tips heb ik weer wat te prutsen, bedankt!

[d1ng]

Verwijderd schreef op zondag 11 september 2011 @ 11:21:
Eer ik me vast leg aan een bepaald systeem wil ik altijd even uitgebreid experimenteren.

Ik zit lekker (virtueel en echt) met ZFS te rommelen, maar bedenk me net iets nieuws, waar ik nergens antwoord op kan vinden: is het mogelijk om FreeNAS te booten vanaf twee USB sticks in RAID1?

Hier de info om dat te doen voor FreeBSD, werkt overigens prima 2 usb stickies in raid1 met UFS en de hdd's zelf uiteraard op ZFS. Kan anders zijn voor FreeNAS, maar grote kans dat het werkt.

[iRReeL]

Verwijderd schreef op maandag 12 september 2011 @ 12:31:
Nog één belangrijk ding: heb je write-back in je Areca controller uitgeschakeld? Hij moet op write-through staan.

Dit leek mij idd de gouden tip! stond nog op writeback en toen ik dit had aangepast was de zpool weg. Dus een nieuwe aangemaakt en dat ging goed. Ik zag ook geen (label) errors in het systeem log. Ik Happy

Dus begonnen met kopieeren, 7TB data. Ging met 86MB/s maar vanmorgen hing het kopieeren op de windows machine. Daar had ik trouwens ook errors in de eventlog (ARC-1160)
Event 129 arcs_a64. Reset to device, \Device\RaidPort0, was issued.
Event 11 arcs_a64. The driver detected a controller error on \Device\RaidPort0.
Event 11, Disk. The driver detected a controller error on \Device\Harddisk3\DR3.
Geen idee wat ik van deze errors moeten denken, deze kwamen 's morgens nadat ie dus al iets van 12u aan het kopieeren was. Reboot gedaan en ben nu een beetje aan het backuppen op local disk en zie geen nieuwe error.

En de NAS was ook niet meer benaderbaar, meerdere disks corrupt. Een reboot gedaan, zpool weer online maar zie nu weer label erros in het log dus dat probeer ik vanavond alsnog met de suggesties op te lossen. In het systeem log zie ik alleen logs van vandaag dus weet niet waar ik de logs van gister kan opvragen voor details.

Smart disk status is ok volgens Napp-it maar toch nog een paar vreemde dingen
c4t4d0_error Error: S:0 H:0 T:0 -> voor alle disks
c4t4d0_ill_request 29 -> alleen disks op sata controller
c4t4d0_smart_health OK -> alle disks

Ik zie ook weer AHCI errors
ahci: [ID 777486 kern.warning] WARNING: ahci0: ahci port 4 has interface fatal error
ahci: [ID 687168 kern.warning] WARNING: ahci0: ahci port 4 is trying to do error recovery
ahci: [ID 551337 kern.warning] WARNING: ahci0: Protocol Error (P)
ahci: [ID 657156 kern.warning] WARNING: ahci0: error recovery for port 4 succeed
ahci: [ID 777486 kern.warning] WARNING: ahci0: ahci port 5 has interface fatal error
ahci: [ID 687168 kern.warning] WARNING: ahci0: ahci port 5 is trying to do error recovery
ahci: [ID 551337 kern.warning] WARNING: ahci0: Protocol Error (P)
ahci: [ID 657156 kern.warning] WARNING: ahci0: error recovery for port 5 succeed

[Verwijderd]

Kun je me van alle disks de SMART data opgeven, liefst via pastebin en niet in dit topic.

Het gaat dus niet om een SMART test ofzo, maar de echte ruwe data. o.a. Current Pending Sector en de hele rits data dus. Liefst van elke disk die je aangesloten hebt.

Voor je AHCI disks is dat dus:
smartctl -A /dev/ada0
Voor Areca moet je via de areca_cli wat doen geloof ik. Alweer een tijdje geleden dat ik dat heb gebruikt.

[ Voor 24% gewijzigd door Verwijderd op 13-09-2011 16:32 ]

[Verwijderd]

Hier de info om dat te doen voor FreeBSD, werkt overigens prima 2 usb stickies in raid1 met UFS en de hdd's zelf uiteraard op ZFS. Kan anders zijn voor FreeNAS, maar grote kans dat het werkt.

Super linkje, dank. Ben erg blij dat het te configureren is nadat je al een werkend systeem met één stickje (of CF kaart of HDD, etc) hebt.

[Splendid]

Voor de liefhebbers; OpenIndiana bestaat vandaag 1 jaar en viert dit met de 151a release!

http://wiki.openindiana.org/oi/oi_151a+Release+Notes

[iRReeL]

Verwijderd schreef op maandag 12 september 2011 @ 12:31:
Je kunt een GPT label met 'Primary label corrupt, using backup' herstellen met een gpart recover commando. GPT heeft namelijk een backup van alle data aan het begin en einde van elke schijf, zodat als er ergens corruptie voordoet er nog een backup van de data is. MBR heeft dit echter niet en ook geen checksum om corruptie op te sporen.
Wat bedoel je verder met errors in AHCI poorten? Heb je de SMART data van je disks gecontroleerd?
Onder ZFSguru kun je de disks zero-writen en opnieuw formatteren, dat zou alle problemen met slechte labels moeten verhelpen. Nog één belangrijk ding: heb je write-back in je Areca controller uitgeschakeld? Hij moet op write-through staan.

Label resetten met gparted is nog al een verhaal zag ik online. ZFSguru hangt na 'n paar minuten, ik kon nog op 'n paar menu's klikken maar daarna hangt ie compleet.
Inmiddels quick zero-write en smart test via Westen Digital tool gedaan en 1 disk had een 'bad element' error. Nog 's 'n full zero-write gedaan wat goed ging en momenteel draait een extended smart test.

Omdat ik dus niet meer de gewenste 10 disks had wilde ik windows tijdelijk installeren. Geen partitie error meer maar installatie blijft hangen bij het kopieeren / uncompressing van de data. Ook krijg ik wat artifacts op het scherm. Zelfde voor 7 en 2008-R2. Dus zal nog 's een CMOS clear proberen, FW is al geupgrade. Maar blijkbaar is er dus nog een probleem met het mobo.

[Verwijderd]

Heb je Memtest86+ gedraaid voor 10+ uur en kun je me nog een keer die SMART info geven?

Als je in zowel Windows als BSD vastlopers krijgt lijkt mij hardware defecten de meest logische verklaring. Test eerst je geheugen eens goed en kijk daarna naar de disks. Met zero-writes verberg je de schade aan je disks; dus daarom dat ik je aanraadde eerst de SMART info veilig te stellen; anders weet je nog niet waar het aan ligt.

[MrBarBarian]

Ik heb inmiddels iets van ervaring opgedaan met ZFS op Linux.

Stappen:
1. ZFS + SPL gecompileerd op een virtuele server (qemu) op Scientific Linux 6.1. Dit gaat feilloos en installatie gaat ook goed;
2. RPM's verplaatst naar een andere virtuele server (om zo geen development tools te hoeven hebben op deze server). Installeren ging ook zonder problemen (incl dependecies);
3. Raidz aangemaakt van 5 100gb disks (virtio-disks);
4. Gemount en een kopieeractie gestart van ca. 30 GB (grote en kleine bestanden). En daar is ie nu al bijna 24 uur mee bezig. Schiet niet echt op dus! Ik zie veel io op de server zelf (lampjes), maar heb onvoldoende kennis van ZFS om erachter te komen waarom het zo traag is..

Suggesties?

[Verwijderd]

ZFS wil directe controle over de fysieke disks. Hardeschijven emuleren via bestanden op een ander filesystem (virtio-disks zoals jij noemt?) is dus uit den boze. Sowieso krijg je dan niet de zekerheid die ZFS je kan bieden, omdat je dan afhankelijk bent van een ander filesystem om de integriteit te bewaken. Je moet ZFS directe controle over je disks geven. Dat betekent in de praktijk of een Vt-d oplossing of ZFS als hoofd OS en niet virtualised laten draaien.

[zzattack]

Ik heb nu zo'n 2 weken een stel Hitachi 5K3000's in bestelling staan maar het lijkt erop dat deze niet voor eind september binnen gaan komen. Ik zit daarom naar de samsung EcoGreen F4 te kijken. Kan het kwaad vdevs van verschillende typen disks te combineren, of kan ik beter meer Hitachi's regelen?

[FireDrunk]

Verwijderd schreef op donderdag 15 september 2011 @ 18:26:
ZFS wil directe controle over de fysieke disks. Hardeschijven emuleren via bestanden op een ander filesystem (virtio-disks zoals jij noemt?) is dus uit den boze. Sowieso krijg je dan niet de zekerheid die ZFS je kan bieden, omdat je dan afhankelijk bent van een ander filesystem om de integriteit te bewaken. Je moet ZFS directe controle over je disks geven. Dat betekent in de praktijk of een Vt-d oplossing of ZFS als hoofd OS en niet virtualised laten draaien.

Je slaat RDM over... Dat kunnen Hyper-V en ESX beide.

[HyperBart]

Maar daar was ZFS niet wild van dacht ik?

[Pantagruel]

Een crosspost vanuit het zuinige ESXi server forum:

HyperBart schreef op vrijdag 16 september 2011 @ 15:16:
Ik dacht dat de vuistregel bij ZFS toch was per 1TB een GB geheugen?

Als je de FreeNAS hardware eisen moet geloven wel ja.

RAM

The best way to get the most out of your FreeNAS™ system is to install as much RAM as possible. If your RAM is limited, consider using UFS until you can afford better hardware. ZFS typically requires a minimum of 6 GB of RAM in order to provide good performance; in practical terms (what you can actually install), this means that the minimum is really 8 GB. The more RAM, the better the performance, and the Forums provide anecdotal evidence from users on how much performance is gained by adding more RAM. For systems with large disk capacity (greater than 6 TB), a general rule of thumb is 1GB of RAM for every 1TB of storage.

Ik vraag me wel af of een van de hier aanwezige ZFS guru's al eens getest heeft wat de 'performance penalty' is van een RAM/opslag ratio van 1:2 (8GB RAM/16TB storage), 1:3 (8/24; 4/12) of 1:4 (8/32; 4/16) is ten opzichte van de geadviseerde 1GB:1TB verhouding.

Stel dat 1:1 een doorvoer geeft van 350~400 MB/sec en een 1:2 verhouding in zakt tot 200~250 MB/sec dan kan ik er persoonlijk wel mee leven. Zelfs met die terugval verzadig je nog steeds je Gbit netwerk, zelfs als je 2 Gbit nic's trunked.

Als ik echter Constantin Glez zijn blog door lees, dan lijkt het eerder verstandig te zijn om een overmaat RAM te hebben in verhouding tot je array omvang (ipv 1GB RAM per 1TB array, eerder 2 GB RAM per 1TB array). Een L2ARC en ZIL cache in de vorm van een SSD geeft ook een flinke boost, maar doet wel pijn in de portemonnee.

[Verwijderd]

Jullie kijken naar opslagcapaciteit in verhouding tot geheugen. Maar het is volgens mij eerder disk performance in verhouding tot geheugen.

Als je disk 125MB/s doet en je hebt 1GiB per disk, heb je dus max 8 seconde buffer. Dat zou genoeg moeten zijn om naast de huidige transaction group aan de volgende te werken en de disks niet zonder werk te laten.

Nu doen disks ongeveer wel dezelfde performance, dus het maakt niet zoveel uit als je gewoon per disk telt. Maar als je per TB zou tellen zou het wel heel anders uit kunnen zien als je kleinere of juist hele grote disks telt.

Daarnaast geldt in elk geval voor FreeBSD dat je pas goede performance hebt vanaf 6GiB geheugen. Sowieso geldt dat je bij 4GiB RAM of minder geen prefetch hebt en je out-of-the-box performance dus een heel stuk minder.

Met de huidige DDR3 prijzen zou een nieuw systeem tenminste 8GiB en bij voorkeur 16GiB+ geheugen moeten hebben. Heb je echter 40 schijven dan lijkt me 16GiB DDR3 nog beter dan 10 schijven met 4GiB RAM. Het gaat dus niet alleen om de verhouding maar ook het absolute aantal.

Daarnaast geldt dat te weinig geheugen gewoon betekent dat je niet het maximale haalt uit je disks, omdat ze periodiek zonder werk komen te zitten en dus een lagere performance kent. In performance tests kun je zien dat de performance-stijging bij extra disks steeds verder afvlakt en uiteindelijk de performance 'gecapped' wordt door onvoldoende RAM.

[FireDrunk]

Is echt allemaal waar, maar waar haal je in hemelsnaam meer dan 8 seconden 125MB/s vandaan in een thuis situatie

Wij hebben hier filers van 1.5 miljoen staan (120TB aan NetApp) die doen gemiddeld op het drukste moment van de dag 100MB/s aan random IO. Dat ding heeft 32GB aan NVRAM waar hij zijn random writes op krast, daarna word alles (redelijk) sequentieel op disk gezet.

Als je ZFS zou gebruiken, moet je wel echt een massive omgeving hebben, wil je dat allemaal nodig hebben.
We praten hier over een datacenter met > 300 fysieke servers en meer dan 300 VM's.

Onze VMware Aggregates in de NetApp doen gemiddeld 40MB/s

Ik zeg niet dat het allemaal niet waar is, ik probeer het alleen in perspectief te zetten.

[Joost Dekker]

In verband met een project ben ik aan het kijken naar het OneFS systeem, dat door Isilon gebruikt wordt.
Wikipedia: OneFS distributed file system
Nu is het idee om dit idee (met medeweten van Isilon / EMC) te gaan gebruiken onder een ander OS (Linux-variant), maar niemand binnen mijn team heeft enig idee hoe dit aangevlogen zou moeten worden.
Is er iemand hier die kaas heeft gegeten van het 'zelf' aansturen van Distri FS-en ?

[zzattack]

@CiPHER: jij raadt regelmatig de Samsung F4 aan. Welke voordelen biedt deze schijf t.o.v. de Hitachi 5K3000? Hoe ik het zie lijkt de Hitachi beter: echte 512b sectors, geen extra fw update nodig en minstens zo snel en zelfs aardig sneller bij 4k reads.
Voordelen van de samsung zijn momenteel de leverbaarheid en ze zijn iets goedkoper.

[Verwijderd]

@FireDrunk: maar ZFS schrijft niet synchroon met de input stream. ZFS schrijft in bursts (transaction groups). Dus het kan zijn dat door onvoldoende geheugen er niet van de input stream wordt gelezen en je dus een heel 'burst' achtige transfer krijgt. Dat heb ik vaak genoeg gezien, zeker onder FreeBSD, die wat minder mooie geheugenmanagement heeft w.b.t. ZFS dan Solaris platforms. Dus je wilt wel wat marge hebben en niet dat je transaction groups te groot worden. Maar je punt klopt natuurlijk wel dat 1GB/s throughput niet bijster veel zin heeft met gigabit networking.

@zzattack
Samsung F4EG is iets sneller, qua writes. Opzich scheelt het niet veel. De 4K sectors kan een nadeel zijn als je een niet-optimale hoeveelheid disks in je pool gooit, maar kan ook een voordeel zijn. De extra ECC per sector zou ervoor moeten zorgen dat je meer error-correcting vermogen hebt, ook al heb je relatief minder ECC bits per megabyte. Dit is echter niet in de uBER specs terug te vinden, maar die zijn met 10^-14 ook erg inaccuraat.

Samsung F4EG is zuiniger en gebruikt minder spinup current dan andere schijven. Maar Hitachi 5K3000 zijn ook mooie disks en valt in dezelfde categorie van 666GB platter disks. Dat laatste is natuurlijk het belangrijkste. Overigens wacht ik met smart op de nieuwe 1TB platter disks; waar Hitachi ook mee bezig is. Nog geen echte 2/3/4TB desktop disks met 1TB platters te koop, maar dat zou komende maanden toch wel kunnen gebeuren zo verwacht ik.

Kan het kwaad vdevs van verschillende typen disks te combineren, of kan ik beter meer Hitachi's regelen?

Ja, dat kan wel kwaad. Minder kwaad als de disks in aparte vdevs zitten; b.v. een RAID-Z van 5 disks met Samsung F4EG en een andere RAID-Z van 5 disks met Hitachi 5K3000. Dat is prima, maar ga je in dezelfde RAID-Z verschillende type disks (of zelfs andere firmware/model) mixen dan kan dat de performance negatief beïnvloeden. RAID-Z geldt dat de hoogste latency van elke disk afzonderlijk de performance bepaalt.

De Samsung F4EG blijft met 57 euro @ Redcoon net iets goedkoper dan de WD EARS en Hitachi 5K3000:
pricewatch: Samsung EcoGreen F4EG HD204UI, 2TB

[zzattack]

Bedankt voor je uitgebreide antwoord. Kun je misschien ook iets zeggen over die optimale hoeveelheid disks in de vdev i.c.m. 4k sector drives? Gaat dat hier om 5 in raidz, 6/10 in raidz2 etc? In dat geval ga ik die Samsungs gebruiken voor ofwel 2 raidz1's van 5 disks, ofwel een raidz2 van 10. Daar ben ik nog niet helemaal uit.

[Verwijderd]

Voor 4K sector schijven zoals Samsung F4EG en WD EARS kun je het beste houden bij:
RAID-Z: 3 of 5 disks
RAID-Z2: 6 of 10 disks
(hierbij geldt natuurlijk dat twee vdevs van een combinatie van bovenstaande ook prima is, als je veel schijven hebt)

2x RAID-Z van 5 disk of 1x RAID-Z2 van 10 disks zou ik zeggen dat laatste; heb je veel betere bescherming en toch weinig overhead (20%). Zou wel een SSD aanraden voor SLOG+L2ARC indien mogelijk.

Oh en Samsung F4EG heeft geen firmware update meer nodig; dat geldt alleen voor schijven die vóór december 2010 zijn geproduceerd. Dat tijdperk zijn we inmiddels wel voorbij.

[Pantagruel]

Verwijderd schreef op vrijdag 16 september 2011 @ 18:10:
Voor 4K sector schijven zoals Samsung F4EG en WD EARS kun je het beste houden bij:
RAID-Z: 3 of 5 disks
RAID-Z2: 6 of 10 disks
(hierbij geldt natuurlijk dat twee vdevs van een combinatie van bovenstaande ook prima is, als je veel schijven hebt)

2x RAID-Z van 5 disk of 1x RAID-Z2 van 10 disks zou ik zeggen dat laatste; heb je veel betere bescherming en toch weinig overhead (20%). Zou wel een SSD aanraden voor SLOG+L2ARC indien mogelijk.

Oh en Samsung F4EG heeft geen firmware update meer nodig; dat geldt alleen voor schijven die vóór december 2010 zijn geproduceerd. Dat tijdperk zijn we inmiddels wel voorbij.

Pantagruel gaat er morgen toch maar eens nog 2x 2TB WD EARS bijhalen om de 'gouden' 10 stuks hdd's voor de RAID-Z2 te realiseren en er effectief 8 over te houden voor de opslag. (of t moet zo zijn dat de vermelde 6 of 10 stuks het aantal data disks in de array is en er eigenlijk 8 of 12 hdd's totaal per array het magische getal is. whaaaa ben de draad kwijt .

Google kon t weekend weer wat beter maken:

sub.mesa (beter bekend als Jason van ZFSGuru) wrote:

As i understand, the performance issues with 4K disks isn’t just partition alignment, but also an issue with RAID-Z’s variable stripe size.
RAID-Z basically works to spread the 128KiB recordsizie upon on its data disks. That would lead to a formula like:
128KiB / (nr_of_drives – parity_drives) = maximum (default) variable stripe size
Let’s do some examples:
3-disk RAID-Z = 128KiB / 2 = 64KiB = good
4-disk RAID-Z = 128KiB / 3 = ~43KiB = BAD!
5-disk RAID-Z = 128KiB / 4 = 32KiB = good
9-disk RAID-Z = 128KiB / 8 = 16KiB = good
4-disk RAID-Z2 = 128KiB / 2 = 64KiB = good
5-disk RAID-Z2 = 128KiB / 3 = ~43KiB = BAD!
6-disk RAID-Z2 = 128KiB / 4 = 32KiB = good
10-disk RAID-Z2 = 128KiB / 8 = 16KiB = good

[ Voor 31% gewijzigd door Pantagruel op 16-09-2011 19:59 ]

[Verwijderd]

10-disk RAID-Z2 wil dus zeggen 8 data disks + 2 parity disks. 128 / 8 = 16KiB. Dus inderdaad 2 schijfjes erbij kopen voor 10 disks totaal en dat in RAID-Z2 zetten, dat is eigenlijk de allerbeste ZFS configuratie omdat je:
- slechts 20% kwijt bent aan redundancy
- uitstekende bescherming met 2 parity disks
- goede performance met 8 data disks in relatie met 4K sectors

[Pantagruel]

Verwijderd schreef op vrijdag 16 september 2011 @ 20:13:
10-disk RAID-Z2 wil dus zeggen 8 data disks + 2 parity disks. 128 / 8 = 16KiB. Dus inderdaad 2 schijfjes erbij kopen voor 10 disks totaal en dat in RAID-Z2 zetten, dat is eigenlijk de allerbeste ZFS configuratie omdat je:
- slechts 20% kwijt bent aan redundancy
- uitstekende bescherming met 2 parity disks
- goede performance met 8 data disks in relatie met 4K sectors

Dat had ik inderdaad uit de response van sub.mesa ook begrepen.

Morgen dus inderdaad 2x 2TB EARS erbij scoren en dan 8 stuks op de RAID controller in pass-through en 2 op de on-board SATA.
De afgelopen 2 weken ZFSGuru getest en t beviel op zich redelijk goed, wel wat kleine min puntjes van de -naar mijn gevoel/idee- gecastreerde aangepaste FreeBSD distro ondervonden maar daar is omheen te komen middels een volledige FreeBSD install en een ZFSGuru na installatie.

Mede door de info hier rondom het geheugen gebruik en mogelijke beperkingen van FreeBSD ga ik OpenIndiana & Napp-it de komende week of 2 eens testen. In ieder geval weer iets zinnigs te lezen tijdens het forensen (in lezen in OI) .

[ Voor 1% gewijzigd door Pantagruel op 16-09-2011 22:32 . Reden: nuance ]

[Verwijderd]

gecastreerde FreeBSD distro

Ik heb dit eerder gehoord op dit forum (van jou?) maar toen ik dat bij Jason navroeg zei hij dat zowel de LiveCD als de Root-on-ZFS installatie 100% volledig FreeBSD waren, zonder dat er iets uit was geknipt zoals bij FreeNAS. Dus wat mis je dan precies?

Solaris platform kent weer andere beperkingen zoals het niet kunnen booten van RAID-Z1/2/3 en problemen met 4K sector disks. Maar uitproberen kan geen kwaad natuurlijk!

[Verwijderd]

ZFS werkt prima met 4K drives als je ze maar niet gaat mixen.

[Verwijderd]

ZFS werkt niet prima met foute combinaties zoals een RAID-Z van 4 disks. Dat is duidelijk aangetoond op diverse fora. Hierboven zie je ook waarom, de relatie met recordsize en het aantal data disks.

Bij foute configuraties krijgen de disks I/O die geen veelvoud van 4 kilobyte is, en dan gaan Advanced Format / 4K schijven dus emuleren waarbij ze moeten lezen+schrijven, en dat verlaagt de snelheid. Daarom heeft Solaris ook zoveel problemen met 4K sector disks terwijl BSD nog met GNOP de ashift naar 12 kan verhogen.

[Pantagruel]

Verwijderd schreef op vrijdag 16 september 2011 @ 21:10:
[...]

Ik heb dit eerder gehoord op dit forum (van jou?) maar toen ik dat bij Jason navroeg zei hij dat zowel de LiveCD als de Root-on-ZFS installatie 100% volledig FreeBSD waren, zonder dat er iets uit was geknipt zoals bij FreeNAS. Dus wat mis je dan precies?

Solaris platform kent weer andere beperkingen zoals het niet kunnen booten van RAID-Z1/2/3 en problemen met 4K sector disks. Maar uitproberen kan geen kwaad natuurlijk!

Gecastreerd is wellicht te veel van t goede en moet ik 't geheel nuanceren (inmiddels gedaan),.

Ik heb vooral lopen vechten met het feit dat 'su' voor een normale sterveling welke tot wheel behoorde toch anders uitpakte en zo nu en dan dat er toch geen root rechten voor handen leken te zijn om dingen uit te voeren. Je kent t wellicht, eigenwijs als je bent en met een test bak die op zijn bakkes mag gaan, wil de ''self-healing" van zfs wel eens in actie zien. Als je dan vervolgens gemekker krijgt over toegangsrechten van dd tot /dev/ada0 en 2 minuten later wel vrolijk met dd schade kunt doen aan 1 schijf uit de zfs array, vrons ik toch wel mijn wenkbrauwen. Daarnaast heb ik een aantal keer gehad dat de shutdown vanuit de weboppervlakte van ZFSGuru goed werkt, maar de cli shutdown eindigde in de melding ' press any key to reboot' (ik had toch een shutdown gekozen ) maar een bak die totaal niet reageerde.
Gelukkig werkt de ipmi/iKVM van de X9SCM-F als een speer en kan ik de bak dwingen tot een harde reset/power off.

Een onhandigheid als het niet toe kunnen voegen van een smbshare vanuit de ZFSGuru web oppervlakte neem ik voor lief. Als je sowieso dingen als 'create mask' en 'directory mask' wilt zetten zul je de hand aan /usr/local/etc/smb.conf moeten slaan en dan voeg je net zo snel een extra share toe. Dit zal ongetwijfeld te maken hebben met het 'in ontwikkeling zijn' van ZFSGuru. De eerste indruk was goed, maar ietwat ruw aan de randjes zullen we maar zeggen.

Maar wie weet kom ik wel gillend terug van OI omdat ik daar voor geen meter mee uit de voeten kom.


Maar terug naar vrolijkere zaken, op Ebay een LSI SAS9220-8i / IBM ServeRAID M1015 weten te bemachtigen, zodra die binnen is de firmware flashen naar IT-mode en dan kan 't feest echt beginnen.

[Verwijderd]

Pantagruel schreef op vrijdag 16 september 2011 @ 23:11:
Ik heb vooral lopen vechten met het feit dat 'su' voor een normale sterveling welke tot wheel behoorde toch anders uitpakte en zo nu en dan dat er toch geen root rechten voor handen leken te zijn om dingen uit te voeren. Je kent t wellicht, eigenwijs als je bent en met een test bak die op zijn bakkes mag gaan, wil de ''self-healing" van zfs wel eens in actie zien. Als je dan vervolgens gemekker krijgt over toegangsrechten van dd tot /dev/ada0 en 2 minuten later wel vrolijk met dd schade kunt doen aan 1 schijf uit de zfs array, vrons ik toch wel mijn wenkbrauwen.

Je hebt door het GEOM framework geen schrijfrechten naar devices die in gebruik zijn, root of niet. Wil je dat uitschakelen dan heb je nodig:

# enable foot shooting permission
sysctl kern.geom.debugflags=16

Daarmee kun je dus dingen doen die in feite verboden zijn, zoals schrijven naar GEOM devices die in gebruik zijn. Zoals naar de device van een gemounte UFS partitie. Dat is natuurlijk heel gevaarlijk en alleen bedoeld voor debug-doeleinden.

Dit heeft echter niets met su, sudo of root-rechten te maken. Ik mis dus de reden dat je denkt dat ZFSguru dingen uit BSD gestript zou hebben, want volgens mij klopt daar dus niets van. Ik heb er nog niets aan kunnen ontdekken en qua grootte van de system image die ZFSguru gebruikt komt dat ook overeen met een kale FreeBSD installatie ('base' en 'kernel' via sysinstall).

Daarnaast heb ik een aantal keer gehad dat de shutdown vanuit de weboppervlakte van ZFSGuru goed werkt, maar de cli shutdown eindigde in de melding ' press any key to reboot' (ik had toch een shutdown gekozen ) maar een bak die totaal niet reageerde.

Dat laatste gebeurt als je geen ACPI-kernel draait. Kan dat kloppen? Gebruikte je het shutdown -p now commando?

Een onhandigheid als het niet toe kunnen voegen van een smbshare vanuit de ZFSGuru web oppervlakte neem ik voor lief.

Dat kan toch via de Files pagina of via Services->Samba?

Als je sowieso dingen als 'create mask' en 'directory mask' wilt zetten zul je de hand aan /usr/local/etc/smb.conf moeten slaan en dan voeg je net zo snel een extra share toe. Dit zal ongetwijfeld te maken hebben met het 'in ontwikkeling zijn' van ZFSGuru. De eerste indruk was goed, maar ietwat ruw aan de randjes zullen we maar zeggen.

Dat ZFSguru ruwe randjes heeft en niet uitontwikkeld is klopt helemaal, maar het is dan ook gericht op mensen die kennis maken met ZFS en BSD en binnen korte tijd iets werkends willen hebben zonder BSD/UNIX te hoeven leren te kennen, of in elk geval niet in één keer. Zelf vind ik dat ook de kracht van ZFSguru; je begint met iets wat werkt en wil je speciale dingen dan kun je altijd zelf nog de BSD/UNIX methode doen en zonder beperkingen terugvallen op het onderliggende FreeBSD besturingssysteem.

Maar ik geef je helemaal gelijk dat ZFSguru zijn beperkingen heeft; maar het is nog maar een jong project. Het leuke wat ik ervan vind is dat het nog steeds 100% puur FreeBSD is en je dus alles kunt wat BSD kan, terwijl er daarnaast een heel gebruiksvriendelijke web-interface overheen ligt die ook mensen die BSD en UNIX heel eng vinden prima kan bedienen. Uiteraard door de jonge leeftijd nog wel ten koste van specifieke features, maar de basis is zeker gedekt.

[raymonvdm]

Ik ben vandaag weer even verder gegaan met mn Freenas installatie maar loop tegen het volgende probleem aan nadat ik van Freenas 8.0 naar Freenas 8.0.1-RC1 heb geupdate. Ik gebruik VMware ESXi en de 6 x 2TB disken zijn als RDM devices doorgegeven aan FreeNAS. De device zitten fysiek op een MPT controller (4 stuks) en 2 stuks onboard.

Ik heb sinds kort genoeg kabels om ze alle 6 op de MPT controller te doen maar ik durf nu even niks meer totdat ik weet hoe ik de pool weer online krijg

code:

[root@freenas] ~# zpool status tank
  pool: tank
 state: DEGRADED
status: One or more devices could not be opened.  Sufficient replicas exist for
        the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
   see: http://www.sun.com/msg/ZFS-8000-2Q
 scrub: none requested
config:

        NAME                      STATE     READ WRITE CKSUM
        tank                      DEGRADED     0     0     0
          raidz2                  DEGRADED     0     0     0
            da4p2                 ONLINE       0     0     0
            da3p2                 ONLINE       0     0     0
            da2p2                 ONLINE       0     0     0
            da1p2                 ONLINE       0     0     0
            1014361226677935353   UNAVAIL      0     0     0  was /dev/gpt/da5
            15916988661978137326  UNAVAIL      0     0     0  was /dev/gpt/da6

errors: No known data errors

[FireDrunk]

Relabelen?

[sloth]

OpenIndiana is aan een nieuwe versie toe:

quote: http://wiki.openindiana.org/oi/oi_151a+Release+Notes

OpenIndiana oi_151a was released on 14th September 2011, exactly one year after our first release, oi_147! Our latest build brings a wide variety of enhancements, including being our first build based on Illumos.

Blijkbaar is de core nu Illumos, wat dan blijkbaar weer een fork van OpenSolaris is.

Dit klinkt voor mij allemaal tamelijk exotisch, kan iemand hier wat meer toelichting over geven? Het boezemt me niet al te veel vertrouwen in een NAS op basis van, wat een lappendeken aan software lijkt te zijn, te bouwen.

[icyx]

sloth schreef op zaterdag 17 september 2011 @ 10:20:
OpenIndiana is aan een nieuwe versie toe:

Blijkbaar is de core nu Illumos, wat dan blijkbaar weer een fork van OpenSolaris is.

Dit klinkt voor mij allemaal tamelijk exotisch, kan iemand hier wat meer toelichting over geven? Het boezemt me niet al te veel vertrouwen in een NAS op basis van, wat een lappendeken aan software, lijkt te zijn te bouwen.

Je hoeft je geen zorgen over te maken hoor. Illumos is in principe gewoon de door ontwikkeling van opensolaris. Distributies als nexenta en openindiana gebruiken dat gewoon als basis, en bouwe ner een complete distro omheen. Zie illumos als kernel.org voor linux, en openindiana/joyent/etc als de rest.

zie hier voor meer informatie

[Verwijderd]

@CiPHER

Je bent wel erg snel en goed met het zeggen van: BSD dit en Solaris niet, ik snap niet zo goed waarom maar nogmaals je kan de bshift gewoon aanpassen bij ZFS _voordat_ je de pool maakt. De reden hiervoor is is omdat er geen manier is om drives te vragen: wat is je sector size?

Dus nogmaals het probleem dat je beweert dat Solaris heeft is (weer) niet zo.

[CurlyMo]

Verwijderd schreef op zaterdag 17 september 2011 @ 11:40:
@CiPHER

Je bent wel erg snel en goed met het zeggen van: BSD dit en Solaris niet, ik snap niet zo goed waarom maar nogmaals je kan de bshift gewoon aanpassen bij ZFS _voordat_ je de pool maakt. De reden hiervoor is is omdat er geen manier is om drives te vragen: wat is je sector size?

Dus nogmaals het probleem dat je beweert dat Solaris heeft is (weer) niet zo.

Ik draai nu zelf ook met een andere bshift in Solaris maar wel via de op internet te vinden zpool binary (hack). Het lijkt me een goed idee dat wanneer je aangeeft dat CiPHER het verkeerd heeft je tegelijk aangeeft hoe het dan wel zit en moet. Ik weet namelijk ook niet hoe je de bshift op een gangbare manier moet toepassen in Solaris.

[Verwijderd]

We hebben het over ashift, toch? Die kun je niet direct instellen, althans voor zover ik weet dat heb ik nog nergens gelezen. Als je zou kunnen doen dan geef ik je groot gelijk gila, maar dit kan dus niet:
zpool create -o ashift=12 tank /dev/ada4

De reden hiervoor is is omdat er geen manier is om drives te vragen: wat is je sector size?

Natuurlijk wel! Onder FreeBSD is de sectorsize dynamisch onder GEOM. Zo kun je doen:

code:

diskinfo -v /dev/ada4
    512             # sectorsize
gnop create -S 4096 /dev/ada4
diskinfo -v /dev/ada4.nop
    4096        # sectorsize

Het punt is dat ashift=9 hardcoded is onder Solaris platform, terwijl FreeBSD hier echte detectie voor heeft ingebouwd. Als je een disk met 4KiB sectorsize aansluit en daar je pool op maakt, wordt de ashift automatisch 12 (=4KiB). Dat is de hele clue achter de 'GNOP optimization for 4K disk' methode onder FreeBSD.

Het is tevens de reden dat sommige mensen eerst FreeBSD gebruiken om de pool aan te maken zodat deze ashift=12 in de metadata krijgt, en dan terug naar Solaris platform te gaan. Dan heb je geen gevaarlijke gehackte binaries nodig die de hardcoded ashift=9 veranderen in ashift=12.

Gila, je had helemaal gelijk wat betreft het punt van flushes onder Solaris; maar als bovenstaande volgens jou niet klopt ben ik heel benieuwd naar jouw versie van het verhaal.

Edit: Beetje gegoogled en dan kom ik tegen:

So, how to increase this "ashift" value? As far as I know, there is no way to increase it without recreating the pool. Because if it was possible, existing blocks would need to be re-aligned and understandably this would be quite hard to do on a live zpool!

Fair enough, so, how to specify this "ashift" value at pool creation time? Well, in stock Solaris 10 there is no way to do that. The "ashift" value is not among the configuration parameters supplied by zpool to the ZFS_IOC_POOL_CREATE ioctl. It is currently left to the kernel to derive a proper value (from the hardware) for "ashift". In normal circumstances, this is probably the correct way to do it, in our case however, we want control over this value.

So we need to compile our own version of zpool, where we add this configuration parameter. (..) Please forgive me that I actually hardcoded a value of "12", but this is currently only meant as a proof-of-concept anyway.

http://www.solarismen.de/...e.g.-WDxxEARS-Part-2.html
http://mail.opensolaris.o...cuss/2011-May/003051.html

[ Voor 29% gewijzigd door Verwijderd op 17-09-2011 12:35 ]

[Pantagruel]

Verwijderd schreef op zaterdag 17 september 2011 @ 12:21:
..snipzz..

Dat is de hele clue achter de 'GNOP optimization for 4K disk' methode onder FreeBSD.

..snipzz..

Gisteren 2x 2TB EARS (de 'beruchte' 4k sector disks) bijgekocht om op 't magische getal van 10 disks in totaal te komen.

De harde waren in gebruik (table top test opstelling)

SuperMicro X9SCM-F
Xeon E3-1230
4x4GB Kingston ECC UDIMM
Areca ARC-1221x
1x 36 GB WD Raptor tbv ZFSGuru 0.1.8
10x 2TB WD EARS
560W Chieftec PSU
Verdeling van disks:
- Areca ARC-1221x (8x 2TB EARS in pass-through mode, write-through caching)
- On-board SATA 2x 2TB EARS

De Areca heb ik ter test in pass-through in gebruik, het is min of meer toch zonde om een echte hardware RAID controller op deze manier te gebruiken. Binnenkort zal de ARC-1221x plaats maken voor een IBM M1015 (=LSI 9240 8i zonder R5/R50 ondersteuning) welke in IT mode gaat draaien.

Array data vlgs ZFSGuru:



Benchmark run van de array, bij de keuze voor 'default' bij 'sector size override':



Benchmark run van de array, bij de keuze voor '4K' bij 'sector size override':



In ieder geval is te zien dat een geforceerde 4K sector size override betere benchmark resultaten laat zien dan de auto optie. Nu is de interne benchmark routine wellicht niet de beste marker om op af te gaan maar wel een makkelijke om even te doen.

[zzattack]

De ene keer is het MB, danweer MiB in die benchmark. Welke is het?

[Verwijderd]

Allebei, toch? Het is misschien wat verwarrend, maar MB/s is 1000*1000 terwijl MiB/s 1024*1024 is, in feite hetzelfde getal dus.

Wel mooie scores; tegen de 500MB/s write en 670MB/s read vind ik niet slecht.

[zzattack]

Oh natuurlijk, wat stom. Ik gooi het maar op de late avond.
Zeker mooie performance dan! Ik heb hier een pc met 10 vergelijkbare 2TB disks en haal nog geen 10% van dat. Iets is hier dus chronisch mis, ik ga de pool z.s.m. opnieuw aanmaken.

Also: waarom is zijn RocketRAID kaarten niet populair voor ZFS? De 2340 is een erg goedkope 16 poorts die gemakkelijk als HBA gebruikt kan worden.

[Verwijderd]

Volgens mij maakt Highpoint geen HBA's maar alleen RAID controllers. Dat is voor ZFS niet zo'n heel goede keuze, omdat je bij bad sectors nog steeds uitvallende schijven kunt krijgen. Dat heb ik ook zelf ondervonden met mijn Areca. Voor ZFS wil je dus een échte HBA hebben, zoals de LSI SAS kaarten en natuurlijk je onboard chipset poorten.

Toch is er niet zoveel keus als je een HBA wilt hebben; AHCI HBA is vrijwel afwezig afgezien van Silicon Image en Marvell die beide forse nadelen kennen. De LSI 6Gbps HBA's zijn dan nog de beste keuze. Die zijn beschikbaar in vele smaken en merken zoals LSI, Intel, IBM en SuperMicro. Let daarbij wel op dat je een variant wilt hebben die in IT-mode kan werken; sommigen willen alleen in IR-mode werken en dat gaat zeker voor BSD problemen geven of helemaal niet werken, meen ik.

En inderdaad, als je met 10x 2TB nog geen 70MB/s haalt dan is er iets goed mis.

[Pantagruel]

zzattack schreef op zondag 18 september 2011 @ 23:25:
De ene keer is het MB, danweer MiB in die benchmark. Welke is het?

Verwijderd schreef op zondag 18 september 2011 @ 23:42:
Allebei, toch? Het is misschien wat verwarrend, maar MB/s is 1000*1000 terwijl MiB/s 1024*1024 is, in feite hetzelfde getal dus.

Wel mooie scores; tegen de 500MB/s write en 670MB/s read vind ik niet slecht.

Inderdaad, de bench laat beide waardes zien, MB zoals de harddisk producenten je voorschotelen en in MiB wat je post formateren er van over houdt .

Ik ga absoluut niet zeuren want dit zou min of meer betekenen dat ik 4x een Gbit aansluiting moet gaan trunken om de array te gaan laten zweten.

[Pantagruel]

Verwijderd schreef op maandag 19 september 2011 @ 00:08:
Volgens mij maakt Highpoint geen HBA's maar alleen RAID controllers. Dat is voor ZFS niet zo'n heel goede keuze, omdat je bij bad sectors nog steeds uitvallende schijven kunt krijgen. Dat heb ik ook zelf ondervonden met mijn Areca.

Had je de problemen met de Areca in pass-through mode?? of had je een jbod van single disks gemaakt en ze aan ZFS voorgeschoteld??

Voor ZFS wil je dus een échte HBA hebben, zoals de LSI SAS kaarten en natuurlijk je onboard chipset poorten.

Toch is er niet zoveel keus als je een HBA wilt hebben; AHCI HBA is vrijwel afwezig afgezien van Silicon Image en Marvell die beide forse nadelen kennen. De LSI 6Gbps HBA's zijn dan nog de beste keuze. Die zijn beschikbaar in vele smaken en merken zoals LSI, Intel, IBM en SuperMicro. Let daarbij wel op dat je een variant wilt hebben die in IT-mode kan werken; sommigen willen alleen in IR-mode werken en dat gaat zeker voor BSD problemen geven of helemaal niet werken, meen ik.

En inderdaad, als je met 10x 2TB nog geen 70MB/s haalt dan is er iets goed mis.

Met behulp van 't servethehome forum kun je redelijker wijs uitvinden welke rebranded controllers met welke LSI controllers overeenkomen. Dit maakt de wilde gok iets kleiner, maar als je rebranded niet naar IT mode is te flashen dan heb je pech en kun je alsnog in de buidel tasten voor een echte LSI HBA (en de onwillige 'kopie' op ebay of V&A zetten en de schade beperken).

Auw, inderdaad niet echt snel.

[zzattack]

Gezien ik de pool opnieuw ga maken wil ik het nu wel goed doen.
Het wordt FreeBSD 8.2, ZFS v28.

code:

#gpart show da0
=>        34  3907029101  da0  GPT  (1.8T)
          34        2014       - free -  (1M)
        2048  3906822320    1  freebsd-zfs  (1.8T)
  3906824368      204767       - free -  (100M)

M'n disks zijn allemaal Hitachi's met echte 512b sectors. Ik heb nu telkens daXp1 is hier aan een vdev gekoppeld. Deze alignment zou performance ten goede komen. Anderzijds lees ik ook dat ZFS het beste met gehele disks om zou gaan. Weet iemand het zeker?

Op de HighPoint staan de disks in 'legacy mode'. Dat is wat anders dan een single-disk JBOD in dat het de schijven direct aan het OS geeft. Ofzo.

code:

# dmesg | grep SCSI
da0: <HPT DISK 0_0 4.00> Fixed Direct Access SCSI-0 device
...

Ziet er volgens mij goed uit, maar ik kan het mishebben. In ieder geval zijn de disks er nog nooit uitgeschopt. Die highpoint kaart heeft een Marvell chip die fakeRAID doet. Volgens mij is het dus gewoon een simpele AHCI controller.

[ Voor 6% gewijzigd door zzattack op 19-09-2011 00:54 ]

[Pantagruel]

zzattack schreef op maandag 19 september 2011 @ 00:41:
Gezien ik de pool opnieuw ga maken wil ik het nu wel goed doen.
Het wordt FreeBSD 8.2, ZFS v28.

code:

#gpart show da0
=>        34  3907029101  da0  GPT  (1.8T)
          34        2014       - free -  (1M)
        2048  3906822320    1  freebsd-zfs  (1.8T)
  3906824368      204767       - free -  (100M)

M'n disks zijn allemaal Hitachi's met echte 512b sectors. Ik heb nu telkens daXp1 is hier aan een vdev gekoppeld. Deze alignment zou performance ten goede komen. Anderzijds lees ik ook dat ZFS het beste met gehele disks om zou gaan. Weet iemand het zeker?

Op de HighPoint staan de disks in 'legacy mode'. Dat is wat anders dan een single-disk JBOD in dat het de schijven direct aan het OS geeft. Ofzo.

code:

# dmesg | grep SCSI
da0: <HPT DISK 0_0 4.00> Fixed Direct Access SCSI-0 device
...

Ziet er volgens mij goed uit, maar ik kan het mishebben. In ieder geval zijn de disks er nog nooit uitgeschopt. Die highpoint kaart heeft een Marvell chip die fakeRAID doet. Volgens mij is het dus gewoon een simpele AHCI controller.

De Highpoint 2340 heeft een Marvell 88SX6081 onder de kap welke het onder FreeBSD en Solaris zou moeten doen (de AOC-SAT2-MV8 idem). Als je echter wat gaat zoeken dan kom je allerlei verhalen tegen, van succes maar ook verontrustende meldingen dat de HP2340 breekt onder de last van een ZFS scrub.

Mocht je dan toch ca €400,- uitgeven (of je moet de HP2340 gebruikt scoren) kun je wellicht beter voor de LSI 9201-16i gaan. Die LSI is nieuw net zo duur en doet het onder FreeBSD en Solaris

[raymonvdm]

Ik ben weer een stukje verder maar volgens mij nog niet helemaal op orde

code:

[root@freenas] /var/log# zpool status tank
  pool: tank
 state: DEGRADED
 scrub: none requested
config:

    NAME                        STATE     READ WRITE CKSUM
    tank                        DEGRADED     0     0     0
      raidz2                    DEGRADED     0     0     0
        da4p2                   ONLINE       0     0     0
        da3p2                   ONLINE       0     0     0
        da2p2                   ONLINE       0     0     0
        da1p2                   ONLINE       0     0     0
        replacing               DEGRADED     0     0     0
          1014361226677935353   UNAVAIL      0     0     0  was /dev/gpt/da5
          da5                   ONLINE       0     0     0
        replacing               DEGRADED     0     0     0
          15916988661978137326  UNAVAIL      0     0     0  was /dev/gpt/da6
          da6                   ONLINE       0     0     0

errors: No known data errors
[root@freenas] /var/log# zpool replace tank 1014361226677935353 da5
invalid vdev specification
use '-f' to override the following errors:
/dev/da5 is part of active pool 'tank'

Ik heb dit probleem volgens mij sinds mn FreeNAS VM gereboot is. Dit probleem komt een keer in de zoveel tijd naar voren maar was niet handig tijdens een replace volgens mij. Want aan de CPU load te zien wordt er nu niet meer gereplaced


Ik wil nog steeds een keer een ander systeem bouwen op ESXi basis met een Intel i5 of juist een Xeon als het maar werkt met VT-D. Ik dacht voor de i5 te gaan maar ik zie hier nu ook mensen die een SuperMicro hebben met het grote voordeel dat deze IP-KVM heeft.

[ Voor 8% gewijzigd door raymonvdm op 19-09-2011 17:04 ]

[Pantagruel]

Prut, gedonder in de glazen

Klaarblijkelijk is de Areca ARC-1221x niet zo erg blij met 8x een 2 TB EARS in pass-through mode.



Een handje vol read en write errors stak de kop op na een kopieer actie ca. 300 GB richting de NAS.
Mbt de data is er niets aan de hand, voorlopig is slechts een test.

Ik ben wel benieuwd of dit soort gezeur verdwijnt zodra ik de IBM ServeRAID M1015 in IT mode heb en de array laat doen. De Areca is zo te zien te 'edel' om als domme HBA te gebruiken.

Een 'zpool clear Vault' gaf slechts 76k aan 'resilvered' data.



In de tussentijd de array maar eens wat meer 'stressen' en wat data om de oren gooien, zien wat er dan uit komt rollen.

De firmware van de ARC-1221x is trouwens v 1.47 en zou een fix moeten bevatten voor ZFS en JBOD/pass-through mode.

..
2009-6-2
1 Fix Opensolaris+ZFS to add device to mirror set in JBOD or passthrough mode
2 ARC1680 BIOS:add 3 minutes timeout
..

Update-tje 00:14

ARGGHHHH

Zit ik net mijn eigen eerdere post te bekijken, zie ik dat de data van nu geen 'gnopped' drives zijn.

Output van:

diskinfo -v /dev/ada[12]

/dev/ada[1/2]

512 # sectorsize
2000398934016 # mediasize in bytes (1.8T)
3907029168 # mediasize in sectors
4096 # stripesize
0 # stripeoffset
3876021 # Cylinders according to firmware.
16# Heads according to firmware.
63 # Sectors according to firmware.
WD-WCAZA4302486 # Disk ident.

diskinfo -v /dev/da[01234567]

/dev/da[0 t/m7]
512 # sectorsize
2000398934016 # mediasize in bytes (1.8T)
3907029168 # mediasize in sectors
0 # stripesize
0 # stripeoffset
243201 # Cylinders according to firmware.
255 # Heads according to firmware.
63 # Sectors according to firmware.
WD-WCAZA5515171 # Disk ident.

Klaarblijkelijk is het dus niet goed gegaan en is de ZFS pool terug gezet naar de 512 Byte instellingen van de eerste aanmaak van de pool. De switch naar de 4k sector override heb ik na de benchmark run gedaan door de pool eruit te mikken en opnieuw aan te maken, klaarblijkelijk werkt dat dus niet op die manier.
Morgen de pool eens echt om zeep helpen (destroy pool) en dan t riedeltje van voren af aan beginnen, ach zo testen we wat af

[ Voor 64% gewijzigd door Pantagruel op 20-09-2011 00:20 . Reden: Update ]

[Sneezydevil]

De gnop's verdwijnen volgens mij na een reboot. Je moet dus even naar de ashift van je pool kijken, die moet 12 zijn.

Het werkt ongeveer als volgt, de ashift van de pool wordt bepaald bij de "create", als je dus zorgt dat op dat moment 1 van je drives gezien wordt als 4k drive (een .gnop met een sector size van 4k op 1 van de drives), zal deze aangemaakt worden met een ashift van 12 ipv 9.

Zodra je reboot verdwijnt dan die .gnop, maar de ashift zou 12 moeten blijven.

[jeanj]

Ik heb nu een Freenas 8 ZFS Z2 systeemgebouw (onder ESXi). Ik ben net bezig hem te vullen maar voerweeg toch over te stappeen op een andere software ivm de andere featrues die bij OpenIndiana/Napp-it worden geboden.

Kan ik nu gemakkelijk switchen naar OpenIndiana/Napp-it zonder data verlies? En weer terug.

Hoe ga je naar versie 28 van ZFS als ik eenmaal onder OpenIndiana/Napp-it draai?

@hyperbart, yup

[ Voor 2% gewijzigd door jeanj op 20-09-2011 16:27 . Reden: snel typen is een vak.... ]

[HyperBart]

jeanj schreef op dinsdag 20 september 2011 @ 14:18:
Ik heb nu een Freenas 8 ZFS Z2 systeemgebouw (onder ESXi). Ik ben net bezig hem te vullen maar voerweeg toch over te stappeen op een andere software ivm de andere featrues die bij OpenIndiana/Napp-it worden geboden.

Even senl geytpt?

Volgens mij kan je zonder problemen overstappen zonder data-verlies... Terug is iets anders...

[Verwijderd]

Pantagruel schreef op maandag 19 september 2011 @ 00:23:
Had je de problemen met de Areca in pass-through mode?? of had je een jbod van single disks gemaakt en ze aan ZFS voorgeschoteld??

Ik heb single-disk arrays gemaakt, passthrough disks en de hele controller in JBOD mode gezet, maar bij de oude disks die ik toen gebruikte waren wel eens wat bad sectors en dat veroorzaakt dan lange timeouts waardoor meerdere disks compleet verdwijnen. Dat probleem heb ik nu niet meer met LSI controllers en mijn Areca gebruik ik nu niet meer.

Je kunt kijken of je hem met V&A weg kunt doen; Areca blijft een mooie controller vooral voor Windows gebruikers, maar voor ZFS is het niet erg geschikt. Overigens komen de disks altijd weer terug na een reboot; het is niet dat je pool er kapot door kan gaan. Maar irritant is het natuurlijk wel.

zzattack schreef op maandag 19 september 2011 @ 00:41:
Op de HighPoint staan de disks in 'legacy mode'. Dat is wat anders dan een single-disk JBOD in dat het de schijven direct aan het OS geeft. Ofzo.

Dat kunnen Highpoints niet. En als dat zo zou zijn zou je geen HPT disk zien maar de naam van de disk. Er zit een emulatielaag tussen met de firmware van Highpoint. Helaas dus, maar geen echte HBA.

Ziet er volgens mij goed uit, maar ik kan het mishebben. In ieder geval zijn de disks er nog nooit uitgeschopt. Die highpoint kaart heeft een Marvell chip die fakeRAID doet. Volgens mij is het dus gewoon een simpele AHCI controller.

Marvell wel inderdaad, maar daar achter zit nog een SoC van Highpoint met firmware en dat maakt het een RAID controller ipv AHCI HBA. Daarom zijn je disks ook /dev/da (SCSI) ipv /dev/ada (AHCI).

Pantagruel schreef op maandag 19 september 2011 @ 15:54:
De Highpoint 2340 heeft een Marvell 88SX6081 onder de kap welke het onder FreeBSD en Solaris zou moeten doen (de AOC-SAT2-MV8 idem).

Die Marvell chip krijgt je besturingssysteem niet te zien. Overigens maar goed ook want FreeBSD in elk geval heeft nogal wat probleempjes met de controllers van Marvell. Misschien dat ze nu al beter werken maar mijn Marvell PCIe AHCI controllers waren anderhalf jaar geleden onbruikbaar onder BSD.

Pantagruel schreef op maandag 19 september 2011 @ 22:31:
Een handje vol read en write errors stak de kop op na een kopieer actie ca. 300 GB richting de NAS.
Mbt de data is er niets aan de hand, voorlopig is slechts een test.

Kan simpelweg komen door hoge timeouts; maar opzich niet zo'n goed teken nee.

Zit ik net mijn eigen eerdere post te bekijken, zie ik dat de data van nu geen 'gnopped' drives zijn.

Zoals uitgelegd hoort dat ook zo. Overigens geeft de nieuwste beta van ZFSguru nu een melding of je pool nu geoptimaliseerd is voor 512-byte or 4K sector schijven. Zo kun je dus direct zien welke optimalisatie je pool nu werkelijk heeft.

[Pantagruel]

Verwijderd schreef op dinsdag 20 september 2011 @ 15:14:
[...]

Ik heb single-disk arrays gemaakt, passthrough disks en de hele controller in JBOD mode gezet, maar bij de oude disks die ik toen gebruikte waren wel eens wat bad sectors en dat veroorzaakt dan lange timeouts waardoor meerdere disks compleet verdwijnen. Dat probleem heb ik nu niet meer met LSI controllers en mijn Areca gebruik ik nu niet meer.

Je kunt kijken of je hem met V&A weg kunt doen; Areca blijft een mooie controller vooral voor Windows gebruikers, maar voor ZFS is het niet erg geschikt. Overigens komen de disks altijd weer terug na een reboot; het is niet dat je pool er kapot door kan gaan. Maar irritant is het natuurlijk wel.

[...]

Kan simpelweg komen door hoge timeouts; maar opzich niet zo'n goed teken nee.

[...]

Zoals uitgelegd hoort dat ook zo. Overigens geeft de nieuwste beta van ZFSguru nu een melding of je pool nu geoptimaliseerd is voor 512-byte or 4K sector schijven. Zo kun je dus direct zien welke optimalisatie je pool nu werkelijk heeft.

Aha, de disks die er nu aan hangen zijn kakel vers en vrij van rotte plekken, dus dat is t hopelijk niet.
Maar ik denk wel dat ik heb uitgevonden wat t probleem zou kunnen veroorzaken. Ik heb in t BIOS van de Areca opgegeven dat de disks na X minuten van inactiviteit down-spinnen en dat een evt. opspinnen staggered plaatsvindt. Ik merkte zojuist dat de disks netjes waren stil gaan staan en dat de Areca ze 1 voor 1 opspinde. Dit duurde bij elkaar zo'n ca. 20 seconden en hield de kopieer actie dus eventjes op. Een 'zpool status Vault' liet meteen write errors zien. De volgende reboot even veranderen.

Ik heb de pool trouwens opnieuw aangemaakt, als ik de .nop's controleer is de sector size netjes 4k, na een reboot zijn de .nop's verdwenen, maar als dan echter de schijf direct afvraag mb diskinfo meldt deze weer fijntjes dat de sector size 512 is .Eens zien wat een upgrade naar de 1.1.9.beta3 kan betekenen, er is toch niets verloren.

Inderdaad lichtelijk jammer van de Areca, maar dan kan die evt. als hardware RAID6 zijn dienst doen in een andere bak of richting v&a gaan. In de tussentijd wacht ik op de komst van de M1015 controller zodat ZFS zijn magie kan doen zonder een RAID chip die hem in de wielen rijdt.

[Verwijderd]

Voor Windows + RAID6 is die Areca inderdaad nog zeker bruikbaar; het blijft een mooie RAID controller. Het punt is dat met ZFS het RAID-tijdperk een beetje minder rooskleurig is; we hebben nu iets beters! Maar het blijft een hele mooie en nuttige controller voor het Windows platform. Dus als je er een mooie prijs met V&A voor kan krijgen zou ik dat doen; genoeg mensen die graag een controller voor hun Windows bak willen hebben en Areca is nu eenmaal de 'beste' controller voor dat platform.

na een reboot zijn de .nop's verdwenen, maar als dan echter de schijf direct afvraag mb diskinfo meldt deze weer fijntjes dat de sector size 512 is

Dat hoort dus ook zo. Het punt is dat na een reboot de pool nog steeds ashift=12 moet zijn; dat is het nut van die .nop providers. Helaas wat verwarrend, maar de nieuwste beta geeft nu aan voor welke sectorsize een pool is geoptimaliseerd, en dat is zeker een stuk duidelijker.

[zzattack]

Verwijderd schreef op dinsdag 20 september 2011 @ 15:14:
Dat kunnen Highpoints niet. En als dat zo zou zijn zou je geen HPT disk zien maar de naam van de disk. Er zit een emulatielaag tussen met de firmware van Highpoint. Helaas dus, maar geen echte HBA.
[...]
Marvell wel inderdaad, maar daar achter zit nog een SoC van Highpoint met firmware en dat maakt het een RAID controller ipv AHCI HBA. Daarom zijn je disks ook /dev/da (SCSI) ipv /dev/ada (AHCI).

Thanks, dat is nuttige info. Zou het kunnen dat de Highpoint mijn pool's performance drastisch verpest? Ik moet toch maar eens op zoek naar echte HBA's.

[Verwijderd]

Hm qua performance schat ik dat het niet zoveel uitmaakt. Maar ik heb zelf geen ervaring met Highpoint. Toch is een 'echte HBA' wel het beste voor ZFS. Maar zoveel keus heb je niet, helaas. LSI is eigenlijk de enige echte keus. En de oude 3Gbps LSI kaarten hebben dan weer de beperking van 2TB schijven, dus het is een beetje afwegen tussen allerlei nadelen en beperkingen. Maar de LSI 6Gbps kaarten zijn opzich wel aardig, alleen is de driversupport geloof ik nog niet optimaal. Dat zou je nog ergens kunnen navragen.

Ik gebruik zelf dus de 3Gbps LSI kaarten en eigenlijk helemaal geen problemen mee, ook niet met disks met rare timeouts en bad sectors, dus dat is precies wat je wilt.

[zzattack]

Aha. Ik kijk even hoe m'n pool het doet zodra m'n data gemigreerd en weer terug is. Mocht het waardeloos blijven dan koop ik 1x de 3Gbps variant, en 1x de 6Gbps variant. De 6Gbps krijgt dan de snelle SSD's eraan gehangen. Dat verantwoordt het ook weer hè

http://forums.servethehom...r-HBA-Equivalency-Mapping

[ Voor 48% gewijzigd door zzattack op 20-09-2011 22:49 ]