Het grote ZFS topic

[Xudonax]

Ik blijf dit houden met ZFS on Linux...

Als ik een grote hoeveelheid data verwijder (met rm) dan word de ruimte niet direct vrijgegeven in zfs list. Wat is hier de oorzaak van? Vaak word deze ruimte pas vrijgegeven zodra ik het filesystem opnieuw mount, maar dit betekent 9 v.d. 10 keer dat ik het systeem moet herstarten. Dat kan toch niet de bedoeling zijn?

Met "grote hoeveelheid data" bedoel ik bestanden van 50GB (BluRay rips) en groter. Dit zijn vaak de eerste slachtoffers als ik weinig ruimte begin te krijgen op mijn pool. Mijn pool is ~4TB groot, en hiervan is nog 350GB vrij. Of lees ik de onderstaande output van zfs list verkeerd?

code:

$ sudo zfs list tank
NAME   USED  AVAIL  REFER  MOUNTPOINT
tank  3,22T   350G  1,83T  /tank

EDIT: Ik had dus nog 350GB vrij voor ik data ging verwijderen, en nadat ik mijn map met BluRay rips had verwijderd (grofweg 360GB) was er nog steeds slechts 350GB vrij.

[ Voor 9% gewijzigd door Xudonax op 30-10-2013 00:50 ]

[tvwes]

@Xudonax Je leest het goed, je hebt nog 350Gb vrij. Lijkt mij een implementatie probleem. Onder Illumos en Solaris zie ik dit gedrag niet, iets verwijderen zie je direct terug met zfs list.

In het algemeen is space accounting in ZFS best complex. De som van de filesizes is altijd minder dan de inbeslag genomen ruimte op disk (zonder compressie). Het advies om zoveel procent vrij te laten in je pool is mede hierdoor ingegeven.

[Mystic Spirit]

FireDrunk schreef op dinsdag 29 oktober 2013 @ 23:00:
Ik ben ook een beetje bezig:

Geen idee of dit precies klopt.

[afbeelding]

Je gaat in ieder geval een stuk inzichtelijker te werk dan ik Ik ging iets grover te werk, maar denk dat jij een betere weergave hebt van het verlies. Ik heb geen rekening gehouden met een vermenigvuldiging van het verlies met het aantal disks.

Ik vraag me wel af hoe je in jouw berekening tot het verlies van het aantal sectoren per disk komt. Volgens mij verlies je namelijk nooit exact hele sectoren en zeker niet in even aantallen, want dan zou je ze nog een keer kunnen gebruiken toch?

[ Voor 21% gewijzigd door Mystic Spirit op 30-10-2013 01:49 ]

[tvwes]

Vooral al diegenen die lekker hun pool capaciteit en efficiency zitten te modelleren het volgende: stop daarmee en doe eerst wat testen en dan op basis van die metingen ga je pas modelleren.

IOPS en MTTDL kan je wel prima modelleren en is al door veel gedaan.

Waarrom, al deze modellen missen dat ZFS werkt met variable record lengtes en dus niet alleen maar die immer gebruikte fixed 128K.
Is er niets aan de hand? Nee oa de overgang naar native 4K of het gebruik van forced ashift=12 kan leiden tot meer inefficientie en daardoor verlies aan capaciteit.

Er is geen unieke magische pool configuratie die alle workloads het snelste, meest betrouwbare, goedkoopste en meeste opslagruimte garandeerd. Je zult altijd afwegingen moeten maken. Je bluray collectie is niet hetzelfde als je esx datastores en is niet hetzelfde als een mailstore of wat dan ook.
Probeer je data te verdelen in profielen en hang aan eerder genoemde vier criteria gewichten. Heel veel ruimte tegen de laagste prijs gaat ten koste van betrouwbaarheid en snelheid.(Bijvoorbeeld 8 desktop drives in raidz1) Snel en betrouwbaar is duur en heeft een beperkte opslag capaciteit (Bijvoorbeeld SSD mirrors)
Als je eenmaal je data in kaart hebt gebracht richt je een test systeem/vm in, kan al met een enkele disk.
Maak nu een test zpool aan in de gewenste configuratie met ipv echte drives files. Zo'n filebacked zpool heeft (vermoedelijk) beroerde prestaties maar dat maakt niet uit. Je wilt graag weten hoe efficient jouw data wordt opgeslagen op een bepaalde zpool configuratie met een bepaalde compressie of dedup. Je kan nu ook het verschil zien tussen 4K en 512b sectoren. Alleen jij hebt jouw data en daarom moet je zelf testen. Moet alles in een enkele pool, dan kijk je naar de verdeling van je data. Zoveel procent bluray en zoveel foto's etc, allemaal naar je test pool kopieren en kijk maar hoe veel ruimte het kost.
Grote binaries worden zeker efficient opgeslagen, mailstores kunnen wel eens behoorlijk wat overhead kosten. In sommige gevallen is de meerprijs van 512b drives (vandaag bijna alleen nog maar enterprise) toch weer te rechtvaardigen omdat het minder drives kost dan 4K desktop drives.

Dit alles kost wat tijd maar je leert er ook een hoop van.

[Mystic Spirit]

Ik denk dat je gelijk hebt tvwes. Vanwege de variabele record lengte zullen we waarschijnlijk nooit exact op het goede getal komen, maar het zou toch wel mooi zijn als we tot een soort stelregel / richttabel kunnen komen. Misschien maakt zo'n tabel ZFS ook wat toegankelijker.

Ik ben een van die mensen die zich toch een beetje tegen laat houden door de onzekerheid over wat ik nou precies krijg als ik voor x of y kies (en daar toch ook een behoorlijk investering voor moet doen). Doordat het allemaal redelijk variabel is, worden mensen zoals ik toch een beetje tegengehouden om voor ZFS te kiezen. Meer duidelijkheid helpt mij in ieder geval om een keuze te maken. Wie weet helpt het anderen ook met een stukje inzicht en haalt het ze over de streep of juist niet....

[FireDrunk]

De variabele record size gebeurt alleen bij files kleiner dan 128K voor zover ik weet. Hier in thuissituaties hebben we het 99/100 keer over media pools waar >90% van de files groter is dan 100MB.

Dat maakt het verlies berekenen juist voor thuisgebruik zeer belangrijk.

Ik begrijp prima wat je wil zeggen tvwes, maar we zitten hier niet in een mixed load enterprise omgeving, en verschillende disk configuraties voor verschillende iops scenario's is hier al helemaal niet aan de orde.

[Xudonax]

Ik heb de shit wel opgedeeld, maar dat is origineel vanwege het feit dat mijn 2e pool zo goed als geen snelheid heeft Ik heb een grote pool (6x 1TB, RAIDZ2) voor alle media etc, en een kleine pool (2x 8GB, mirror) voor mijn persoonlijke GIT repo's en ander klein grut. Misschien dat ik die laatste pool eens moet upgraden naar een striped mirror, die GIT repo's zijn niet zo bijster interessant

[FireDrunk]

Waarom is dat een losse pool? Kan je toch ook in een los filesystem doen?

[]Byte[]

CiPHER....
Heb je er al eens aan gedacht om een dagje ZFS-workshop te geven?
Ik ben alvast je eerste kandidaat!
(en ik denk zomaar dat er hier meer zijn die er interesse in hebben...)

[FireDrunk]

offtopic:
CiPHER is een beetje mensenschuw

[Verwijderd]

Lijkt me wel leuk hoor. Misschien geen slecht idee. Zal het zeker in mijn achterhoofd houden.

[]Byte[]

FireDrunk schreef op woensdag 30 oktober 2013 @ 08:52:

offtopic:
CiPHER is een beetje mensenschuw

Daar help ik 'm dan wel ff vanaf.
Ik weet niet in welke regio van NL CiPHER zit, maar dat is voor mij kwestie van in de auto springen.
Begin maar vast te plannen!

[HyperBart]

Cheeeeck! Bedrijfswagen Belgie hiero

[tvwes]

@Mystic Spirit
Ik snap de wens maar snap je ook dat het heel moeilijk is om zinnige uitspraken te doen. Het enige waar je echt uitspraken over kan doen zijn ruwe iops en mttdl.
Het verbaast me telkens weer dat iedereen zit te focussen op deze zaken (capaciteit etc) en de onbetaalbare voordelen van ZFS niet meeneemt in de overwegingen. Worst case valt wel te becijferen maar dat schetst een te negatief beeld en dat wil je ook niet.
Ik zal eens kijken wat voor reallife data ik kan vinden voor wat houvast. In de tussentijd, maak even die vm installeer een OS met ZFS en maak dan een zpool met filebacked devices en overtuig jezelf. Je kan dan alles proberen raidz[123] met 2 tot 30 drives, 512 of 4K sector size, wel of geen dedup, een bepaalde compressie. Allemaal met je eigen data.

Ik denk wel dat het kan om redelijk betrouwbare uitspraken te doen over bepaalde profielen. Een bluray collectie, foto's, mp3's een software verzameling, grote source repo etc. Dat zijn te reproduceren redelijk algemene profielen. Ik denk dat je daar wel wat over kan zeggen. Ik eens naar kijken.

Als laatste, ZFS is niet gemaakt voor de thuisgebruiker. Het is voor de zakelijke BETALENDE markt gemaakt. Het is fantastisch dat het kostenloos beschikbaar is voor thuis, maar je moet er wel wat voor doen om het goed in te richten laat staan als je het onderste uit de kan wil halen. Een ieder die dat niet kan of wil doet er verstandig aan om een NAS met support in een fraaie behuizing te kopen of andere storage oplossing. Dit om teleurstelling alsmede onterechte kritiek op ZFS te voorkomen.

[EnerQi]

Als laatste, ZFS is niet gemaakt voor de thuisgebruiker. Het is voor de zakelijke BETALENDE markt gemaakt. Het is fantastisch dat het kostenloos beschikbaar is voor thuis, maar je moet er wel wat voor doen om het goed in te richten laat staan als je het onderste uit de kan wil halen

Als dit het doel is (vergedrukt) dan stop je er ook veel tijd in om dit uit te zoeken. Voor mij (casual zfs user), ben ik al lang blij dat ik 1 GB per sec kan lezen/schrijven ;-)

[]Byte[]

EnerQi schreef op woensdag 30 oktober 2013 @ 14:29:
[...]
Voor mij (casual zfs user), ben ik al lang blij dat ik 1 GB per sec kan lezen/schrijven ;-)

Er gaan dagen voorbij dat mijn QNAP's dit niet halen.... (ben al blij als ik de 95 MB/s haal....)

[tvwes]

@Firedrunk
De volgende post na jouw post is al van iemand die twee zpool's heeft. Dus zo vergegezocht is het niet... Ik ken best wat gebruikers die hun thuis ZFS nas hebben opgesplitst in meerdere zpools. Zelf heb ik thuis, via ahci en een lsi2008, een ssd mirror pool met extra slog en een twee data pools met 5200 toeren drives de ene met een enkele mirror vdev de andere met RAIDZ2. Waarom? Alles in een enkele zpool was onbetaalbaar, dan had ik alleen maar SSD's moeten nemen. Die extra kleine zpool is bulkstorage die permanent gebruikt wordt maar niet op de SSD's hoeft qua IOPS. De grote RAIDZ zpool is hoofdzakelijk voor multimedia etc. Omdat ik die zpool weinig gebruik werkt de power save / spindown op een goede manier. En niet dat de drives constant hun koppen parkeren of gaan slapen en een paar tellen later de zaak wakker maken. Wel veel getweaked aan de client kant. Soms makkelijk, simpelweg de client uitzetten. Soms moeilijk, de client moet dan echt getweaked worden om ongevraagde i/os te voorkomen.

Je kan met separate zpool's verschillende karakteristieken per zpool behalen die in een enkele zpool niet te halen zijn. Zeker voor de thuis gebruiker met een beperkt budget en beschikbaar aantal poorten is dit een manier om een optimale verdeling van prestaties, kosten en capaciteit te bereiken.
Als iemand 4K drives in een 4 of 6 poorts mobo prikt en daar een RAIDZ van maakt dan moet diegene niet verbaasd zijn dat die configuratie niet in alle gevallen goed presteerd of efficient met de ruimte omgaat.

Ik wil zeker niet de fanboy spelen, het enige wat ik wil voorkomen is onnodige teleurstellig en onterechte kritiek op ZFS omdat het onjuist of ondeskundig wordt gebruikt.

[tvwes]

@enerqi
Ik neem aan 1gigabit of heb je 10gbit of IB? (Dan ben je iets verder dan casual)
Of bedoel je lokaal op je ZFS machine? Dan zijn die snelheden ook thuis wel te halen.

[EnerQi]

tvwes schreef op woensdag 30 oktober 2013 @ 14:44:
@enerqi
Ik neem aan 1gigabit of heb je 10gbit of IB? (Dan ben je iets verder dan casual)
Of bedoel je lokaal op je ZFS machine? Dan zijn die snelheden ook thuis wel te halen.

Sorry Gb/s Gewoon gigabit netwerksnelheid. Hopen op hoger is natuurlijk altijd leuk maar dat gaat niet met cat5e

[FireDrunk]

tvwes schreef op woensdag 30 oktober 2013 @ 14:39:
@Firedrunk
De volgende post na jouw post is al van iemand die twee zpool's heeft. Dus zo vergegezocht is het niet... Ik ken best wat gebruikers die hun thuis ZFS nas hebben opgesplitst in meerdere zpools. Zelf heb ik thuis, via ahci en een lsi2008, een ssd mirror pool met extra slog en een twee data pools met 5200 toeren drives de ene met een enkele mirror vdev de andere met RAIDZ2. Waarom? Alles in een enkele zpool was onbetaalbaar, dan had ik alleen maar SSD's moeten nemen. Die extra kleine zpool is bulkstorage die permanent gebruikt wordt maar niet op de SSD's hoeft qua IOPS. De grote RAIDZ zpool is hoofdzakelijk voor multimedia etc. Omdat ik die zpool weinig gebruik werkt de power save / spindown op een goede manier. En niet dat de drives constant hun koppen parkeren of gaan slapen en een paar tellen later de zaak wakker maken. Wel veel getweaked aan de client kant. Soms makkelijk, simpelweg de client uitzetten. Soms moeilijk, de client moet dan echt getweaked worden om ongevraagde i/os te voorkomen.

Je kan met separate zpool's verschillende karakteristieken per zpool behalen die in een enkele zpool niet te halen zijn. Zeker voor de thuis gebruiker met een beperkt budget en beschikbaar aantal poorten is dit een manier om een optimale verdeling van prestaties, kosten en capaciteit te bereiken.
Als iemand 4K drives in een 4 of 6 poorts mobo prikt en daar een RAIDZ van maakt dan moet diegene niet verbaasd zijn dat die configuratie niet in alle gevallen goed presteerd of efficient met de ruimte omgaat.

Ik wil zeker niet de fanboy spelen, het enige wat ik wil voorkomen is onnodige teleurstellig en onterechte kritiek op ZFS omdat het onjuist of ondeskundig wordt gebruikt.

True, voor standby en spindown is meerdere zpools zeker een gunstige optie, maar in de post waar ik op reageerde had hij het over GIT repo's. Die hangen vanzelf in ARC (die paar MB) en kan je pool dus gewoon in spindown blijven totdat er iets wijzigt.

[Mystic Spirit]

tvwes schreef op woensdag 30 oktober 2013 @ 09:30:
@Mystic Spirit
Ik snap de wens maar snap je ook dat het heel moeilijk is om zinnige uitspraken te doen. Het enige waar je echt uitspraken over kan doen zijn ruwe iops en mttdl.
Het verbaast me telkens weer dat iedereen zit te focussen op deze zaken (capaciteit etc) en de onbetaalbare voordelen van ZFS niet meeneemt in de overwegingen. Worst case valt wel te becijferen maar dat schetst een te negatief beeld en dat wil je ook niet.
Ik zal eens kijken wat voor reallife data ik kan vinden voor wat houvast. In de tussentijd, maak even die vm installeer een OS met ZFS en maak dan een zpool met filebacked devices en overtuig jezelf. Je kan dan alles proberen raidz\[123] met 2 tot 30 drives, 512 of 4K sector size, wel of geen dedup, een bepaalde compressie. Allemaal met je eigen data.

Ik denk wel dat het kan om redelijk betrouwbare uitspraken te doen over bepaalde profielen. Een bluray collectie, foto's, mp3's een software verzameling, grote source repo etc. Dat zijn te reproduceren redelijk algemene profielen. Ik denk dat je daar wel wat over kan zeggen. Ik eens naar kijken.

Als laatste, ZFS is niet gemaakt voor de thuisgebruiker. Het is voor de zakelijke BETALENDE markt gemaakt. Het is fantastisch dat het kostenloos beschikbaar is voor thuis, maar je moet er wel wat voor doen om het goed in te richten laat staan als je het onderste uit de kan wil halen. Een ieder die dat niet kan of wil doet er verstandig aan om een NAS met support in een fraaie behuizing te kopen of andere storage oplossing. Dit om teleurstelling alsmede onterechte kritiek op ZFS te voorkomen.

Het doen van zinnige uitspraken over de capaciteit is inderdaad lastig heb ik de laatste paar dagen gemerkt "results may vary" zullen we maar zeggen. Het kan naar mijn idee wel zolang je daarbij bandbreedtes hanteerd. Het belangrijkste nadeel wat mij betreft is het verlies van capaciteit bij het gebruik van een "verkeerd" aantal disks. Dat is wat mij betreft geen nadeel van ZFS, maar gewoon iets wat je simpel kan voorkomen door als gebruiker de juiste config te kiezen.

Zoals ik al eerder aangaf maakt een paar procentjes mij niet zoveel uit. Maar het moment dat je bijvoorbeeld 30% capaciteitsverlies hebt. Dan wordt het wel erg onrendabel om een extra datadisk te nemen. Dat betekend namelijk dat je laatste disk bij een 6 disk config effectief maar voor 20% van zijn totale capaciteit effectief is. Dat zou een buitengewoon slechte investering zijn.

Verliezen van 30% lijken in de praktijk niet snel voor te komen. In de servethehome thread die ik eerder aanhaalde kwam iemand met zijn testdata (alleen 1GB files) tot een maximaal verlies van 5%. Het meest voorkomende verlies percentage was 4%. Dus dat lijkt een redelijk richtgetal. Dat betekend dat in de meeste gevallen als je niet aan de macht van 2 regel kan/wil voldoen je toegevoegde disk voor circa 75% effectief ruimte toevoegd. Dan gooi je van een gemiddelde 3TB disk op dit moment toch 25 euro zo in de sloot. Dat is best aanzienlijk en zou mij nog kunnen bewegen naar een oplossing van 2of 4 data disks.

Het verandert mijn mening over ZFS trouwens niet. het blijft een goed systeem en ik wil het graag gaan gebruiken. Maar als ik door verkeerde keuzes te maken mijn investering in een laatste schijf maar 75% kan laten renderen terwijl de eerste 4 schijven 100% renderen. Dan krab ik mij nog een keer achter de oren hoe belangrijk ik die capaciteit vind.

offtopic:
"Als laatste, ZFS is niet gemaakt voor de thuisgebruiker."
Dit soort opmerkingen vallen bij in dezelfde categorie als "ja maar hij deed het ook wel / niet". Wat altijd volledige non-argumenten zijn. ZFS links laten liggen en een minder product aanraden (wat ooit ook alleen voor de zakelijke markt was bedoeld), omdat het niet voor je gemaakt is is natuurlijk niet echt bevordelijk voor de adoptie van ZFS.

[tvwes]

Precies om te voorkomen dat je onnodig geld uit gaat geven adviseer ik je om voordat je een enkele euro uitgeeft hieraan op een testsysteem of vm het eerst probeert. Installeer het OS van je keuze en maak enkele RAIDZ volumes met ipv echte drives files of vmdk's. Door telkens en drive toe te voegen kan je zelf zien wat het effect is, en dat alles met je eigen data. Prestaties zullen niet goed zijn maar daar gaat het niet om, je wilt weten hoe effiecient je data wordt opgeslagen of gecomprimeerd. Je kan zelfs kijken naar 512 of 4K sectors. Dan weet je van te voren hoe een en ander er uit ziet.
Ik zal kijken of ik vanavond een simulator kan maken hiervoor. Ik moet alleen een nieuwe zpool command compilen met ashift hack, dat zit niet in illumos wel in FreeBSD en/of Linux. En dan zal ik ook wat data copieren en kijken hoe een en ander er uit ziet. Ik heb zelf alleen maar ervaring met 512b/sector drives en heb ook geen native 4k drives. Het is voor mij goed om dit goed uit te zoeken nu er ook 4K enterprise drives komen.

[Mystic Spirit]

Je hebt gelijk. Dat zou ik ook eigenlijk moeten doen, maar mijn tijd is inmiddels beperkt. Mijn huidige setup raakt vol en ik heb weinig tijd om te migreren. Als jij een simulator inelkaar weet te zetten, dan zou dat mij zeker helpen en dat juich ik dan ook zeer toe.

De betrouwbaarheid heb ik inmiddels uitvoerig getest en daar ben ik zeer tevreden over. Ook de performance is wat mij betreft prima en de schaalbaarheid van de performance is ook duidelijk. Het capaciteitsverlies ben ik bij het testen blind voor geweest. Dat is achteraf vervelend, ik zal het dus in de live situatie moeten gaan uitvinden.

offtopic:
Nu zul je misschien denken "al die tijd die je hebt zitten rekenen en posten in de nachtelijke uren had je ook aan tests kunnen spenderen". Ik zit echter aan de andere kant van de wereld momenteel. Ik heb dus een beetje andere tijden Ook heb ik minder mogelijkheden om te testen door super traag internet op mijn verblijfplaats. Als ik binnenkort weer aan die kant van de plas ben moeten de HDD's eigenlijk klaar liggen en moet ik starten met het opbouwen van de config.

[]Byte[]

Zijn er ook al plannen om in de toekomst replicatie-functionaliteit in te bouwen? (iets als DRBD bijvoorbeeld?)

[Xudonax]

FireDrunk schreef op woensdag 30 oktober 2013 @ 08:23:
Waarom is dat een losse pool? Kan je toch ook in een los filesystem doen?

De GIT pool staat op een set van USB stickjes die ik nog had liggen Die dingen dienen geen ander doel, want ze zijn nu niet bijster snel... Ik heb de writes op sync gezet waardoor alles door mijn SLOG device heen gaat, waardoor het wel snel word.

En omdat die stickjes toch niets anders te doen hadden, was het een leuk experiment voor mij. Beetje spelen en kijken wat de performance word als je er 2 tot 4 USB sticks met een snelheid van wel 8MByte/s tegenaan gooit. Voor de rest echt geen serieuze shit erop, want het is en blijft a) een speelmachine, en b) ZFS on Linux. Aan de ene kant levert dat een hoop mooie voordelen op (o.a. ZFS en een hardware virtualiser in dezelfde kernel, grafische interface, bekende commandline tools (oftewel yum ) etc), maar er zitten ook genoeg nadelen aan. Zie daarvoor mijn posts in dit topic

[tvwes]

@]Byte[
Dat is niet een feature voor in ZFS. Het is een feature die je naast of boven op zfs kan bouwen. Daarnaast weet ik dat dit niet echt hoog op de prioriteiten lijst van diverse core contributers staat. Als het ontwikkeld zal worden zal het een commerciele ontwikkeling zijn verwacht ik. Er is HAST voor FreeBSD, maar daar weet ik weinig van. Ik gebruik hoofdzakelijk Illumos en Solaris.
Als je op zoek bent naar een sjieke shared nothing HA ZFS based storage oplossing kan je nog wel even wachten, zeker als het voor NAS doeleinden is. Je NAS servers (SMB, AFP, iSCSI etc) moeten allemaal ook kunnen omgaan met failure en moeten allemaal stateful zijn. Puur je storage is te doen. Een opensource ZFS based OnTAP zit er niet snel in.
Wat wel in de pipeline zit is Ceph, dat is wel HA en fault tolerant. Maar omdat het in userspace draait zullen de prestaties lager zijn.
HA en ZFS is iets wat ik met grote aandacht volg. Tot op heden los ik HA op in de applicaties. Ik heb diverse oplossingen bekeken maar heb niks echt bruikbaars gevonden in het opensource domein.
Het enige echt werkende is RSF/1 maar dat is niet goedkoop.

[ThunderHorn]

Is het verstandig om een ZFS machine soms uit te zetten? Of moet die constant aan blijven staan?

Ik heb nu een "16Tb NAS" op basis van windows 8 storage spaces. Bij niet gebruik zet ik die compleet uit.
Enkel 's nachts voor downloaden, of als ik overdag een film kijk, staat die aan.

Grtz

[FireDrunk]

Kan prima, ZFS heeft geen enkele reden om aan te moeten blijven.

[tvwes]

ZFS is niet anders dan andere filesystems. Je kan het prima uitzetten.
Bij het uitzetten van je systeem verlies je de inhoud van je caches. Niks vreemds, alleen kunnen bij ZFS die caches heel groot worden. Zeker als je een L2ARC hebt. Na het opstarten moeten die caches weer gevuld worden en dat kost tijd. In het begin kan je daarom minder prestaties waarnemen. Overigens is er wip om de L2ARC persistent te maken.
In jouw geval zal caching uberhaubt weinig uithalen. Downloaden is schrijven en een film kijken is streamen. Het enige wat ik kan bedenken is dat er wat extra stress op componenten is tijdens het inschakelen wat slijtage veroorzaakt. Maar ook dat moet bij enkele keren per dag in- en uitschakelen geen probleem opleveren.

[ThunderHorn]

Ok thx.

Ik ben volop aan het kijken voor een nieuw systeem (18 3Tb disks) te bouwen op basis van ZFS.
Voornamelijk media. Ik overweeg RAIDZ1 te gebruiken, wijze keuze?

Hoogstens 2x per dag opstarten en afsluiten.
Kan ik dan ook het OS op een USB stick draaien, of dan toch beter een disk voorzien voor het OS?

Schrijfsnelheid heeft geen belang.
En leessnelheid: als ik naar 3 clients simultaan een film kan streamen is het al voldoende.
Dus ik ga geen L2ARC voorzien.

Hoe die ik trouwens best de migratie? 6 van die disks worden nu gebruikt in de Storage Spaces machine.
Gewoon een vdev maken met de nieuwe disks, data overzetten, met de oude disks een andere vdev maken, en de eerste vdev uitbreiden met de 2e vdev?

Grtz

[ Voor 8% gewijzigd door ThunderHorn op 31-10-2013 10:47 ]

[FireDrunk]

18*3TB in 1 pool met RAIDZ(1)? Dat is een beetje link, ik zou dan liever voor wat minder disks in een vdev gaan. Waarom precies 18 schijven?

OS kan op zich op een USB stick, mits je een goede USB stick neemt (Sandisk Extreme ofzo).

Over die migratie, dan moet je eerst wat meer duidelijke data opleveren.

Hoeveel schijven heb je?
Wat voor redundancy heb je nu?
Hoe veel data staat er daadwerkelijk op?
Heb je backups van de data op een andere lokatie?
Hoe snel wil je migreren?

[tvwes]

De keuze is reuze..
Jij moet bepalen hoe groot jij de kans inschat dat er schijven kapot gaan. Dat bepaald RAIDZ-1,2 of 3. Op zich lijkt me RAIDZ-1 hier prima.
Dan je pool configuratie. Je kan in een keer 18 schijven kopen er een enkele grote pool van maken. Je kan ook overwegen om nu eerst 5 schijven te kopen daar een enkele RAIDZ1 vdev van te maken en later weer 5 schijven kopen en dat vdev toevoegen aan je pool. Of er (nog) een losse pool van te maken. Dat laatste heeft als voordeel dat je weer een beetje meer veiligheid realiseerd. Als je een administratieve fout maakt dan ben je misschien maar een pool kwijt in plaats van alles, hetzelfde geldt voor falende disken. Ook kan het energie besparen omdat je misschien maar van een pool leest en de andere kunnen dan uitblijven. Het enige nadeel van losse zpool's is dat je meerdere shares krijgt. Laatste voordeel van het in stappen doen is dat het geldt scheelt, opslag wordt alleen maar goedkoper. Even wachten kan geld schelen.
Het enige nadeel van vdev's toevoegen aan een bestaande pool is de onbalans van de data. Als je maar genoeg delete en schrijft komt dat uiteindelijk ook goed. Praktisch lijkt me het voor jouw film collectie geen enkel probleem. Enkele streams kan je makkelijk halen van een enkel raidz-1 vdev.
Deze hele setup is WEL geschikt voor je film collectie, minder geschikt voor algemene werk en niet geschikt voor VM's. De random iops zijn ronduit slecht.

Bijna je migratie vergeten. Je kan volgens mij niet je storagespaces mounten buiten windows. Dus heb je twee systemen nodig. Je zal de data via het netwerk moeten copieren, maar dat is allemaal gesneden koek.

[ Voor 6% gewijzigd door tvwes op 31-10-2013 11:13 ]

[Verwijderd]

18 disks in RAID-Z? Nee, dat is gekkenwerk. Dan beter 19 disks in RAID-Z3; dat is nog een optimale configuratie ook. Maar veel beter 2x 10 disks in RAID-Z2. Je wilt op zowel een disk failure als bad sectors voorbereid zijn. Met zoveel disks denk ik dan ook minimaal aan RAID-Z2.

[ThunderHorn]

Ik sorteer mijn media op alfabet, en het lijkt me handig om alles als 1 netwerkschijf te kunnen toevoegen in mijn XBMC machines. Daarom dat ik zoveel schijven in 1 pool zou steken.

Ik zou 10 of 12 disks kopen, samen met de overige hardware. En dan de oude disks mee in de nieuwe machine steken.

1. Ik heb 6x3 en 2x1Tb in gebruik in de storage spaces machine. De reden dat ik voor storage spaces koos, was de mogelijkheid om verschillende size disks in 1 pool te steken. En dat die pool later nog uitbreidbaar was met extra schijven. De 2 1Tb schijven zou ik in mirror plaatsen als een aparte pool. Hierop komen dan de familiefoto's, films, ...

2. Ik had parity spaces ingesteld. 3 disks voor bescherming tegen 1 disk failure. 7 disks voor 2 failures.

3. Momenteel heb ik praktisch de volle 15Tb volzet.

4. Van mijn media geen externe backups.

5. Hangt af of ik op kantoor kan regelen om mijn overuren uitbetaald te krijgen in PC materiaal

PS: Ik voorzie geen VM's. Enkel het delen van media (foto's / films / ...)

[Verwijderd]

Je kunt mogelijk ook bij meerdere pools één share hebben. Dat werkt zo: je hebt een pool 'tank' met /tank pad en die deel je met Samba bijvoorbeeld. Je clients kunnen dan bij de gegevens die in de /tank directory staan. Maar wat nu als je je 2e pool 'sierra' als subdirectory mount, dus op /tank/sierra. XBMC of andere apps zien gewoon een directory, terwijl je zo ongemerkt naar je 2e pool gaat.

Het enige nadeel hiervan is dat je geen shared free space hebt tussen de pools. Dus het kan dan voorkomen dat pool1 heel vol is terwijl pool2 nog heel veel vrije ruimte heeft. Maar het is een optie als dit nuttig is in jouw situatie.

Ga je voor meer dan 10 schijven in één pool, dan vind ik RAID-Z2 echt het minimale; eigenlijk liever RAID-Z3. 19 disks in RAID-Z3 kun je nog best overwegen, al is dat best een brute configuratie. Denk erom dat met veel bestanden dit traag gaat worden zonder L2ARC cache voor de metadata.

[ThunderHorn]

Ok thx. Handig om weten

Die 2x10 lijkt me dan handig. Als ik later grotere disks wil steken, kan ik per 10 disks kopen ipv 19 in eens.
Maar door 2x10 + 2x1 + 1 OS schijf, kom ik al uit op een 23 disks.

Ik heb een Mobo voorzien met 10 Sata poorten + een IBM 1015.
Ik heb wel nog 2 losse SATA controllers liggen, maar dat zijn maar wankele gevallen .

2x9 of 2x8, is dat ook een optie? Dan zou ik bijvoorbeeld voor 1 pool al 4Tb disks kunnen steken.
Want ik snap niet 100% hoe jullie weten wat de perfecte aantallen disks zijn, in bepaalde gevallen.

[tvwes]

@Cipher
Goede tip, dat van samba. Ik wist niet dat je meerdere mounts kon remappen in een enkele share.
Wel listig, hoe gaat samba om met het deleten van die submount?

Ik denk dat het in dit geval wel los zal lopen met metadata. Kijk eerst maar eens hoe het gaat zonder L2ARC voordat je dat er ook nog bij koopt. Vergeet ook niet dat je de L2ARC ELKE keer kwijt raakt na een reboot. Het lijkt me dus niet echt een handig aankoop in dit geval.

[FireDrunk]

Het boeit Samba helemaal niet hoe je filesystem onder water in elkaar zit. Ditzelfde truukje kan ook prima net NTFS dmv Junctions...

ipv een pool (of een disk) een eigen pad (of schijfletter) te geven, maak je van de pool een subdirectory in je andere pool.

Dus voorbeeld:

Pool A tank = /tank
Pool B minitank zou default /minitank worden.
Door het mountpoint op /tank/minitank te zetten denkt je operating system dat het gewoon een map in /tank is.

Als je dan tegen samba zegt, share /tank, zie je in samba gewoon de directory minitank als reguliere directory, terwijl dit onderwater een andere pool is.

Samba doet hier verder niets speciaals mee.

[Verwijderd]

Ik heb een Mobo voorzien met 10 Sata poorten + een IBM 1015.

Onderzoek goed of die extra poorten wel worden ondersteund. Vaak levert de chipset 6 poorten en de rest onboard zijn van losse chipjes. Die moeten dan wel goed ondersteund worden door BSD.

Want ik snap niet 100% hoe jullie weten wat de perfecte aantallen disks zijn, in bepaalde gevallen.

Eigenlijk heel simpel: haal alle parity disks weg en dan hoor je een macht van 2 te krijgen, dus 2, 4, 8, 16, 32, 64, 128.

Dus een 3 disk RAID-Z is optimaal (3-1 = 2)
Een 5 disk RAID-Z is optimaal (5-1 = 4)
Een 6 disk RAID-Z2 is optimaal (6-2 = 4)
Een 10 disk RAID-Z2 is optimaal (10-2 = 8 )
Een 19 disk RAID-Z3 is optimaal (19-3 = 16)

2, 4, 8, 16... je snapt het punt hier.

[ThunderHorn]

Verwijderd schreef op donderdag 31 oktober 2013 @ 11:34:
[...]

Onderzoek goed of die extra poorten wel worden ondersteund. Vaak levert de chipset 6 poorten en de rest onboard zijn van losse chipjes. Die moeten dan wel goed ondersteund worden door BSD.


[...]

Eigenlijk heel simpel: haal alle parity disks weg en dan hoor je een macht van 2 te krijgen, dus 2, 4, 8, 16, 32, 64, 128.

Dus een 3 disk RAID-Z is optimaal (3-1 = 2)
Een 5 disk RAID-Z is optimaal (5-1 = 4)
Een 6 disk RAID-Z2 is optimaal (6-2 = 4)
Een 10 disk RAID-Z2 is optimaal (10-2 = 8 )
Een 19 disk RAID-Z3 is optimaal (19-3 = 16)

2, 4, 8, 16... je snapt het punt hier.

Aha, idd eenvoudig te berekenen
Thx!

Ik ging checken op de wesbite van het mobo, en daar spreken ze maar van 8 SATA poorten. Staat dus verkeerd in de pricewatch .

De 2 extra poorten zitten op een ASM1061 chipset, welke lijkt ondersteund te zijn in freenas.

Maar misschien kijk ik nog even verder naar een mobo met nog iets meer SATA poorten dan die 8.

Grtz

[ Voor 18% gewijzigd door ThunderHorn op 31-10-2013 11:48 ]

[Verwijderd]

Over welk moederbord heb je het?

@tvwes: persistent L2ARC is ook wel een feature waar ik op wacht; ik wil mn servers om die reden niet rebooten ook als het eigenlijk moet.

[ Voor 69% gewijzigd door Verwijderd op 31-10-2013 11:53 ]

[ThunderHorn]

Verwijderd schreef op donderdag 31 oktober 2013 @ 11:53:
Over welk moederbord heb je het?

Ik had initieel de ASRock Z87 Extreme4 in gedachten. Daar staat 2x SATA-300, 8x SATA-600.
Maar op de site van ASRock wordt er maar gesproken over 8x SATA-600.

Nu zou ik dan opteren voor de ASRock Z87 Extreme6. Welke 10 SATA-600 poorten heeft.
4 ervan zitten ook op een ASMedia ASM1061 chip.

Overkill door al die extra features, maar prijsmatig het goedkoopste bord met 10 SATA poorten.
Wat mij wel belangrijk is. 1 IBM 1015 minder is ook al snel 120€ uitgespaard.

Grtz

[ Voor 16% gewijzigd door ThunderHorn op 31-10-2013 11:57 ]

[FireDrunk]

Je kan die ASM1061 controllertjes ook los kopen...

[tvwes]

@Firedrunk
Deze feature is echt niet no simpel als je zou vermoeden. Om te beginnen zijn er protocol verschillen. Dan is er de beleving van de eindgebruiker. Die ziet een directory staan en wil die weggooien maar dat lukt niet.
Het is een veelgevraagde feature bijv bij NFS voor vmware. Unieke filesystems per vm en die via een enkele root share benaderen. Maar mirror mounts zijn niet gesupport.

[FireDrunk]

Ik heb je post nu drie keer gelezen, maar snap er weinig van. We hebben het hier over POSIX-compliant filesystems die via samba geëxporteerd worden, en jij hebt het over protocollen?

Ook NFS ondersteund prima het exporteren van mountpoints met child mountpoints.

[ThunderHorn]

FireDrunk schreef op donderdag 31 oktober 2013 @ 12:13:
Je kan die ASM1061 controllertjes ook los kopen...

I know, maar de meeste van die kaartjes hebben max 4 Sata poorten.
Er zijn ook maar zoveel PCI / PCI-E sloten op een mobo.

Zeker naar uitbreidingsmogelijkheden kijk ik naar zoveel mogelijk SATA-poorten op het mobo.
Tenzij dit dom is natuurlijk, jullie zijn de kenners

[ Voor 6% gewijzigd door ThunderHorn op 31-10-2013 12:19 ]

[jacovn]

Ik draai met 2 x 10 drives (10 drives met Raid-Z2 per vdev) met moederbord en 2 x M1015.
8 van de 10 drives op een M1015 en 2 op het mainbord.

Zitten 6 sata poorten op moederbord, dus 4 voor de 2 pools en 2 voor SSD (1 x boot en 1 x L2ARC)

[tvwes]

@firedrunk
Een filesystem (NTFS, EXT, ZFS etc) kan je exporten/sharen via een network file system (SMB, NFS, AFP, FTP etc dit zijn de protocollen)

De wens en usecase zijn goed te begrijpen en ook redelijk. Alleen de praktijk wijst uit dat niet alle combinaties (filesystem en network file system) werken of vreemd gedrag kunnen vertonen.
ZFS is helemaal anders, je hebt daar vaak helemaal niet in de gaten hoeveel discrete filesystems je eigenlijk hebt. Bij andere filesystems is het vaak een per lun en hoogstens enkele via partities of lvm. Op een windows machine heb je ook meestal een ntfs per lun.

Nu mijn vraag / opmerking
Hoe handelt samba deze submounts af bij wijzigen? Hoe wordt ruimte gerapporteerd?
Voorbeeld, ik mount deze share als eindgebruiker in windows. Ik kijk in de explorer en zie een directory tree met files. Nu wil ik een bepaalde directory verwijderen of hernoemen, echter deze directory is de submount. Wat dan? Access denied? Of...

Zoek maar eens op ZFS nested filesystem of ZFS mirror mounts. Het is een bekend en voor NFS3 niet opgelost probleem. NFS4 wel maar dat ondersteunt ESX niet

[FireDrunk]

tvwes schreef op donderdag 31 oktober 2013 @ 12:47:
@firedrunk
Een filesystem (NTFS, EXT, ZFS etc) kan je exporten/sharen via een network file system (SMB, NFS, AFP, FTP etc dit zijn de protocollen)

De wens en usecase zijn goed te begrijpen en ook redelijk. Alleen de praktijk wijst uit dat niet alle combinaties (filesystem en network file system) werken of vreemd gedrag kunnen vertonen.
ZFS is helemaal anders, je hebt daar vaak helemaal niet in de gaten hoeveel discrete filesystems je eigenlijk hebt. Bij andere filesystems is het vaak een per lun en hoogstens enkele via partities of lvm. Op een windows machine heb je ook meestal een ntfs per lun.

Nu mijn vraag / opmerking
Hoe handelt samba deze submounts af bij wijzigen? Hoe wordt ruimte gerapporteerd?
Voorbeeld, ik mount deze share als eindgebruiker in windows. Ik kijk in de explorer en zie een directory tree met files. Nu wil ik een bepaalde directory verwijderen of hernoemen, echter deze directory is de submount. Wat dan? Access denied? Of...

Zoek maar eens op ZFS nested filesystem of ZFS mirror mounts. Het is een bekend en voor NFS3 niet opgelost probleem. NFS4 wel maar dat ondersteunt ESX niet

Dat begrijp ik. En ik snap ook wel dat mirror mounts niet zomaar werken. Dat is meer van: ik wil dat 2 pools altijd via 2 shares benaderbaar zijn. Dus:

\\server\poola\poolb
EN
\\server\poolb\poola.

Ik snap dat dat niet altijd even goed gaat.

Maar naar mijn weten is het maken van het NFS mounts in nested pools prima te doen.
dus

[ip]:/poola/poolb/poolc moet gewoon kunnen in NFS (mits de rechten en exports goed staan uiteraard).

[tvwes]

Oracle S7000 doc
Hier worden de beperkingen, qua sharing, van ZFS en Solaris en afgeleiden daarvan opgesomd.
Volgens mij vallen nested mounts in een enkele export ook geheel buiten de specs. Dat er sommige OS's of appliances het wel kunnen is een hack.

in het algemeen, ik heb het hier over een beperking van de server / protocol. Je client kan wel overal alles mounten, zal ook wel moeten met een hierarchisch fs met een enkel root.

[FireDrunk]

Daar ben ik het dus absoluut niet mee eens. Dat FreeBSD's ZFS implementatie zich niet aan de (misschien wel idiote) specs van Oracle's Storage Appliance houdt, wil nog niet zeggen dat iets een *hack* is...

Er zijn nou eenmaal mensen (Oracle) die zich soms aan absurde standaarden houden.
Dat verhaal over /exports is ook grappig.

Onder FreeBSD ben je gewoon vrij om zelf te bepalen wat je wil. Dat is geen hack, dat is gewoon vrijheid

[tvwes]

(Voor mij is) deze beperking van NFS3 en ZFS een jammerlijk gegeven. Dat volkstammen (bijv VMware) krampachtig vasthouden aan NFS3 is ook een gegeven.
De NFS3 spec is van 1995 en de architectuur is nog veel ouder. Als je deze beperkingen in historisch perspectief plaats is het misschien iets minder idioot en absurd. ICT en vooral internet hangt aan elkaar van standaarden. Als ontwikkelaars daarvan gaan afwijken gaat het niet goed komen. De manier om vooruit te komen is een nieuwe spec opstellen die tekortkomingen, van een eventuele vorige, opheft. Dat een nieuwe spec, NFS4 bijv, niet gebruikt wordt is ook een gegeven.
Genoemde vrijheid zou niet moeten betekenen de je van de standaarden gaat afwijken maar dat je de vrijheid hebt om een nieuwe te draften of dat je de vrijheid hebt om voor een ander protocol te kiezen.

@Firedrunk
Bovenstaande rant is niet persoonlijk. Maar ik houd niet van absoluten en verwensingen. Ik vind het niet gepast om de S7000 mensen, die niet alleen opstellers van het document zijn maar ook de ZFS uitvinders voor idioot uit te maken. Ik zal er wel nog eens verder induiken waarom die beperking erin zit. Maar als de uitvinders van ZFS deze vervelende beperking instandhouden dan zal daar echt een goede reden voor zijn, is mijn bescheiden mening.

[syl765]

Volgens mij heeft dit niets met ZFS ansich te maken maar is het een beperking van NFSv3 dat je niete meerdere zfs datasets kan mounten binnen je NFSv3 share.
Het mounten van meerdere fysieke harde schijven binnen de share geeft je hetzelfde resultaat.

Ik heb dit zelf ook ondervonden doordat mijn machines wel vindbaar waren met ESXi maar niet vanaf FreeBSD zelf.
Ik heb behoorlijk lopen zoeken en met NFSv3 is het inderdaad niet mogelijk.
Erg jammer omdat als dit wel mogelijk was, je per vm een dataset kon maken. Een dataset per vm geeft je heel veel flexibiliteit m.b.t snapshotten enz.

NFSv4 laat dit wel toe.
Maar helaas, zoals genoemd blijft vmWare om wat voor reden dan ook vasthouden aan NFSv3.

gr
Johan

[ Voor 7% gewijzigd door syl765 op 31-10-2013 17:32 ]

[tvwes]

@syl765
Je hebt helemaal gelijk, het heeft niks met ZFS te maken. Ik dacht dat ik het eerder wel duidelijk opgeschreven dat NFS3 de beperking is. ZFS verdringt NFS een beetje door de grote eenvoud van de cli, alleen sharenfs zetten en klaar. Vandaar dat ik ZFS toch noemde.

[]Byte[]

Jullie hebben mij op een idee gebracht door ESXi te installeren en dan ZFSguru in een VM te draaien.
(heb nu ook al ESX op een USB-stick draaien, en kan 'm dus waarschijnlijk zo oversteken in het nieuwe systeem)
Maar als alle storage binnen ZFSguru komt, zal ik toch ergens anders een datastore nodig hebben om ZFSguru in een VM te kunnen zetten.
Kan ik die het beste op een kleine rest-partitie doen op de SSD's die op mijn MB gekoppeld zitten?
Gaat dit goed komen als ik ze via RDM gaat aanbieden binnen de VM?
Ik had die eigenlijk 'open' gelaten voor de overprovisioning.
Of hebben jullie nog andere ideeën?
(ik kan altijd nog eventueel een mSATA van 32GB ofzo op het MB zetten)

[ Voor 5% gewijzigd door ]Byte[ op 01-11-2013 00:19 ]

[FireDrunk]

Wil je de SSD's voor VM's gebruiken of wil je die voor L2ARC / ZIL gebruiken?
Want ZFSguru kan prima op een Virtuele Disk draaien met root-on-ZFS?

[FREAKJAM]

Even een brutale crosspost omdat CiPHER meer actief is in dit topic dan in het ESXi topic:

zojuist alles besteld! (werd tijd na 6 weken huiswerk).

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 214,-	€ 214,-
1	Supermicro X10SL7-F	€ 229,90	€ 229,90
6	WD Red SATA 6 Gb/s WD30EFRX, 3TB	€ 115,44	€ 692,64
1	BitFenix Shadow	€ 60,40	€ 60,40
7	Sharkoon SATA III standard (50cm)	€ 2,98	€ 20,86
1	Kingston ValueRAM KVR16E11K4/32	€ 299,-	€ 299,-
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Crucial 2.5" M500 240GB	€ 135,03	€ 135,03
Bekijk collectie Importeer producten		Totaal	€ 1.709,83

En nog 2x een molex naar 4x sata adaptertje (Met dank aan FireDrunk voor het meedenken)
pricewatch unsorted: BitFenix Adapter (Molex zu 4x SATA), 20 cm schwarz/schwarz

Toch maar een nieuwe case besteld, waar 7 drives in passen. De bitfenix gaat vandaag met DHL terug naar caseking. Mooi 6 drives onder elkaar en de ssd op de bodem. Het worden 6 drives in een RAIDZ2 opstelling. Ik ga het toch doen zonder ZIL/L2CACHE trouwens. Hopelijk volgend weekend met ESXi en ZFSGuru spelen. USB stickie heb ik nog hier op het werk liggen voor de ESXi boot.

Nu nog kijken of ik het bij XBMC houd of dat ik met Plex ga spelen. XBMC met SQL is nu ook een optie. Kan een SQL-servertje in een VM draaien of iets dergelijks.

Ik wil FireDrunk en CiPHER en velen anderen ook bedanken voor het beantwoorden van mijn vele vragen de afgelopen weken. (welke vast nog een aantal gaan komen als ik mijn setup ga bouwen).

[Verwijderd]

Leuk! Ben benieuwd zodra je het zaakje draaiend hebt; dan willen we natuurlijk ook pics!

[tvwes]

@Freakjam
Ziet er goed uit. Ziet er uit als een goede set met echt goede componenten, waaronder volledige ECC!

Zou je aub een aantal energie metingen willen doen?
Ik ben benieuwd naar de volgende zaken:
opgebouwd systeem met alle nics aangesloten zonder keyboard,muis en scherm daar heb je nu ipmi voor
-zonder disken wel stick idle en daarna met esxi
-daarna idle met disken aangesloten maar wel draaiend
-tot slot een meting met je disken onder load (veel random i/o's)

Het systeem, zonder disken, mij een best-buy kandidaat te zijn voor diegene die met 6 poorten niet uitkomen. Soort en aantal disken zijn een persoonlijke keuze, vandaar dat ik graag een baseline wil zonder disken. Dan kunnen anderen daar vervolgens zelf het verbruik van de disken bij op tellen.

Het enige waar ik me zorgen over maak is de koeling van de schijven, heb je daar iets voor?

[FireDrunk]

Red's worden toch niet zo warm? Het zijn geen Hitachi's

[ Voor 30% gewijzigd door FireDrunk op 01-11-2013 14:15 ]

[Hakker]

WD's worden juist warmer dan Hitachi's. Normaal zijn ze bij mij al zo'n 2-3 graden koeler zo'n 29 graden tegen over de 32 graden WD Greens maar in de zomer op Campzone tikten mijn WD's 60 graden aan waar mijn Hitachi's 52-53 max werden.

Hitachi maakt al jaren geen Deathstars meer. Die werden idd gigantisch heet, maar nu heb ik 10x liever Hitachi dan WD's

[FREAKJAM]

Er zitten 2x 120mm fans aan de voorkant (cooling front) van de Bitfenix Shadow. Ik zie nu wel dat er maar 1 wordt meegeleverd voor de voorkant. Wellicht dat ik nog wat fans moet bijbestellen.

Cooling Front 120mm x 2 (1 included)
Cooling Bottom 120mm x 1 (optional)
Cooling Rear 120mm x 1 (included)



edit:
gevraagd of ik 2 extra fans bij me order mag plaatsen

[ Voor 25% gewijzigd door FREAKJAM op 01-11-2013 15:12 ]

[Extera]

FREAKJAM schreef op vrijdag 01 november 2013 @ 11:42:
Even een brutale crosspost omdat CiPHER meer actief is in dit topic dan in het ESXi topic:

zojuist alles besteld! (werd tijd na 6 weken huiswerk).

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1230 V3 Boxed	€ 214,-	€ 214,-
1	Supermicro X10SL7-F	€ 229,90	€ 229,90
6	WD Red SATA 6 Gb/s WD30EFRX, 3TB	€ 115,44	€ 692,64
1	BitFenix Shadow	€ 60,40	€ 60,40
7	Sharkoon SATA III standard (50cm)	€ 2,98	€ 20,86
1	Kingston ValueRAM KVR16E11K4/32	€ 299,-	€ 299,-
1	Seasonic G-Serie 360Watt	€ 58,-	€ 58,-
1	Crucial 2.5" M500 240GB	€ 135,03	€ 135,03
Bekijk collectie Importeer producten		Totaal	€ 1.709,83

En nog 2x een molex naar 4x sata adaptertje (Met dank aan FireDrunk voor het meedenken)
pricewatch unsorted: BitFenix Adapter (Molex zu 4x SATA), 20 cm schwarz/schwarz

Toch maar een nieuwe case besteld, waar 7 drives in passen. De bitfenix gaat vandaag met DHL terug naar caseking. Mooi 6 drives onder elkaar en de ssd op de bodem. Het worden 6 drives in een RAIDZ2 opstelling. Ik ga het toch doen zonder ZIL/L2CACHE trouwens. Hopelijk volgend weekend met ESXi en ZFSGuru spelen. USB stickie heb ik nog hier op het werk liggen voor de ESXi boot.

Nu nog kijken of ik het bij XBMC houd of dat ik met Plex ga spelen. XBMC met SQL is nu ook een optie. Kan een SQL-servertje in een VM draaien of iets dergelijks.

Ik wil FireDrunk en CiPHER en velen anderen ook bedanken voor het beantwoorden van mijn vele vragen de afgelopen weken. (welke vast nog een aantal gaan komen als ik mijn setup ga bouwen).

Mooie setup, ik heb een vergelijkbare setup, en dat draait als een zonnetje!
FreeNAS in een VM met 8GB mem, en een XBMC VM (Openelec), MySQL VM, en een linux VM met couchpotato, sickbeard en headphones.

[FireDrunk]

Hakker schreef op vrijdag 01 november 2013 @ 14:52:
WD's worden juist warmer dan Hitachi's. Normaal zijn ze bij mij al zo'n 2-3 graden koeler zo'n 29 graden tegen over de 32 graden WD Greens maar in de zomer op Campzone tikten mijn WD's 60 graden aan waar mijn Hitachi's 52-53 max werden.

Hitachi maakt al jaren geen Deathstars meer. Die werden idd gigantisch heet, maar nu heb ik 10x liever Hitachi dan WD's

Voor de 5400RPM modellen heb je gelijk, voor de 7200RPM modellen en de Enterprise versies daar weer van heb je weer geen gelijk

Vraag maar aan HyperBart

[FREAKJAM]

Het hoort wel niet in dit topic thuis, maar hoe heb je de XBMC VM als ik vragen mag? (gpu passthrough?)
Ik heb nu een ATI HD6750 in mijn oude HTPC. Als ik die kan pass throughen in ESXi, kan ik eventueel me oude HTPC volledig opdoeken =P

Schijnbaar werkt de pass through voor sommige ATI kaarten. Je moet de VM opstarten in safe modus, kaart disablen, weer rebooten in normale modus en de ATI drivers installeren. Vervolgens VM weer booten en dan zou hij het moeten doen. Ik moet echt ook geluid doorgeven, want mijn 6750 ondersteunt ook geluid over HDMI.

[ Voor 79% gewijzigd door FREAKJAM op 01-11-2013 23:32 ]

[Hakker]

FireDrunk schreef op vrijdag 01 november 2013 @ 15:00:
[...]

Voor de 5400RPM modellen heb je gelijk, voor de 7200RPM modellen en de Enterprise versies daar weer van heb je weer geen gelijk

Vraag maar aan HyperBart

Die 5900 rpm dingen blijven echt heel heel koel iig.

[tvwes]

@FREAKJAM
Zou je als je de metingen kan/wil doen de fans even willen losnemen? Dat vertekend de metingen anders ook.

[]Byte[]

FireDrunk schreef op vrijdag 01 november 2013 @ 09:00:
Wil je de SSD's voor VM's gebruiken of wil je die voor L2ARC / ZIL gebruiken?
Want ZFSguru kan prima op een Virtuele Disk draaien met root-on-ZFS?

Ter verduidelijking hierbij mijn setup:
1 * 128 GB Samsung 830 (op MB)
1 * 120 GB Vertex 3 (op MB)
10 * 4 TB WD Red (pool1 - RAID-Z2 - via M1015)
4 * 256 GB Samsung 840 EVO (pool2 - RAID-Z(1) via M1015 - ik ga hier waarschijnlijk een 5e SSD bij zetten)

de 2 SSD's op MB gekoppeld hebben de volgende partities:

28 GB - RAID1 - boot
4 GB - RAID1 - slog
60 GB - RAID0 - l2arc

De bootschijven van de VM's wil ik op pool2 zetten (SSD) en de dataschijven op pool1 (WD's)

Voor de VM's heb ik totaal max 2,5 TB nodig.
De rest wil ik gebruiken voor NAS, TimeMachine backups etc.

Als ik in pool2 ruimte over heb, en dat is zo, zou ik die idd in kunnen zetten voor l2arc/slog.
De vraag is: denk je omdat ik nog meer nodig zal hebben naast de huidige 4GB slog en 120 GB l2arc?

[update]
Enige wat ik nu nog niet heb ingericht is ESXi op een USB-stick (moet ik morgen ff halen)
Maar dat veranderd op zich niets omdat ik de disken allemaal via RDM aan de VM van ZFSguru zal presenteren.

[ Voor 9% gewijzigd door ]Byte[ op 01-11-2013 21:00 ]

[FREAKJAM]

@tvwes
Ik heb geen energiemeter, maar ik zie dat ze niet zo heel duur zijn. Ik zal eens kijken of ik wat voor je/jullie kan betekenen qua metingen. De levertijd van de Supermicro mobo kan wel tot ~10 werkdagen duren helaas.. Dus wel even geduld =)

[Verwijderd]

verkeerde post, sorry

[ Voor 97% gewijzigd door Verwijderd op 02-11-2013 14:37 ]

[Extera]

FREAKJAM schreef op vrijdag 01 november 2013 @ 15:00:
Het hoort wel niet in dit topic thuis, maar hoe heb je de XBMC VM als ik vragen mag? (gpu passthrough?)
Ik heb nu een ATI HD6750 in mijn oude HTPC. Als ik die kan pass throughen in ESXi, kan ik eventueel me oude HTPC volledig opdoeken =P

Mijn XBMC VM Gebruik ik puur om met mijn telefoon naar te connecten, en via yatse muziek af te spelen, of om een serie naar mijn telefoon te streamen... videokaart passtrough heb ik nog nooit geprobeerd.

[Durandal]

Hakker schreef op vrijdag 01 november 2013 @ 14:52:
WD's worden juist warmer dan Hitachi's. Normaal zijn ze bij mij al zo'n 2-3 graden koeler zo'n 29 graden tegen over de 32 graden WD Greens maar in de zomer op Campzone tikten mijn WD's 60 graden aan waar mijn Hitachi's 52-53 max werden.

Hitachi maakt al jaren geen Deathstars meer. Die werden idd gigantisch heet, maar nu heb ik 10x liever Hitachi dan WD's

Niet mijn ervaring. Mijn Hitachi 4TBs (7900) werden rond de 55 graden (alle 3) voordat ik ze verkocht, mij WD Red 3TBs (5400?) die ik later kocht blijven rond de 35 graden (alle 10).
Ik vond de Hitachis toen al erg warm worden.

In any case kan je er niet veel over zeggen. Je weet niet bij welke temperatuur ze de optimale levensduur hebben en hoe lang dat dan is.
Wel kan je zeggen dat minder warm = efficienter.

[FireDrunk]

Vandaag he eindelijk voor elkaar gekregen om een fatsoenlijke (lees: stille) koeler op mijn Opteron te monteren en het ding inaudible te maken

Nu eens FreeNAS proberen en kijken wat dat wordt

[]Byte[]

Nu heb ik 10 * 4 TB in RAID-Z2 staan...

code:

[ssh@zfsguru ~]$ zpool status pool1
  pool: pool1
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
    still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
    pool will no longer be accessible on software that does not support feature
    flags.
  scan: none requested
config:

    NAME           STATE     READ WRITE CKSUM
    pool1          ONLINE       0     0     0
      raidz2-0     ONLINE       0     0     0
        gpt/dsk1   ONLINE       0     0     0
        gpt/dsk2   ONLINE       0     0     0
        gpt/dsk4   ONLINE       0     0     0
        gpt/dsk5   ONLINE       0     0     0
        gpt/dsk6   ONLINE       0     0     0
        gpt/dsk7   ONLINE       0     0     0
        gpt/dsk8   ONLINE       0     0     0
        gpt/dsk9   ONLINE       0     0     0
        gpt/dsk10  ONLINE       0     0     0
        gpt/dsk3   ONLINE       0     0     0

errors: No known data errors

Maar de benchmark geeft aan dat ik 36,2 TB space heb...

code:

ZFSguru 0.2.0-beta8 (9.2-001) pool benchmark
Pool           : pool1 (36.2T, 0% full)
Test size      : 128 GiB
normal read : 537 MB/s
normal write   : 699 MB/s
lzjb read   : 5 GB/s
lzjb write   : 3 GB/s
gzip read     : 5 GB/s
gzip write   : 3 GB/s
I/O bandwidth  : 37 GB/s

Vanwaar dit verschil?

[update]
Laat maar...
Moet beter leren kijken...
Had beter eerst kunnen kijken naar een df -h

code:

pool1                                    28T    69k     28T     0%    /pool1

[ Voor 6% gewijzigd door ]Byte[ op 03-11-2013 09:47 ]

[GioStyle]

Waarom zijn de writes hoger vergeleken met de reads? Je zou toch juist zeggen dat het andersom moet zijn?

Dat heb ik hier ook:

6x 3TB in raidz2. Reads liggen rond de 300 MB/s en de writes rond de 400MB/s

[FireDrunk]

Je hebt gelijk, hier zijn reads ook sneller... Misschien cache?

[ Voor 69% gewijzigd door FireDrunk op 03-11-2013 11:44 ]

[Dadona]

FireDrunk schreef op zaterdag 02 november 2013 @ 20:32:
Vandaag he eindelijk voor elkaar gekregen om een fatsoenlijke (lees: stille) koeler op mijn Opteron te monteren en het ding inaudible te maken

Nu eens FreeNAS proberen en kijken wat dat wordt

Je bent er zelfs zo blij mee dat je niet eens van de daken wil schreeuwen welke heatsink dat is? Of moet je dan die Opteron aan de ketting hangen en mag je er eigenlijk niets mee doen?

[FireDrunk]

Ik kwam er achter dat elke AM2+ koeler past mits je de bijgeleverde plastic beugels op het moederbord bevestigd. Er zit nu een oud koelblok op uit mijn oude HTPC (Athlon 4850e). Merk weet ik niet meer, kan het ook zo snel niet vinden. Leuke is iig dat er geen geforceerde koeling meer op hoeft, want het blok is zo groot dat de casefans volstaan

[]Byte[]

FireDrunk schreef op zondag 03 november 2013 @ 11:43:
Je hebt gelijk, hier zijn reads ook sneller... Misschien cache?

Welke cache?

Platte M1015 met 10 * WD Red's er op.
Ik heb een 128 GB er op losgelaten, en zit dus ook op 8 * mem. size.
Dan valt er volgens mij niet veel meer te cachen.

Op de 2 SSD-partieties in RIAD0 haal ik wel hogere reads tov write.

code:

ZFSguru 0.2.0-beta8 (9.2-001) pool benchmark
Pool            : l2arc (119G, 0% full)
Test size       : 64 GiB
normal read  : 1 GB/s
normal write    : 606 MB/s
lzjb read      : 5 GB/s
lzjb write    : 3 GB/s
gzip read      : 5 GB/s
gzip write    : 3 GB/s
I/O bandwidth   : 37 GB/s

Enige verschil is dat de SSD's op het MB gekoppeld zijn.

[FireDrunk]

Ram cache. Dat is er altijd.

[victorb]

Ik heb een 4TB usb 3.0 disk op mijn ZFSguru machine aangesloten. Op deze disk staat een EXT3 partitie. En het systeem ziet hem als DA6.

Nu probeer ik hem te mounten met "mount -t ext2fs /dev/da6s1 /data/backup" En ik krijg de volgende error "mount: /dev/da6s1: Invalid argument"

Hoe kan ik hem mounten. Ik heb begrepen dat ZFSguru EXT3 kan mounten.

Als dat gelukt is wil ik met rsync backups draaien.

[FireDrunk]

Ik denk dat je support voor Ext2(/3/4) met de hand moet installeren.

[ Voor 4% gewijzigd door FireDrunk op 03-11-2013 20:04 ]

[Verwijderd]

ext2 werkt prima (afkomstig van UFS voor zover ik weet? FFS; Fast File System). Maar ext3 en ext4 hebben features die FreeBSD out-of-the-box niet ondersteunt. Er was een Summer of Code project voor ext4 support; ga ik nog eens opzoeken. Maar je kunt ook de ext4-fuse port installeren.

[FireDrunk]

Ext is specifiek gebouwd voor Linux en heeft volgens mij nooit iets met UFS van doen gehad...

Ext4-fuse kan natuurlijk ook, maar dan moet je weer Fuse installeren

[HyperBart]

FireDrunk schreef op vrijdag 01 november 2013 @ 15:00:
[...]

Voor de 5400RPM modellen heb je gelijk, voor de 7200RPM modellen en de Enterprise versies daar weer van heb je weer geen gelijk

Vraag maar aan HyperBart

Oh neuh, die blijven superkoel

NOT. Ik heb het ooit gepartijed om 6 Deskstar's per paar op mekaar LANGS mijn server te leggen. Dacht dat gewoo. De openlucht wel genoeg ging zijn... Niet dus. Dingen gingen tot 65 graden ofzo. Omdat ik een migratie bezig was heb ik toen 2 weken met een gewone staande ventilator ze moeten koelen, zelfs met de disks niet op elkaar gestapeld... Dat waren wel ultrastars bedenk ik me nu net, maar mijn deskstars gingen even gek hoor...

[tvwes]

Verwijderd schreef op zondag 03 november 2013 @ 20:52:
ext2 werkt prima (afkomstig van UFS voor zover ik weet? FFS; Fast File System). Maar ext3 en ext4 hebben features die FreeBSD out-of-the-box niet ondersteunt. Er was een Summer of Code project voor ext4 support; ga ik nog eens opzoeken. Maar je kunt ook de ext4-fuse port installeren.

FreeBSD wiki over EXTn

[ Voor 5% gewijzigd door tvwes op 03-11-2013 21:33 ]

[victorb]

Verwijderd schreef op zondag 03 november 2013 @ 20:52:
ext2 werkt prima (afkomstig van UFS voor zover ik weet? FFS; Fast File System). Maar ext3 en ext4 hebben features die FreeBSD out-of-the-box niet ondersteunt. Er was een Summer of Code project voor ext4 support; ga ik nog eens opzoeken. Maar je kunt ook de ext4-fuse port installeren.

Ik heb de 4tb usb 3.0 hdd naar ext2 geformateerd en krijg de zelfde error als met ext3.

[tvwes]

@victorb
Ook al is dit offtopic, kijk even naar de volgende zaken:
-je partitie mechanisme, dat moet in dit geval GPT zijn, MBR gaat maar tot 2TB
-en voor het volgende houd ik een slag om de arm, het zou mij niet verbazen als de ext2 implementatie van FreeBSD maar een volumesize tot 2TB ondersteund. Linux 2.4 en eerder konden ook maar 2TB aan, terwijl EXT2 op zich wel meer aan kon.

Als je de externe disk als backup wilt gebruiken waarom dan niet UFS? De documentatie over EXT2 support in FreeBSD is spaarzaam. EXTn is op dit moment toch een beetje tweede rangs FS in FreeBSD. De aandacht gaat hoofdzakelijk uit naar ZFS en UFS.

[jacovn]

HyperBart schreef op zondag 03 november 2013 @ 21:30:
[...]

Oh neuh, die blijven superkoel

NOT. Ik heb het ooit gepartijed om 6 Deskstar's per paar op mekaar LANGS mijn server te leggen. Dacht dat gewoo. De openlucht wel genoeg ging zijn... Niet dus. Dingen gingen tot 65 graden ofzo. Omdat ik een migratie bezig was heb ik toen 2 weken met een gewone staande ventilator ze moeten koelen, zelfs met de disks niet op elkaar gestapeld... Dat waren wel ultrastars bedenk ik me nu net, maar mijn deskstars gingen even gek hoor...

Ik heb er ook 4 die ooit de 63 graden aangetikt hebben toen de fan niet draaide in die 5:3 module waar er 4 in zaten (7K4000 modellen van Hitachi)

[HyperBart]

Verwijderd schreef op vrijdag 25 oktober 2013 @ 17:29:
[...]

Zeker! Je ziet ook in de zpool status output dat in plaats van de oude disk er een nieuwe 'disk' bij is gekomen:

code:

Replacing
  /dev/ada4 (resilvering)
  /dev/ada5

In dit geval is /dev/ada5 de oude disk, die nog steeds onderdeel is van de zpool configuratie totdat het replacen is voltooid. Daarna neemt ada4 de plek in van ada5.

Op dezelfde manier gebeurt het als je een RAID0/stripe disk wilt replacen. Dan heeft hij natuurlijk wel de originele disk nodig. Maar op deze manier een RAID-Z rebuilden/replacen is natuurlijk véél veiliger omdat je tijdens het rebuilden nog gewoon volledige redundancy hebt. Traditioneel RAID5 betekent dat je bij het verwisselen van een disk degraded draait en dus ook gelijk risico loopt zoals bij bad sectors op de overige schijven. ZFS is natuurlijk superieur.

Dit is mijn huidige status:

[root@zfsguru ~]# zpool status titan
  pool: titan
 state: ONLINE
  scan: scrub repaired 0 in 7h6m with 0 errors on Sun Nov  3 09:06:10 2013
config:

        NAME              STATE     READ WRITE CKSUM
        titan             ONLINE       0     0     0
          raidz1-0        ONLINE       0     0     0
            gpt/bay2      ONLINE       0     0     0
            gpt/bay3      ONLINE       0     0     0
            gpt/bay4      ONLINE       0     0     0
            gpt/bay5      ONLINE       0     0     0
            gpt/bay1      ONLINE       0     0     0
        logs
          gpt/VMDK-ZIL    ONLINE       0     0     0
        cache
          gpt/VMDK-L2ARC  ONLINE       0     0     0

errors: No known data errors

De vervangdisk heb ik geformatteerd en als naam gpt/bay3-replace1 gegeven.

Klopt het dat ik nu gewoon:

zpool replace titan gpt/bay3 gpt/bay3-replace1

kan doen?


EDIT: lompe boer die ik ben, kan gewoon via web-interface klikkerdeklik.

  pool: titan
 state: ONLINE
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Mon Nov  4 15:12:08 2013
        1.52T scanned out of 11.2T at 373M/s, 7h34m to go
        311G resilvered, 13.55% done
config:

        NAME                     STATE     READ WRITE CKSUM
        titan                    ONLINE       0     0     0
          raidz1-0               ONLINE       0     0     0
            replacing-0          ONLINE       0     0     0
              gpt/bay2           ONLINE       0     0     0
              gpt/bay2-replace1  ONLINE       0     0     0  (resilvering)
            gpt/bay3             ONLINE       0     0     0
            gpt/bay4             ONLINE       0     0     0
            gpt/bay5             ONLINE       0     0     0
            gpt/bay1             ONLINE       0     0     0
        logs
          gpt/VMDK-ZIL           ONLINE       0     0     0
        cache
          gpt/VMDK-L2ARC         ONLINE       0     0     0

errors: No known data errors

[ Voor 25% gewijzigd door HyperBart op 04-11-2013 16:24 ]

[HyperBart]

Iemand een ervaring met deze sysctl variabelen?

vfs.zfs.resilver_delay=0 # Prioritise resilver over normal writes (default 2)
vfs.zfs.scrub_delay=0 # Prioritise scrub over normal writes (default 4)


Hoger of lager zetten om resilver en scrub een LAGERE snelheid te geven zodat andere IO meer prio heeft?

[webfreakz.nl]

HyperBart schreef op maandag 04 november 2013 @ 20:37:
Hoger of lager zetten om resilver en scrub een LAGERE snelheid te geven zodat andere IO meer prio heeft?

Ik vond dit artikel:

http://broken.net/uncateg...for-scrubs-and-resilvers/

En source code:
http://fxr.watson.org/fxr.../dsl_scan.c?v=OPENSOLARIS

code:

   59 int zfs_top_maxinflight = 32;           /* maximum I/Os per top-level */
   60 int zfs_resilver_delay = 2;             /* number of ticks to delay resilver */
   61 int zfs_scrub_delay = 4;                /* number of ticks to delay scrub */
   62 int zfs_scan_idle = 50;                 /* idle window in clock ticks */

Dus op 0 zetten is het snelst als ik het zo zie.

[Durandal]

HyperBart schreef op maandag 04 november 2013 @ 14:42:
[...]
De vervangdisk heb ik geformatteerd en als naam gpt/bay3-replace1 gegeven.

Klopt het dat ik nu gewoon:

zpool replace titan gpt/bay3 gpt/bay3-replace1

kan doen?


EDIT: lompe boer die ik ben, kan gewoon via web-interface klikkerdeklik.

Niet iedereen heeft een webinterface, dus ik ben toch wel benieuwd naar het antwoord

[tvwes]

zpool replace [poolname] [old dev] [new dev] is inderdaad goed.

het is anders als je [new dev] hotswapped / verwisseld met [old dev] , dan is [new dev]==[old dev]
de syntax is dan:
zpool offline [pooname] [dev]
verwissel de schijf
zpool online [pooname] [dev]
zpool replace [pooname] [dev]

[Bigs]

Nu je het over hotswappen hebt.. ik maak nu op schijven een GPT partitietabel aan en de partitie voeg ik toe aan ZFS omdat ik boot van m'n pool. Als je niet boot van je pool zou je net zo goed rauwe schijven kunnen gebruiken toch? Of heeft dat nadelen?

In Solaris kun je de schijven onder /dev terugvinden met hun WWID, dus dan hebben ze meteen een duidelijke naam, maar die functie heb ik in FreeBSD geloof ik nog niet gezien.

[FireDrunk]

FreeBSD werkt met /dev/ada* voor AHCI of /dev/da* voor SATA/SAS/SCSI.

Die kan je in principe ook toevoegen aan ZFS pools. Nadeel is weer dat die niet zoals bij solaris uniek zijn, en bij een volgende boot anders kunnen zijn.

[ Voor 29% gewijzigd door FireDrunk op 05-11-2013 09:46 ]

[tvwes]

Het is in het algemeen beter om de hele/ruwe drive aan een zpool toe te wijzen. ZFS is ook ontworpen voor hele drives, op die manier is er zekerheid over wat er gebeurt met de drives qua write cache, i/o's en syncs etc.
In Solaris of afgeleiden hebben zeker niet alle drives een makkelijk herkenbare WWN. Alle SATA/IDE en AHCI drives zien eruit als cXtYdZ bij bijv. een iscsi drive zie je cXt[WWN]dz

[FireDrunk]

Er zijn wel wat redenen om dat juist niet te doen. Grootte van de disks kan theoretisch verschillen. Als je partities gebruikt kan je nog een beetje schuiven met de grootte van de schijf zoals die in ZFS moet komen.

[Ultraman]

tvwes schreef op dinsdag 05 november 2013 @ 10:05:
Het is in het algemeen beter om de hele/ruwe drive aan een zpool toe te wijzen. ZFS is ook ontworpen voor hele drives, op die manier is er zekerheid over wat er gebeurt met de drives qua write cache, i/o's en syncs etc.
In Solaris of afgeleiden hebben zeker niet alle drives een makkelijk herkenbare WWN. Alle SATA/IDE en AHCI drives zien eruit als cXtYdZ bij bijv. een iscsi drive zie je cXt[WWN]dz

Op Solaris wil je inderdaad hele drives te gebruiken, omdat anders de caching (deels) wordt uitgeschakeld.

Op FreeBSD is dit niet van toepassing. En naar mijn mening wil je juist partities gebruiken. Er zijn immers altijd kleine verschillen in drive grootte tussen verschillende modellen, dan praat je over enkele MBs. Door met partities te werken kun je een klein gedeelte van de schijf ongebruikt laten om rekening te houden met deze verschillen.
Bijvoorbeeld: Pak jij nu een WD Red van 2TB en maak je een pool op de hele disk, dan werkt dat prima.
Denk je over een tijdje dat je toch wat meer veiligheid wilt en dat wilt verkrijgen door een schijf bij te plaatsen zodat je een mirror kunt maken, dan ga je nog een extra 2TB schijf kopen. Maar stel dat specifieke WD Red model is niet meer op de markt, vervangen door een nieuwer model. En er is ook een aanbieding voor een 2TB Seagate schijf. Klinkt interessant, en 2TB = 2TB right?
Wrong. Zodra jij die Seagate schijf aan je bestaande pool met de oude WD Red wilt hangen en blijkt dat Seagate schijf net 2MB kleiner is, dan krijg jij die mirror niet voor elkaar.
Mag je een nieuwe pool gaan maken, data kopiëren en vervolgens de oude WD Red in de omgekeerde volgorde aan de pool met die Seagate gaan toevoegen.
Allemaal werk dat je je had kunnen besparen door een partitie te maken en bijvoorbeeld 100MB vrij te laten.
Ditzelfde kan gebeuren wanneer je met een RMA net een ander model teruggestuurd krijgt.

Related: FreeBSD Diary: ZFS: do not give it all your HDD

[ Voor 13% gewijzigd door Ultraman op 05-11-2013 10:18 ]

[HyperBart]

Durandal schreef op dinsdag 05 november 2013 @ 04:20:
[...]

Niet iedereen heeft een webinterface, dus ik ben toch wel benieuwd naar het antwoord

Geen probleem, dit was in concreto mijn commando:

zpool replace titan gpt/bay2 gpt/bay2-replace1

En effectief, je pool blijft heel de tijd online en wordt niet degraded, prima .

Ik ben wel benieuwd hoe dat replacen eigenlijk technisch gaat, ik heb zo het idee dat hij een mirror maakt en daarna de vervangen disk er uit trekt oid.