Het grote ZFS topic

[maratropa]

Lees me wat in in ZFS / Freenas; (ivm mogelijke zfs nas aan 10gbe verbinding)

Als je 6 schijven hebt (en max 6 sata poort beschikbaar en 1 m2 pci-e slot); je kunt 3x een mirrored vdev maken in 1 pool, maar ook 2 stuks 3-disk raidz1 vdev's. Ik begrijp dat je met raidz1 meer ruimte overhoudt, maar hoe zit het met performance. Ik lees dat random IOps met mirrored vdevs sneller kan zijn, en bijv sequentieele writes weer op raidz1. Wat zouden jullie aanraden als de opslag gebruikt zou worden voor dataopslag en workstation gebruik (saven en laden van cad/3d, video, foto), wat zijnde grootste prestatieverschillen tussen deze 2 setups (2 x 3disk mirror kan ook bedenk ik me)? Als ik het zo lees zijn de extra ssd cache opties ook niet meteen nodig, niet?

[ZaPPZion]

maratropa schreef op zaterdag 24 februari 2018 @ 12:05:
wat zijnde grootste prestatieverschillen tussen deze 2 setups? Als ik het zo lees zijn de extra ssd cache opties ook niet meteen nodig, niet?

Er zijn natuurlijk wel prestatieverschillen, maar je moet vooral kijken naar wat het voor jou gaat doen, elke use-case is weer anders. Jij hebt waarschijnlijk veel grote files, dat heeft veel minder IOPS nodig dan heel veel kleine files. Ik zou het gewoon even testen op het moment dat je het hebt, maar ik denk dat je geen of weinig verschil zult merken in overdrachtsnelheid tussen striped raidz1 en striped mirrors, zolang je CPU snel genoeg is. RaidZ2 met 6 disks kan trouwens ook nog, dat is (afhankelijk van hoe belangrijk de data is) ook best een goede optie, RaidZ1 kan met de huidige grootte van de schijven best nog wel eens een error produceren tijdens rebuilds.

Wat betreft de SSD cache, ik weet niet wat voor files je gaat gebruiken, maar volgens mij duurt het bij de meeste CAD files langer om de files te interpreteren dan het lezen van de files. De enige reden om SSD cache te gebruiken, is als je vaak dezelfde files opent en saved, en je deze files ook heel snel nodig hebt, zoals bijvoorbeeld bij video-editing met 4k footage. Anders zou ik zeggen dat SSD een beetje overkill is.

[nero355]

maratropa schreef op zaterdag 24 februari 2018 @ 12:05:
Als je 6 schijven hebt (en max 6 sata poort beschikbaar en 1 m2 pci-e slot)

Maar kan je die ook TEGELIJK gebruiken ?!

Zo ja, dan zou ik het OS op de M.2 SSD doen en de daadwerkelijke data op HDD's op de AHCI controller in RAIDZ2

Als ik het zo lees zijn de extra ssd cache opties ook niet meteen nodig, niet?

Heb je Synched Writes nodig ? Zo niet dan zou ik het lekker skippen

Ik zou trouwens sowieso de NAS als Backup optie gebruiken en alles ook lokaal opslaan op de HDD's van het werkstation dan heb je alles lekker dubbel!

[maratropa]

@ZaPPZion @nero355 thanks. Ik wilde nou juist m'n storage uit m'n workstation halen zodat ik er via het netwerk altijd overal bij kan (laptop bijv) ook als mijn (forse niet zo zuinige) computer uit staat, los van de upagrade die zfs opslag is qua robuustheid tov 1 losse schijf nu (wel met allerlei backups natuurlijk). Ik ben dan ook flexibeler qua opslag ook bij een hardware upgrade (die waarschijnlijk kleiner wordt) Ohja raidz2 kan ook nog idd Maar idd, als het er eenmaal is moet ik maar gewoon testen. max IOPS zal waarschijnlijk niet echt belangrijk zijn. Stel 1 schijf doet 100mb per sec sequentieel. Wat voor snelheden kun je dan halen met 6 schijven seq. ongeveer? (Ik begrijp dat zfs niet performance op nr 1 heeft staan maar dan heb ik een beetje idee) M'n idee is wel om in de toekomst de schijven te vervangen voor ssd's bijv.
(Ohja die 6 sata poorten kunnen idd wel tegelijk werken met de m2 poort zolang dit een pci-e ssd is..) Ik zal ook in het diy nas topic posten voor wat hardware feedback)

[ Voor 8% gewijzigd door maratropa op 26-02-2018 12:01 ]

[Aschtra]

Ik heb eindelijk 16GB RAM besteld voor mijn HP Microserver Gen8 waar FreeNAS op draait.
Denk dat die dat heel erg kan waarderen, heeft momenteel 4GB

[ Voor 7% gewijzigd door Aschtra op 28-02-2018 15:23 ]

[Valkyre]

Ik zit te denken om mijn storage en ESX host uit elkaar te trekken en te vervangen door een aparte freenas file server.

de volgende disks heb ik tot mijn beschikking:
4x wd 3 tb red (media-tank)
3x wd 2tb red (documenten/fotos-tank)
2x intel ssd 120GB
1x IBM ServeRAID M1015 SAS/SATA

Ik begrijp dat ik dan het beste 2x een RaidZ pool kan maken, en per pool dan de ssds als cache disks?
Is het ook mogelijk om beide SSD als cache disks te gebruiken voor beide pools?
is deze pool indeling logisch?

Daarnaast heb ik nog een stuk of 10 VM's draaien waar ik de disks op de freenas server wil zetten.
Maar ik zou het wel jammer vinden als mijn disks nooit in spindown mode gaan.
Echter als ik mij goed ingelezen heb, staat alle data dat in de cache staat ook in de RAIDZ pool, dus 1 iops met 'veranderende' data en de disk moeten weer wakker worden?

[CurlyMo]

Gohan-san schreef op donderdag 1 maart 2018 @ 20:12:
Ik begrijp dat ik dan het beste 2x een RaidZ pool kan maken, en per pool dan de ssds als cache disks?
Is het ook mogelijk om beide SSD als cache disks te gebruiken voor beide pools?

Dit is al vaak genoeg ana bod gekomen. Dat is in de tussentijd niet veranderd.

is deze pool indeling logisch?

Is die lijst in je vorige post je huidige opzet of gewenste opzet?

Daarnaast heb ik nog een stuk of 10 VM's draaien waar ik de disks op de freenas server wil zetten.

Dit snap ik niet.

[Valkyre]

Dit is al vaak genoeg ana bod gekomen. Dat is in de tussentijd niet veranderd.

Ik heb het antwoord nog niet kunnen vinden (maar dat ligt ongetwijfeld vast aan mij

Is die lijst in je vorige post je huidige opzet of gewenste opzet?

Dit is de opzet waarvan ik denk dat het het meest logisch is met de disken die ik heb.
Maar dat ik niet weet of er mogelijk nog een 'slimmere' variant is.

Dit snap ik niet.

Ik trek alle disken uit mijn ESX server, en die wil ik dan middels NFS/iSCSI verbinden met de nas.
en daarmee komen dan de disken op freenas server te staan.
Maar dan gaat dat wel ten kosten van de energie zuinigeheid van de freenas server omdat de disks dan nooit in spindown modus komen,toch?

[CurlyMo]

Gohan-san schreef op vrijdag 2 maart 2018 @ 16:33:
[...]
Dit is de opzet waarvan ik denk dat het het meest logisch is met de disken die ik heb.
Maar dat ik niet weet of er mogelijk nog een 'slimmere' variant is.

En wat vind je van één pool bestaande uit allemaal mirrors?

Maar dan gaat dat wel ten kosten van de energie zuinigeheid van de freenas server omdat de disks dan nooit in spindown modus komen,toch?

Dat hangt van je hosts af. Als die slapen zullen de disks ook best in spindown kunnen.

[Valkyre]

En wat vind je van één pool bestaande uit allemaal mirrors?

hmm ja daar zit ook wat in, mijn voorkeur is eigenlijk 1 groot volume voor media e.d.

Dat hangt van je hosts af. Als die slapen zullen de disks ook best in spindown kunnen.

de host slaapt nooit mijn firewall/AD/teamspeak/domoticz draait erop.

ik zou de 2TB schijven kunnen combineren met de SSD's en dan op de 2TB schijven:
VM's
Fotos
Documenten
Dan kunnen de 3TB disks in spindown gaan wanneer het nodig is.
En misschien is het zelfs slimmer om een 512 gb SSD in mijn esx host te plaatsen en daar alle vm's op te plaatsen. (vanuit energie gebruik)

[CurlyMo]

Gohan-san schreef op zaterdag 3 maart 2018 @ 15:25:
[...]
En misschien is het zelfs slimmer om een 512 gb SSD in mijn esx host te plaatsen en daar alle vm's op te plaatsen. (vanuit energie gebruik)

Ik heb mijn disks nooit in spindown. Mijn energieverbruik was met koken op gas +/- 1700kWh. Sluipverbruik +/- 40W. Vooral omdat ik op allerlei andere plaatsen al iets aan mijn verbruik had gedaan. Die paar Watt tussen wel of geen spindown neem ik dan voor lief. Om toch weer te compenseren heb ik nu het dak vol gelegd met zonnepanelen

Ik heb daarbij al mijn ESXi hosts op mijn ZFS NAS staan.

[ Voor 4% gewijzigd door CurlyMo op 03-03-2018 15:38 ]

[Nindustries]

Wat configureren/installeren jullie eigenlijk typisch na een vanilla ZFS setup?
Stel ik download & installeer FreeBSD met ZFS-on-root; wat configureren jullie hierna?

Ik zou denken periodieke scrubs & SMART checks met email notificatie?

[CurlyMo]

CurlyMo schreef op woensdag 17 januari 2018 @ 20:00:
OrangePi PC 2 staat in de bestelling.

Alles in binnen en geconfigureerd. Eerst eens kijken wat de scrub statistieken gaan worden. Temperatuur is iig schappelijk met 50c. CPU load is ook prima:

code:

%Cpu0  :  0.0 us,  6.1 sy,  0.0 ni, 84.1 id,  8.5 wa,  0.0 hi,  1.4 si,  0.0 st
%Cpu1  :  0.0 us,  3.4 sy,  0.0 ni, 95.3 id,  1.0 wa,  0.0 hi,  0.3 si,  0.0 st
%Cpu2  :  0.0 us,  4.7 sy,  0.0 ni, 94.7 id,  0.7 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  :  0.0 us,  5.0 sy,  0.0 ni, 93.7 id,  0.3 wa,  0.0 hi,  1.0 si,  0.0 st

code:

  scan: scrub in progress since Sun Mar 11 10:04:53 2018
        265G scanned out of 1.34T at 21.4M/s, 14h39m to go
        0B repaired, 19.34% done

[ Voor 11% gewijzigd door CurlyMo op 11-03-2018 14:35 ]

[goedt]

Kort vraagje(sorry als deze vraag al is gesteld, maar ik heb niet zo veel zin om 733 pagina's te gaan lezen).
Is het intussen mogelijk om harde schijven toe te voegen ná het maken van mijn raid opstelling? Ik kom namelijk wat wisselende antwoorden tegen op internet.

Alvast bedankt.

[unezra]

goedt schreef op zondag 18 maart 2018 @ 00:26:
Kort vraagje(sorry als deze vraag al is gesteld, maar ik heb niet zo veel zin om 733 pagina's te gaan lezen).
Is het intussen mogelijk om harde schijven toe te voegen ná het maken van mijn raid opstelling? Ik kom namelijk wat wisselende antwoorden tegen op internet.

Alvast bedankt.

Kort antwoord: Nee.
Je kunt wel de disks in-place vervangen door grotere exemplaren en daarmee dus je effectieve netto ruimte vergroten.

https://utcc.utoronto.ca/...aris/ZFSRaidzDiskAddition

[Bananenplant]

@Gohan-san over je spindowverhaal: toen ik mijn FreeNAS net had had ik ook de verwachting dat die schijven wel in spindown zouden kunnen... Totdat ik leerde over de system dataset . Waar wil je die laten?

[Dwarlorf]

Ik vroeg me af of ik een ZFS snapshot naar een externe schijf kan maken als die externe schijf kleiner is dan de schijven in mijn Freenas. Qua datagrootte past het wel op die externe harde schijf.

[CurlyMo]

Dwarlorf schreef op maandag 19 maart 2018 @ 07:07:
Ik vroeg me af of ik een ZFS snapshot naar een externe schijf kan maken als die externe schijf kleiner is dan de schijven in mijn Freenas. Qua datagrootte past het wel op die externe harde schijf.

Ja dat kan.

[koelkast]

Ik zit met een Freenas 11.1 U3 installatie met een Raidz2 pool met 6 schijven, van elk 4TB. Een tijdje geleden, na een korte stroomdip (en mogelijk -piek) kreeg ik problemen met één van de schijven.

De pool staat op degraded, en één schijf is UNAVAIL. Blijkbaar iets anders dan OFFLINE. Nu vraag ik me af of er een grote kans is dat deze schijf defect is. Zoja, moet ik hem dan net zo verwisselen als dat 'ie OFFLINE zou zijn? Herstart haalt niets uit. Freenas is geupdate vanaf 11.0, en daar had ik hetzelfde.

[CurlyMo]

koelkast schreef op woensdag 28 maart 2018 @ 11:12:
Ik zit met een Freenas 11.1 U3 installatie met een Raidz2 pool met 6 schijven, van elk 4TB. Een tijdje geleden, na een korte stroomdip (en mogelijk -piek) kreeg ik problemen met één van de schijven.

De pool staat op degraded, en één schijf is UNAVAIL. Blijkbaar iets anders dan OFFLINE. Nu vraag ik me af of er een grote kans is dat deze schijf defect is. Zoja, moet ik hem dan net zo verwisselen als dat 'ie OFFLINE zou zijn? Herstart haalt niets uit. Freenas is geupdate vanaf 11.0, en daar had ik hetzelfde.

Gooi hem eerst weer eens online en wacht 2 scrubs af.

[koelkast]

CurlyMo schreef op woensdag 28 maart 2018 @ 12:17:
[...]

Gooi hem eerst weer eens online en wacht 2 scrubs af.

Okay. Hoe zet ik hem weer online? Voor zover ik zie heb ik daar geen mogelijkheid voor in de gui. Klopt dat?

[CurlyMo]

koelkast schreef op woensdag 28 maart 2018 @ 14:06:
[...]

Okay. Hoe zet ik hem weer online? Voor zover ik zie heb ik daar geen mogelijkheid voor in de gui. Klopt dat?

Ik ken de GUI niet, ik doe alles met de command line

Daar is het simpelweg: zfs online ...

[FireDrunk]

Bij UNAVAIL heeft ZFS zelf besloten om de schijf een dreun te verkopen, bij OFFLINE is de schijf 'verdwenen'. Onlinen moet volgens mij op de command line.

[koelkast]

Okay. Schijf blijkt defect. Nu moet ik 'm offline halen, of voor 'replace' gaan, maar helaas, hij geeft geen 'member disk'. Is hij nu dus al offline en kan ik 'm fysiek vervangen?

[CurlyMo]

koelkast schreef op woensdag 28 maart 2018 @ 21:07:
Okay. Schijf blijkt defect. Nu moet ik 'm offline halen, of voor 'replace' gaan, maar helaas, hij geeft geen 'member disk'. Is hij nu dus al offline en kan ik 'm fysiek vervangen?

Altijd replace als het kan.

[koelkast]

CurlyMo schreef op woensdag 28 maart 2018 @ 21:34:
[...]

Altijd replace als het kan.

Na het fysiek vervangen in dit geval dus? Vooraf lukt niet omdat er geen member disk te selecteren is...

[CurlyMo]

koelkast schreef op woensdag 28 maart 2018 @ 21:42:
[...]

Na het fysiek vervangen in dit geval dus? Vooraf lukt niet omdat er geen member disk te selecteren is...

Als de oude toch al helemaal kaduk is dan maakt het allemaal niet zo uit. Maar over het algemeen is een replace beter.

[FireDrunk]

@koelkast Dus ja, na het fysiek vervangen

[ComTech]

Ik heb op m'n testserver iets fout gedaan.
Heb een mirror pool van 2 disks en heb hieraan een cache sdd toegevoegd.
Nu heb ik met

code:

zpool remove data /dev/sdd1

de SSD cache verwijderd maar na een reboot is m'n hele pool weg.

importen van de pool wil ook niet.

code:

root@pve:~# zpool import data
cannot import 'data': one or more devices is currently unavailable

Voor de duidelijkheid de cache SSD /dev/sdd1 is weg. (heb de schijf opnieuw gepartitioneerd).

Kan ik mijn pool nog terugkrijgen ? (staat geen belangrijke data op het was nog een testserver).

edit: ter verduidelijking:

code:

root@pve:/# zpool import
   pool: data
     id: 4854890043318805563
  state: DEGRADED
 status: One or more devices contains corrupted data.
 action: The pool can be imported despite missing or damaged devices.  The
        fault tolerance of the pool may be compromised if imported.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
 config:

        data        DEGRADED
          mirror-0  ONLINE
            sdb     ONLINE
            sdc     ONLINE
        logs
          sdd1      UNAVAIL  corrupted data

[ Voor 32% gewijzigd door ComTech op 02-04-2018 22:10 ]

[FireDrunk]

Ziet er prima uit, zou gewoon online moeten komen na import.

[ComTech]

Helaas niet gelukt.
Uiteindelijk heb ik het maar opgegeven en gedacht om de pool maar opnieuw te maken.
Nadat ik de schijven afgekoppeld had en opnieuw geboot en daarna weer aangekoppeld werkt alles ineens weer. (zonder dat ik de pool heb geimporteerd).

Rare is dat ik wel hele rare namen in de pools heb staan nu.

code:

root@pve:~# zpool status -v
  pool: data
 state: ONLINE
  scan: none requested
config:

        NAME                            STATE     READ WRITE CKSUM
        data                            ONLINE       0     0     0
          mirror-0                      ONLINE       0     0     0
            wwn-0x5000c5007d43b65d      ONLINE       0     0     0
            wwn-0x5000c5007d43d6bf      ONLINE       0     0     0
        logs
          wwn-0x5002538e40016248-part1  ONLINE       0     0     0

errors: No known data errors

  pool: ssdstore
 state: ONLINE
  scan: none requested
config:

        NAME                            STATE     READ WRITE CKSUM
        ssdstore                        ONLINE       0     0     0
          wwn-0x5002538e40016248-part2  ONLINE       0     0     0

errors: No known data errors

Ach binnenkort bouw ik hem toch helemaal opnieuw op dit is toch maar een testbakkie

[RobertMe]

ComTech schreef op dinsdag 3 april 2018 @ 21:20:
Rare is dat ik wel hele rare namen in de pools heb staan nu.

Je doelt op de wwn-... naamgeving? Dit zijn waarschijnlijk de disk ids. Tijdens het aanmaken van de pool zul je de /dev/sdX naam hebben opgegeven waar ZFS ze nu heeft geïmporteerd op basis van de /dev/disks/by-id variant. Als je een ls -l doet zul je ook zien dat ik meen de by-id variant een symlink naar de sdX variant. (En anders is de symlink andersom )

[koelkast]

CurlyMo schreef op woensdag 28 maart 2018 @ 21:46:
[...]

Als de oude toch al helemaal kaduk is dan maakt het allemaal niet zo uit. Maar over het algemeen is een replace beter.

Gelukt! Eerst kabels gecheckt, aangedrukt, maar pas na het vervangen en resilveren weer een healthy pool.
Nu nog rsync instellen om een backup te maken naar een andere Freenas bak. Doen jullie dit ook? Werkt het goed, of kan ik beter een W10 SFTP client gebruiken om te backuppen?

[CurlyMo]

koelkast schreef op dinsdag 3 april 2018 @ 21:38:
[...]
Nu nog rsync instellen om een backup te maken naar een andere Freenas bak. Doen jullie dit ook?

Nee, dat echte waanzin als je een ZFS target hebt. Zie dit topic en er is genoeg info over te vinden op duckduckgo.

[thijsjek]

Ik draai momenteel freenas 11.1u4 en had laatst dat de webgui en SSH verbinding naar de freenas server niet werkte. De jails en vm werkte wel nog steeds. Een unexpected reboot moeten uitvoeren, en erna een scrub van de boot disk uitgevoerd.

pool: freenas-boot
state: ONLINE
status: One or more devices has experienced an error resulting in data corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://illumos.org/msg/ZFS-8000-8A
scan: scrub repaired 0 in 0 days 00:00:18 with 112192 errors on Wed Apr 4 02:42:57 2018
config:

NAME STATE READ WRITE CKSUM
freenas-boot ONLINE 42.5K 0 0
ada4p2 ONLINE 0 0 0 block size: 512B configured, 4096B native

Mijn vraag is nu, boot ssd is dus aan vervanging toe? Kan ik dan gewoon een nieuwe 60gb ssd toevoegen aan de boot-pool en dan de oude eruit halen?

[CurlyMo]

In deze gevallen sowieso twee scrubs doen. Vervangen is inderdaad zo simpel.

[thijsjek]

CurlyMo schreef op woensdag 4 april 2018 @ 15:04:
In deze gevallen sowieso twee scrubs doen. Vervangen is inderdaad zo simpel.

Dit was in iedergeval al scrub #2. scrub 1 had 23k leesfouten.
Edit:
/Ik heb nu een identieke ssd toegevoegd aan de boot-pool en scrub #3 gedraaid en 0 fouten nu. Gok dat het maar voor nu een dual 60gb ssd boot-pool wordt voor een thuis server.

[ Voor 24% gewijzigd door thijsjek op 04-04-2018 20:09 ]

[Quindor]

@RobertMe na wat @ComTech schreef, had je de SSD ook fysiek verwijderd? Wellicht is daarna in je OS de drive volgorde veranderd en kon daardoor ZFS je parities niet meer vinden.

Om die reden gebruik ik altijd /dev/disk/by-id, dat kan nooit fout gaan namelijk. Uiteindelijk heeft jou systeem schijnbaar zelf besloten het daar naar om te zetten waarna de pool weer online kwam!

Uiteindelijk is by-id (of een andere uit de lijst) altijd beter dan /dev/sd*. Om die reden laatst ook een artikel geschreven omdat Proxmox standaard helaas het wel zo instelt. Gelukkig kun je (iig als het een mirror is) dat zonder data verlies omzetten.

[AjDuLion]

oh god.. mn atom bordje is op 97c beland en ik gok dat ie gekookt is...

vanavond maar eens uit de meterkast halen en kijken wat ie roept...

in het ergste geval moet er een nieuw bordje komen en kan ik weer bij mn storage..

[mkools24]

Wat denken jullie van deze config.

Ik heb momenteel 10 disks van 4 TB. Deze staan in een RAIDZ configuratie, d.w.z. 3 vdevs RAIDZ en 1 disk als hot spare, netto 24 TB.

Destijds leek dat een goede configuratie maar nu lees ik steeds meer dat RAID5 eigenlijk deprecated is en dat je het dus niet meer zou moeten gebruiken.

Die disken zijn al redelijk oud nu en het zijn WD greens, er zijn er al een paar stuk gegaan dus ik wil ze vervangen door WD REDs van 8 TB / stuk.

Nu zit ik te denken om die gewoon in mirror te plaatsen. Dus 10 x 8 TB in mirror is 40 TB netto.

Als ik dit nu doe dan heb ik toch 5 vdevs en dus de schrijfsnelheid van 5 disken en de leessnelheid van 10 klopt dat?

En valt er nog iets anders aan te merken / af te kraken aan deze config?

Thx.

[CurlyMo]

mkools24 schreef op maandag 9 april 2018 @ 13:37:
Ik heb momenteel 10 disks van 4 TB. Deze staan in een RAIDZ configuratie, d.w.z. 3 vdevs RAIDZ en 1 disk als hot spare, netto 24 TB.

Het lijkt mij zinvoller om dit alles in één grote set RAIDZ2 te stoppen.

Nu zit ik te denken om die gewoon in mirror te plaatsen. Dus 10 x 8 TB in mirror is 40 TB netto.

Maar dit kan ook. Er kan nu alleen nog maar één schijf per vdev kapot, waar dat bij RAIDZ2 2 is.

Als ik dit nu doe dan heb ik toch 5 vdevs en dus de schrijfsnelheid van 5 disken en de leessnelheid van 10 klopt dat?

Klopt.

[mkools24]

CurlyMo schreef op maandag 9 april 2018 @ 13:40:
[...]

Het lijkt mij zinvoller om dit alles in één grote set RAIDZ2 te stoppen.


[...]

Maar dit kan ook. Er kan nu alleen nog maar één schijf per vdev kapot, waar dat bij RAIDZ2 2 is.


[...]

Klopt.

Ja daar zit ik dus wel mee inderdaad dat ik na 1 defecte disk al degraded ben en die dan moet vervangen, dat gaat 2-3 dagen kosten met bestellen, inbouwen etc, alleen gaat de resilvertijd een stuk sneller zijn.

Aan de andere kant nu had ik een defect in een RAIDZ1 en de resilvertijd was 26 uur voor 4 TB, ik kan me voorstellen met één grote RAIDZ2 dat dat 2-3 dagen gaat zijn en dat de performance tijdens het resilveren ook drastisch omlaag gaat.

Lastig, aan de ene kant zonde om 80 TB te hebben en maar 40 TB over te houden, aan de andere kant heb je dan wel brute disk speeds en een snelle resilvertijd.

[CurlyMo]

mkools24 schreef op maandag 9 april 2018 @ 14:20:
[...]
Lastig, aan de ene kant zonde om 80 TB te hebben en maar 40 TB over te houden, aan de andere kant heb je dan wel brute disk speeds en een snelle resilvertijd.

Dit was wat een mede tweaker er van vond:
IceTeaGX in "Het grote DIY RAID NAS topic deel 3"

[mkools24]

CurlyMo schreef op maandag 9 april 2018 @ 14:25:
[...]

Dit was wat een mede tweaker er van vond:
IceTeaGX in "Het grote DIY RAID NAS topic deel 3"

Nuttige post en idd een thuissituatie is niet te vergelijken met professioneel dus in dat opzicht is mirror misschien wel zware overkill.

Ik ga er nog eens over denken, thanks

Wel grappig trouwens ik had diezelfde blog gelezen en daaruit kwam mijn vraag

[ Voor 9% gewijzigd door mkools24 op 09-04-2018 14:32 ]

[Paul]

mkools24 schreef op maandag 9 april 2018 @ 13:37:
Destijds leek dat een goede configuratie maar nu lees ik steeds meer dat RAID5 eigenlijk deprecated is en dat je het dus niet meer zou moeten gebruiken.

Dat komt IMHO vooral van mensen die een stuk banger zijn voor hun harddisks dan nodig. Natuurlijk, N=1, maar ook als ik op het werk kijk (enterprise schijven hebben wel een hogere BER / minder URE's, maar ook niet oneindig) dan is het wel HEEL toevallig als de 2e schijf net een URE krijgt op het moment dat je eerste schijf is afgekoppeld want headcrash of andere reden dat deze niet meer gevonden wordt.

Meestal vervang je een schijf omdat deze SMART-errors geeft, niet omdat deze gecrasht is. Je kunt de data dus gewoon lezen, en een URE opvangen met de redundancy. Los daarvan zijn die BER ratings behoorlijk worst case, maar ik heb laatst mijn array 3x moeten resilveren (iets met een verkeerde replace en een mapping die niet meer overeen kwam); volgens de logica van die anti-RAID5-mensen had ik dus 3x een URE moeten hebben, want ik heb 42 TiB gelezen en 11 TiB geschreven. Ik had er nul.

Ik zou geen 10 schijven in één RAIDZ stoppen (hoe meer schijven hoe groter de kans, en procentueel heb je steeds minder redundancy), maar om nu te zeggen dat een enkele schijf redundancy dood is gaat me te ver, al was het maar omdat RAID geen backup is; enkel een mechanisme om minder vaak je backup aan te hoeven spreken.

[mkools24]

Paul schreef op maandag 9 april 2018 @ 16:12:
[...]
Dat komt IMHO vooral van mensen die een stuk banger zijn voor hun harddisks dan nodig. Natuurlijk, N=1, maar ook als ik op het werk kijk (enterprise schijven hebben wel een hogere BER / minder URE's, maar ook niet oneindig) dan is het wel HEEL toevallig als de 2e schijf net een URE krijgt op het moment dat je eerste schijf is afgekoppeld want headcrash of andere reden dat deze niet meer gevonden wordt.

Meestal vervang je een schijf omdat deze SMART-errors geeft, niet omdat deze gecrasht is. Je kunt de data dus gewoon lezen, en een URE opvangen met de redundancy. Los daarvan zijn die BER ratings behoorlijk worst case, maar ik heb laatst mijn array 3x moeten resilveren (iets met een verkeerde replace en een mapping die niet meer overeen kwam); volgens de logica van die anti-RAID5-mensen had ik dus 3x een URE moeten hebben, want ik heb 42 TiB gelezen en 11 TiB geschreven. Ik had er nul.

Ik zou geen 10 schijven in één RAIDZ stoppen (hoe meer schijven hoe groter de kans, en procentueel heb je steeds minder redundancy), maar om nu te zeggen dat een enkele schijf redundancy dood is gaat me te ver, al was het maar omdat RAID geen backup is; enkel een mechanisme om minder vaak je backup aan te hoeven spreken.

Nee goed maar het gaat natuurlijk om de use-case. Backups ga ik niet maken want het is een film -en seriecollectie van momenteel 20 TB. In theorie zou ik dat allemaal opnieuw kunnen downloaden maar dat zou me ontzettend veel tijd kosten, zeker alles weer subben etc.

Maar om dat te backuppen gaat ook niet, ik kan moeilijk een NAS eraan hangen met dezelfde capaciteit en die mee laten groeien dat is simpelweg te duur dus ik zoek de beste perfomance/betrouwbaarheid.

Eén grote RAIDZ2 lijkt me inderdaad niet zo logisch al is het maar vanwege performance.

Dus ik zou 2x een RAIDZ2 aan kunnen maken, dan krijg ik 48 TB netto of 3x een RAIDZ + hot spare dan heb ik ook 48 TB netto maar de schrijfsnelheid van 3 disks ipv 2, maar wel 1 disk die nooit iets doet.

Op dit moment neig ik naar 2x RAIDZ2.

[Paul]

Als het alleen maar films en series zijn dan heb je die 3e vdev ook niet nodig, met hoeveel mensen (of vooral: devices) kijk je tegelijkertijd, en is dat 4k bronmateriaal of FullHD?

Je bent nu ook (de ruimte ter grootte van) 4 schijven kwijt aan redundancy, dan zou ik er 2x RAIDZ2 van maken inderdaad. Je kunt eventueel ook 1x RAIDZ3 overwegen, helemaal ideaal als er nog 1 schijf van 4 TB bij zou kunnen (dan hou je 8 datadisks over, wat een macht van 2 is. Met compressie maakt het allemaal wat minder uit maar ZFS houdt van machten van 2 ).

[Mmore]

ZoL 0.7.7 heeft een data loss bug, mocht het op je systeem al zijn geinstalleerd dan is het advies te downgraden. Hij is al uit de repositories gehaald van CentOS/Fedora.

Hele issue hier: https://github.com/zfsonlinux/zfs/issues/7401

[Kortfragje]

Volgens mij juist upgrade naar 0.7.8

tonyhutter commented 23 hours ago
FYI - you probably all saw it already, but we released zfs-0.7.8 with the reverted patch last night.

https://github.com/zfsonlinux/zfs/issues/7401

https://github.com/zfsonlinux/zfs/releases/tag/zfs-0.7.8

[CurlyMo]

Ik had het ook in het DIY NAS topic gevraagd, maar niet iedereen van hier leest daar mee (zoals ik lange tijd niet deed). Is de Chenbro RM42300 een beetje een mooie kast voor een ZFS Rack toepassing? Twee hot-swap bays erin en gaan. Ik kan er goedkoop aankomen. De rest van het verhaal is hier:
CurlyMo in "Het grote DIY RAID NAS topic deel 3"

[CurlyMo]

CurlyMo schreef op zondag 11 maart 2018 @ 11:08:
[...]
Alles in binnen en geconfigureerd. Eerst eens kijken wat de scrub statistieken gaan worden. Temperatuur is iig schappelijk met 50c. CPU load is ook prima:

En het draait sinds die tijd perfect Oftewel, de OrangePI PC2 is de ideale offsite backup machine. Goedkoop, zuinig, klein en snel genoeg.

[ Voor 13% gewijzigd door CurlyMo op 24-04-2018 21:38 ]

[Dwarlorf]

Ik draai momenteel FreeNAS-11.1-U1.

Ik vroeg me af in hoeverre onderstaande mededeling echt relevant is? Welk risico loop ik?

The capacity for the volume 'T800' is currently at 80%, while the recommended value is below 80%.

[FireDrunk]

80% is warning, hoe groter de pool hoe minder erg het is. Hoe groter de pool hoe meer lege ruimte er is in absolute hoeveelheid. De interne ZFS Space allocation wordt trager naarmate er minder aaneengesloten vrije ruimte is. Als er dus nog 1TB vrij is als je pool op 80% zit (en je hebt dus een pool van > 9TB,) is het niet zo'n ramp. Heb je een pool van SSD's van 128GB en zit die op 80% is het een heel ander verhaal.

Ikzelf heb een pool van 6*4TB in RAIDZ2, waar deze al eens is volgelopen, en op zich is dat op te lossen door een snapshot weg te gooien, en daarna ruimte vrij te maken. De pool zelf wordt er in ieder geval een stuk trager van. Als dat je weinig uit maakt, hoef je je sowieso nergens druk om te maken (behalve volledig vol lopen).

ZFS blijft prima werken tot 99% bij wijze van spreken, mits er genoeg ruimte vrij is om bestanden weg te gooien. Het wordt alleen allemaal wat trager.

[Dwarlorf]

Mijn pool is 'slechts' 2x3TB waarvan bijna 2,4 gebruikt. Maar als het echt moet kan er nog wel het een en ander af.

[Aschtra]

Vanmiddag ga ik 4x4TB WD RED bestellen ter vervanging van mijn 4x2TB setup. Momenteel nog 300GB vrij. Freenas warning staat er al een tijdje en nu op 91% ofzo

[Dwarlorf]

Volgende vraag:

Ik heb net FreeNAS-11.1-U1 geüpdate naar FreeNAS-11.1-U4. Ik krijg oa onderstaande melding:

Apr 24 13:20:44 freenas smartd[2539]: Device: /dev/ada2, WARNING: This drive may hang after 5184 hours of power-on time:
Apr 24 13:20:44 freenas smartd[2539]: http://www.tomshardware.c...-Firmware-BSOD,14544.html
Apr 24 13:20:44 freenas smartd[2539]: See the following web pages for firmware updates:
Apr 24 13:20:44 freenas smartd[2539]: http://www.crucial.com/support/firmware.aspx
Apr 24 13:20:44 freenas smartd[2539]: http://www.micron.com/pro...orage/client-ssd#software
Apr 24 13:20:44 freenas smartd[2539]: Unable to register device /dev/da0 (no Directive -d removable). Exiting.

Dit betreft de disk voor de System dataset pool. Nou heb ik online deze omslachtige methode gevonden om de firmware van een (data) disk te updaten.

Ik vraag me af of het (in mijn geval) niet veel simpeler is om de nas uit te zetten en dan de SSD even aan mijn pc te koppelen om de firmware te updaten.

[CurlyMo]

Dwarlorf schreef op dinsdag 24 april 2018 @ 14:29:
Ik vraag me af of het (in mijn geval) niet veel simpeler is om de nas uit te zetten en dan de SSD even aan mijn pc te koppelen om de firmware te updaten.

Ja, als jij dat simpeler vind dan zou ik dat doen. Wel even backup draaien.

[Dwarlorf]

CurlyMo schreef op dinsdag 24 april 2018 @ 14:35:
[...]

Ja, als jij dat simpeler vind dan zou ik dat doen. Wel even backup draaien.

Backup van de SSD bedoel je? Of ook van de data?

[CurlyMo]

Dwarlorf schreef op dinsdag 24 april 2018 @ 14:37:
[...]


Backup van de SSD bedoel je? Of ook van de data?

De data op de SSD.

[Dwarlorf]

CurlyMo schreef op dinsdag 24 april 2018 @ 14:49:
[...]

De data op de SSD.

Het leek me makkelijk maar de ssd uit mijn syteem halen is ook veel gedoe. Echter heeft dit hele gebeuren me vooral aan het denken gezet.

Ik gebruik de SSD zowel voor de System Dataset Pool als voor periodieke snapshots. Is dit wijsheid?

Ik lees min of meer om voor de System Dataset Pool de 'main volume' te gebruiken omdat de USB boot disks snel kapot kunnen gaan. Maar wat als mijn main volume kapot gaat? Het leek me logischer om daarom de SSD te gebruiken ipv boot drives of de 'main volume'.

Nadeel van de SSD is weer dat daar geen backup van wordt gemaakt. Niet echt handig in het geval dat het hele systeem om wat voor reden dan ook kapot gaat. Daarnaast heb ik dus ook de snapshots op de ssd.

Ik maak wel handmatig random periodieke backups van mijn data/gegevens maar dat loopt altijd een poos achter. Eén on-site en één off-site waarbij de laatste nog weer minder periodiek dan de eerste. Dit doe ik trouwens dmv kopiëren en niet de snapshots (omdat ik daar eigenlijk geen ervaring mee heb en ik de gok niet aandurf om alleen op de snapshots te vertrouwen)

Of maak ik me gewoon teveel zorgen over wat er allemaal fout kan gaan en zit er al voldoende redundancy in mijn hele setup? (Hoewel mijn systeem van periodieke backups nog wel beter/regelmatiger zou kunnen)

Bedankt trouwens voor je snelle replies.

[FireDrunk]

Je kan ook een backup maken door van een LiveCD (iso op een USB stickje) te booten en een backup over netwerk te maken bijvoorbeeld. Daarna schroef je de machine open, en hang je het ding aan je desktop om de firmware te updaten.

[Dwarlorf]

FireDrunk schreef op dinsdag 24 april 2018 @ 16:12:
Je kan ook een backup maken door van een LiveCD (iso op een USB stickje) te booten en een backup over netwerk te maken bijvoorbeeld. Daarna schroef je de machine open, en hang je het ding aan je desktop om de firmware te updaten.

Ik heb de System Dataset Pool nu gemigreerd naar de 'main volume'. Morgen haal ik de SSD eruit om de firmware te updaten. Als het nodig is kan ik de Snapshots wel gewoon weer instellen via de GUI als de SSD weer in de nas zit.

Maar wat is daarna wijsheid? De System Dataset Pool gewoon op de 'main volume' houden en dan op de SSD alleen snapshots wegzetten? Ik neem aan dat als ik de System Dataset Pool op de 'main volume' laat deze ook in de snapshots wordt meegenomen.

[CurlyMo]

Dwarlorf schreef op dinsdag 24 april 2018 @ 17:02:
[...]


Ik heb de System Dataset Pool nu gemigreerd naar de 'main volume'. Morgen haal ik de SSD eruit om de firmware te updaten. Als het nodig is kan ik de Snapshots wel gewoon weer instellen via de GUI als de SSD weer in de nas zit.

Maar wat is daarna wijsheid? De System Dataset Pool gewoon op de 'main volume' houden en dan op de SSD alleen snapshots wegzetten? Ik neem aan dat als ik de System Dataset Pool op de 'main volume' laat deze ook in de snapshots wordt meegenomen.

Ik snap niet goed wat 'Main volume' en System Dataset Pool nu precies is. Kan je eens een zpool list uitvoer plaatsen?

[Dwarlorf]

CurlyMo schreef op dinsdag 24 april 2018 @ 17:10:
[...]

Ik snap niet goed wat 'Main volume' en System Dataset Pool nu precies is.

Dat zal wel specifieke freenas terminology zijn (uit de manual) :

System Dataset configures the location where logs and reporting graphs are stored

Main volume staat niet als zodanig in de manual, heb ik blijkbaar ergens op google opgepikt.

In ZFS terminology, groups of storage devices managed by ZFS are referred to as a pool. The FreeNAS® graphical interface uses the term volume to refer to a ZFS pool

.

CurlyMo schreef op dinsdag 24 april 2018 @ 17:10:
Kan je eens een zpool list uitvoer plaatsen?

Ik ben nu niet thuis maar zal morgen eens uitvogelen hoe ik dat doe in freenas.

[nero355]

Dwarlorf schreef op dinsdag 24 april 2018 @ 14:29:
Volgende vraag:

Ik heb net FreeNAS-11.1-U1 geüpdate naar FreeNAS-11.1-U4. Ik krijg oa onderstaande melding:


[Melding over Firmware van Micron/Crucial SSD's]

Dit betreft de disk voor de System dataset pool. Nou heb ik online deze omslachtige methode gevonden om de firmware van een (data) disk te updaten.

Ik vraag me af of het (in mijn geval) niet veel simpeler is om de nas uit te zetten en dan de SSD even aan mijn pc te koppelen om de firmware te updaten.

Begrijp ik het goed dat je Crucial M4 SSD deze update nodig heeft : downloads: Crucial M4 070H (Waarschijnlijk die ervoor, maar dit is de laatste!)

Toch


Die update kan je gewoon zonder dataloss doen door middel van een USB stick met daarop de Update ISO weggeschreven

Niks spannends aan...

[CurlyMo]

nero355 schreef op dinsdag 24 april 2018 @ 23:08:
[...]
Die update kan je gewoon zonder dataloss doen door middel van een USB stick met daarop de Update ISO weggeschreven

Niks spannends aan...

Firmware upgrades hebben vrijwel altijd enig risico. Hoe klein ook.

[Sandor_Clegane]

CurlyMo schreef op dinsdag 24 april 2018 @ 23:19:
[...]

Firmware upgrades hebben vrijwel altijd enig risico. Hoe klein ook.

Is altijd een billenknijp momentje.

[nero355]

CurlyMo schreef op dinsdag 24 april 2018 @ 23:19:
Firmware upgrades hebben vrijwel altijd enig risico. Hoe klein ook.

Prima, maar ik bedoel dus dat je die rare procedure die was gepost voor Seagate meuk niet hoeft te gebruiken : Gewoon ISO'tje booten en de instructies volgen in hetzelfde systeem en klaar!

Verder heb ik meerdere SSD's geflashed (en dan bedoel ik echt een stuk of 100 minimaal!) en niet één daarvan was de data kwijt achteraf

[Aschtra]

Aschtra schreef op dinsdag 24 april 2018 @ 12:29:
Vanmiddag ga ik 4x4TB WD RED bestellen ter vervanging van mijn 4x2TB setup. Momenteel nog 300GB vrij. Freenas warning staat er al een tijdje en nu op 91% ofzo

Alles inmiddels vervangen! Mooi 5.4TB vrij van de 10.2TB nu.

[TommyboyNL]

Aan mijn FreeNAS instance hangt momenteel een oude 2,5" SATA SSD, welke niet in gebruik is. Ik had aanvankelijk plannen om die in te zetten als SLOG device, maar na me erin verdiept te hebben, heb ik besloten dat dat niet de moeite waard is. Wat is nu de juiste procedure om die disk te verwijderen, en bij voorkeur zonder mijn machine af te sluiten? Ik verwacht dat gewoon los trekken geen optie is?

[nero355]

TommyboyNL schreef op vrijdag 27 april 2018 @ 14:52:
Aan mijn FreeNAS instance hangt momenteel een oude 2,5" SATA SSD, welke niet in gebruik is.

Het OS is er dus niet van bewust ?

Ik verwacht dat gewoon los trekken geen optie is?

SATA support hotswap dus als de SSD echt totaal niet in gebruik is kan je die gewoon loskoppelen

[TommyboyNL]

nero355 schreef op vrijdag 27 april 2018 @ 15:25:
[...]

Het OS is er dus niet van bewust ?

Dat helaas wel, FreeNAS is netjes grafiekjes aan het bijhouden van die SSD. Niet dat er veel gebeurt in die grafiekjes...

[nero355]

TommyboyNL schreef op vrijdag 27 april 2018 @ 15:35:
Dat helaas wel, FreeNAS is netjes grafiekjes aan het bijhouden van die SSD. Niet dat er veel gebeurt in die grafiekjes...

Laat ik het anders zeggen : Staat er een filesystem op en is die ergens gemount ?
Is de SSD onderdeel van een pool of vdev ?

Enz...

[TommyboyNL]

Volledig ongebruikt.

[Dwarlorf]

nero355 schreef op woensdag 25 april 2018 @ 16:16:
[...]

Prima, maar ik bedoel dus dat je die rare procedure die was gepost voor Seagate meuk niet hoeft te gebruiken : Gewoon ISO'tje booten en de instructies volgen in hetzelfde systeem en klaar!

Verder heb ik meerdere SSD's geflashed (en dan bedoel ik echt een stuk of 100 minimaal!) en niet één daarvan was de data kwijt achteraf

Ik vind het allemaal veel te omslachtig. Er is geen win10 installer van Crucial. De win8.1 installer ziet geen drive en de win7 herstart zomaar mijn pc en geeft me een BSOD. Ik ga die ouwe meuk vervangen denk ik. Dit is de eerste en laatste keer dat ik Crucial rommel gebruik. Ik vind de crucial website ook maar weinig verheffend.

[ Voor 4% gewijzigd door Dwarlorf op 28-04-2018 08:25 ]

[dcm360]

Wat raar dat een besturingssysteem dat pas jaren later uitgebracht is niet ondersteund wordt door de software...

De enige optie van de 3 die je had kunnen gebruiken is de laatste met de bootable ISO. Proberen firmware te gaan updaten met een OS dat niet ondersteund wordt door de software is vragen om problemen, en dat merk je.

[nero355]

dcm360 schreef op zaterdag 28 april 2018 @ 12:28:
Wat raar dat een besturingssysteem dat pas jaren later uitgebracht is niet ondersteund wordt door de software...

De enige optie van de 3 die je had kunnen gebruiken is de laatste met de bootable ISO. Proberen firmware te gaan updaten met een OS dat niet ondersteund wordt door de software is vragen om problemen, en dat merk je.

Blijkbaar is de simpelste optie nog steeds veel te moeilijk... beetje jammer, nadat ik hem zelfs uitleg wat die het beste kan doen

[Dwarlorf]

dcm360 schreef op zaterdag 28 april 2018 @ 12:28:
Wat raar dat een besturingssysteem dat pas jaren later uitgebracht is niet ondersteund wordt door de software...

De enige optie van de 3 die je had kunnen gebruiken is de laatste met de bootable ISO. Proberen firmware te gaan updaten met een OS dat niet ondersteund wordt door de software is vragen om problemen, en dat merk je.

Ik wou het ff snel doen en was enigzins gefrustreerd dat het niet wou.

nero355 schreef op zaterdag 28 april 2018 @ 14:31:
[...]



[...]

Blijkbaar is de simpelste optie nog steeds veel te moeilijk... beetje jammer, nadat ik hem zelfs uitleg wat die het beste kan doen

Ik heb dat eerlijk gezegd nog niet geprobeerd vooral omdat ik daar geen tijd voor heb gehad (ik was zaterdag jarig). En ik wilde eigenlijk niet de bootsticks van freenas verwijderen om dit uit te voeren ook omdat ik er van uit ging dat het aankoppelen aan mn pc het wel ff snel zou oplossen. Ik had goeie ervaringen met Samsung magician dus ik ging er van uit dat dit bij crucial ook wel ff makkelijk zou lukken.

Je input wordt wel gewaardeerd hoor maar ik was ff chagrijnig zaterdagochtend. (vergeef me) Eind deze week ga ik er wel ff voor zitten.

[nero355]

Dwarlorf schreef op zondag 29 april 2018 @ 14:30:
Ik heb dat eerlijk gezegd nog niet geprobeerd vooral omdat ik daar geen tijd voor heb gehad (ik was zaterdag jarig).

Gefeliciteerd

En ik wilde eigenlijk niet de bootsticks van freenas verwijderen om dit uit te voeren ook omdat ik er van uit ging dat het aankoppelen aan mn pc het wel ff snel zou oplossen.

Ram op F11 of iets dergelijks en kies de juiste bootstick

Ik had goeie ervaringen met Samsung magician dus ik ging er van uit dat dit bij crucial ook wel ff makkelijk zou lukken.

Je input wordt wel gewaardeerd hoor maar ik was ff chagrijnig zaterdagochtend. (vergeef me) Eind deze week ga ik er wel ff voor zitten.

Ik vind het al een hele verbetering dat je een keer niet voor Samsung hebt gekozen

[ComTech]

Ik heb op mijn proxmox server een ZFS pool van 4 disks poolnaam Tank.
Nu wil ik snapshots maken dat lukt wel alleen ik wil door de snapshots kunnen bladeren via windows verkenner.
Ik maak snapshots op deze manier

code:

zfs snapshot Tank/storage@29-4-2018-1955

Ik zie wel de map .zfs en dan snapshots met mappen van namen van de snapshots maar er staat niks in .
Doe ik iets fout?

[CurlyMo]

ComTech schreef op zondag 29 april 2018 @ 20:06:
Ik zie wel de map .zfs en dan snapshots met mappen van namen van de snapshots maar er staat niks in .
Doe ik iets fout?

Zie je niks via verkenner of via de cli van proxmox?

[ComTech]

CurlyMo schreef op zondag 29 april 2018 @ 20:08:
[...]

Zie je niks via verkenner of via de cli van proxmox?

Via verkenner zie ik niks, maar via de cli dus wel .
hmm en nu kijk ik dus weer via de verkenner en zie ik dus wel alle bestanden van het snapshot.
Ik maakte de snapshot wel verkeerd ik doe het nu zo

code:

zfs snapshot Tank/storage/subvol-100-disk-1@29-4-2018-20-05

Ik gebruik een lxc-container (turnkey-fileserver) voor het nas gedeelte.
Het werkt nu in iedergeval toch bedankt!!

edit: Het gekke is nu is hij weer ineens leeg maar ga ik via de cli van proxmox naar de snapshotmap staat alles er wel en ook gelijk weer in verkenner.... schiet mij maar lek

[ Voor 13% gewijzigd door ComTech op 29-04-2018 20:43 ]

[CurlyMo]

ComTech schreef op zondag 29 april 2018 @ 20:17:
[...]


Via verkenner zie ik niks, maar via de cli dus wel .

Misschien een rechten kwestie?

[ComTech]

Hoe kan ik het beste een SSD cache disk vervangen van m'n zfspool?
Ik heb een andere ssd geplaatst (nvme) en wil deze ook weer deels inzetten als cache ssd.

code:

 pool: Tank
 state: ONLINE
  scan: scrub repaired 0B in 2h1m with 0 errors on Mon Apr 30 21:53:11 2018
config:

        NAME                                 STATE     READ WRITE CKSUM
        Tank                                 ONLINE       0     0     0
          mirror-0                           ONLINE       0     0     0
            ata-ST2000DM001-1ER164_W4Z176HZ  ONLINE       0     0     0
            ata-ST2000VN004-2E4164_Z5248BFT  ONLINE       0     0     0
          mirror-1                           ONLINE       0     0     0
            ata-ST2000DM001-1ER164_W4Z19AR3  ONLINE       0     0     0
            ata-ST2000VN004-2E4164_Z524CWK8  ONLINE       0     0     0
        cache
          sde2                               ONLINE       0     0     0

Gewoon zpool replace Tank sde2 sdf2 zoals bij een gewone disk vervangen?
Ik ben een beetje bang dat het weer verkeerd gaat zoals de vorige keer dat ik een ssdcache had verwijderd met zpool remove commando.

[CurlyMo]

ComTech schreef op zaterdag 5 mei 2018 @ 10:42:
Ik ben een beetje bang dat het weer verkeerd gaat zoals de vorige keer dat ik een ssdcache had verwijderd met zpool remove commando.

En waarom is dat iets om bang voor te zijn? Er gebeurt toch niks met je data als je dat doet.

Wat ik altijd doe in deze situaties:
- Single disk cache naar mirror
- Wachten op resilver van cache
- Mirror cache weer splitsen naar single disk en de overbodige disk weghalen.

[ComTech]

CurlyMo schreef op zaterdag 5 mei 2018 @ 10:47:
[...]

En waarom is dat iets om bang voor te zijn? Er gebeurt toch niks met je data als je dat doet.

Wat ik altijd doe in deze situaties:
- Single disk cache naar mirror
- Wachten op resilver van cache
- Mirror cache weer splitsen naar single disk en de overbodige disk weghalen.

Nou de vorige keer ging er wat mis toen ik een cache SSD verwijderde was m'n pool niet online.
Ik weet wel dat er niks met m'n data gebeurd maar het is toch altijd ff schrikken

[Sleepie]

Omdat ZFSGuru een stille dood gestorven is en ik toch wat onderhoud moest doen in verband met de aanschaf van nieuwe disks heb ik FreeNAS geinstalleerd.
Dat lukt na wat aanloop problemen allemaal prima, maar nu ik een pool wil maken van mijn nieuwe disks zie ik dat de FreeNAS GUI geen mogelijkheid biedt tot het maken van partities op je disks.

Volgens hun handleiding is dit niet nodig: "Unlike traditional UNIX filesystems, it is not necessary to define partition sizes when filesystems are created." (FreeNAS Documentation - 28. ZFSPrimer)

Op zich is dat misschien wel zo, maar in ZFSGuru was ik altijd gewend om een partitie te maken die de laatste 100MB ofzo van de disk onbeschreven liet. Dit om te voorkomen dat bij aanschaf van een vervangdisk over een aantal jaar de disk opeens een paar MiB kleiner blijkt te zijn, waardoor hij onbruikbaar is. (Dit heb ik in het verleden meegemaakt, nieuwe serie 1TB disks van Seagate was net iets kleiner dan de oude serie --> problemen omdat ik geen partities had gemaakt.)
(Bovendien had dit als voordeel dat je je GPT partities een beetje logische namen kunt geven)

Ben ik hier te paranoide?
Er zijn hier vast meerdere FreenNAS gebruikers. Wat doen jullie?
Geen partities gebruiken, of handmatig op de command line GPT partities maken? Of nog andere opties?

[CurlyMo]

Of gewoon handmatig je pool maken en kijken hoe FreeNAS dat slikt?

[FireDrunk]

Bang zijn dat er verschillen in disk sizes zijn die je koopt, is een oude FUD. Er is een conventie / standaard tussen de verschillende hardeschijf boeren waarin ze afgesproken hebben wat de disk sizes zijn.

In principe zouden dus alle 4TB disks, van alle leveranciers gelijk moeten zijn qua aantal sectoren.

De standaard heet: SFF-8447:
https://doc.xdevs.com/doc/Seagate/SFF-8447.PDF

The following member companies of the SFF Committee voted in favor of this industry
specification.
All Best
Dell Computer
EMC
Hewlett Packard
HGST
IBM
NetApp
Sandisk
Seagate
Shenzhen
Toshiba
Volex
Western Digital
The following member companies of the SFF Committee voted to abstain on this
industry specification.
AMI
Amphenol
Applied Micro
Avago
Broadcom
FCI
Finisar
Foxconn
JDS Uniphase
Jess-Link
Luxshare-ICT
Molex
QLogic
Sumitomo
TE Connectivity

Dus voor HDD's hoef je er niet zo bang voor te zijn, want eigenlijk alle harddisks komen praktisch gezien van WD, Seagate, HGST en Toshiba.

[Sleepie]

FireDrunk schreef op maandag 7 mei 2018 @ 10:53:
Bang zijn dat er verschillen in disk sizes zijn die je koopt, is een oude FUD. Er is een conventie / standaard tussen de verschillende hardeschijf boeren waarin ze afgesproken hebben wat de disk sizes zijn.

Stiekem dacht ik dit al wel, bedankt voor de bevestiging.
Dan is het inderdaad niet nodig om handmatig partities te maken en kan ik het gewoon simpel houden en mijn pool gewoon met de GUI maken.

Eerst nog even één van mijn IBM M-1015's met een nieuwere firmware flashen, die ziet de 8TB disks als 2.2TB, maar dat komt goed

[AjDuLion]

Sleepie schreef op maandag 7 mei 2018 @ 11:00:
[...]

Stiekem dacht ik dit al wel, bedankt voor de bevestiging.
Dan is het inderdaad niet nodig om handmatig partities te maken en kan ik het gewoon simpel houden en mijn pool gewoon met de GUI maken.

Eerst nog even één van mijn IBM M-1015's met een nieuwere firmware flashen, die ziet de 8TB disks als 2.2TB, maar dat komt goed

Ik zou absoluut niets via de command line doen wat niet kan met de wizzards in freenas, freenas wilt nog wel eens ''stukgaan'' als je bepaalde zaken niet doet via hun wizards.

Het hele 100mb meer of minder zou ik inderdaad uit je hoofd halen daar hoef je tegenwoordig echt niet meer naar te kijken, (maak je maar eerder druk over hoe je straks ja 8tb drives gaat vervangen voor 20tb disks)

over de 80% storage pool warnings ligt het er inderdaad ook aan hoe groot je pool zelf is.
Zelf ken ik mensen die bij 1gb pas de warning krijgen of zoals bij mij 11TB vrij en dan een warning krijgen dat ik denk ''wuuuh?"

[TommyboyNL]

FireDrunk schreef op maandag 7 mei 2018 @ 10:53:
Bang zijn dat er verschillen in disk sizes zijn die je koopt, is een oude FUD. Er is een conventie / standaard tussen de verschillende hardeschijf boeren waarin ze afgesproken hebben wat de disk sizes zijn.

In principe zouden dus alle 4TB disks, van alle leveranciers gelijk moeten zijn qua aantal sectoren.

De standaard heet: SFF-8447:
https://doc.xdevs.com/doc/Seagate/SFF-8447.PDF

Ik maakte me hier nooit zorgen over, maar vind het wel leuk om dit document te lezen. Ook mooi dat op de laatste pagina een excel formule staat zodat elke idioot dit na kan laten rekenen
Ik mis wel de motivatie van de fabrikanten die tegen stemde, dat kan nuttige inzichten verschaffen. Aan de andere kant is dat niet heel relevant zodra de standaard nou eenmaal vastgesteld is.

[Dreamer-1982]

Hallo allemaal,

Ik heb een vraag over spindown van disks in een ZFS pool (raidz1). Als ik zoek binnen deze draad maar ook op het hele forum wordt er regelmatig over gepraat maar ik zie geen duidelijk antwoord voor mijn situatie dus ik stel de vraag toch even:

Ik heb sinds kort een server met Ubuntu (nu nog 16.04) erop (wat voor mij allemaal nieuw is, hiervoor had ik alleen ervaring met Windows). Vanwege ZFS en Pi-Hole ben ik overgegaan om Linux.

Mijn server heeft een 1TB SSD waar Ubuntu op geinstalleerd is en waarop verschillende mappen gedeeld zijn over Samba die door verschillende gebruikers gebruikt worden. Verder zitten er 5 4TB disks in waarom een ZFS pool in raidz1 is aangemaakt.

Alle data die we regelmatig gebruiken staat op de SSD, en er loopt een script wat 1x per week de spullen van de SSD backupped op de ZFS pool. De data op de ZFS pool zal zelden geraadpleegd worden. Dat betekent dat naast deze korte backup sessie eens per week de schijven eigenlijk gespindownd kunnen blijven. Dat scheelt niet alleen energie, maar in dit geval ook slijtage denk ik, gezien de zeer geringe spin up/down die de schijven zouden krijgen.

Qua energie zat de server idle rond de 10-11 watt met alleen de SSD er nog aan. Nu met de 5 schijven erbij en na een poosje niets doen blijft hij steken op 28-29 watt, niet eens zo slecht, maar toch een 18watt extra die grotendeels terug te winnen zouden moeten zijn bij spindown van de disks.

Wat heb ik zelf al geprobeerd? Via hdparm powermanagement in te stellen -> dit leidt niet tot minder gebruik, dus ik verwacht ook niet dat de schijven spindownen. Als ik na een tijdje niets doen met de schijven kijk in de disk management tool via de Ubuntu desktop dan zie ik achter de 2 Seagate schijven wel "Zzz" staan, achter de 3 WD schijven staat dat niet. Maar met of zonder "Zzz": ik zie nog steeds geen verschil in gebruik, dus echt spindown doen ze niet.

Verder lees ik over "atacontrol spindown of camcontrol standby", maar dat staat bij BSD en niet Ubuntu. Als ik hierop google met Ubuntu erbij kom ik ook niets zinnigs tegen.

Voor de volledigheid: er zijn op de ZFS pool wel 2 mappen die via samba gedeeld worden (met data die ik dus maar zelden nodig heb). Alle "live" data staat op de SSD.

Mijn vragen zijn dus:
- Kan je een ZFS raidz1 pool uberhaupt wel in spindown laten gaan?
- Als dat kan: hoe zou ik dat in mijn situatie (met Ubuntu dus) het beste kunnen doen?
- Kan ik wel de 2 mappen die op de ZFS pool staan geshared laten via samba, of zou dat niet uit moeten maken (ik heb ook wel eens getest toen ze niet geshared werden en ook toen was het verbruik altijd rond de 28-29 watt).

Alvast bedankt.

Groetjes,
Paul

[TommyboyNL]

@Dreamer-1982 Check wel even in de datasheets van je disks op hoe veel load/unload cycles ze gespect zijn. Niet elke disk is het er mee eens om vaak een spin-up/spin-down voor zijn kiezen te krijgen. Zeker NAS disks kan je vanuit slijtageoogpunt veel beter laten draaien dan spin-downs geven.

[Jordi]

Een raidz1 pool kan prima spindown doen als het niet je root filesystem is. Hou er wel rekening mee dat wanneer je automatische snapshots gebruikt dit elke keer je disks zal laten opspinnen (met het package 'zfs-auto-snapshot' gebeurt dat standaard elk kwartier), al is het maar om te noteren dat er op tijdstip X niets is veranderd t.o.v. de vorige snapshot.

Je zou eens kunnen kijken naar iets als hd-idle, maar dat installeren en configureren vereist wat CLI-werk en uit je post maak ik (wellicht onterecht) op dat je een GUI user bent. Maar het kan! Je kunt er zelfs vrij gemakkelijk een deb package van bouwen.

Wat betreft je derde vraag: zolang er niets daadwerkelijk wordt opgevraagd moet het wel of niet sharen van een directory niet uitmaken. Als ik 's avonds Kodi op mijn HTPC start om een aflevering van iets te kijken, moet ik na 'play' altijd een seconde of 10 wachten omdat de harddisks uit mijn mediapool één voor één wakker geschud moeten worden.

[Dreamer-1982]

@TommyboyNL Als deze disks 1x per week up and downspinnen voor de backup slag en dan een een keer of 10 - 20 per jaar als ik data ervan nodig zou hebben praat je zeg maar over een 60 - 70 up/spindowns per jaar, dat is extreem weinig. Het gaat hier overigens over normale schijven, geen NAS schijven. Ik kan de specs nog even naslaan, maar verwacht dat bij dit aantal spin ups/downs er nooit een issue mag zijn.

@Jordi Ik gebruik niet de automatische snapshots, mijn script doet zaken handmatig in het script. HD-idle heb ik al even geprobeerd, gestart via de cli, maar ook dan zie ik geen verschil in verbruik na een hele tijd niets doen. En vanuit Windows ben ik idd meer gewend met een GUI te kunnen doen, maar met wat hulp van Google kom ik er op de CLI ook wel uit.
Ok, dus het sharen zou niets uit moeten maken, en er staan idd geen OS files op de ZFS pool, alleen eigen data files.

Ik ben nog steeds benieuwd of er iemand letterlijk in Ubuntu (of debian als die exact gelijke packages heeft) of iemand me exact kan vertellen hoe ik de schijven in spin down zou kunnen krijgen. Op mijn oude server met Windows had ik een Areca hardware raid controller, daar kon ik dit soort dingen super simpel instellen in de Areca webserver die op de kaart draait, ideaal.

[TommyboyNL]

Dreamer-1982 schreef op woensdag 23 mei 2018 @ 14:07:
@TommyboyNL Als deze disks 1x per week up and downspinnen voor de backup slag en dan een een keer of 10 - 20 per jaar als ik data ervan nodig zou hebben praat je zeg maar over een 60 - 70 up/spindowns per jaar, dat is extreem weinig. Het gaat hier overigens over normale schijven, geen NAS schijven. Ik kan de specs nog even naslaan, maar verwacht dat bij dit aantal spin ups/downs er nooit een issue mag zijn.

Ideaal gezien is het inderdaad een spin-up/down per week, maar je kan er donder op zeggen dat er toch een hoop processen zijn die toch af en toe disk access doen. De vraag is echter hoe veel dat er zijn, en hoe vaak.

[CurlyMo]

Wat is nu de laatste stand van zaken wat betreft ZFS en SAS expanders? Ik heb het hele DIY NAS topic eens gelezen en daar begon vooral @Verwijderd erg sceptisch rond 2010/2011, maar leek het erop dat het tegenwoordig prima werkt?

[FireDrunk]

ZFS zelf heeft niks tegen SAS Expanders. Slechte SAS expanders hebben brakke lane snelheden als er 1 bokkende disk tussen zit. Sommige expanders gaan dan moeilijk doen, en dat vindt ZFS dan weer niet leuk, maar non-issue want alle Filesystems / RAID engines hebben daar last van.

Veel SAS Expanders icm SATA schijven geeft potentieel wel issues, omdat het SATA protocol eigenlijk niet gemaakt is om met zoveel mensen op 1 bus te zitten. Dus 100 SATA schijven achter een SAS Expander stoppen zou ik niet doen, maar <32 zou voor mij geen issue zijn.

[CurlyMo]

FireDrunk schreef op woensdag 23 mei 2018 @ 18:09:
ZFS zelf heeft niks tegen SAS Expanders. Slechte SAS expanders hebben brakke lane snelheden als er 1 bokkende disk tussen zit. Sommige expanders gaan dan moeilijk doen, en dat vindt ZFS dan weer niet leuk, maar non-issue want alle Filesystems / RAID engines hebben daar last van.

Veel SAS Expanders icm SATA schijven geeft potentieel wel issues, omdat het SATA protocol eigenlijk niet gemaakt is om met zoveel mensen op 1 bus te zitten. Dus 100 SATA schijven achter een SAS Expander stoppen zou ik niet doen, maar <32 zou voor mij geen issue zijn.

Het zou dan gaan om een IBM M1015 i.c.m. een IBM x3650 (46M0997) mits dat ook nog een beetje zuinig is. Anders moet ik op zoek naar een betaalbare Ebay 16 poorts HBA en mijn M1015 verkopen. Onderlinge verbinding via 2x SFF-8087.