Het grote ZFS topic

[ikkeenjij36]

FireDrunk schreef op zondag 23 maart 2014 @ 13:12:
Ik ga er even vanuit dat je nog steeds ZFSguru gebruikt? Hoe heb je de shares exact geconfigureerd?

(maak anders even een screenshotje van je Share pagina )

Inderdaad nog steeds zfsguru
Hierbij ff screenshot van mijn nfs shares:

[Quindor]

sphere schreef op zondag 23 maart 2014 @ 15:37:
[...]

Waar baseer je al deze uitspraken op? Heb je liever dat je OS niks cachet en zodra jij wat nodig hebt page faults genereert en het van de disk moet halen? Linux is geen Windows.

Nee nee, zeker niet. Maar ik zou de memory cache in linux willen kunnen instellen, dus bijvoorbeeld welk volume wel en welk volume niet. Een maximum grootte instellen, controleren of hij inderdaad data vanaf de ZFS pool ook aan het cachen is, etc.

Eigenlijk zoals er in mijn post staat. Het leek me een interessant discussie punt voor hier en ik was benieuwd wat andere mensen voor ervaring hadden.

[ikkeenjij36]

dit zie ik ook nog in webserver log:
2014-03-23 15:30:20: (mod_fastcgi.c.2673) FastCGI-stderr: PHP Notice: Undefined offset: 3 in /usr/local/www/zfsguru/includes/zfs.php on line 524
2014-03-23 15:30:50: (mod_fastcgi.c.2673) FastCGI-stderr: PHP Notice: Undefined variable: queryfs in /usr/local/www/zfsguru/pages/access/nfs.php on line 12
2014-03-23 15:30:55: (mod_fastcgi.c.2673) FastCGI-stderr: PHP Notice: Undefined variable: queryfs in /usr/local/www/zfsguru/pages/access/nfs.php on line 12
2014-03-23 15:30:59: (mod_fastcgi.c.2673) FastCGI-stderr: PHP Notice: Undefined variable: queryfs in /usr/local/www/zfsguru/pages/access/nfs.php on line 12
2014-03-23 15:31:04: (mod_fastcgi.c.2673) FastCGI-stderr: PHP Notice: Undefined variable: queryfs in /usr/local/www/zfsguru/pages/access/nfs.php on line 12
2014-03-23 15:31:09: (mod_fastcgi.c.2673) FastCGI-stderr: PHP Notice: Undefined variable: queryfs in /usr/local/www/zfsguru/pages/access/nfs.php on line 12
2014-03-23 15:31:13: (mod_fastcgi.c.2673) FastCGI-stderr: PHP Notice: Undefined variable: queryfs in /usr/local/www/zfsguru/pages/access/nfs.php on line 12
2014-03-23 15:31:17: (mod_fastcgi.c.2673) FastCGI-stderr: PHP Notice: Undefined variable: queryfs in /usr/local/www/zfsguru/pages/access/nfs.php on line 12

[FireDrunk]

Je NFS shares staan op protected, maak ze eens unprotected.

[ikkeenjij36]

FireDrunk schreef op zondag 23 maart 2014 @ 19:55:
Je NFS shares staan op protected, maak ze eens unprotected.

Gedaan maar ze zijn nergens te zien,overigens is de zffsguru server ook niet meer in het netwerk te zien ineens van mijn windows/thuis netwerk bedoel ik dan natuurlijk op mijn win 7 laptop?

[FireDrunk]

Dat zijn samba instellingen, workgroup en master browser zijn opties waar je dan even naar moet kijken.

[ikkeenjij36]

FireDrunk schreef op zondag 23 maart 2014 @ 21:09:
Dat zijn samba instellingen, workgroup en master browser zijn opties waar je dan even naar moet kijken.

Dat zal ik ook nog wel even doen mar voorlopig zijn de nfs sharesw ook op public niet te vinden voor mijn xbmc op de laptop en op de pi.

[Xudonax]

NFS shares worden niet geadverteerd zoals Windows Bestandsdeling he. Ik neem aan dat je het exacte adres naar de NFS share opgeeft in XBMC en op je RPi?

[ikkeenjij36]

Xudonax schreef op zondag 23 maart 2014 @ 21:24:
NFS shares worden niet geadverteerd zoals Windows Bestandsdeling he. Ik neem aan dat je het exacte adres naar de NFS share opgeeft in XBMC en op je RPi?

Nou dat is dus het rare in principe in xbmc als je op nfs share klikt moeten ze tevoorschijn komen.
Upnp en samba werken maar nfs dus niet.
Als ik het pad opgeef heb ik geprobeerd
nfs://ip/tvseries en nfs://ZFSguru/tvseries maar beide werken niet.

[yamahabest]

Hoe kan je het beste ZFSGuru installeren onder ESXi?
Op een losse virtuele HD, of gewoon op de ZFS pool?

Als het beste een losse HD is, hoe groot moet die worden?

Zijn er nog specifieke zaken waar je rekening mee moet houden? Zoals aantal sockets/cores?

[ Voor 5% gewijzigd door yamahabest op 23-03-2014 22:33 ]

[FREAKJAM]

ZFSGuru ondersteunt alleen een root on ZFS installatie. Als je het op een losse virtuele hdd wil installeren, dan kan dat gewoon.

Start de VM eerst met alleen de virtuele hdd op, maak een pool op de virtuele hdd waarop je ZFSGuru installeert. Voeg daarna je andere hdd's (via pass-through) toe en maak een nieuwe raidzx pool aan voor je fysieke drives.

Aantal sockets/cores kan ik je niet veel over vertellen, ligt er een beetje aan wat je natuurlijk nog meer gaat doen met je ZFSGuru installatie. Eigenlijk zelf nog niet veel over nagedacht. Ik heb nu Ubuntu met ZFS On Linux draaien met 2 cores.

[ Voor 25% gewijzigd door FREAKJAM op 24-03-2014 00:57 ]

[FireDrunk]

;@yamahabest, als je gebruik maakt van VT-d kan je ZFSguru niet eens op je pool installeren, want dan kan je er niet meer van booten. Je moet dus altijd een losse vDisk gebruiken voor de installatie. Voordeel is ook dat je pool eventueel in spindown kan.

ZFSguru vraagt maar een paar honderd MB, maar de extra services kunnen iets meer vragen, dus afhankelijk van hoeveel services gaat het van 1GB (minimale gok ik zo) tot iets van 4GB (alle basis services) en als maximale 8GB (alles inc grafische troep geinstalleerd).

Aantal sockets is onbelangrijk, dat is alleen maar een licentie feestje, effectief krijg je gewoon het aantal cores wat je opgeeft. Het ligt (zoals FREAKJAM al zegt) 100% aan wat je met de bak gaat doen. Is het voor test, voldoet 1 vCPU prima, gaat het je 'productie' thuis draaien en heb je een quadcore zou ik hem al snel 2 cores geven. Ga je er mee downloaden, uitpakken en andere services doen, zou ik hem gewoon 4 cores geven (in het geval van een quad core).

[]Byte[]

Ik heb een aantal shares op mijn ZFSguru staan waar ik dedup op wil enabelen.
Moet je dit perse vanaf een lege pool doen of kan dit ook vanaf een reeds gevulde pool? (en dat ie daarmee alsnog de bestaande data gaat deduppen...)

[upd]
Hetzelfde geldt ook voor het disabelen van ARC en L2ARC...

[ Voor 13% gewijzigd door ]Byte[ op 24-03-2014 09:28 ]

[FireDrunk]

Dedup is altijd inline, dit betekend dat alleen data die binnenkomt door de dedup molen heen gaat.
Bedenk ook goed, dat zodra je dedup *uit* zet (mocht je problemen ondervinden), je data nog steeds gededupliceerd op disk staat, terwijl alleen nieuwe data weer ongededupliceerd word opgeslagen...

ARC en L2ARC kan je wijzigen door de primarycache en secondarycache settings van een filesystem te wijzigen.

[Paul]

Vanwege alle heftige waarschuwingen over dedup heb ik daar een twee losse volumes voor aangemaakt en hard aangegeven dat die (ieder) 500 GB quote + gereserveerd zijn, deze gebruik ik voor Windows 8 File History. Wat de dedup-ratio is kan ik nog niet zeggen, zo lang staat het nog niet aan op de ene laptop, de andere moet ik sowieso nog instellen

Vooralsnog nog niks gemerkt van slowdowns, maar de er staat dus maar amper iets op en de FreeNAS VM heeft 64 GB ram (wat meteen een van de redenen was dat ik dedup op (in totaal) 1 TB aandurfde).

[]Byte[]

@ FireDrunk:
Tnx voor de info. Dan wordt het dus handiger om een extra volume aan te maken en de data daar vervolgens heen kopiëren. Tav ARC en L2ARC is het voor mij meer van belang of er zaken zijn waar ik rekening mee moet houden zoals bij Dedup...
Maar het is mij nu duidelijk(er).

@ Paul:
Ik heb er ook 64 GB in zitten. Ik verwacht wat dat betreft ook niet veel problemen. (anders prop ik er gewoon nog 64 GB bij)

[FireDrunk]

Alsof het niks kost

[]Byte[]

Is er ergens een mogelijkheid om te zien wat de dedup-ratio is? (comression-ratio kan je wel zien... maar die heb ik niet aangezet)
Ik ben nu ff 335 GB met een 'cp -a' naar de dedup-share aan het overzetten, maar krijg nu niet echt het idee dat ik er iets mee aan het winnen ben (als ik kijk met een du -h op de dedup-volume)

[FireDrunk]

zpool list

[]Byte[]

Dat geeft nu niet echt bijster veel info...

code:

[root@zfsguru /hdd_pool1/share/dedup]# zpool list
NAME          SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
boot_mirror  27.8G  8.51G  19.2G    30%  1.00x  ONLINE  -
hdd_pool1    36.2T  2.33T  33.9T     6%  1.04x  ONLINE  -
ssd_pool1     928G  61.3G   867G     6%  1.00x  ONLINE  -
[root@zfsguru /hdd_pool1/share/dedup]#

Ik was eigenlijk meer op zoek naar de dedup-ratio van 'hdd_pool1/share/dedup/'
De huidige 1.04 is dan de ratio van de huidige 2.33 T die op de hele pool staat, en niet van de 353 GB die in de onderliggende dedup-volume staat.

[Midas.e]

Nu gebruik ik geen dedup, maar met zfs list zie ik eigelijk altijd een stuk meer.

[]Byte[]

FD heeft het ook over 'zpool list' en niet over 'zfs list'

[Midas.e]

]Byte\[ schreef op maandag 24 maart 2014 @ 12:27:
FD heeft het ook over 'zpool list' en niet over 'zfs list'

dat was een stille hint.

[]Byte[]

zfs list / df (-h)...
Om je een idee te geven...
Het verschil tussen het orginele volume en de dedup-volume is (schrik niet!) 621 Bytes.
En dat op 40134 files met een totaal van 370308345 bytes (zo'n 353 GB)

[Midas.e]

]Byte\[ schreef op maandag 24 maart 2014 @ 12:43:
zfs list / df (-h)...
Om je een idee te geven...
Het verschil tussen het orginele volume en de dedup-volume is (schrik niet!) 621 Bytes.
En dat op 40134 files met een totaal van 370308345 bytes (zo'n 353 GB)

en nu een mapje erbij maken en daar de data ook heen copieren, waarschijnlijk zie je dan meer verschil. dedup is natuurlijk alleen handig met data waar veel dezelfde data heengaat.

[]Byte[]

Midas.e schreef op maandag 24 maart 2014 @ 12:56:
[...]

en nu een mapje erbij maken en daar de data ook heen copieren, waarschijnlijk zie je dan meer verschil. dedup is natuurlijk alleen handig met data waar veel dezelfde data heengaat.

Ben ik al mee bezig.... hij zit nu op 110 GB van de 2e run in een submap en dedup-ratio zit nu op 1.38
Maar eerlijk gezegd had ik (veel) meer verwacht van de eerste run.
Ik denk dat ik dan dedup maar alleen ga beperken tot mijn TimeMachine-volume.

[Midas.e]

watvoor data heb je erheen geschreven? want bijvoorbeeld een map vol met filmpjes gaat ie weinig mee doen als het allemaal unieke data is.

[]Byte[]

Heel veel reguliere bestanden (Spreadsheets, doc's, software, zwikkie foto's, backup's van mobieltjes etc.)
Ik had er eigenlijk veel meer van verwacht omdat ie dedup op data-chunks (vraag mij zo ff niet hoe groot precies - die moet ik dan weer ff opzoeken) zou doen en niet op complete files.
Nahja... het was een mooie test... Jammer van het belabberde rendement op deze share.

[update]
De copy-slag in een subfolder bevestigd idd het vermoeden.
De eerdere dedup-factor van 1.04 is nu 2.08 geworden.
Dedup op reguliere volumes is gewoonweg gepruts in de marge en de extra stroomkosten eigenlijk niet waard gezien het beperkte rendement.

[ Voor 25% gewijzigd door ]Byte[ op 24-03-2014 13:54 ]

[yamahabest]

FireDrunk schreef op maandag 24 maart 2014 @ 08:14:
;@yamahabest, als je gebruik maakt van VT-d kan je ZFSguru niet eens op je pool installeren, want dan kan je er niet meer van booten. Je moet dus altijd een losse vDisk gebruiken voor de installatie. Voordeel is ook dat je pool eventueel in spindown kan.

ZFSguru vraagt maar een paar honderd MB, maar de extra services kunnen iets meer vragen, dus afhankelijk van hoeveel services gaat het van 1GB (minimale gok ik zo) tot iets van 4GB (alle basis services) en als maximale 8GB (alles inc grafische troep geinstalleerd).

Aantal sockets is onbelangrijk, dat is alleen maar een licentie feestje, effectief krijg je gewoon het aantal cores wat je opgeeft. Het ligt (zoals FREAKJAM al zegt) 100% aan wat je met de bak gaat doen. Is het voor test, voldoet 1 vCPU prima, gaat het je 'productie' thuis draaien en heb je een quadcore zou ik hem al snel 2 cores geven. Ga je er mee downloaden, uitpakken en andere services doen, zou ik hem gewoon 4 cores geven (in het geval van een quad core).

Thanks voor de antwoorden en de uitleg.

Ik heb nu een pool aangemaakt, en ik probeer ZFSGuru op de vDisk te installeren, maar in de Web GUI heb ik alleen de opties "Root-on-ZFS" en "Embedded". Hoe installeer ik ZFSGuru op de vDisk?

[MdBruin]

yamahabest schreef op maandag 24 maart 2014 @ 22:47:
[...]


Thanks voor de antwoorden en de uitleg.

Ik heb nu een pool aangemaakt, en ik probeer ZFSGuru op de vDisk te installeren, maar in de Web GUI heb ik alleen de opties "Root-on-ZFS" en "Embedded". Hoe installeer ik ZFSGuru op de vDisk?

Eerst een aparte pool op je vdisk aanmaken. (Single disk or more disks in raid0)
Als je al een pool hebt voor al je data is dit natuurlijk geen probleem, tijdens de installatie van root-on-zfs kan je kiezen op welke pool er geïnstalleerd moet worden.

[yamahabest]

Soms is het ook zo simpel... Thanks!

[Q]

Nieuw tooltje gemaakt (oud bash script omgezet naar python en formatting verbeterd):

zfsarcstats

https://github.com/louwrentius/zfsarcstats

[ Voor 18% gewijzigd door Q op 25-03-2014 01:08 ]

[]Byte[]

[MdBruin]

yamahabest schreef op maandag 24 maart 2014 @ 23:56:
Soms is het ook zo simpel... Thanks!

Geen probleem, daarvoor zijn we hier toch (om elkaar te helpen )
Had het zelf ook zo draaien maar heb uiteindelijk er toch maar voor gekozen om de ZFS storage op een aparte bak te zetten. Esxi 5.5 gaf bij mij problemen bij de DirectPath naar de SAS controller (PSOD) en de 5.1 gaf weer problemen bij de Linux guests (te vaak een kernel dump) maar daar werkte de ZFS storage weer goed op

[InflatableMouse]

Werken ACL's niet op ZFS filesystems?

[ Voor 3% gewijzigd door InflatableMouse op 25-03-2014 11:00 ]

[FireDrunk]

Ja en Nee, ja ze werken wel, maar geen POSIX ACL's, alleen NFS ACL's (en die zijn vaag en ranzig).

[InflatableMouse]

Uhm ... betekent "NFS ACL's" dat ze alleen via NFS werken en niet via Samba?

En hoe werkt dat dan voor lokale processen?

[FireDrunk]

Nee, het wil zeggen dat de ACL's in het formaat van de NFSv4 ACL's werken. Dus zijn ze incompatible met een hele rits aan applicaties.

In Solaris kan het OS ze gewoon honoreren (voor zover ik weet) maar ik heb nog geen implementatie gezien waar andere platformen zich daar aan houden (zoals Samba op BSD en Linux).

Voor ZFSonLinux loopt er een traject om POSIX ACL's te implementeren (maar dat is nog lang niet in productie).

[ Voor 3% gewijzigd door FireDrunk op 25-03-2014 15:23 ]

[InflatableMouse]

Hoe deel je nou bestanden tussen verschillende personen dan op een ZFS volume?

Ik heb bijvoorbeeld een samba share. Owner/permissies staan root:users -rwxrws--- (s = setgid ). Iedereen die lid is van users en daar wat inzet wordt de group op users gezet. Iedereen die lid is van 'users' kan daar alles verwijderen (je hebt geen w nodig voor verwijderen). Echter, als gebruiker A daar een bestand aanmaakt, kan gebruiker B dat niet wijzigen omdat de groep wel wordt gezet (inherit door 's') maar permissies niet. Dit nieuwe bestand heeft dus -rw-r--r--.

Groups kan je wel inherit maken met setgid bit maar voor zover ik weet kan je permissies niet laten inheriten, daar gebruik je POSIX ACL's voor.

Umask zou kunnen, maar dat is niet beperkt tot een folder maar geldt voor de sessie of process over het hele filesysteem.

Nu ben ik geen Unix/Linux systeembeheerder dus mischien mis ik gewoon iets, maar ik heb me vandaag helemaal wezenloos gelezen hierover en vanalles geexperimenteerd, maar ik krijg dit dus niet goed voor elkaar helaas. Ik kom iedere keer uit op ACL's wat dus niet werkt op ZFS.

Hoe is het nu dan de bedoeling dat dit zou moeten werken? Ik ga dus niet continue met sudo chmod/chown bestanden van andere processen/gebruikers aanpassen voordat ik of iemand het kan aanpassen. Dat moet makkelijker kunnen denk ik .

[ImmortalSoul]

Ik heb een ZFSguru 0.2.0-beta8 installatie met FreeBSD 9.1-006 en ZFS v28.

Al mijn films die met couchpotato worden gedownload (via sabnzbd) worden standaard met 0755 permissions op de directory op mijn schijf gezet door de _sabnzbd user/process. Series (via sickbeard) gaan gewoon met 0777 erop (door _sabnzbd).

Lekker makkelijk zou je zeggen, even de CHMOD settings van couchpotato aanpassen ... maar die staan dus al op 0777. Dan zou het misschien Sabnzbd kunnen zijn denk je, maar die staat ook al op 0777.

Het probleem heb ik eigenlijk sinds het upgraden naar FreeBSD 9.1-006 ... dus daarom vermoed ik dat het misschien iets met ZFSguru heeft te maken (ipv couchpotato ofzo).

Kan iemand mij helpen?

[FireDrunk]

Samba kent ook de opties create mask en directory mask.
Voor het automatisch toevoegen van schrijfrechten op groep niveau moet je inderdaad ACL's gebruiken.
En dat vind ik persoonlijk een van de grootste minpunten van ZFS, dat ze geen standaard ACL's ondersteunen (setfacl, getfacl).

[]Byte[]

Is er een mogelijkheid om op een share bij 1 map de rechten zo te zetten dat je daar alleen bestanden in kan schrijven (Write) en lezen (Read) maar NIET in kan aanpassen (Modify) (en eventueel ook geen Delete kan doen)
Mijn idee is om een Dedup-share voor Foto's en 1 voor Video's te maken met daarin 1 map RAW waar de ruwe bestanden vanuit de camera's rechtstreeks in gezet kunnen worden en een tweede map met [whatever_the_name_is] waarin ik de foto's / video's kan plaatsen die gemonteerd zijn (Photoshop / Premiere / Final Cut Pro / ...)
Op die manier heb altijd de beschikking over het ruwe materiaal zonder het risico te lopen het per ongeluk te overschrijven/wissen en zonder dat het mij de dubbele opslagruimte kost.

[Bardman01]

Ik heb wat vreemde ervaringen met nas4free. Wat voor mij de doorslag gaf is de redelijk nieuwe implmentatie van ZFS. Ik ben er ook redelijk over te spreken en na diverse testjes daadwerkelijk een nas gebouwd. BTW het uitzoeken heeft eigenlijk het meeste tijd gekost.
Thuisgebruik voor oa films op shares zodat ik die kan kijken via mijn WMC, werkt perfect.

Mijn testomgeving was een ASRock E350M1 met vier 2.5 inch diskjes 7200 rpm van 160 GB die ik nog had liggen. Alles los op het bureau :-)
Uiteraard een RAIDz1 met de vier dsikjes en met ISCSI gekoppeld aan een Win SRV 2012 DC. Word in windows gezien als een nieuwe schijf die je opniew moet formatteren, alsof je dat binnen nas4free nog niet genoeg gedaan hebt, daarna met DFS een paar shares aangemaakt incl de DFS permissies en gaan met die banaan. Op de cleints Win XP, 7 pro, 7 ent. 8, 8.1 uiteraard ff koppelen of een inlogscript maken op de server wat je voorkeur heeft.

Wat mij heel erg tegenviel is performance, misschien doe ik iets fout of zie ik iets over het hoofd maar mijn testomgeving gaf een overdracht van bijna 140 MB sec op die 2.5 diskjes maar nu met 3.5 2 TB disken kom ik niet verder dan tussen de 30 en de 60 MBper sec. En dan gaat het met grote bestanden duidelijk beter als met kleine.

[]Byte[]

Ik heb eens wat verschillende testjes gedaan met dedup.
Het wordt weggeschreven op een RAID-Z2 volume van 10 disken (WD Red's (WDC WD40EFRX-68W))

Als referentiepunt eerst zonder dedup: cpu-load 431%

code:

dd if=/dev/zero of=zero.zero bs=1M count=100000
104857600000 bytes transferred in 179.709784 secs (583482978 bytes/sec)

Dedup: Fletcher4 - cpu-load: 2582%

code:

dd if=/dev/zero of=zero.fetcher4 bs=1M count=100000
104857600000 bytes transferred in 201.891246 secs (519376655 bytes/sec)

Dedup: Fletcher4 met verify - cpu-load: 3276%

code:

dd if=/dev/zero of=zero.fletcher4_vrfy bs=1M count=100000
104857600000 bytes transferred in 217.678876 secs (481707743 bytes/sec)

Dedup: SHA256 - cpu-load: 3121%

code:

dd if=/dev/zero of=zero.sha256 bs=1M count=100000
104857600000 bytes transferred in 201.225584 secs (521094773 bytes/sec)

Dedup: SHA256 met verify - cpu-load: 2400%

code:

dd if=/dev/zero of=zero.sha256_vrfy bs=1M count=100000
104857600000 bytes transferred in 222.766367 secs (470706603 bytes/sec)

Ik vind het wel redelijk bijzonder dat de cpu-load bij SHA256 met verify toch wel extreem lager uitvalt dan zonder verify of Fletcher4 met verify.
Duidelijk is wel dat alle CPU-cores het wel redelijk zwaar te verduren hebben.
Alle cores zitten tijdens de dd met een load van 86%-100%

[Bever87]

Beste mensen,

kan iemand mij met dit probleem helpen? Ik heb een zpool migratie gedaan van een mirror met 2 schrijven naar een raidz van 5 schijven. Om dit te verwezelijken heb ik een .img aangemaakt via dd.
Ik heb volgende tutorial gevolgd hiervoor: https://blogs.oracle.com/zhangfan/entry/how_to_turn_a_mirror

Maar nu zit ik met volgend probleem:


Kan er mij iemand vertellen waarom mijn pool maar 440GB groot is terwijl ik 5 disken heb van elk 3TB groot?

Bedankt
Thomas!

[matty___]

Bever87 schreef op vrijdag 28 maart 2014 @ 09:52:
Beste mensen,

kan iemand mij met dit probleem helpen? Ik heb een zpool migratie gedaan van een mirror met 2 schrijven naar een raidz van 5 schijven. Om dit te verwezelijken heb ik een .img aangemaakt via dd.
Ik heb volgende tutorial gevolgd hiervoor: https://blogs.oracle.com/zhangfan/entry/how_to_turn_a_mirror

Maar nu zit ik met volgend probleem:
[afbeelding]

Kan er mij iemand vertellen waarom mijn pool maar 440GB groot is terwijl ik 5 disken heb van elk 3TB groot?

Bedankt
Thomas!

al een export/ import gedaan? En hoe groot is elke disk cq was het img?

[Bever87]

Hoe gaat dat in zijn werk? Ben redelijk nieuw bij ZFS

[matty___]

Bever87 schreef op vrijdag 28 maart 2014 @ 10:01:
Hoe gaat dat in zijn werk? Ben redelijk nieuw bij ZFS

zpool export ?

[FireDrunk]

Doe eens een zpool list.

[Johnnygo]

Hoe kan ik in ZFSguru zien hoe mijn ram geheugen gebruikt wordt? Het duurt namelijk best lang voordat ik de directory structuur te zien krijg (via samba of nfs).
Ik heb ZFSguru in een esxi vm draaien met 16GB geheugen toegewezen. In ZFSguru zie ik het volgende:
Physical memory Active Percent
Virtual memory 768.1 MiB (1.5 TiB max) -
Physical memory 16 GiB 100%
Application memory 154 MiB 0.9%
Inactive memory 10 MiB 0.1%
Caches 92 KiB 0%
Buffers 0 B 0%
Kernel memory 13 GiB 81.3%
Free memory 2.6 GiB 16.1%
Unknown allocated 272.9 MiB 1.7%

Caches is bijna niks, en het meeste geheugen wordt door kernel ingenomen. Zit daar ook de zfs cache in? En waarom wordt 2,6gb helemaal niet gebruikt?

[Verwijderd]

ZFS gebruikt kernel geheugen, dus in die 13GiB zit alles in. Je kunt tegenwoordig ook 'top' gebruiken daar wordt ook de ZFS geheugengebruik weergegeven:

code:

Mem: 6140K Active, 14G Inact, 13G Wired, 1059M Cache, 852M Buf, 3010M Free
ARC: 8189M Total, 4116M MFU, 1780M MRU, 320K Anon, 92M Header, 2201M Other
Swap: 64G Total, 64G Free

De ARC (ZFS eigen cache) gebruikt dus ongeveer 8 gigabyte, waaronder 4 gigabyte voor MFU (Most Frequently Used) en 2 gigabyte voor MRU (Most Recently Used).

Directorystructuur is metadata en je kunt dat tunen met:
vfs.zfs.arc_meta_limit="4g"
in de /boot/loader.conf.

[FireDrunk]

Jup, Caches zijn filesystem caches, maar ZFS heeft zijn eigen cache (ARC). Als je UFS zou gebruiken zou de cache teller wel oplopen.

Default staat ARC max op 80% geloof ik, dus 2.5GB geheugen ongebruikt klinkt plausibel.

Grrr @CiPHER, we lopen elkaar vandaag wel in de weg

[ Voor 11% gewijzigd door FireDrunk op 28-03-2014 13:12 ]

[Johnnygo]

Bedankt voor het snelle antwoord!
Bij top zie ik geen ARC lijn staan. Neem aan dat dat komt omdat ik een oudere versie draai.
Maar ik ga eens proberen of vfs.zfs.arc_meta_limit="4g verschil maakt. Anders misschien wat meer geheugen toevoegen of een L2arc op ssd (of gewoon wat meer geduld ).

[ikkeenjij36]

Hallo even een klein probleem dat ik nu ervaar op mijn zfsguru server,ik merk dat ik na een tijdje niet meer bij mijn server kan,zowel via een browser of via ssh is de server dan niet meer te bereiken.
Na een reset draait alles zoals het moet en is hij weer bereikbaar.
Iemand een idee waar ik dit moet zoeken?
Ik heb nergens een spindown ingesteld of wat dan ook,dit is deze week opgedoken en ik zou niet weten waar ik het zou moeten zoeken.
Wel is de webgui extreem langzaam met naar een andere pagina te gaan.
Ook krijg ik mijn gedeelde files nog steeds niet als nfs shares beschikbaar.
En ook is mijn server niet meer te zien/ontdekken in mijn netwerk omgeving,geen idee waarom dat sinds 2 weken verdwenen is.
Alle hulp is welkom.

[ Voor 24% gewijzigd door ikkeenjij36 op 28-03-2014 16:53 ]

[EnerQi]

ikkeenjij36 schreef op vrijdag 28 maart 2014 @ 16:40:
Hallo even een klein probleem dat ik nu ervaar op mijn zfsguru server,ik merk dat ik na een tijdje niet meer bij mijn server kan,zowel via een browser of via ssh is de server dan niet meer te bereiken.
Na een reset draait alles zoals het moet en is hij weer bereikbaar.
Iemand een idee waar ik dit moet zoeken?
Ik heb nergens een spindown ingesteld of wat dan ook,dit is deze week opgedoken en ik zou niet weten waar ik het zou moeten zoeken.
Wel is de webgui extreem langzaam met naar een andere pagina te gaan.
Ook krijg ik mijn gedeelde files nog steeds niet als nfs shares beschikbaar.
En ook is mijn server niet meer te zien/ontdekken in mijn netwerk omgeving,geen idee waarom dat sinds 2 weken verdwenen is.
Alle hulp is welkom.

Is de server op dat moment niet druk bezig? Ik heb namelijk dezelfde symptomen op het moment dat ie aan het uitpakken is.

[ikkeenjij36]

Dat zou kunnen maar het lijkt me niet omdat dit probleem nu opvalt sinds ik vd week weer thuis ben,hiervoor nooit geen last van gehad ook als tie druk bezieg was

[matty___]

Voor de mensen die Freebsd > 9.2 gebruiken is er een arc.c patch die een behoorlijke boost schijn te geven op drukke servers:

http://www.freebsd.org/cgi/query-pr.cgi?pr=187594 ZFS ARC behavior problem and fix

Hij voorkomt iig het swappen omdat de arc alle wired opvreet maar niet meer vrij geeft

[InflatableMouse]

Boohooo! Kill me now!

The following warning/error was logged by the smartd daemon:
Device: /dev/disk/by-id/ata-WDC_WD20EARS-00MVWB0_WD-WCAZAA800271 [SAT], Self-Test Log error count increased from 2 to 3
Device: /dev/disk/by-id/ata-WDC_WD20EARS-00MVWB0_WD-WCAZAA800271 [SAT], 3 Currently unreadable (pending) sectors

Het moge ondertussen duidelijk zijn dat geluk niet aan mijn zijde staat ...

[Dadona]

Je zou haast denken dat de data niet goed bij de schuif uitkomt. Als je die schijf er nu eens uithaalt en apart test. Geeft die dan ook allerlei nare dingen aan? Geeft de WD test tool aan dat de schijf een gevalletje RMA zou zijn?

[ikkeenjij36]

Nou op een of andere manier is mijn guru server weer in het netwerk verschenen nadat ik op mijn rpi geswitcehd ben van openelec naar raspmbc.

[FREAKJAM]

Wellicht had je een ipconflict?

[ikkeenjij36]

FREAKJAM schreef op zaterdag 29 maart 2014 @ 22:16:
Wellicht had je een ipconflict?

Nee zeker geen ip conflict
Rpi was .53
Zfsguru is .64
Rpi is nu .52 geworden.
Ook vreemd dat de rpi nieuw adres gekregen heeft terwijl router niet gereboot is ofzo,maar ja blij dat t weer werkt

[FREAKJAM]

Lijkt me sowieso verstandiger al je devices statisch in te stellen. Nu lijkt het erop alsof je bijna alles op DHCP hebt staan.

[ Voor 3% gewijzigd door FREAKJAM op 31-03-2014 09:19 ]

[]Byte[]

Of heb je misschien ergens per ongeluk een 2e DHCP-server draaien?
Zal niet de eerste keer zijn dat dat de oorzaak is van dergelijke wazige problemen.
Maar ik sluit mij aan bij FREAKJAM.... Statische adressen zetten voor je servers! (/ zoveel mogelijk 'vaste' systemen)
Zelf gebruik ik alleen dhcp voor mobiel grut op mijn netwerk.
De rest is alles statisch.

[ Voor 21% gewijzigd door ]Byte[ op 31-03-2014 09:00 ]

[kdbruin]

Ik heb op m'n FreeBSD 9.2 server een falende disk in m'n RAIDZ2 pool en deze moet vervangen gaan worden.

code:

# zpool status vault
  pool: vault
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
        repaired.
  scan: scrub repaired 0 in 21h44m with 0 errors on Fri Mar 28 14:11:22 2014
config:

        NAME            STATE     READ WRITE CKSUM
        vault           DEGRADED     0     0     0
          raidz2-0      DEGRADED     0     0     0
            gpt/WD3T01  ONLINE       0     0     0
            gpt/WD3T02  ONLINE       0     0     0
            gpt/WD3T03  ONLINE       0     0     0
            gpt/WD3T04  ONLINE       0     0     0
            gpt/WD3T05  FAULTED      0   394     0  too many errors
            gpt/WD3T06  ONLINE       0     0     0

errors: No known data errors

De vraag is nu hoe ik dit moet aanpakken. Het is al veel te lang geleden dat ik de pool gemaakt heb, dus ik weet niet zeker of ik nog speciale dingen gedaan heb om bijvoorbeeld partities te maken, behalve de 4K alignment. Ik vermoed van wel, omdat de disks een label hebben.

Mijn stappen zijn als volgt:

• Oude disk verwijderen en naar de winkel om deze om te ruilen. Ik moet dan eerst de disk uit de pool verwijderen, lijkt me:
  
  code:
  

  # zpool detach vault gpt/WD3T05

• Vervolgens de nieuwe disk inbouwen en deze geschikt maken om toe te voegen:
  
  code:
  

  # gpart create -s gpt -l WD3T07 <device>
  # gnop create -S 4096 /dev/gpt/WD3T07

• De nieuwe disk toevoegen aan het array
  
  code:
  

  # zpool add vault /dev/gpt/WD3T07.nop
  # gnop destroy /dev/gpt/WD3T07.nop

Het enige waar ik nog over twijfel is het partitioneren met gpart. De huidige disk heeft de volgende layout:

code:

# gpart list ada6
Geom name: ada6
modified: false
state: OK
fwheads: 16
fwsectors: 63
last: 5860533134
first: 34
entries: 128
scheme: GPT
Providers:
1. Name: ada6p1
   Mediasize: 3000592941056 (2.7T)
   Sectorsize: 512
   Stripesize: 4096
   Stripeoffset: 0
   Mode: r1w1e2
   rawuuid: 4e88bd89-058e-11e2-a165-bc5ff4458016
   rawtype: 516e7cba-6ecf-11d6-8ff8-00022d09712b
   label: WD3T05
   length: 3000592941056
   offset: 20480
   type: freebsd-zfs
   index: 1
   end: 5860533127
   start: 40
Consumers:
1. Name: ada6
   Mediasize: 3000592982016 (2.7T)
   Sectorsize: 512
   Stripesize: 4096
   Stripeoffset: 0
   Mode: r1w1e3

Klopt dit een beetje of vergeet ik iets belangrijks?

[FireDrunk]

Als je de oude disk in moet leveren wel, maar ZFS is in princpie gemaakt om de disk on-the-fly te 'vervangen'.

zpool replace oude-device nieuwe-device is dan je vriend.

Het zorgt er voor dat je tijdens de replace/resilver nog gewoon een redundante setup hebt.

Als het niet anders kan, is wat jij zegt wel correct, maar het zorgt er wel voor dat je tijdens de replace vatbaar bent voor een crash van je array.

[Paul]

Veel fabrikanten hebben dan ook de 'advance replacement', je meldt je schijf aan, rammelt je creditcardgegevens in (die heb je daar helaas over het algemeen wel voor nodig) en je krijgt de vervangende schijf thuisgestuurd.

Als je de schijf hebt vervangen (inderdaad liefst met de oude schijf ook nog aangesloten) stuur je de oude pas terug. Vaak zit er zelfs een retour-verzendlabel bij...

[kdbruin]

Dank!

Maar hoe bedoel je vatbaar voor crashes? Ik heb toch nog een extra disk redundantie en dat zou dit toch op moeten vangen? En in hoeverre wijkt dit dan af als je een "zpool replace" doet met beide disks?

[FireDrunk]

Oh wacht, je hebt RAIDZ-2, dan ben je inderdaad veilig tijdens het vervangen van 1 disk.
Bij een zpool replace commando blijft de oude disk in je pool totdat de nieuwe disk helemaal in sync is.
Daarna wordt de oude disk pas uit de array gehaald.

[ Voor 47% gewijzigd door FireDrunk op 31-03-2014 13:46 ]

[Verwijderd]

Zijn de moderne schijven wd red 4tb of wd green 4k schijven en dus gevoelig aan het aantal schijven in de raid array ? Ik lees dat je best 3 - 5 - 9 schijven in die array zet. Het probleem is dat de meeste moederborden 6 sata poorten of 8 poorten (over 2 controllers) hebben op de uitzondering van asrock die er 10 hebben (maar moeilijk te verkrijgen is)

Kan je achteraf wanneer je voor een array van 5 disken maakt, hier nog een schijf aan toevoegen ? Of moet je dan een nieuwe array aanmaken (bv 3 disken), met het nadeel van weer 1 disk extra kwijt te zijn aan parity ?

Of kan het echt geen kwaad en kan je gewoon voor een build van 6/7/8 disken zonder teveel nadelen ?

Zijn er systemen zoals bv Synology dsm waar je wel gewoon disken aan de array kan toevoegen zonder
de must om een extra array aan te maken ?

Heeft het zin om een ssd voor caching te gebruiken van 120 of 240 gb en dan te besparen op geheugen ? 16 ipv 32 ? Het zou gaan om een array van 5 disken 4tb. Of is het toch beter gewoon 32gb te gebruiken en als extra die ssd voor caching. De bestanden op de nas zijn dienen voor streaming (films / muziek)

[Dadona]

Het is een suggestie voor optimale prestaties bij 4k schijven. Het is niet alsof vier 4k schijven niet gaan werken. Zo gebruik ik en FireDrunk bijvoorbeeld vier 4k schijven in RAIDZ.

Het toevoegen van discs aan een bestaande, gevulde pool is problematisch bij ZFS. Je kunt wel een hele array eraan toevoegen. Maar een bestaande array vergroten, dat gaat niet. Wat je wel kunt doen is alle schijven (één voor één) vervangen door grotere exemplaren. Maar dat is weer een ander verhaal. (Waarbij ik mij dan afvraag waarom je niet een nieuwe pool opzet en de data overzet).

En het is een beperking van ZFS zelf. Je kunt wel voor mdadm gaan. Het is niet zozeer dat Synology en dat soort partijen het alleenrecht hebben op pool expanding. Maar ja, dan verlies je wel de ZFS goodness.

En L2ARC kost juist meer geheugen.

[FireDrunk]

Tenzij je een flink aantal Virtual Machines gaat draaien (of een andere bron hebt van een flinke hoeveelheid random IOPS) heeft L2ARC geen zin.

Voor jouw situatie (downloaden, streamen, beetje hobbien), is L2ARC overkill.

Bedenk ook dat RAM een orde van grootte sneller is dan een SSD. (In SSD land spreek je van milliseconden, of als je mazzel hebt in honderden nanoseconden, maar in RAM land heb je het over enkele nanoseconden...)

Scheelt nogal...

[Paul]

Verwijderd schreef op donderdag 03 april 2014 @ 11:27:
Ik lees dat je best 3 - 5 - 9 schijven in die array zet.

Het is iets genuanceerder: Best zet je een macht van 2 aan dataschijven in een array. Jouw getalletjes gaan alleen op bij RAIDZ, bij RAIDZ2 is dat 6, 10 of 18 schijven

Kan je achteraf wanneer je voor een array van 5 disken maakt, hier nog een schijf aan toevoegen ? Of moet je dan een nieuwe array aanmaken (bv 3 disken), met het nadeel van weer 1 disk extra kwijt te zijn aan parity ?

Yup, nieuwe array. Je kunt wel één schijf toevoegen, maar effectief haal je dan alle redundancy uit je pool. Als die ene schijf overlijdt dan ben je ALLE data kwijt. Erger nog, eenmaal toegevoegd kun je die ene schijf niet meer uit de pool verwijderen!

Of kan het echt geen kwaad en kan je gewoon voor een build van 6/7/8 disken zonder teveel nadelen ?

Het kan zeker geen kwaad, het heeft echter wel invloed op de performance.

Heeft het zin om een ssd voor caching te gebruiken van 120 of 240 gb en dan te besparen op geheugen ?

L2ARC heeft pas zin als je het geheugen gemaximaliseerd hebt, het kost namelijk zelf ook geheugen. Zolang je niet aan socket 2011 begint is het maximaliseren van het geheugen volgens mij goedkoper dan die SSD

Als je merkt dat je heel veel synced writes hebt waardoor je performance instort kun je een SLOG overwegen, maar als je het als cache (lees l2arc) in wilt zetten kun je beter eerst geheugen bijkopen

[FireDrunk]

Wat zowel Dadona en Paul zeggen is niet helemaal waar. L2ARC kost welliswaar geheugen, maar niet meer dan de data zelf. L2ARC bevat data die uit het ARC gezet zou worden omdat dat vol raakt.

Dus stel, je hebt je ARC gelimiteerd op 1GB, en er komt meer dan 1GB in, en ZFS zou het gaan droppen, dan gaat het dus naar je L2ARC (als je die hebt).

Je kan dus in principe wel degelijk 16GB geheugen nemen ipv 32 en van de 16GB geheugen, 12GB geheugen aan ARC spenderen, en daarbovenop een 120GB L2ARC SSD gebruiken.

Dat zou in theorie minder geheugen kosten dan 32GB met bijvoorbeeld 28GB aan ARC.

Performance technisch zal het alleen niet veel schelen...

[Paul]

Je moet toch verwijzingen bijhouden naar de data die in L2ARC staat? Dat lijkt me ook geheugen te kosten

[Dadona]

Ik moest het even kort afronden, nog tijd voor één zin en ik wist dat ik die ene zin terug zou krijgen. Het gaat inderdaad om de verwijzingen die je erbij krijgt. Dus daar zit het extra verbruik. Maar je gaat ook anders om met de data. Je kunt meer, maar wat trager, cache achter de hand houden (de L2ARC). Ik ging er even zo op deze manier op in omdat ik de strekking van de vraag zag als een manier om te kunnen besparen op RAM.

Maar het belangrijkste deel kwam ik niet aan toe, de grote vraag of je er eigenlijk wel iets aan hebt. Het hangt uiteindelijk van het type data af en hoe je met die data omgaat. Zeker als het om mediabestanden gaat is het de vraag of de last used en most frequently used goed gevuld kunnen worden. Als je nu één CD drie miljoen keer luistert, dan zal het goedkomen. Maar in andere gevallen...?

[FireDrunk]

@Paul, ja, maar dat is altijd minder dan de data zelf, dus effectief win je er wel mee.

@Dadona, klopt zeker, zoals ik al zei heeft L2ARC alleen echt zin als je Random IOPS verstookt. Maar in de feitelijke vraag of je RAM kan besparen met L2ARC heeft hij wel gelijk.

[Paul]

FireDrunk schreef op donderdag 03 april 2014 @ 13:52:
@Paul, ja, maar dat is altijd minder dan de data zelf, dus effectief win je er wel mee.

Die snap ik niet. Ja, als ik een L2ARC van 100 GB toevoeg die 2 GB aan RAM nodig heeft dan heb ik 98 GB meer in cache staan, maar je hebt daardoor toch 2 GB minder in je ARC staan? Je levert dus bloedsnelle cache in om er 50x zo grote maar ook 50x zo langzame cache voor terug te krijgen?

Voor de prijs van 1 SSD koop je ook makkelijk 16 GB ram. Van 12 naar 28 GB ARC of van 12 naar 10 GB ARB + 120 GB L2ARC, ik weet zo niet waar je meer aan zou hebben maar ik denk zelf dat de meeste thuisgebruikers meer aan een grotere ARC hebben dan aan een hele grote L2ARC?

[FireDrunk]

Dat is precies wat ik bedoel... Het levert je *feitelijk* wel RAM op, omdat je aan totale ARC (L1 + L2) meer hebt dan 32GB...

Qua snelheid boeit het inderdaad geen drol (in zijn geval)

[ Voor 4% gewijzigd door FireDrunk op 03-04-2014 14:35 ]

[]Byte[]

- lamaar -
FD was me weer voor.

[ Voor 93% gewijzigd door ]Byte[ op 03-04-2014 14:37 ]

[Paul]

Nee, het levert je ARC (L1 + L2) op, geen RAM? Of praten we zo ontzettend langs elkaar heen?

Je hebt, omdat je ruimte nodig hebt voor de administratie van L2, toch minder RAM beschikbaar voor L1?

[FireDrunk]

Ja, maar de hoeveelheid feitelijke data (voor de appliacties) die beschikbaar is op snellere storage (dan harddisks) is groter.

Als die data in L1 had moeten staan, had je minder ram gehad...

L1 gevuld met Data is groter dan L1 gevuld met Metadata voor L2ARC.

---

Misschien een interresante bron:
https://blogs.oracle.com/brendan/entry/l2arc_screenshots

Zie hier ook dat het dagen kan duren voor je L2ARC gevuld is.

[ Voor 24% gewijzigd door FireDrunk op 03-04-2014 15:11 ]

[hansdegit]

Als die L2ARC nu ook nog persistent was, wist ik het wel....

[Mystic Spirit]

Ik heb weer eens even een testje gedaan met de laatste versie van ZFSguru en denk dat ik weer wil overstappen van Freenas naar ZFSguu. Ik vraag me nu alleen af welke release ik het beste kan nemen.

De 9.2-001 release lijkt me niet meer handig. Die is inmiddels te oud. De 10.0-002 heb ik nu getest en lijkt het goed te doen met alle features die ik heb getest. Maar de 11.0-001 experimental release is er ook al.

Wat raden jullie aan en wat is het verschil tussen 10 en 11?

[Verwijderd]

Ik zou die ssd maar gebruiken omdat hij hier stof ligt te verzamelen ipv data

Maar als ik er niet echt voordeel aan doe, kan ik het beter laten zeker.

Het scheelt een 150 euro tussen 16 en 32, dus als ik met meer geheugen echt beter af ben lijkt me dat wel de beste optie.

[FireDrunk]

Ik heb een flinke tijd (> 1 jaar) met 8GB geheugen gedraait in mijn ZFS machine, en nog nooit problemen mee gehad... Ding deed vanalles (Sab, Sickbeard, Couchpotato, Headphones, BTSync, NFS, iSCSI, FibreChannel, Compilaties en weet ik het niet allemaal.

Ik had ARC op 6GB min en max staan, en ding draaide prima.

[Verwijderd]

Mystic Spirit schreef op donderdag 03 april 2014 @ 21:27:
Ik heb weer eens even een testje gedaan met de laatste versie van ZFSguru en denk dat ik weer wil overstappen van Freenas naar ZFSguu. Ik vraag me nu alleen af welke release ik het beste kan nemen.

De 9.2-001 release lijkt me niet meer handig. Die is inmiddels te oud. De 10.0-002 heb ik nu getest en lijkt het goed te doen met alle features die ik heb getest. Maar de 11.0-001 experimental release is er ook al.

Wat raden jullie aan en wat is het verschil tussen 10 en 11?

11.0 is experimental (geen STABLE branch of RELEASE maar CURRENT) maar heeft wel de nieuwste grafische support met Newcons en bovendien is het gecompileerd met de nieuwste compiler: Clang 3.4. Dat betekent snelheidsverbeteringen, evenals ZFS enhancements en iSCSI-target kernel module heeft veel bugfixes gehad.

Als je zelf ports wilt gaan installeren, moet je geen 11.0 nemen omdat daar veel bugs/problemen mee zijn. De 11.0 build is erg experimenteel en dat veel services aanwezig zijn komt door vele handmatige fixes/workarounds van Jason en mijzelf.

In principe kun je prima 11.0 pakken, maar blijft dan bij de services en ga niet zelf met ports aan de slag. Doe je dat wel, weet dan dat je vage foutmeldingen kunt krijgen bij sommige ports en die dus niet willen installeren.

[Mystic Spirit]

In principe doe ik zelf niet veel met ports. Ik gebruik het vooral puur voor storage. Vrijwel alle andere services draai ik in losse VM's, zodat ik nog eens iets kan slopen zonder de hele boel onderuit te halen

Als ik zou kiezen voor 11.0-001 werken alle standaard zaken dus gewoon prima, maar hoe zit het met updaten? Kan ik makkelijk 11.0-001 experimental straks updaten naar 11.x-xxx release of zit ik dan weer aan een nieuwe install vast? En hoe dicht zitten we tegen een 11.x-xxx release aan? Als ik nog een paar dagen geduld moet hebben dan lukt dat wel

[EnerQi]

Mystic Spirit schreef op vrijdag 04 april 2014 @ 08:41:
In principe doe ik zelf niet veel met ports. Ik gebruik het vooral puur voor storage. Vrijwel alle andere services draai ik in losse VM's, zodat ik nog eens iets kan slopen zonder de hele boel onderuit te halen

Als ik zou kiezen voor 11.0-001 werken alle standaard zaken dus gewoon prima, maar hoe zit het met updaten? Kan ik makkelijk 11.0-001 experimental straks updaten naar 11.x-xxx release of zit ik dan weer aan een nieuwe install vast? En hoe dicht zitten we tegen een 11.x-xxx release aan? Als ik nog een paar dagen geduld moet hebben dan lukt dat wel

Zonder migratie manager (beta 11?) blijf je vastzitten aan een nieuwe installatie. Het scheelt natuurlijk wel dat je de oude zonder problemen kunt gebruiken en niet standaard wordt weggegooid.

[Mystic Spirit]

Als de migratie manager er komt, gaat die dan backwards compatible zijn voor installatie waar de manager nog niet in zat? Dan kan de huidige install gewoon blijven draaien tot de manager er is en hoef ik niet opnieuw CIFS users, NFS targets en Rsync instellingen te maken.

[FireDrunk]

Dat verwacht ik niet... De migratiemanager zal vooral bestaan uit een heel aantal Bash/SH scripts...

[matty___]

..

[ Voor 99% gewijzigd door matty___ op 04-04-2014 11:33 ]

[Verwijderd]

@Mystic Spirit: 11.0 release is nog heel lang verwijderd (einde 2014). En de migration manager kun je straks ook gebruiken voor oudere systeemversies die deze feature nog niet had, dat klopt. Het is een feature van de web-interface, en die is onafhankelijk te updaten van de systeemversie.

@matty: je hebt gelijk dat wat in de 11.0-001 release zit, nu ook in 10-STABLE te vinden is; niet alle zaken maar wel veel. Ten tijde van de 11.0-001 build was dit echter nog niet zo. Het is bij FreeBSD heel gebruikelijk dat zaken eerst in CURRENT komen en daarna MFC (MergeFromCurrent) worden naar andere branches zoals 10-STABLE en 9-STABLE. ZFSguru heeft op dit moment geen 10-STABLE build; dat is wat uiteindelijk 10.1 release gaat worden.

[Mystic Spirit]

Begrijp ik het dan goed dat het eigenlijk het verstandigst is om even te wachten op de 10.1-xxx release? Of is die ook nog erg ver verwijdert van release?

[Verwijderd]

Zomer, dus ja. Er komen wel nieuwe systeemversies, maar er zijn nog geen automatische builds waardoor er elke week een nieuwe systeemversie uitkomt. Dus tot die tijd kun je twee dingen doen: gewoon de nieuwste of voorlaatste systeemversie draaien, of zelf compileren en updaten wil je continu up-to-date blijven. Dat laatste is helemaal niet nodig mijns inziens. Het is juist fijn om een systeemversie te draaien wat anderen ook draaien, om zo issues uit te sluiten en de issues die je tegenkomt kun je delen met anderen zodat die weten dat bij versie X de functionaliteit voor service X niet goed werkt; zoals bij 10.0 release het geval was voor XBMC of SABnzbd ik weet het niet meer precies.

De 11.0 release is vooral een showoff voor Clang 3.4 en Newcons. In de praktijk zijn het de nieuwere services die nu 11.0 een betere keuze maken dan 10.0 in veel gevallen.

[Mystic Spirit]

Na wat wikken wegen besloten om het maar bij de stable release te houden. Dus 10.0-002 it is. Die doet alles wat ik wil op dit moment.

Nu nog besluiten of ik mijn pool van v28 wil upgraden naar v5000... wat denken jullie daarvan? Er zijn veel voordelen aan v5000, maar brengt upgraden ook risico's met zich mee?

[Verwijderd]

Ja, dat je nooit meer terug kunt naar een v28 implementatie. En features worden automatisch geactiveerd. Het gebruik van de pool op een systeem met meer ZFS features, kan er voor zorgen dat hij opeens niet meer werkt bij andere platforms.

Maar als je gewoon blijft bij BSD platform, dan is er weinig risico. Op dit moment is er één echte reden om voor v5000 te gaan: LZ4 compressie. Als je dat niet gebruikt, kun je je pool ook lekker v28 houden.

Bedenk dat je voor het booten van v5000 pools ook nieuwere bootcode nodig hebt. Vergeet dus niet om je disks te updaten op de Disks pagina. Klik dan op de rode boot partitie en klik op de Update Bootcode-knop. Doe dat voor alle disks die zo'n partitie heeft. Zorg dat je minimaal beta9 draait.

[Mystic Spirit]

Booten doe ik van een virtual disk, dus die hoef ik niet te updaten. Zit namelijk geen data op De delen van de pool die compressie kunnen gebruiken zijn heel beperkt en daar heb ik momenteel gzip compressie voor. Voor het grootste deel van de storage pool gebruik ik geen compressie, omdat het comprimeren geen effect heeft. Voorlopig dus maar geen v5000, tenzij mijn data er heel anders uit gaat zien de komende tijd is het ook relatief zinloos en zo houd ik meer compatibiliteit over.

[ikkeenjij36]

Hallo even een beginners vraag over rsync,ik heb het geinstaleerd op mijn zfguru boot disk.
Mijn data staat op een aparte pool,als ik nu eens wat moet kopieren van de ene file naar de andere en dat doe via mijn win7 laptop neemt het best veel tijd in beslag,ik denk omdat het via mijn laptop loopt?
Nu wil ik rsync uit gaan proberen om bestanden te gaan kopieren maar ben een echt noob in hoe of wat,al veel gegoogled maar ik kom er gewoon niet uit.
Ook staat er in mijn manger screen dat rsync stopped is en ik heb geen idee hoe ik het voor elkaar kan krijgen.
Iemand hier die mij op weg wil/kan helpen?
Via pm mag ook dan wordt het topic niet te ernstig vervuild.
Bij voorbaat dank.

[Mystic Spirit]

Als je rsync wil gebruiken is het van belang dat rsync ook draait op de machine waar je naar toe wilt syncen. Dus dat is wel een vereiste. De rsync service in ZFSguru kun je niet gebruiken vanuit de webinterface, je zult dus een desktop omgeving moeten installeren (x-server en Gnome) en dan vanaf de desktop de Rsync service starten en instellen.