ZFS compression/dedup

[Jungian]

Omdat ZFS er op papier erg netjes uitziet heb ik een paar dagen terug het plan gevat om mijn huidige storage-omgeving thuis te vervangen door een FreeBSD 9 ZFS-storage.

Mijn huidige setup:
OS: Ubuntu 11.10 (mdadm, xfs)
Processor: Intel i3 xxx
RAM: 4GB RAM
Storage: 4x2TB HDD

Mijn nieuwe setup:
OS: FreeBSD9 (ZFS)
Processor: Intel i3 xxx
RAM: 4GB RAM
Storage: 3x2,TB+1x1,5TB, te vervangen door 4x2TB zodra de data overgepompt is (pool exporten, importen).

Ik heb de volgende pagina gelezen bij het aanmaken van mijn storage: http://www.freebsd.org/do...book/filesystems-zfs.html. Ik heb 1 pool aangemaakt, met als naam storage. Hierna heb ik het commando

zfs set compression=gzip storage

uitgevoerd om compressie aan te zetten. Als laatste commando heb ik

zfs set sharenfs='maproot=root' storage

uitgevoerd.

's Nachts heb ik 146GB aan voornamelijk FLAC-files vanaf mijn oude setup via NFS gestuurd naar de FreeBSD-installatie.

Vanmiddag besloot ik eens te kijken hoeveel ruimte ik dan wel niet bespaard had met compression en dedup, maar dit blijkt echt 0,0 te zijn.

# zpool list storage
NAME      SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
storage  5.44T   196G  5.25T     3%  1.00x  ONLINE  -

# zfs get compressratio storage
NAME     PROPERTY       VALUE  SOURCE
storage  compressratio  1.00x  -

# zfs get -r compression,dedup storage
NAME     PROPERTY     VALUE          SOURCE
storage  compression  gzip           local
storage  dedup        off            default

Ik vind het apart dat het niet eventjes vermeld wordt dat ik dedup nog aan moet zetten (dedup=on), maar ik vond het al helemaal bizar dat compression 0,00 besparing op heeft geleverd...

Wat doe ik fout?
-Zorgt het transferren via NFS naar de host hiervoor?
-Een filesystem bovenop een pool is verplicht, anders werkt compressie niet?
-Niets?

[ Voor 3% gewijzigd door Jungian op 19-03-2012 22:47 ]

[Giesber]

Aangezien je FLAC bestanden hebt gebruikt vind ik het niet bizar dat er 0,00% compressie is. Misschien hoogui een beetje raar dat het niet 0,02% of zo is.

FLAC bestanden zijn zelf al gecomprimeerd, en daarom kunnen ze nauwelijks nogmaals gecomprimeerd worden. Je bent beter af door te testen met goed comprimeerbare data. Logbestanden bijvoorbeeld, of ongecompromeerde afbeeldingen (bv. .bmp)/video/geluid (bv. .wav).

[JMW761]

daarbij is het met "maar" 4gb af te raden dedup te gebruiken, aangezien je voor dedup echt heel veel ram nodig hebt (berekeningen over hoeveel zijn op het web te vinden).

[CAPSLOCK2000]

Flac bestanden zijn al gecomprimeerd, daarbij is een compressor gekozen die goed past. De compressor van ZFS is algemener en is dus minder optimaal voor .FLAC. Een .flac comprimeren geeft netto vaak een groter bestand dan de originele flac.
Het zou me niet verbazen als ZFS compressie uit zet wanneer het merkt dat het niet helpt.