[Freenas] Verschillende size na transfer van folder

[menn0]

ik heb een banana pi met een ext4 mdadm softraid draaien,
ik ben al mijn data aan het verplaatsen naar het ZFS based filesystem op de freenas.
Ik heb alles verplaatst met een rsync...
Achteraf doe ik een diff controle en daaruit komt;

code:

root@bananapi / # diff --brief -r /STORAGE/R /Freenas/R
--brief -r /STORAGE/R /Freenas/R  20699.43s user 35864.74s system 51% cpu 30:29:49.13 total

Dit commando duurde wel even overigens.
Toch zie ik gelijk een GB of 100 aan verschil.
Vanaf de bananapi, check ik nog een keer lokaal de folder;
3368427004 omvang op lokaal bananpi
3352684341 omvang van de Freenas folder benaderd via de NFS mount op de banana pi.
3352684341 is ook de omvang als ik direct vanaf Freenas kijk.

Dit zijn voornamelijk reeds gecomprimeerde bestanden, Freenas 11.1 heeft wel standaard compressie aangezet maar kan dit de 100GB verschil verklaren?
Ik mis geen folders... en dit diff commando had ook iets moeten aangeven als het niet goed was.
Wat denken jullie?

[anboni]

Waarschijnlijk verschil in blocksizes.

[menn0]

Kan ik dat nog even checken op een bepaalde manier?

code:

        children[0]:
            type: 'raidz'
            id: 0
            guid: 7799961846292574721
            nparity: 1
            metaslab_array: 41
            metaslab_shift: 37
            ashift: 12

En:

code:

root@bananapi ~ # tune2fs -l /dev/md0 | grep -i 'block size'
Block size:               4096

Lijkt toch hetzelfde te zijn

[ Voor 79% gewijzigd door menn0 op 12-04-2018 01:08 ]

[unezra]

Even gekeken op mijn eigen FreeNAS machine:

root@vroom:~ # zfs get recordsize datapool00/SMB
NAME PROPERTY VALUE SOURCE
datapool00/SMB recordsize 128K default

Da's de default record size en het is instelbaar per dataset.

[menn0]

Dat is de recordsize is weer wat anders dan blocksize. Niemand schrikt dus van 100gb op 3TB+ ?

[unezra]

menn0 schreef op vrijdag 13 april 2018 @ 01:13:
Dat is de recordsize is weer wat anders dan blocksize. Niemand schrikt dus van 100gb op 3TB+ ?

https://docs.oracle.com/c...819-5461/gazss/index.html

recordsize


Number


128K


Specifies a suggested block size for files in a file system.

The property abbreviation is recsize. For a detailed description, see recordsize Property.

[menn0]

OK, dan ben ik lost want ashift: 12 zou ok een 4k block size moeten slaan?

[consolefreak]

We hebben het over 3% verschil in grootte. Als je in de interface van freenas kijkt onder volume, staat daar 1.03 onder het kopje compression? Dan is het verklaard.

[menn0]

Tjah, helaas zal ik maar zeggen staat er 1.00 en is er geen verdere compressie toegepast.
Diff gaf verder niks, dircount is gelijk, geen dirs aanwezig die te klein zijn.... ik ga het maar accepteren denk ik dan

[Tortelli]

File count klopt ook?, niet dat hij er een paar geskipt heeft vanwege te lange folder of file name?.

[u_nix_we_all]

ZFS gebruikt een variable blocksize, bij ext4 is die fixed. Hierdoor bespaar je wat ruimte (slackspace).

[hans_lenze]

Je wilt alleen weten of alles compleet en identiek is, toch? Waarom doe je geen hash compare? Hash gelijk = inhoud gelijk.

[menn0]

Ja een hash compare op deze omvang duurt natuurlijk extreem lang, en extreme nauwkeurigheid is ook niet per see nodig, ik neem aan dat ik met diff --brief -r /STORAGE/R /Freenas/R voldoende gecheckt heb. Maar had graag van anderen wat ervaringen vernomen.
Het zal hem in de variabele blocksizes zitten. En wellicht dat ik nog eens een hash maak en check op de mappen....