Verschil in diskusage tussen origineel en copy.

[krietjur]

Ik ben bezig met het verplaatsen van een mailstore van local storage naar een SAN (iscsi). Zowel local storage als het iscsi-target zijn ext3 filesystems, beide met default opties geformatteerd. Na een eerste kopieeractie, blijkt dat de copy veel groter is dan het origineel. De originele mailstore is namelijk 287GB, de copy is 333GB.

Ik ben daarop met een wat kleiner stukje van de mailstore gaan testen. Ik heb 1 specifieke directory uit de mailstore gekopieerd. Deze directory is origineel 316MB groot, de copy is 369MB. Wanneer ik het origineel en de copy met diff vergelijk, geeft deze aan dat ze identiek zijn, maar als ik met du opvraag hoe groot de directories zijn, kom ik toch weer op dit verschil uit.

De mailstore bestaat met name uit heel veel kleine bestandjes, maar aangezien de filesystems met gelijke opties geformatteerd zijn had ik geen verschil verwacht.
Zie ik iets over het hoofd? (vast wel )

[_JGC_]

Niet stiekem een andere blocksize?

[krietjur]

Ja, daar had ik ook al aan gedacht.. maar die is gelijk (4096 bij beide)

[Verwijderd]

Reserved space for root?

[gertvdijk]

Hoe kopieer je?
Neem je hidden files mee? (kan voor mail nogal uitmaken!)

[krietjur]

Ook dat is de default (5%).

[_JGC_]

Die wordt niet in du meegenomen.
Wat wel kan is dat de inode size van je nieuwe filesystem groter is dan op je oude filesystem. Bij je oude filesystem is waarschijnlijk 128 als inode size gebruikt, tegenwoordig is 256 standaard. Bij veel kleine bestandjes kan dit verschil nogal oplopen.

[krietjur]

Heb verschillende kopieeracties gedaan.. cp -rp, rsync -a

Ook de inode size is gelijk, bij beide 128

[ Voor 28% gewijzigd door krietjur op 14-10-2008 11:43 ]

[gertvdijk]

En doe eens op allebei

du --apparent-size -x

edit: ook de -x optie

[ Voor 19% gewijzigd door gertvdijk op 14-10-2008 11:59 ]

[krietjur]

Ook dan een verschil:

364631 /root/0000001/
310501 /var/opt/scalix/sr/s/data/0000001/

[gertvdijk]

ja sorry, maar dan moet er een verschil opduiken met diff.

diff -q -r /root/0000001/ /var/opt/scalix/sr/s/data/0000001/

[krietjur]

diff -q -r /root/0000001/ /var/opt/scalix/sr/s/data/0000001/
Files /root/0000001/000010g and /var/opt/scalix/sr/s/data/0000001/000010g differ

Nouja, dat verschil is te verklaren aangezien de mailstore weer in gebruik is. Het betreffende bestand is echter heel klein, dus daar kan het verschil dan ook niet in zitten:

du /root/0000001/000010g
16      /root/0000001/000010g

du /var/opt/scalix/sr/s/data/0000001/000010g
16      /var/opt/scalix/sr/s/data/0000001/000010g

Ik snap het niet

[_JGC_]

Ik ken scalix niet, maar grote kans dat scalix gebruikmaakt van hardlinks als er mail afgeleverd wordt aan meer dan 1 mailbox op je server. Op het moment dat jij die dingen gaat kopieren is het maar de vraag of hardlinks ook letterlijk meegekopieerd worden, of dat er gewoon 2 kopietjes van getrokken worden.

code:

# du -hs Century/20081014-0910/
73G Century/20081014-0910/
# du -hs Century/Recent/       
73G Century/Recent/
# du -hs Century
73G Century

20081014-0910 is een hardlink-kopie van Recent, neemt los van Recent 73GB ruimte in gebruik, maar samen nemen ze ook gewoon 73GB in gebruik.

Als je gebruikmaakt van cp -rp of rsync -a worden hardlinks niet meegekopieerd. Bij gebruik van cp -a wel.

[krietjur]

Dat was het!