Onbekend schijfgebruik in /var - Linux en overige clients

dinsdag 24 september 2013 17:28

Acties:

0 Henk 'm!

Topicstarter

Op de een of andere manier loopt mijn /var vol, maar ik geen idee waardoor.

Mijn /var is 20G groot, op en ik heb een raid1 (md0) van 150G gemount onder /var/lib/backuppc.

Toch blijft /var 14G used aangeven, na het unmounten van /var/lib/backuppc, terwijl du -hsx /var 2.7G aangeeft..

Het is al de 2e keer dat ik last heb van dit probleem, vorige keer heb ik een live cd geboot en e2fsck op /var gedraait. Aangezien het een remote server is, wil ik dit uiteraard voorkomen in de toekomst. Maar hoe?

code:

ihre@NAS:/var# df -h
Filesystem                 Size  Used Avail Use% Mounted on
/dev/mapper/vg00-root      9.9G  2.3G  7.1G  25% /
udev                       1.8G  4.0K  1.8G   1% /dev
tmpfs                      728M  1.9M  726M   1% /run
none                       5.0M     0  5.0M   0% /run/lock
none                       1.8G  4.0K  1.8G   1% /run/shm
cgroup                     1.8G     0  1.8G   0% /sys/fs/cgroup
/dev/mapper/vg01-nas6gbps  1.8T  1.4T  313G  82% /nas/6gbps
/dev/mapper/vg02-nas3gbps  739G  692G  9.7G  99% /nas/3gbps
/dev/mapper/vg00-var        20G   14G  5.7G  71% /var
/dev/mapper/vg00-home       20G  4.0G   15G  22% /home
/dev/md0                   148G   13G  128G   9% /var/lib/backuppc

ihre@NAS:/var# df -i
Filesystem                   Inodes   IUsed     IFree IUse% Mounted on
/dev/mapper/vg00-root        655360  163923    491437   26% /
udev                         463042     592    462450    1% /dev
tmpfs                        465492     579    464913    1% /run
none                         465492       6    465486    1% /run/lock
none                         465492       2    465490    1% /run/shm
cgroup                       465492       9    465483    1% /sys/fs/cgroup
/dev/mapper/vg01-nas6gbps 121241600    2522 121239078    1% /nas/6gbps
/dev/mapper/vg02-nas3gbps  49152000   45496  49106504    1% /nas/3gbps
/dev/mapper/vg00-var        1310720  133946   1176774   11% /var
/dev/mapper/vg00-home       1310720    8502   1302218    1% /home
/dev/md0                    9822208 1232641   8589567   13% /var/lib/backuppc

ihre@NAS:/var# df -ih
Filesystem                Inodes IUsed IFree IUse% Mounted on
/dev/mapper/vg00-root       640K  161K  480K   26% /
udev                        453K   592  452K    1% /dev
tmpfs                       455K   579  455K    1% /run
none                        455K     6  455K    1% /run/lock
none                        455K     2  455K    1% /run/shm
cgroup                      455K     9  455K    1% /sys/fs/cgroup
/dev/mapper/vg01-nas6gbps   116M  2.5K  116M    1% /nas/6gbps
/dev/mapper/vg02-nas3gbps    47M   45K   47M    1% /nas/3gbps
/dev/mapper/vg00-var        1.3M  131K  1.2M   11% /var
/dev/mapper/vg00-home       1.3M  8.4K  1.3M    1% /home
/dev/md0                    9.4M  1.2M  8.2M   13% /var/lib/backuppc

[ihre@NAS /var]$ sudo ncdu .
   14.7GiB [######### ] /lib                                                                                                            
  220.5MiB [          ] /cache   
  115.4MiB [          ] /log
   62.5MiB [          ] /rutorrent
   10.6MiB [          ] /backups
  992.0KiB [          ] /spool
  556.0KiB [          ] /tmp
  440.0KiB [          ] /webmin  
   20.0KiB [          ] /crash
   20.0KiB [          ] /www
e  16.0KiB [          ] /lost+found
e   4.0KiB [          ] /opt   
    4.0KiB [          ] /mail
e   4.0KiB [          ] /local   
    4.0KiB [          ] /agentx
@   0.0  B [          ]  lock
@   0.0  B [          ]  run

[ihre@NAS /var]$ sudo /etc/init.d/backuppc stop
[ihre@NAS /var]$ sudo umount /var/lib/backuppc

[ihre@NAS /var]$ sudo ncdu .
    2.3GiB [##########] /lib                                                                                                            
  123.0MiB [          ] /log
   93.9MiB [          ] /cache
   63.6MiB [          ] /rutorrent
   10.6MiB [          ] /backups
  992.0KiB [          ] /spool
  556.0KiB [          ] /tmp
  440.0KiB [          ] /webmin
   20.0KiB [          ] /crash
   20.0KiB [          ] /www
e  16.0KiB [          ] /lost+found
e   4.0KiB [          ] /opt
    4.0KiB [          ] /mail
e   4.0KiB [          ] /local
    4.0KiB [          ] /agentx
@   0.0  B [          ]  lock
@   0.0  B [          ]  run

[ihre@NAS ~]$ df -h
Filesystem                 Size  Used Avail Use% Mounted on
/dev/mapper/vg00-root      9.9G  2.3G  7.1G  25% /
udev                       1.8G  4.0K  1.8G   1% /dev
tmpfs                      728M  1.9M  726M   1% /run
none                       5.0M     0  5.0M   0% /run/lock
none                       1.8G  4.0K  1.8G   1% /run/shm
cgroup                     1.8G     0  1.8G   0% /sys/fs/cgroup
/dev/mapper/vg01-nas6gbps  1.8T  1.4T  313G  82% /nas/6gbps
/dev/mapper/vg02-nas3gbps  739G  692G  9.7G  99% /nas/3gbps
/dev/mapper/vg00-var        20G   14G  5.7G  71% /var
/dev/mapper/vg00-home       20G  4.0G   15G  22% /home

[ihre@NAS ~]$ df -i
Filesystem                   Inodes  IUsed     IFree IUse% Mounted on
/dev/mapper/vg00-root        655360 163923    491437   26% /
udev                         463042    592    462450    1% /dev
tmpfs                        465492    578    464914    1% /run
none                         465492      6    465486    1% /run/lock
none                         465492      2    465490    1% /run/shm
cgroup                       465492      9    465483    1% /sys/fs/cgroup
/dev/mapper/vg01-nas6gbps 121241600   2522 121239078    1% /nas/6gbps
/dev/mapper/vg02-nas3gbps  49152000  45496  49106504    1% /nas/3gbps
/dev/mapper/vg00-var        1310720 133946   1176774   11% /var
/dev/mapper/vg00-home       1310720   8502   1302218    1% /home

[ihre@NAS ~]$ df -ih
Filesystem                Inodes IUsed IFree IUse% Mounted on
/dev/mapper/vg00-root       640K  161K  480K   26% /
udev                        453K   592  452K    1% /dev
tmpfs                       455K   578  455K    1% /run
none                        455K     6  455K    1% /run/lock
none                        455K     2  455K    1% /run/shm
cgroup                      455K     9  455K    1% /sys/fs/cgroup
/dev/mapper/vg01-nas6gbps   116M  2.5K  116M    1% /nas/6gbps
/dev/mapper/vg02-nas3gbps    47M   45K   47M    1% /nas/3gbps
/dev/mapper/vg00-var        1.3M  131K  1.2M   11% /var
/dev/mapper/vg00-home       1.3M  8.4K  1.3M    1% /home

woensdag 25 september 2013 00:55

Acties:

0 Henk 'm!

Hero of Time

Moderator LNX

There is only one Legend

Ik heb je vraag maar even gesplitst, want je hebt de topic warning niet gelezen. In het vervolg wel doen en opvolgen.

Ga eerst maar eens als root met du -sh --max-depth=1 kijken en vergeet .Trash en Lost+Found niet die mogelijk je ruimte in kunnen nemen. Als je in het verleden een fsck hebt gedraaid toen je hetzelfde had en dat werkte, zal je dat nu ook weer moeten doen en uitzoeken waarom je telkens dit krijgt.

Commandline FTW | Tweakt met mate

woensdag 25 september 2013 11:37

Acties:

0 Henk 'm!

Kees

Serveradmin / BOFH / DoC

Vergeet ook niet dat programma's files openhouden nadat je ze delete. Die komen dan niet in de 'du' output maar wel in de df output.

Voorbeeldje:


/run/shm$ dd if=/dev/zero of=testfile bs=1M count=1024
/run/shm$ df -h
Filesystem      Size  Used Avail Use% Mounted on
none            3.9G  1.1G  2.9G  27% /run/shm

/run/shm$ du -h
1.1G .
/run/shm$ cat >> testfile

[volgende terminal]

$ rm /run/shm/testfile
/run/shm$ df -h
Filesystem      Size  Used Avail Use% Mounted on
none            3.9G  1.1G  2.9G  27% /run/shm
/run/shm$ du -h
220K . (dus geen 1+G)
ls -ahl /proc/12345/fd
l-wx------ 1 root root 64 Sep 25 11:31 1 -> /run/shm/testfile (deleted)

Het eenvoudigste is om in /proc te zoeken naar fd's die naar /var wijzen en deleted zijn en de bijbehorende programma's te reloaden/rehashen/restarten.

"Een serveradmin, voluit een serveradministrator, is dan weer een slavenbeheerder oftewel een slavendrijver" - Rataplan

woensdag 25 september 2013 11:58

Acties:

0 Henk 'm!

ihre

Topicstarter

Ik heb de melding inderdaad over het hoofd gezien, zal er beter op letten in het vervolg.

root@NAS:/var# du -shd 1 /var
du: warning: summarizing conflicts with --max-depth=1
Try `du --help' for more information.
root@NAS:/var# du -hd 1 /var
4.0K    /var/local
4.0K    /var/opt
556K    /var/tmp
64M     /var/rutorrent
440K    /var/webmin
4.0K    /var/mail
992K    /var/spool
11M     /var/backups
16K     /var/lost+found
171M    /var/cache
4.0K    /var/agentx
15G     /var/lib
20K     /var/www
95M     /var/log
20K     /var/crash
15G     /var

@ Kees,

Vooral je laatste 3 woorden waren mijn redding, had gister al een hele lijst files gevonden met

find /proc/*/fd/* -type l -ls | egrep '\->.*\(deleted\)'

maar ik wist niet wat er mee aan moest. Na het restarten van plexmediaserver was het probleem opgelost!