Ubuntu Server - diskusage 100% zonder vindbare reden

[MartyF]

Het gaat om Ubuntu Server 11.10 met een vijftal schijven. /dev/sda1 geeft problemen, de /home directory wordt voor 100% gebruikt, maar grote files zijn niet te vinden. Ik heb van alles geprobeerd, maar toch nog iets te weinig linux-kennis om het probleem te achterhalen.





Het probleem zit in de /home directory:



Op zoek naar grote bestanden, > 1 GB.......



Dus die grote bestanden zijn er niet.

Iemand een idee? Tips?

[igmar]

code:

du -hx --max-depth=1 /home

en anders toch een FS check doen.

[Raynman]

MartyF schreef op woensdag 11 januari 2012 @ 13:04:

[afbeelding]

Het probleem zit in de /home directory:

[afbeelding]

Nee, het probleem zit in de partitie waarop /home staat en zo te zien heb je maar één grote partitie (/ en /home bij elkaar in elk geval). Je hebt hier twee keer dezelfde informatie, maar met verschillende eenheden. Aangezien find weinig opleverde, moet je het waarschijnlijk toch ergens anders zoeken.

Begin eens met igmars commando maar dan op / i.p.v. /home.

[ Voor 3% gewijzigd door Raynman op 11-01-2012 13:25 ]

[SPee]

Raynman schreef op woensdag 11 januari 2012 @ 13:22:
[...]

Met

code:

mount

kun je zien wat er gemount is.
Ik vermoed dat enkel sda1 is gemount (als root). Alle bestanden staan dus op die schijf.
Dus ook:

• /tmp
• /var

Deze kunnen vrij groot worden.
Dus bekijk wat de groottes van al de directories in de / zijn.

code:

  du -d1 -h /

[MartyF]

Dank voor je reactie.



Wat fs betreft heb ik even wat geprobeerd. Ik zie niets buitengewoons.

[MartyF]

du -dl -h / werkt niet. De switch -d is niet bekend.

du -l -h -c /tmp --> 20k total
du -l -h -c /var --> 454M total
du -l -h -c /home --> 37M total
du -l -h -c /usr --> 1.1G total

Alle overigen variëren van 0K tot 454 MB, maar ik kom totaal met geen mogelijkheid op de volledige 80 gig. Uitzondering is /media, maar dan worden de andere gemounte schijven ook getoond. Ruim 3 TB.

[SPee]

Welke mappen zijn er in /media

• muziek
• film1
• data
• film2
• temp

Deze zitten op een andere schijf. Als er nog een andere grote map tussen zit...

En wat geeft du zonder --max-depth=1 want /media van 44K, terwijl je zegt dat ie 3TB bevat, geeft al aan dat het overzicht niet klopt.

[MartyF]

SPee schreef op woensdag 11 januari 2012 @ 13:53:
Welke mappen zijn er in /media

• muziek
• film1
• data
• film2
• temp

Deze zitten op een andere schijf. Als er nog een andere grote map tussen zit...

En wat geeft du zonder --max-depth=1 want /media van 44K, terwijl je zegt dat ie 3TB bevat, geeft al aan dat het overzicht niet klopt.

• cdrom
• film1
• muziek
• temp1
• temp3
• data
• film2
• temp
• temp2
• temp4

De mappen muziek, data, film1, film2 en data verwijzen naar sdb t/m sdf. De mappen temp1 t/m 4 kunnen weg, die verwijzen naar schijven niet aanwezig (er zit een PCI naar 4xSATA pcb in met 1 schijf (TEMP) aangesloten). CDROM spreekt voor zich en is leeg.

du -hx -c / geeft een total van 1,9G.
du -hc -c /media geeft een total van 44k.
du -h -c -a /media geeft een total van 3,2T.

[Elijan9]

Doe eens een bind-mount van de root partitie, misschien dat er mappen zijn die nu niet zichtbaar zijn omdat er een partitie overheen gemount is, zoals /media/*/ Dit doe je via:

Bash:

sudo mkdir /tmp/root_bind
sudo mount --bind / /tmp/root_bind
sudo du -hx --all --max-depth=1 /tmp/root_bind/

Ook is het mogelijk dat er files zijn die welliswaar "verwijderd" zijn, maar toch nog bestaan omdat ze nog geopend staan door een applicatie, dit soort bestanden zou je moeten kunnen vinden via

code:

sudo lsof -X /dev/sda1|grep deleted

[MartyF]

Elijan9 schreef op woensdag 11 januari 2012 @ 14:48:
Doe eens een bind-mount van de root partitie, misschien dat er mappen zijn die nu niet zichtbaar zijn omdat er een partitie overheen gemount is, zoals /media/*/ Dit doe je via:

Bash:

sudo mkdir /tmp/root_bind
sudo mount --bind / /tmp/root_bind
sudo du -hx --all --max-depth=1 /tmp/root_bind/

Directory kan niet meer aangemaakt worden vanwege het schijf-vol probleem.

[b][message=37481346,noline]Elijan9
Ook is het mogelijk dat er files zijn die welliswaar "verwijderd" zijn, maar toch nog bestaan omdat ze nog geopend staan door een applicatie, dit soort bestanden zou je moeten kunnen vinden via

code:

sudo lsof -X /dev/sda1|grep deleted

Commando geeft geen output.

Heb nog wat gegoogled, dit komt vaker voor, maar is dan gerelateerd aan niet meer beschikbare inodes. Dit is bij mij echter niet het geval. Misschien moet ik fsck loslaten op /dev/sda1, maar dat zal dan wel via een live-CD moeten neem ik aan?

[Maasluip]

Je hebt disks gemount op /media/... Die directories zijn aangemaakt op sda1. Als in een van die directories iets staat en je mount er een ander device overheen, dan zijn die files niet te zien in een du of een ls, maar ze staan er wel nog altijd op.
Ik zou /dev/sdb1 tot /dev/sdf1 umount'en en dan nog eens met du kijken waar er zoveel plaats gebruikt wordt.

Overigens doe ik altijd du -s /*. Dat is volgens mij hetzelfde als du --max-depth=1 / maar het typt wat sneller.

[ Voor 3% gewijzigd door Maasluip op 11-01-2012 15:35 ]

[Elijan9]

MartyF schreef op woensdag 11 januari 2012 @ 15:16:
[...]

Directory kan niet meer aangemaakt worden vanwege het schijf-vol probleem.

Probeer het eens op een andere mount, bijvoorbeeld als /run/root_bind (al is het al een probleem op zich dat /tmp vol is en zullen een aantal programma's daar niet erg blij mee zijn. Daarom hou ik /tmp, /home en / gescheiden van elkaar)

SPee schreef op woensdag 11 januari 2012 @ 13:53:
En wat geeft du zonder --max-depth=1 want /media van 44K, terwijl je zegt dat ie 3TB bevat, geeft al aan dat het overzicht niet klopt.

Klopt wel, dit is bewust zo. Sla de manpage er maar eens op na voor wat betreft de "-x" optie Die 3TB staat op een andere partitie...

Maasluip schreef op woensdag 11 januari 2012 @ 15:34:
Je hebt disks gemount op /media/... Die directories zijn aangemaakt op sda1. Als in een van die directories iets staat en je mount er een ander device overheen, dan zijn die files niet te zien in een du of een ls, maar ze staan er wel nog altijd op.

Dat is hetzelfde als ik al aangaf, alleen met een "mount --bind" kun je dit achterhalen zonder alle andere partities te umounten... Mogelijk lukt dat umounten niet eens, omdat er files openstaan of als gevolg van de volgelopen / partitie...

[ Voor 30% gewijzigd door Elijan9 op 11-01-2012 16:00 ]

[Kees]

Maasluip schreef op woensdag 11 januari 2012 @ 15:34:

Ik zou /dev/sdb1 tot /dev/sdf1 umount'en en dan nog eens met du kijken waar er zoveel plaats gebruikt wordt.

Inderdaad, wat zegt je du als je de dirs in /media umount? Mischien heb je eens een keer iets groots erheen gekopieerd, en vervolgens je normale mount eroverheen gezet.

[MartyF]

/dev/sdb1 t/m /dev/sdf1 ge-umount. Gek genoeg meldt mount dan nog steeds dat ze gemount zijn, of lees ik dat verkeerd?



Ze zijn in ieder geval ge-unmount, want opnieuw het commando umount /dev/sdb1 t/m sdf1 geeft aan dat ze al ge-unmount zijn.

Probleem blijft bestaan........

[Maasluip]

mount geeft waarschijnlijk alleen de fstab weer. Doe eens df en zie welke devices gemount zijn.
Verder: met df -h /home zie je alleen dat dat device vol zit. Doe du -hx --max-depth=1 / nog een keer en kijk wat daar staat. Vooral bij de directory media. Je /home is niet interessant.

[ Voor 12% gewijzigd door Maasluip op 11-01-2012 15:52 ]

[LinuX-TUX]

Kees schreef op woensdag 11 januari 2012 @ 15:45:
[...]

Inderdaad, wat zegt je du als je de dirs in /media umount? Mischien heb je eens een keer iets groots erheen gekopieerd, en vervolgens je normale mount eroverheen gezet.

Eerste wat door m'n hoofd schoot. Keer een foute mount gehad en idd gewoon films/muziek naar gekopieerd.

TS nooit een keer gehad dat hij zeker was dat hij iets had maar "het was er opeens niet meer"? Bij unmounten zorgen dat je je niet in de (sub)directory tree bevind, kan soms wat tegen stribbelen als je dat doet. Gewoon cd /media en umount ./*

Daarna du -sh /media . Mag niet groter zijn dan een paar K TENZIJ ons vermoeden (van Kees & mij) juist is, dan staat daar rond de 75GB ( ? ) aan zut die eigenlijk op een van de andere schijven hoorde te staan.

[MartyF]

Maasluip schreef op woensdag 11 januari 2012 @ 15:50:
mount geeft waarschijnlijk alleen de fstab weer. Doe eens df en zie welke devices gemount zijn.
Verder: met df -h /home zie je alleen dat dat device vol zit. Doe du -hx --max-depth=1 / nog een keer en kijk wat daar staat. Vooral bij de directory media. Je /home is niet interessant.

Had inmiddels een reboot gedaan, en opnieuw alles geumount, behalve sda. Mount meldt nu naast sda1 alleen dat sdb1 (muziek) nog gemount is. Deze wil nu niet umounten -- device is busy.

du -hx --max-depth=1 / 4,0K /opt du: cannot read directory `/etc/webmin/tcpwrappers': Permission denied du: cannot read directory `/etc/webmin/mysql': Permission denied du: cannot read directory `/etc/webmin/pap': Permission denied du: cannot read directory `/etc/webmin/logrotate': Permission denied du: cannot read directory `/etc/webmin/ajaxterm': Permission denied du: cannot read directory `/etc/webmin/file': Permission denied du: cannot read directory `/etc/webmin/change-user': Permission denied du: cannot read directory `/etc/webmin/burner': Permission denied du: cannot read directory `/etc/webmin/squid': Permission denied du: cannot read directory `/etc/webmin/inetd': Permission denied du: cannot read directory `/etc/webmin/webmin': Permission denied du: cannot read directory `/etc/webmin/fsdump': Permission denied du: cannot read directory `/etc/webmin/syslog-ng': Permission denied du: cannot read directory `/etc/webmin/cluster-copy': Permission denied du: cannot read directory `/etc/webmin/cluster-shell': Permission denied du: cannot read directory `/etc/webmin/lpadmin': Permission denied du: cannot read directory `/etc/webmin/proc': Permission denied du: cannot read directory `/etc/webmin/sendmail': Permission denied du: cannot read directory `/etc/webmin/tunnel': Permission denied du: cannot read directory `/etc/webmin/cron': Permission denied du: cannot read directory `/etc/webmin/custom': Permission denied du: cannot read directory `/etc/webmin/nis': Permission denied du: cannot read directory `/etc/webmin/syslog': Permission denied du: cannot read directory `/etc/webmin/samba': Permission denied du: cannot read directory `/etc/webmin/mon': Permission denied du: cannot read directory `/etc/webmin/ppp-client': Permission denied du: cannot read directory `/etc/webmin/webalizer': Permission denied du: cannot read directory `/etc/webmin/krb5': Permission denied du: cannot read directory `/etc/webmin/ipfilter': Permission denied du: cannot read directory `/etc/webmin/net': Permission denied du: cannot read directory `/etc/webmin/qmailadmin': Permission denied du: cannot read directory `/etc/webmin/heartbeat': Permission denied du: cannot read directory `/etc/webmin/init': Permission denied du: cannot read directory `/etc/webmin/usermin': Permission denied du: cannot read directory `/etc/webmin/dhcpd': Permission denied du: cannot read directory `/etc/webmin/dnsadmin': Permission denied du: cannot read directory `/etc/webmin/webminlog': Permission denied du: cannot read directory `/etc/webmin/apache': Permission denied du: cannot read directory `/etc/webmin/pptp-server': Permission denied du: cannot read directory `/etc/webmin/mailcap': Permission denied du: cannot read directory `/etc/webmin/cfengine': Permission denied du: cannot read directory `/etc/webmin/htaccess-htpasswd': Permission denied du: cannot read directory `/etc/webmin/fdisk': Permission denied du: cannot read directory `/etc/webmin/ipsec': Permission denied du: cannot read directory `/etc/webmin/shell': Permission denied du: cannot read directory `/etc/webmin/sarg': Permission denied du: cannot read directory `/etc/webmin/lvm': Permission denied du: cannot read directory `/etc/webmin/ldap-useradmin': Permission denied du: cannot read directory `/etc/webmin/quota': Permission denied du: cannot read directory `/etc/webmin/proftpd': Permission denied du: cannot read directory `/etc/webmin/software': Permission denied du: cannot read directory `/etc/webmin/system-status': Permission denied du: cannot read directory `/etc/webmin/idmapd': Permission denied du: cannot read directory `/etc/webmin/raid': Permission denied du: cannot read directory `/etc/webmin/at': Permission denied du: cannot read directory `/etc/webmin/telnet': Permission denied du: cannot read directory `/etc/webmin/postfix': Permission denied du: cannot read directory `/etc/webmin/mailboxes': Permission denied du: cannot read directory `/etc/webmin/postgresql': Permission denied du: cannot read directory `/etc/webmin/fetchmail': Permission denied du: cannot read directory `/etc/webmin/package-updates': Permission denied du: cannot read directory `/etc/webmin/dfsadmin': Permission denied du: cannot read directory `/etc/webmin/procmail': Permission denied du: cannot read directory `/etc/webmin/lilo': Permission denied du: cannot read directory `/etc/webmin/sentry': Permission denied du: cannot read directory `/etc/webmin/phpini': Permission denied du: cannot read directory `/etc/webmin/webmincron': Permission denied du: cannot read directory `/etc/webmin/spam': Permission denied du: cannot read directory `/etc/webmin/vgetty': Permission denied du: cannot read directory `/etc/webmin/majordomo': Permission denied du: cannot read directory `/etc/webmin/openslp': Permission denied du: cannot read directory `/etc/webmin/cluster-usermin': Permission denied du: cannot read directory `/etc/webmin/smf': Permission denied du: cannot read directory `/etc/webmin/smart-status': Permission denied du: cannot read directory `/etc/webmin/ldap-client': Permission denied du: cannot read directory `/etc/webmin/grub': Permission denied du: cannot read directory `/etc/webmin/jabber': Permission denied du: cannot read directory `/etc/webmin/exim': Permission denied du: cannot read directory `/etc/webmin/exports': Permission denied du: cannot read directory `/etc/webmin/mount': Permission denied du: cannot read directory `/etc/webmin/cluster-passwd': Permission denied du: cannot read directory `/etc/webmin/backup-config': Permission denied du: cannot read directory `/etc/webmin/wuftpd': Permission denied du: cannot read directory `/etc/webmin/bandwidth': Permission denied du: cannot read directory `/etc/webmin/cluster-cron': Permission denied du: cannot read directory `/etc/webmin/shorewall': Permission denied du: cannot read directory `/etc/webmin/acl': Permission denied du: cannot read directory `/etc/webmin/cluster-software': Permission denied du: cannot read directory `/etc/webmin/firewall': Permission denied du: cannot read directory `/etc/webmin/ipfw': Permission denied du: cannot read directory `/etc/webmin/frox': Permission denied du: cannot read directory `/etc/webmin/useradmin': Permission denied du: cannot read directory `/etc/webmin/stunnel': Permission denied du: cannot read directory `/etc/webmin/updown': Permission denied du: cannot read directory `/etc/webmin/man': Permission denied du: cannot read directory `/etc/webmin/bind8': Permission denied du: cannot read directory `/etc/webmin/servers': Permission denied du: cannot read directory `/etc/webmin/cluster-webmin': Permission denied du: cannot read directory `/etc/webmin/time': Permission denied du: cannot read directory `/etc/webmin/dovecot': Permission denied du: cannot read directory `/etc/webmin/cluster-useradmin': Permission denied du: cannot read directory `/etc/webmin/adsl-client': Permission denied du: cannot read directory `/etc/webmin/sshd': Permission denied du: cannot read directory `/etc/webmin/xinetd': Permission denied du: cannot read directory `/etc/webmin/inittab': Permission denied du: cannot read directory `/etc/webmin/filter': Permission denied du: cannot read directory `/etc/webmin/passwd': Permission denied du: cannot read directory `/etc/webmin/status': Permission denied du: cannot read directory `/etc/webmin/bacula-backup': Permission denied du: cannot read directory `/etc/webmin/cpan': Permission denied du: cannot read directory `/etc/webmin/pserver': Permission denied du: cannot read directory `/etc/webmin/pptp-client': Permission denied du: cannot read directory `/etc/webmin/ldap-server': Permission denied du: cannot read directory `/etc/webmin/pam': Permission denied du: cannot read directory `/etc/cups/ssl': Permission denied du: cannot read directory `/etc/ssl/private': Permission denied du: cannot read directory `/etc/chatscripts': Permission denied du: cannot read directory `/etc/ppp/peers': Permission denied 7,4M /etc 0 /proc 8,2M /bin 71G /media 48M /boot du: cannot read directory `/var/webmin': Permission denied du: cannot read directory `/var/log/samba/cores': Permission denied du: cannot read directory `/var/lib/sudo': Permission denied du: cannot read directory `/var/spool/cron/crontabs': Permission denied du: cannot read directory `/var/spool/cron/atjobs': Permission denied du: cannot read directory `/var/spool/cron/atspool': Permission denied du: cannot read directory `/var/spool/cups': Permission denied du: cannot read directory `/var/cache/ldconfig': Permission denied 448M /var du: cannot read directory `/root': Permission denied 4,0K /root 7,7M /sbin 8,0K /srv 4,0K /mnt 16K /tmp 273M /lib du: cannot read directory `/home/.ecryptfs/martin/.Private/.w3m': Permission denied 19M /home 4,0K /selinux 0 /dev 0 /run 52K /twonkymedia 0 /sys du: cannot read directory `/usr/local/twonkymedia/resources/remote/themes': Permission denied 1,1G /usr du: cannot read directory `/lost+found': Permission denied 16K /lost+found 73G /

Er staat dus 71G /media tussen. Zou dit de oorzaak kunnen zijn? De schijf is maar 80G.

[MartyF]

LinuX-TUX schreef op woensdag 11 januari 2012 @ 15:57:
[...]

Eerste wat door m'n hoofd schoot. Keer een foute mount gehad en idd gewoon films/muziek naar gekopieerd.

TS nooit een keer gehad dat hij zeker was dat hij iets had maar "het was er opeens niet meer"? Bij unmounten zorgen dat je je niet in de (sub)directory tree bevind, kan soms wat tegen stribbelen als je dat doet. Gewoon cd /media en umount ./*

Daarna du -sh /media . Mag niet groter zijn dan een paar K TENZIJ ons vermoeden (van Kees & mij) juist is, dan staat daar rond de 75GB ( ? ) aan zut die eigenlijk op een van de andere schijven hoorde te staan.

Waarom vind ik met ls -a in /media die 71G niet terug?

[Elijan9]

LinuX-TUX schreef op woensdag 11 januari 2012 @ 15:57:
Daarna du -sh /media . Mag niet groter zijn dan een paar K TENZIJ ons vermoeden (van Kees & mij) juist is,

En mijn vermoeden. Alleen is mijn voorstel volgens mij toch wat minder omslachtig. Door de / met --bind op een andere plek nog een keer te mounten bereik je hetzelfde zonder de draaiende applicaties te beperken...

MartyF schreef op woensdag 11 januari 2012 @ 16:02:
Er staat dus 71G /media tussen. Zou dit de oorzaak kunnen zijn? De schijf is maar 80G.

De partitie is 73G en ja dat is de oorzaak Overigens altijd du als root uitvoeren anders heb je er nog niet zo veel aan. En met de --bind mount kun je het ook nog controlleren terwijl /media/muziek gewoon gemount is...

Als er in jouw partitie bijvoorbeeld onder /media/muziek een Rick Astley partitie zit en je mount een partitie op /media/muziek, dan is de oorspronkelijk data onder /media/muziek niet meer zichtbaar.

[ Voor 43% gewijzigd door Elijan9 op 11-01-2012 16:12 . Reden: AKA reverse rick-rolling ]

[Maasluip]

MartyF schreef op woensdag 11 januari 2012 @ 16:02:
[...]

Er staat dus 71G /media tussen. Zou dit de oorzaak kunnen zijn? De schijf is maar 80G.

Goh, wat denk je zelf?

Ga maar eens kijken welke files daar staan.

[MartyF]

De partitie is 73G en ja dat is de oorzaak Overigens altijd du als root uitvoeren anders heb je er nog niet zo veel aan.

Uiteraard. Ben misschien geen superdeskundige, maar dat lijkt me een beetje een open deur.

Als er in jouw partitie bijvoorbeeld onder /media/muziek een Rick Astley partitie zit en je mount een partitie op /media/muziek, dan is de oorspronkelijk data onder /media/muziek niet meer zichtbaar.

Dus dat krijg ik alleen te zien wanneer ik /dev/sdb1 umount. Waarom dat nu toch niet wil.....

[MartyF]

Goh, wat denk je zelf? .

Wel aardig blijven hè?

[MartyF]

Opgelost.

Na een reboot kon ik /dev/sdb1 wel umounten. Bleek uiteindelijk dat in /media/temp het e.e.a. stond. Weggegooid en opgelost.

Weer wat geleerd.

Dank allen.

[LinuX-TUX]

MartyF schreef op woensdag 11 januari 2012 @ 17:14:
Opgelost.

Na een reboot kon ik /dev/sdb1 wel umounten. Bleek uiteindelijk dat in /media/temp het e.e.a. stond. Weggegooid en opgelost.

Weer wat geleerd.

Dank allen.

*Proest*

Reden dat wij hier dat vermoeden hadden is 9 van de 10 keer ook uit de ervaring die je nu op hebt gedaan ... maw, ook een keer meegemaakt

[Elijan9]

MartyF schreef op woensdag 11 januari 2012 @ 17:03:
Dus dat krijg ik alleen te zien wanneer ik /dev/sdb1 umount. Waarom dat nu toch niet wil.....

Op de bind-mount manier, om het voor te kauwen:

code:

sudo mkdir -p /run/tmp/root_bind
sudo mount --bind / /run/tmp/root_bind
sudo ls -Ras /run/tmp/root_bind/media/muziek

Via deze manier kun je ook van alles "verstoppen" onder /proc, /sys en /dev wat normaal gesproken niet zichtbaar zal zijn...