[DEBIAN] "Harddisk vol" niet terug te vinden in bestanden.

[Verwijderd]

Beste Tweakers,


Ik zit met een vrij groot probleem, mijn Debian Webserver zegt sinds gister dat de harddisk vol zit.
Zelfs zo vol dat ik geen 1 Kb meer kwijt kan... het aanpassen van een bestand en het dan weer opslaan (gewoon TXT bestand) gaat zelfs niet.

Nu is dit vrij vreemd er zit een RAID 1 configuratie in met 2x 146GB. effectief moet je dus 146GB hebben. als ik kijk wat het grootste mapje is zie ik dit:

code:

4.2M    /bin
7.1M    /boot
0       /cdrom
156K    /dev
27M     /etc
48K     /home
4.0K    /initrd
0       /initrd.img
58M     /lib
16K     /lost+found
8.0K    /media
4.0K    /mnt
4.0K    /opt
0       /proc
125G    /root
2.9M    /sbin
4.0K    /srv
0       /sys
20K     /tmp
956M    /usr
1.3G    /var
20K     /viewcat.php?cid=2
0       /vmlinuz

Alleen root is 125GB

code:

debianweb:~# df -B GB
Filesystem          1GB-blocks      Used Available Use% Mounted on
/dev/sda1                142GB     137GB       0GB 100% /
tmpfs                      1GB       0GB       1GB   0% /dev/shm
tmpfs                      1GB       1GB       1GB   1% /dev

Nu heb ik al voor meer dan 1 GB weg gegooit en dit zie ik niet terug, nu ben ik zelf geen linux expert maar dit vind ik heel appart (.trash is leeg..)

Wat kan dit zijn? nog belangrijker hoe los ik het op..?


Alvast bedankt,

[mithras]

Waarschijnlijk is je sda1 geformatteerd met een x% blocks vrijgehouden voor root. Je filesystem zegt dus dat de schijf vol zit, als beveiliging tegen zichzelf. Alleen root kan dan nog een aantal GB's extra opslaan.
Zo is 12/137=0.087, dus waarschijnlijk is je fs met ongeveer 9% (wat ik erg veel vind) preserved blocks geformatteerd.

Als ik nu gelijk heb, kan je alleen als root wat dingen nog veranderen, dus even su'en, mogelijk wat back'uppen en dingen verwijderen / aanpassen / nieuwe hdd bijprikken

En wat moet je echt met 125G in /root

[ Voor 4% gewijzigd door mithras op 24-01-2007 09:58 ]

[Verwijderd]

mithras schreef op woensdag 24 januari 2007 @ 09:57:
Waarschijnlijk is je sda1 geformatteerd met een x% blocks vrijgehouden voor root. Je filesystem zegt dus dat de schijf vol zit, als beveiliging tegen zichzelf. Alleen root kan dan nog een aantal GB's extra opslaan.
Zo is 12/137=0.087, dus waarschijnlijk is je fs met ongeveer 9% (wat ik erg veel vind) preserved blocks geformatteerd.

Als ik nu gelijk heb, kan je alleen als root wat dingen nog veranderen, dus even su'en, mogelijk wat back'uppen en dingen verwijderen / aanpassen / nieuwe hdd bijprikken

En wat moet je echt met 125G in /root

Het stomme is root is maar een paar 100mb, er staat niks in die root behalve een paar zip bestandjes van wat html paginas.

Als ik via een FTP programma ga kijken hoe groot alle bestanden zijn komt ik op 5GB±.

Nieuwe HDD gaat niet zo makkelijk dit zijn Dell SAS 15k schijfen en die liggen niet bij de lokale computer boer

[mithras]

En wat krijg je te zien met:

su
cd /root
du -h --max-depth=1

Als blijkt dat een bepaalde folder erg veel ruimte in beslag neemt kan je naar die map gaan en weer de disk usage bepalen.

offtopic:
geen max-depth is ook leuk, maar met veel submappen te onoverzichtelijk

[DiedX]

Wellicht ben je door je inodes heen.

Doe eens du -i?

[burne]

mithras schreef op woensdag 24 januari 2007 @ 10:08:

offtopic:
geen max-depth is ook leuk, maar met veel submappen te onoverzichtelijk

Dan doe je du -shc * in de folder in kwestie?

(Overigens is /root de boosdoener. Apart dat die een volle dir heeft, want als het goed is ben je als root nooit of nagenoeg nooit ingelogged. Heb je dus ook geen tijd om je homedir vol te krijgen..)

[ Voor 29% gewijzigd door burne op 24-01-2007 10:14 ]

[Verwijderd]

code:

debianweb:~# du -h --max-depth=1
4.0K    ./.aptitude
8.0K    ./.gstreamer-0.8
412K    ./.gconf
48K     ./.gconfd
12K     ./.gnome
388K    ./.gnome2
4.0K    ./.gnome2_private
288K    ./.nautilus
128K    ./.metacity
1.1G    ./Desktop
32K     ./.vnc
4.0K    ./.Trash
1.9M    ./.mozilla
1.5M    ./.thumbnails
125G    .

Ik ben er van overtuigt dat het ergens een fout is in het filesysteem oid want er zijn geen bestanden die groot zijn. hooguit is het grootste bestand op de server een keer 500mb

1.1GB waar hij die 125GB vandaan haalt...

code:

debianweb:~# du -shc *
4.0K    dbootstrap_settings
4.0K    dead.letter
1.1G    Desktop
0       exit
4.0K    install-report.template
1.1G    total

du -i kent ie niet...

Ik weet dat het alles behalve netjes is maar ik log wel vaak in als root...
het enige wat er op die server gebeurt is dus af en toe een bestandje van hoog uit 100mb op de desktop zetten uitpakken en dan naar de WWW dir kopieeren (die overigens 1.13gb is)

[ Voor 33% gewijzigd door Verwijderd op 24-01-2007 10:18 ]

[burne]

code:

cd /root
ls -lSh | head -n 10

wat geeft dat? (de 10 grootste bestanden in je homedir, ja..)

[ Voor 26% gewijzigd door burne op 24-01-2007 10:17 ]

[Confusion]

Verwijderd schreef op woensdag 24 januari 2007 @ 09:31:
Nu heb ik al voor meer dan 1 GB weg gegooit en dit zie ik niet terug, nu ben ik zelf geen linux expert maar dit vind ik heel appart (.trash is leeg..)

Hmmm... wat weleens gebeurt is dat je data heb staan in een directory, maar dat je vervolgens ook af en toe een partititie van een andere schijf op dat punt mount. Als je data uit die partitie weggooit, dan verandert dat niets aan de hoeveelheid data die in de partitie waar de 'originele' directory in staat. Kan het zoiets zijn?

Een ander idee: is het toevallig je .xession-errors bestand die uit de klauwen is gegroeid in /root en die telkens direct weer volgeplempt raakt? Zoja: cat /dev/null > /root/.xsession-errors en daarna rustig bekijken wat de errors genereert en er iets aan doen.

Probeer ook even ls -al om ook de hidden files te tonen.

[ Voor 10% gewijzigd door Confusion op 24-01-2007 10:21 ]

[Verwijderd]

burne schreef op woensdag 24 januari 2007 @ 10:16:

code:

cd /root
ls -lSh | head -n 10

wat geeft dat? (de 10 grootste bestanden in je homedir, ja..)

code:

debianweb:~# ls -lSh | head -n 10
total 16K
drwxr-xr-x  9 root root 4.0K 2007-01-23 18:42 Desktop
-rw-r--r--  1 root root 1.4K 2006-11-19 19:43 install-report.template
-rw-r--r--  1 root root  187 2006-11-19 19:43 dbootstrap_settings
-rw-------  1 root root    4 2006-12-19 23:05 dead.letter
-rw-r--r--  1 root root    0 2007-01-23 18:51 exit

[Verwijderd]

Confusion schreef op woensdag 24 januari 2007 @ 10:19:
[...]

Hmmm... wat weleens gebeurt is dat je data heb staan in een directory, maar dat je vervolgens ook af en toe een partititie van een andere schijf op dat punt mount. Als je data uit die partitie weggooit, dan verandert dat niets aan de hoeveelheid data die in de partitie waar de 'originele' directory in staat. Kan het zoiets zijn?

Ik heb 1 partitie voor het hele OS, ja ik weet dat het slordig is maar tijdens de install was dat aanbevolen voor nieuwe gebruikers like me

Een ander idee: is het toevallig je .xession-errors bestand die uit de klauwen is gegroeid in /root en die telkens direct weer volgeplempt raakt? Zoja: cat /dev/null > /root/.xsession-errors en daarna rustig bekijken wat de errors genereert en er iets aan doen.

Probeer ook even ls -al om ook de hidden files te tonen.

Ik ben nu even die errors aan het "laden" duurt nogal lang...

Specs van de machine:

dell 2950
Dual 3Ghz XEON Dual Core
1GB ram
2x 146GB SAS 15K rpm


cat /dev/null > /root/.xsession-errors daar krijg ik geen reactie op.. na 2a3 minuten te hebben gewacht...

ls -al

code:

debianweb:~# ls -al
total 176
drwxr-xr-x  16 root root  4096 2007-01-24 12:06 .
drwxr-xr-x  21 root root  4096 2007-01-23 18:02 ..
drwx------   2 root root  4096 2006-11-19 19:47 .aptitude
-rw-------   1 root root  7641 2007-01-24 12:10 .bash_history
-rw-r--r--   1 root root   412 2004-12-15 23:53 .bashrc
-rw-r--r--   1 root root   187 2006-11-19 19:43 dbootstrap_settings
-rw-------   1 root root     4 2006-12-19 23:05 dead.letter
drwxr-xr-x   9 root root  4096 2007-01-23 18:42 Desktop
-rw-r--r--   1 root root     0 2007-01-23 18:51 exit
-rw-r--r--   1 root root 27542 2006-11-19 20:10 .fonts.cache-1
drwx------   4 root root  4096 2007-01-24 12:06 .gconf
drwx------   2 root root  4096 2007-01-24 12:07 .gconfd
drwx------   4 root root  4096 2006-11-19 20:23 .gnome
drwx------   9 root root  4096 2007-01-24 12:06 .gnome2
drwx------   2 root root  4096 2006-11-19 20:09 .gnome2_private
drwxr-xr-x   2 root root  4096 2006-11-19 20:09 .gstreamer-0.8
-rw-r--r--   1 root root    81 2006-11-19 20:10 .gtkrc-1.2-gnome2
-rw-------   1 root root  4139 2007-01-24 12:06 .ICEauthority
-rw-r--r--   1 root root  1336 2006-11-19 19:43 install-report.template
drwx------   3 root root  4096 2006-11-19 20:10 .metacity
drwx------   3 root root  4096 2006-11-19 20:23 .mozilla
drwxr-xr-x   3 root root  4096 2006-11-19 20:10 .nautilus
-rw-r--r--   1 root root   110 2004-11-10 17:10 .profile
-rw-r--r--   1 root root  1755 2006-11-19 20:26 .pureadminrc
-rw-------   1 root root 32517 2007-01-23 17:10 .recently-used
-rw-------   1 root root  1024 2006-12-07 15:20 .rnd
drwx------   4 root root  4096 2006-11-19 22:20 .thumbnails
drwx------   2 root root  4096 2007-01-23 18:41 .Trash
drwxr-xr-x   2 root root  4096 2007-01-24 12:06 .vnc
-rw-------   1 root root   255 2007-01-24 12:06 .Xauthority
-rw-------   1 root root     0 2007-01-24 12:25 .xsession-errors

[ Voor 48% gewijzigd door Verwijderd op 24-01-2007 10:27 ]

[burne]

Oki. We hebben 'm.

Je hebt een process wat als root draait en wat bestanden aanmaakt, bijvoorbeeld in /root of /root/tmp. Een ander process verwijdert die bestanden weer, maar je eerste process heeft nog steeds niet-gesloten filehandles die verwijzen naar het eerder geopende bestand. Dan krijg je de situatie waar je nu in zit: een directory gebruikt veel schijfruimte, maar in de directory zie je niets terug van bestanden die verantwoordelijk zijn voor dat schijfruimte-gebruik.

Je filesystem weigert bestanden weg te gooien die nog open zijn. Welk process de boosdoener is kan ik je niet zo vertellen. Als je lsof geinstalleert hebt:

code:

lsof +d /root

Het herstarten van dat process verhelpt je probleem.

[Verwijderd]

burne schreef op woensdag 24 januari 2007 @ 10:27:
Oki. We hebben 'm.

Je hebt een process wat als root draait en wat bestanden aanmaakt, bijvoorbeeld in /root of /root/tmp. Een ander process verwijdert die bestanden weer, maar je eerste process heeft nog steeds niet-gesloten filehandles die verwijzen naar het eerder geopende bestand. Dan krijg je de situatie waar je nu in zit: een directory gebruikt veel schijfruimte, maar in de directory zie je niets terug van bestanden die verantwoordelijk zijn voor dat schijfruimte-gebruik.

Je filesystem weigert bestanden weg te gooien die nog open zijn. Welk process de boosdoener is kan ik je niet zo vertellen. Als je lsof geinstalleert hebt:

code:

lsof +d /root

Het herstarten van dat process verhelpt je probleem.

Dat idee had ik ookal heb gister de heledag lopen googlen maar kwam er toen niet echt verder mee

zie dit o.a. :

code:

debianweb:~# lsof +d /root
COMMAND    PID USER   FD   TYPE DEVICE SIZE    NODE NAME
famd      2532 root   16r   DIR    8,1 4096 8077431 /root/.Trash
famd      2532 root   20r   DIR    8,1 4096 8077362 /root/Desktop
famd      2532 root   21r   DIR    8,1 4096 8077313 /root
Xrealvnc  4254 root  cwd    DIR    8,1 4096 8077313 /root
x-session 4256 root  cwd    DIR    8,1 4096 8077313 /root
x-session 4256 root    1w   REG    8,1    0 8077319 /root/.xsession-errors
x-session 4256 root    2w   REG    8,1    0 8077319 /root/.xsession-errors
gnome-key 4285 root  cwd    DIR    8,1 4096 8077313 /root
gnome-key 4285 root    2w   REG    8,1    0 8077319 /root/.xsession-errors
gnome-smp 4289 root  cwd    DIR    8,1 4096 8077313 /root
gnome-smp 4289 root    1w   REG    8,1    0 8077319 /root/.xsession-errors
gnome-smp 4289 root    2w   REG    8,1    0 8077319 /root/.xsession-errors
metacity  4314 root  cwd    DIR    8,1 4096 8077313 /root
metacity  4314 root    1w   REG    8,1    0 8077319 /root/.xsession-errors
metacity  4314 root    2w   REG    8,1    0 8077319 /root/.xsession-errors
gnome-pan 4331 root  cwd    DIR    8,1 4096 8077313 /root
gnome-pan 4331 root    1w   REG    8,1    0 8077319 /root/.xsession-errors
gnome-pan 4331 root    2w   REG    8,1    0 8077319 /root/.xsession-errors
nautilus  4333 root  cwd    DIR    8,1 4096 8077313 /root
nautilus  4333 root    1w   REG    8,1    0 8077319 /root/.xsession-errors
nautilus  4333 root    2w   REG    8,1    0 8077319 /root/.xsession-errors
magicdev  4337 root  cwd    DIR    8,1 4096 8077313 /root
magicdev  4337 root    1w   REG    8,1    0 8077319 /root/.xsession-errors
magicdev  4337 root    2w   REG    8,1    0 8077319 /root/.xsession-errors
mapping-d 4350 root    1w   REG    8,1    0 8077319 /root/.xsession-errors
mapping-d 4350 root    2w   REG    8,1    0 8077319 /root/.xsession-errors
bash      4394 root  cwd    DIR    8,1 4096 8077313 /root
bash      4402 root  cwd    DIR    8,1 4096 8077313 /root
bash      4420 root  cwd    DIR    8,1 4096 8077313 /root
lsof      4475 root  cwd    DIR    8,1 4096 8077313 /root
lsof      4476 root  cwd    DIR    8,1 4096 8077313 /root

tnx dat was dus het probleem!

Iemand nog tips om dit in de toekomst de voorkomen?

code:

debianweb:~# df -B GB
Filesystem          1GB-blocks      Used Available Use% Mounted on
/dev/sda1                142GB       4GB     131GB   3% /
tmpfs                      1GB       0GB       1GB   0% /dev/shm
tmpfs                      1GB       1GB       1GB   1% /dev

[ Voor 22% gewijzigd door Verwijderd op 24-01-2007 10:34 ]

[burne]

Da's nogal een lijst.

code:

lsof +d /root | sort -rn -k 7 | head -n 10

Ah. Mooi dat het opgelost is. Weet je nu welk proces er voor verantwoordelijk was? (die met de grootste files in-gebruik-maar-al-gedelete)

[ Voor 46% gewijzigd door burne op 24-01-2007 10:37 ]

[Verwijderd]

burne schreef op woensdag 24 januari 2007 @ 10:35:
Da's nogal een lijst.

code:

lsof +d /root | sort -rn -k 7 | head -n 10

Ah. Mooi dat het opgelost is. Weet je nu welk proces er voor verantwoordelijk was? (die met de grootste files in-gebruik-maar-al-gedelete)

Ik weet zelf niet welk process dit gedaan heeft, wat zou kunnen is dat het MySQL is geweest want ik had een tabel van een webshop met gigantisch veel sessies....

[Confusion]

Je hebt .xsession-errors dus net getruncate (en als dat twee of drie minuten duurt, dan was het bestand takkegroot, of er zijn andere processen erg druk met /root) en nu is de directory niet meer zo groot? Dan moet je eens bekijken hoe groot .xsession-errors nu is (om te zien hoe snel die groeit) en v ervolgens in de file kijken om de errors te zien.

Tenzij je dus inmiddels zeker weet dat burne het probleem te pakken heeft (maar waar haalde hij dat vandaan?).

[ Voor 33% gewijzigd door Confusion op 24-01-2007 10:57 ]

[Verwijderd]

Ik zie op dit moment niet de .xsessions file groeien...

Zou het kunnen dat mySQL heel veel errors heeft veroorzaakt wat gelogt is in de xsessions file?

[burne]

Verwijderd schreef op woensdag 24 januari 2007 @ 10:43:
dat het MySQL is geweest

Die zet al z'n bestanden in /var/lib/mysql dus dat zal 'm niet geweest zijn. Het kan dan weer wel je shopsoftware geweest zijn, als die als user root draait. (Wat overigens niet verstandig is..)

Confusion schreef op woensdag 24 januari 2007 @ 10:55:
(maar waar haalde hij dat vandaan?).

Hum. 10 jaar lang 10 uur per dag UNIX voor m'n neus? Zelfs met OS-X op m'n bureau is Terminal.app starten het eerste wat ik doe..

[Verwijderd]

shopsoftware is OScommerce en dat draait gewoon onder de www/web user.

[Confusion]

burne schreef op woensdag 24 januari 2007 @ 11:38:
Hum. 10 jaar lang 10 uur per dag UNIX voor m'n neus? Zelfs met OS-X op m'n bureau is Terminal.app starten het eerste wat ik doe..

Dus

Je hebt een process wat als root draait en wat bestanden aanmaakt, bijvoorbeeld in /root of /root/tmp. Een ander process verwijdert die bestanden weer, maar je eerste process heeft nog steeds niet-gesloten filehandles die verwijzen naar het eerder geopende bestand

was een educated guess, geen conclusie uit de gerapporteerde informatie?

[Verwijderd]

Ligt het nou aan mij of is de oorzaak nou nog niet duidelijk? dat het dus de logfiles waren oke... maar hoe dit onstaan is weet ik nog niet hoe kom ik hier achter, straks heb ik over 2maand weer het zelfde probleem, ik weet nu wel te fixen mijn dank hiervoor is zeer groot!!!

Voorkomen is beter als genezen dus... ? zou iemand mij kunnen vertellen wat het geweest kan zijn, als er meer informatie nodig is over de server/applicaties dan hoor ik dat graag.

[Verwijderd]

.xsession-errors heeft natuurlijk niks te maken met webserver of webshop toepssingen zoals oscommerce!

Heb je een Xwindows sessie draaien? Zo ja, hoelang al en welke toepassingen heb je al zeer lang open?

[Verwijderd]

Verwijderd schreef op woensdag 24 januari 2007 @ 16:28:
.xsession-errors heeft natuurlijk niks te maken met webserver of webshop toepssingen zoals oscommerce!

Heb je een Xwindows sessie draaien? Zo ja, hoelang al en welke toepassingen heb je al zeer lang open?

Apps die draaien op de server:

Apache2 + (php)
MySQL 4.x
VNCserver
ProFTP server
SSH

Dat is het wel zo'n beetje dat zijn iig de applicaties die ik zelf heb geinstalleerd.