Ubuntu server root is vol

[kariem112]

Mijn (virtuele) ubuntu 14 server heeft een volle root disk. Ik krijg er met geen mogelijkheid meer vrije ruimte op

clean apt-get cache
oude headers verwijderd
apt-get autoremove

Krijg overal een melding dat er zelfs te weinig ruimte is om de commando's uit te voeren.. welke opties heb ik nog meer?

[Jimbolino]

root is /
Als je verder geen partities en mounts hebt, zijn dat dus alle mappen en bestanden in je filesystem.
Dingen waar je eens naar kunt kijken:
/var/log
/var/spool
/tmp

Als je weer een beetje ruimte hebt, installeer een tooltje als ncdu, en kijk waar de meeste ruimte naar toe gaat

[The Eagle]

En niet te vergeten /var/tmp. Waar de /tmp bij een reboot geleegd wordt, is dat bij /var/tmp niet het geval namelijk

[justahuman]

mogelijk staan er nog flink wat oude kernels op je systeem die niet met autoremove niet worden verwijderd.

[garriej]

Virtuele disk uitbreiden? Heb ik nog nooit hoeven doen op een linux bak, maar bij windows is dat heel simpel, dus ik neem aan dat dat bij ubuntu ook gewoon mogelijk is.

[kariem112]

heb de mappen verwijderd die hierboven genoemd zijn... oude kernels staan er volgens mij niet meer op


Filesystem Size Used Avail Use% Mounted on

/dev/dm-0 19G 19G 0 100% /
none 4.0K 0 4.0K 0% /sys/fs/cgroup
none 5.0M 0 5.0M 0% /run/lock
none 245M 0 245M 0% /run/shm
none 100M 0 100M 0% /run/user
overflow 1.0M 0 1.0M 0% /tmp
/dev/sda1 236M 39M 185M 18% /boot

sudo apt-get autoremove
Reading package lists... Error!
E: Write error - write (28: No space left on device)
E: Can't mmap an empty file
E: Failed to truncate file - ftruncate (9: Bad file descriptor)
E: The package lists or status file could not be parsed or opened.

[ Voor 22% gewijzigd door kariem112 op 22-07-2016 17:52 ]

[Jimbolino]

misschien dat je verder komt met dit commando: du -hs /*

En het is niet de bedoeling dat je mappen verwijdert, maar evt grote cache of log bestanden die erin staan, verwijdert. Niet de mappen zelf!

[ Voor 56% gewijzigd door Jimbolino op 22-07-2016 17:59 ]

[kariem112]

nog niet echt:

9.6M /bin
37M /boot
4.0K /dev
66M /etc
35G /export
34M /home
0 /initrd.img
335M /lib
4.0K /lib64
16K /lost+found
1.6T /media
17G /mnt
4.0K /opt
du: cannot access ‘/proc/11690/task/11690/fd/3’: No such file or directory
du: cannot access ‘/proc/11690/task/11690/fdinfo/3’: No such file or directory
du: cannot access ‘/proc/11690/fd/3’: No such file or directory
du: cannot access ‘/proc/11690/fdinfo/3’: No such file or directory
0 /proc
56K /root
8.6M /run
12M /sbin
4.0K /srv
0 /sys
0 /tmp
1.1G /usr
470M /var
0 /vmlinuz

[Jimbolino]

35G /export
1.6T /media
17G /mnt

Normaal gesproken mount je dingen in /mnt

Ik neem aan dat /export en /media mounts zijn (geef ons ook eens de output van het "mount" commando)

[citruspers]

Met du -sh /var/log/* | sort -h heb je een mooie gesorteerde output, al moet je versie van sort wel hoog genoeg zijn.

Dikke kans dat je logs wat harder gegroeid zijn dan je verwachtte
Wel even rebooten als je een actieve log weggooit, anders wil deze nog wel eens gelocked blijvem en de ruimte nog noet vrijgeven.

[Jimbolino]

citruspers schreef op vrijdag 22 juli 2016 @ 19:42:
Dikke kans dat je logs wat harder gegroeid zijn dan je verwachtte
Wel even rebooten als je een actieve log weggooit, anders wil deze nog wel eens gelocked blijvem en de ruimte nog noet vrijgeven.

Lees zijn vorige post eens: 470M /var
En rebooten nadat je een log file weggooit?
Hooguit even een service restarten...

[kariem112]

citruspers schreef op vrijdag 22 juli 2016 @ 19:42:
Met du -sh /var/log/* | sort -h heb je een mooie gesorteerde output, al moet je versie van sort wel hoog genoeg zijn.

Dikke kans dat je logs wat harder gegroeid zijn dan je verwachtte
Wel even rebooten als je een actieve log weggooit, anders wil deze nog wel eens gelocked blijvem en de ruimte nog noet vrijgeven.

code:

0       /var/log/apport.log
0       /var/log/auth.log
0       /var/log/cron.log
0       /var/log/dmesg
0       /var/log/dmesg.0
0       /var/log/kern.log
0       /var/log/syslog
0       /var/log/udev
4.0K    /var/log/landscape
4.0K    /var/log/unattended-upgrades
8.0K    /var/log/boot.log
20K     /var/log/samba

Lijkt wel mee te vallen.

35G /export
1.6T /media
17G /mnt

Normaal gesproken mount je dingen in /mnt

Ik neem aan dat /export en /media mounts zijn (geef ons ook eens de output van het "mount" commando)

code:

/dev/mapper/Fileserver--vg-root on / type ext4 (rw,errors=remount-ro)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
none on /sys/fs/cgroup type tmpfs (rw)
none on /sys/fs/fuse/connections type fusectl (rw)
none on /sys/kernel/debug type debugfs (rw)
none on /sys/kernel/security type securityfs (rw)
udev on /dev type devtmpfs (rw,mode=0755)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
tmpfs on /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
none on /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
none on /run/shm type tmpfs (rw,nosuid,nodev)
none on /run/user type tmpfs (rw,noexec,nosuid,nodev,size=104857600,mode=0755)
none on /sys/fs/pstore type pstore (rw)
/dev/sda1 on /boot type ext2 (rw)
overflow on /tmp type tmpfs (rw,size=1048576,mode=1777)
/dev/sdb1 on /media type ext4 (rw)
/media/recordings on /export/recordings type none (rw,bind)
binfmt_misc on /proc/sys/fs/binfmt_misc type binfmt_misc (rw,noexec,nosuid,nodev)
rpc_pipefs on /run/rpc_pipefs type rpc_pipefs (rw)
systemd on /sys/fs/cgroup/systemd type cgroup (rw,noexec,nosuid,nodev,none,name=systemd)

[Jimbolino]

duidelijk verhaal.
Er is niks gemount in /mnt
Dus alles (17G) wat in /mnt staat is onderdeel van /

[woutertjuh88]

Zit er iets gemunt op /mnt (17Gb) ?
Zo niet dan zal hier verwacht ik de data in zitten.

Doe eens: du -sh /mnt/* | sort -h

[CH4OS]

Bleachbit is een soort CCleaner, maar dan óók beschikbaar voor Linux:
https://www.bleachbit.org/

[Jimbolino]

CH40S schreef op vrijdag 22 juli 2016 @ 19:59:
Bleachbit is een soort CCleaner, maar dan óók beschikbaar voor Linux:
https://www.bleachbit.org/

Lijkt me niet echt zinvol op een server...

[woutertjuh88]

Zeker niet aangezien zijn schijf al vol zit en niks kan installeren.

[CH4OS]

Jimbolino schreef op vrijdag 22 juli 2016 @ 19:59:
Lijkt me niet echt zinvol op een server...

Zie niet waarom niet; hij heeft gewoon command line opties?
http://www.bleachbit.org/documentation/command-line

woutertjuh88 schreef op vrijdag 22 juli 2016 @ 20:00:
Zeker niet aangezien zijn schijf al vol zit en niks kan installeren.

En een tijdelijke USB-stick is idd geen mogelijkheid om zoiets vanaf uit te voeren?

[ Voor 33% gewijzigd door CH4OS op 22-07-2016 20:05 ]

[Borromini]

In /mnt hoort evengoed niks te staan als je niks hebt aangekoppeld. Dus uitkuisen die zooi

Als root heb je trouwens nog altijd schrijfmogelijkheden naar /, tenzij je het echt bont gemaakt hebt. Root (gebruiker) heeft namelijk gereserveerde blokken bij elk Lunix-bestandssysteem vziw. Tenzij je dat hebt uitgeschakeld natuurlijk...

[ Voor 56% gewijzigd door Borromini op 22-07-2016 20:04 ]

[Verwijderd]

Zijn er niet nog _tig_ oude kernels aanwezig? Als je geen aparte /boot hebt kunnen deze oude kernels ook veel ruimte in / innemen.
Je zou deze kunnen verwijderen door een (samengesteld) bash commando.
Hier vind je het commando (en misschien belangrijker, de uitleg wat het doet): https://markmcb.com/2013/...-linux-kernels-in-ubuntu/

[ Voor 13% gewijzigd door Verwijderd op 22-07-2016 20:10 ]

[johnkeates]

Verwijderd schreef op vrijdag 22 juli 2016 @ 20:09:
Zijn er niet nog _tig_ oude kernels aanwezig?
Je zou deze kunnen verwijderen door een (samengesteld) bash commando.
Hier vind je het commando (en misschien belangrijker, de uitleg wat het doet): https://markmcb.com/2013/...-linux-kernels-in-ubuntu/

Nee, zijn /mnt zit vol terwijk het geen mountpoint is en het gewoon op rootfs zit.

[kariem112]

woutertjuh88 schreef op vrijdag 22 juli 2016 @ 19:57:
Zit er iets gemunt op /mnt (17Gb) ?
Zo niet dan zal hier verwacht ik de data in zitten.

Doe eens: du -sh /mnt/* | sort -h

er zat iets gemount, een USB stick in mijn router als extra backup. Deze is echter verwijderd (fysiek) ....

[Verwijderd]

johnkeates schreef op vrijdag 22 juli 2016 @ 20:10:
[...]


Nee, zijn /mnt zit vol terwijk het geen mountpoint is en het gewoon op rootfs zit.

Duidelijk. Dan is het een kwestie van er achter komen wat er aan data staat in /mnt en deze opschonen. Raar dat er überhaupt data zit in /mnt

[woutertjuh88]

Dit al gedaan ?

du -sh /mnt/* | sort -h

[vanaalten]

kariem112 schreef op vrijdag 22 juli 2016 @ 20:10:
[...]

er zat iets gemount, een USB stick in mijn router als extra backup. Deze is echter verwijderd (fysiek) ....

Bedoel je dat die USB stick er in zat toen je du -hs deed, maar er weer uit was toen je de lijst met mounts opvroeg?

Dus dat zowel /exports, /media en /mt externe schijven waren?

[Hero of Time]

Welke services draaien er allemaal en heb je niet gewoon honderden bestanden die eigenlijk al zijn weggegooid maar nog vastgehouden worden? Wat krijg je terug bij het volgende:

lsof | grep deleted

Wel even als root uitvoeren. Zie je alle bestanden die nog open zijn, maar niet op schijf te zien zijn (maar dus nog wel ruimte innemen). Reboot of herstart van de betreffende service lost het al op.

En ga als de donder monitoring regelen, want dit had je van mijlenver kunnen zien aankomen.

[kariem112]

vanaalten schreef op vrijdag 22 juli 2016 @ 20:21:
[...]

Bedoel je dat die USB stick er in zat toen je du -hs deed, maar er weer uit was toen je de lijst met mounts opvroeg?

Dus dat zowel /exports, /media en /mt externe schijven waren?

4.0K /mnt/cdrom
4.0K /mnt/gdrive
17G /mnt/backupusb


Ik ga even een backup maken van die /mnt/backupusb, daarna die eens verwijderen.. snap alleen niet precies wat er aan de hand is

[DJMaze]

kariem112 schreef op vrijdag 22 juli 2016 @ 20:38:
17G /mnt/backupusb

Ik ga even een backup maken van die /mnt/backupusb, daarna die eens verwijderen.. snap alleen niet precies wat er aan de hand is

kariem112 schreef op vrijdag 22 juli 2016 @ 20:10:
er zat iets gemount, een USB stick in mijn router als extra backup. Deze is echter verwijderd (fysiek) ....

Als /mnt/backupusb geen mount is maar een map, dan lijkt het volgende aan de hand:

1. Je had een USB-stick als "extra backup" gemount.
2. Die was gemount op /mnt/backupusb
3. Het systeem maakte backups op /mnt/backupusb
4. De USB-stick is verwijderd/ontkoppeld
5. Er is nu een backup gemaakt naar /mnt/backupusb

[ Voor 13% gewijzigd door DJMaze op 22-07-2016 21:05 ]

[kariem112]

DJMaze schreef op vrijdag 22 juli 2016 @ 21:03:
[...]


[...]


Als /mnt/backupusb geen mount is maar een map, dan lijkt het volgende aan de hand:

1. Je had een USB-stick als "extra backup" gemount.
2. Die was gemount op /mnt/backupusb
3. De USB-stick is verwijderd/ontkoppeld
4. Er is nu een backup gemaakt naar /mnt/backupusb

hmm dat klinkt erg plausibel.. is het gebruikelijk dat er een backup van een mount gemaakt wordt als deze (fysiek) is verwijderd ?

[DJMaze]

kariem112 schreef op vrijdag 22 juli 2016 @ 21:05:
is het gebruikelijk dat er een backup van een mount gemaakt wordt als deze (fysiek) is verwijderd ?

Nee dat kan niet, hij is immers verwijderd.

[ Voor 8% gewijzigd door DJMaze op 22-07-2016 21:07 ]

[kariem112]

Ik dacht even logisch na en vond het wat vreemd. Volgens mij las je post niet goed:

Je had een USB-stick als "extra backup" gemount.
Die was gemount op /mnt/backupusb
Het systeem maakte backups op /mnt/backupusb
De USB-stick is verwijderd/ontkoppeld
Er is nu een backup gemaakt naar /mnt/backupusb

Je bedoelde dat het systeem al die tijd backups heeft gemaakt op /mnt/backupusb in plaats van op de daadwerkelijke USB stick middels een mount??

[Thralas]

Ja. Of dat 'al die tijd' is geen idee, maar tenminste 17G aan backupdata.

Bestandssysteemoperaties onder Linux zijn meestal transparant ten opzichte van de onderliggende storage.

Als jij /mnt/backupusb specificeert moet je er dus voor zorgen dat daar ook daadwerkelijk iets is gemount, anders backupt hij vrolijk naar je root filesystem (zoals nu is gebeurd).

Wil je dit voorkomen, dan kun je eventueel het write-bitje van /mnt/backupusb verwijderen op een moment dat de stick er niet in zit.

[ Voor 74% gewijzigd door Thralas op 22-07-2016 21:16 ]

[kariem112]

Thanks all, opgelost!

[Verwijderd]

En wat was het nu exact? Ik ben wel benieuwd naar deze fckup... (zodat anderen deze later niet maken natuurlijk )

[Borromini]

Hij was blijven backuppen naar /mnt terwijl daar helemaal niks meer aangekoppeld was.

[Verwijderd]

Even voor de duidelijkheid: Dus als er naar /mnt/backup wordt gebackupped omdat er op /mnt/backup een usbstick was gemount, dan wordt er automagisch de dir backup aangemaakt om alsnog de backup naar die locatie weg te kunnen schrijven?
Ik vind het vreemd dat er dan geen foutmelding komt: /mnt/backup does not exist.... of ben ik nu gek?

[d1ng]

Dat is niet vreemd. Het hangt af van de backup tool / script. Het kan zijn dat die test of backupmap bestaat, zo niet, dan aanmaken. En daarna pas beginnen met backuppen. Soms kan dat wenselijk zijn, maar in dit geval pakt het slecht uit.

[Hero of Time]

robb_nl, hoe wil je een device mounten op een map die niet bestaat? Natuurlijk bestaat /mnt/backup. Tenzij je met aparte tools als autofs gaat werken oid zal de map altijd moeten bestaan voordat je er iets op kan mounten. Als er toevallig geen storage aan hangt, gaat je backup gewoon die map in zonder verdere controle, als de tool die je gebruikt dat niet doet.

[Blokker_1999]

Ik neem aan dat iemand de map /mnt/backup handmatig heeft aangemaakt. Automatisch mount points komen meestal in /media terecht. Een (u)mount gaat geen dirs aanmaken/verwijderen. Heb me er zelf trouwens ooit al aan mispakt. Kan je trouwens ook andersom doen. Een lege schijf mounten over een dir waar data in staat. Lijkt de data ineens verdwenen.

[ Voor 32% gewijzigd door Blokker_1999 op 23-07-2016 17:55 ]

[Hero of Time]

Ja, dat is ook een leuke idd. "Waarom is mijn schijf vol? Als ik alles optel en de verwijderde maar open bestanden bekijk, kom ik er niet aan".

[Verwijderd]

@HoT: Je hebt gelijk.... my bad. Die directory moet aangemaakt zijn voordat een volume daar in gemount kan worden. Als het volume er niet is loopt (uiteraard) de directory vol op zijn huidige volume. Eigenlijk wel logisch..

[Wolfboy]

Jimbolino schreef op vrijdag 22 juli 2016 @ 17:58:
misschien dat je verder komt met dit commando: du -hs /*

In dit geval is de -x (single filesystem) flag waarschijnlijk wel sterk aan te raden:

du -hsx

Of wat ik persoonlijk meestal doe voor een top10:

du -m -x -d 1 | sort -nr | head

[Hero of Time]

Wolfboy schreef op zondag 24 juli 2016 @ 00:52:
Of wat ik persoonlijk meestal doe voor een top10:

du -m -x -d 1 | sort -nr | head

Wat een gedoe eigenlijk met sort. Kan ook gewoon sort -h doen voor human readable number, die neemt MB en GB mee in de sortering. Dan wordt het:

du -shx | sort -h | head

Die -m voor MB is niet nodig vanwege sort -h, dus du -h kan nog gewoon gebruikt worden. En -d1, depth=1, kan net zo goed -s zijn. Enige verschil is dat je 1 niveau dieper kijkt, dus ipv /var zie je wat er in /var staat, zoals /var/tmp, /var/lib, /var/log, etc.

Persoonlijk kijk ik liever zo hoog mogelijk om dan in de grootste verder in te zoomen.

[Kees]

Hero of Time schreef op zondag 24 juli 2016 @ 00:58:
[...]

Wat een gedoe eigenlijk met sort. Kan ook gewoon sort -h doen voor human readable number, die neemt MB en GB mee in de sortering. Dan wordt het:

du -shx | sort -h | head

Die -m voor MB is niet nodig vanwege sort -h, dus du -h kan nog gewoon gebruikt worden. En -d1, depth=1, kan net zo goed -s zijn. Enige verschil is dat je 1 niveau dieper kijkt, dus ipv /var zie je wat er in /var staat, zoals /var/tmp, /var/lib, /var/log, etc.

Persoonlijk kijk ik liever zo hoog mogelijk om dan in de grootste verder in te zoomen.

Alleen krijg je nu:
a: Maar een getal vanwege de summary
b: als je al meer zou krijgen zou je de top-10 kleinste directories zien

du -hx | sort -h | tail

geeft je wel de top-10 directories, of als je het per rootdirectory wil zien:

du -shx /* | sort -h

[Wolfboy]

Hero of Time schreef op zondag 24 juli 2016 @ 00:58:
[...]

Wat een gedoe eigenlijk met sort. Kan ook gewoon sort -h doen voor human readable number, die neemt MB en GB mee in de sortering. Dan wordt het:

du -shx | sort -h | head

Die -m voor MB is niet nodig vanwege sort -h, dus du -h kan nog gewoon gebruikt worden.

Helaas is dat een gnu sort extensie die op de meeste unix systemen niet aanwezig is

En -d1, depth=1, kan net zo goed -s zijn. Enige verschil is dat je 1 niveau dieper kijkt, dus ipv /var zie je wat er in /var staat, zoals /var/tmp, /var/lib, /var/log, etc.

Klopt, ik doe het vaak met wat meer diepte om te kijken waar de meeste data staat

[Hero of Time]

Kees schreef op zondag 24 juli 2016 @ 13:18:
[...]

Alleen krijg je nu:
a: Maar een getal vanwege de summary
b: als je al meer zou krijgen zou je de top-10 kleinste directories zien

du -hx | sort -h | tail

geeft je wel de top-10 directories, of als je het per rootdirectory wil zien:

du -shx /* | sort -h

Ja, natuurlijk bedoelde ik tail. En anders sort -hr.

Wolfboy schreef op zondag 24 juli 2016 @ 14:04:
[...]
Helaas is dat een gnu sort extensie die op de meeste unix systemen niet aanwezig is

Waar is het dan niet aanwezig? Want zowel Debian als CentOS bevatten deze optie. Dan heb je de grootste implementatie toch wel te pakken lijkt mij.

[Lye]

Hero of Time schreef op zondag 24 juli 2016 @ 15:23:
[...]

Ja, natuurlijk bedoelde ik tail. En anders sort -hr.


[...]

Waar is het dan niet aanwezig? Want zowel Debian als CentOS bevatten deze optie. Dan heb je de grootste implementatie toch wel te pakken lijkt mij.

Waarschijnlijk de OSs die geen GNU utils hebben, maar de standaard unix utils, zoals OS X, netBSD (Free- en OpenBSD wel) e.d. Je weet wel, die systemen die niet gebruikt worden

[Wolfboy]

Hero of Time schreef op zondag 24 juli 2016 @ 15:23:
[...]

Ja, natuurlijk bedoelde ik tail. En anders sort -hr.


[...]

Waar is het dan niet aanwezig? Want zowel Debian als CentOS bevatten deze optie. Dan heb je de grootste implementatie toch wel te pakken lijkt mij.

Zoals ik zei, unix systemen. Je noemt 2 verschillende linux systemen

Neem bijvoorbeeld alle alle BSD's zoals FreeBSD en OS X.

Ter demonstratie:

# du -shx | sort -h | head
sort: invalid option -- h
Try `sort --help' for more information.

[Lye]

Wolfboy schreef op maandag 25 juli 2016 @ 19:40:
[...]
Zoals ik zei, unix systemen. Je noemt 2 verschillende linux systemen

Neem bijvoorbeeld alle alle BSD's zoals FreeBSD en OS X.

Ter demonstratie:

# du -shx | sort -h | head
sort: invalid option -- h
Try `sort --help' for more information.

Zowel FreeBSD als OpenBSD hebben de -h option wel.

[d1ng]

Op FreeBSD 9 niet, op 10 weer wel

[Wolfboy]

Lye schreef op dinsdag 26 juli 2016 @ 12:05:
[...]


Zowel FreeBSD als OpenBSD hebben de -h option wel.

Dat is nieuw dan De servers waar ik op werk helaas allemaal nog niet.