Ubuntu Floating point exception bij ls

[prutsger]

Sinds gisteren gaat er iets niet helemaal goed op mijn server. Wanneer ik ls draai krijg ik de melding

code:

Floating point exception (core dumped)

Op goed geluk toch eerst maar een reboot, wat gelukkig goed ging, behalve dat ik apache, postfix, courier, samba etc handmatig moest opstarten. Deze werken daarna ook prima.

Via internet ben ik al iets wijzer geworden, en heb valgrind geinstalleerd en gedraaid:

code:

# valgrind -v ls
==9447== Memcheck, a memory error detector.
==9447== Copyright (C) 2002-2007, and GNU GPL'd, by Julian Seward et al.
==9447== Using LibVEX rev 1804, a library for dynamic binary translation.
==9447== Copyright (C) 2004-2007, and GNU GPL'd, by OpenWorks LLP.
==9447== Using valgrind-3.3.0-Debian, a dynamic binary instrumentation framework.
==9447== Copyright (C) 2000-2007, and GNU GPL'd, by Julian Seward et al.
==9447==
--9447-- Command line
--9447--    ls
--9447-- Startup, with flags:
--9447--    -v
--9447-- Contents of /proc/version:
--9447--   Linux version 2.6.24-23-generic (buildd@palmer) (gcc version 4.2.4 (Ubuntu 4.2.4-1ubuntu3)) #1 SMP Wed Apr 1 21:47:28 UTC 2009
--9447-- Arch and hwcaps: X86, x86-sse1-sse2
--9447-- Page sizes: currently 4096, max supported 4096
--9447-- Valgrind library directory: /usr/lib/valgrind
--9447-- Reading syms from /lib/ld-2.7.so (0x4000000)
--9447-- Reading debug info from /lib/ld-2.7.so...
--9447-- ... CRC mismatch (computed 621c3ad3 wanted 002931db)
--9447--    object doesn't have a symbol table
--9447-- Reading syms from /bin/ls (0x8048000)
--9447-- Reading debug info from /bin/ls...
--9447-- ... CRC mismatch (computed c68f608c wanted 5abda852)
--9447--    object doesn't have a symbol table
--9447-- Reading syms from /usr/lib/valgrind/x86-linux/memcheck (0x38000000)
--9447--    object doesn't have a dynamic symbol table
--9447-- Reading suppressions file: /usr/lib/valgrind/default.supp
--9447-- Reading syms from /usr/lib/valgrind/x86-linux/vgpreload_core.so (0x401E000)
--9447-- Reading syms from /usr/lib/valgrind/x86-linux/vgpreload_memcheck.so (0x4020000)
--9447-- Reading syms from /lib/tls/i686/cmov/librt-2.7.so (0x4038000)
--9447-- Reading debug info from /lib/tls/i686/cmov/librt-2.7.so...
--9447-- ... CRC mismatch (computed 65551da2 wanted bcad3d9f)
--9447--    object doesn't have a symbol table
--9447-- Reading syms from /lib/libselinux.so.1 (0x4041000)
--9447-- Reading debug info from /lib/libselinux.so.1...
--9447-- ... CRC mismatch (computed 14e9a82e wanted 7881f7e5)
--9447--    object doesn't have a symbol table
--9447-- Reading syms from /lib/libacl.so.1.1.0 (0x405B000)
--9447-- Reading debug info from /lib/libacl.so.1.1.0...
--9447-- ... CRC mismatch (computed 5a231ce7 wanted 9b310af7)
--9447--    object doesn't have a symbol table
--9447-- Reading syms from /lib/tls/i686/cmov/libc-2.7.so (0x4062000)
--9447-- Reading debug info from /lib/tls/i686/cmov/libc-2.7.so...
--9447-- ... CRC mismatch (computed c2fa52fa wanted ca2b0f8f)
--9447--    object doesn't have a symbol table
--9447-- Reading syms from /lib/tls/i686/cmov/libpthread-2.7.so (0x41B1000)
--9447-- Reading debug info from /lib/tls/i686/cmov/libpthread-2.7.so...
--9447-- ... CRC mismatch (computed ad1a7762 wanted effcce0a)
--9447-- Reading syms from /lib/tls/i686/cmov/libdl-2.7.so (0x41C9000)
--9447-- Reading debug info from /lib/tls/i686/cmov/libdl-2.7.so...
--9447-- ... CRC mismatch (computed fac4a183 wanted 83d3211b)
--9447--    object doesn't have a symbol table
--9447-- Reading syms from /lib/libattr.so.1.1.0 (0x41CD000)
--9447-- Reading debug info from /lib/libattr.so.1.1.0...
--9447-- ... CRC mismatch (computed d4ddc11e wanted 53f62711)
--9447--    object doesn't have a symbol table
--9447-- REDIR: 0x40d54b0 (memset) redirected to 0x4023d50 (memset)
--9447-- REDIR: 0x40d59a0 (memcpy) redirected to 0x4024aa0 (memcpy)
--9447-- REDIR: 0x40d4620 (rindex) redirected to 0x4023710 (rindex)
--9447-- REDIR: 0x40cfc20 (malloc) redirected to 0x4022a50 (malloc)
--9447-- REDIR: 0x40d1460 (free) redirected to 0x40225f0 (free)
--9447-- REDIR: 0x40d63a0 (strchrnul) redirected to 0x4023df0 (strchrnul)
--9447-- REDIR: 0x40d4250 (strlen) redirected to 0x40239d0 (strlen)
--9447-- REDIR: 0x40d5510 (mempcpy) redirected to 0x4024490 (mempcpy)
--9447-- REDIR: 0x40d1650 (realloc) redirected to 0x4022b10 (realloc)
--9447-- REDIR: 0x40d4fb0 (memchr) redirected to 0x4023bf0 (memchr)
--9447-- REDIR: 0x40d3bb0 (index) redirected to 0x4023800 (index)
--9447-- VALGRIND INTERNAL ERROR: Valgrind received a signal 11 (SIGSEGV) - exiting
--9447-- si_code=1;  Faulting address: 0x8060000;  sp: 0x62942718

valgrind: the 'impossible' happened:
   Killed by fatal signal
==9447==    at 0x380D236C: disInstr_X86 (toIR.c:7299)
==9447==    by 0x380BB64D: bb_to_IR (bb_to_IR.c:229)
==9447==    by 0x38087735: LibVEX_Translate (vex_main.c:430)
==9447==    by 0x3802BA0E: vgPlain_translate (m_translate.c:1417)
==9447==    by 0x3803568F: vgPlain_scheduler (scheduler.c:762)
==9447==    by 0x38048B18: run_a_thread_NORETURN (syswrap-linux.c:89)

sched status:
  running_tid=1

Thread 1: status = VgTs_Runnable
==9447==    at 0x805FFC0: ???


Note: see also the FAQ.txt in the source distribution.
It contains workarounds to several common problems.

If that doesn't help, please report this bug to: www.valgrind.org

In the bug report, send all the above text, the valgrind
version, and what Linux distro you are using.  Thanks.

Meer info kan ik niet vinden. Ik ben ook nog geen andere commando's tegengekomen die deze error ook krijgen. Wel vreemd vind ik dat wanneer ik inlog als normale user, en dan via su en vervolgens wachtwoord intypen, er ineens een 'logout' commando wordt gegeven (zichtbaar op scherm) en mijn ssh sessie wordt afgebroken. Als ik rechtstreeks als root inlog kan ik alles behalve ls doen.

Afgaande op de CRC errors, is er iets met het geheugen of de schijf (raid0) aan de hand? Welke paketten kan ik opnieuw installeren om die bestanden weer terug te krijgen?

[Jaap-Jan]

code:

dpkg --search <bestandsnaam>

kan je helpen om de pakketten te vinden die je moet herinstalleren.


Geeft valgrind iedere keer dezelfde CRC errors, dan staan de bestanden verkeerd op de schijf en zal daar wat mis mee zijn. Komen er iedere keer andere CRC errors, dan is er wat mis met het geheugen.

Voor de harde schijf kun je kijken naar de S.M.A.R.T status (installeer smartmontools). Voor het geheugen kan ik memtest86+ aanraden. Installeer dat en je krijgt er een extra optie bij in je bootloader om het geheugen te testen.

[ Voor 52% gewijzigd door Jaap-Jan op 10-11-2009 14:13 ]

[gertvdijk]

Ook de mogelijkheid bedacht dat je server misschien is gehackt waarbij enkele binaries zijn overschreven? Je zou namelijk niet de eerste zijn en je overige symptomen lijken daar sterk op. De mogelijkheid om direct als root in te loggen is al niet zo verstandig natuurlijk en staat dan ook standaard uit in Ubuntu d.m.v. disabled login (disabled-password).
Download ls eens handmatig uit de repo (packages.ubuntu.com), pak de .deb uit en vergelijk hem dan eens met /bin/ls, bijvoorbeeld met een md5sum.

[ Voor 33% gewijzigd door gertvdijk op 10-11-2009 16:25 ]

[Nick_S]

gertvdijk schreef op dinsdag 10 november 2009 @ 16:23:
Ook de mogelijkheid bedacht dat je server misschien is gehackt waarbij enkele binaries zijn overschreven? Je zou namelijk niet de eerste zijn en je overige symptomen lijken daar sterk op. De mogelijkheid om direct als root in te loggen is al niet zo verstandig natuurlijk en staat dan ook standaard uit in Ubuntu d.m.v. disabled login (disabled-password).
Download ls eens handmatig uit de repo (packages.ubuntu.com), pak de .deb uit en vergelijk hem dan eens met /bin/ls, bijvoorbeeld met een md5sum.

Waarbij ik er van uit ga, dat jij er vanuit gaat dat md5sum niet is aangetast.

Je kan ook rootkithunter proberen, deze controleert ook standaard binaries op wijzigingen.

\/\/ Ik heb hem even aangepast.

[ Voor 3% gewijzigd door Nick_S op 10-11-2009 17:03 ]

[gertvdijk]

Nick_S schreef op dinsdag 10 november 2009 @ 16:34:
Waarbij je er van uit gaat dat md5sum niet is aangetast.

Waarbij ik ervan uitging dat je dat niet op het mogelijk overgenomen systeem uitvoert, maar de harddisk even in een ander wel vertrouwd systeempje hangt of je gewoon de LiveCD omgeving gebruikt.

[ Voor 8% gewijzigd door gertvdijk op 10-11-2009 16:36 ]

[Verwijderd]

Hmmz,

1) Of je bent gehax0red.

2) Of je hebt een ernstig hardware probleem.

[prutsger]

Nou alles lijkt weer goed te draaien na een reinstall van de coreutils package. De md5sums van ls van de server en van package.debian.com kwamen niet overeen. Dus een hack zou mogelijk zijn. Dus een herinstall gaat er binnenkort wel komen.

Hardware failure lijkt mij overigens ook wel een goede mogelijkheid, aangezien de backupschijf het onlangs heeft begeven. Maar voorlopig draait het weer even (toch vervelend als het bijna je enige resource voor email is).

[gertvdijk]

prutsger schreef op woensdag 11 november 2009 @ 12:27:
Nou alles lijkt weer goed te draaien na een reinstall van de coreutils package. De md5sums van ls van de server en van package.debian.com kwamen niet overeen. Dus een hack zou mogelijk zijn. Dus een herinstall gaat er binnenkort wel komen.

Binnenkort?
Zoek als die wiedeweerga uit of je nou bent gehackt of niet! Je bent heus niet beschermd nu je de core-utils package opnieuw hebt geïnstalleerd.

[moto-moi]

draai iig even chkrootkit en /of rkhunter, en als je inderdaad geroot bent, bak direct uitzetten.

[prutsger]

chkrootkit vind niets. Rkhunter komt met een aantal warnings, voornamelijk of files waarvan de hashes niet lijken te kloppen (/bin/chown, /bin/egrep, etc.) Packages waar die bestanden in zitten gereinstalled (waaronder coreutils), rkhunter nog een keer gedraaid en nu kloppen er nog veel meer hashes niet, van bestanden die in dezelfde package zitten als geherinstalleerd, maar die eerst wel goed waren.

Na herinstall van coreutils krijg ik soms binnen de minuut alweer een floating point exception op ls.

Vooralsnog geen uitsluitsel of het falende hardware is of gehacked, dus maar zsm een reinstall doen...

[gertvdijk]

prutsger schreef op donderdag 12 november 2009 @ 16:52:
Vooralsnog geen uitsluitsel of het falende hardware is of gehacked, dus maar zsm een reinstall doen...

Installeer dan gelijk het pakket mcelog. Dat is een Machine Check Error log waarbij fouten in de hardware (chipset, processor, ECC geheugen checks fails, etc.) in terecht komen. Daarnaast is het altijd aan te raden om SMART te laten draaien (smartmontools) en nu ook bijvoorbeeld zelf even te kijken hoe het staat met je harde schijven:

smartctl -a /dev/sda

[Verwijderd]

Chkrootkit en rkhunter zijn niet betrouwbaar. Zelf denk ik aan falende hardware.

[prutsger]

Verwijderd schreef op vrijdag 13 november 2009 @ 13:42:
Chkrootkit en rkhunter zijn niet betrouwbaar. Zelf denk ik aan falende hardware.

Nou ik inmiddels niet meer. Major update! Tijdens het opzoeken van een commando in mijn bash history zie ik allemaal commando's die ik mij niet kan herrineren. Zeker een aantal connecties naar ip-adressen en .ro domeinen niet. Dus direct offline gezet. Heb alleen de komende dagen nog geen tijd om te analyseren, zal een update geven als ik meer weet. In elk geval opgelucht dat ik geen geld aan nieuwe hardware hoef uit te geven

[gertvdijk]

prutsger schreef op dinsdag 17 november 2009 @ 22:20:
Nou ik inmiddels niet meer. Major update! Tijdens het opzoeken van een commando in mijn bash history zie ik allemaal commando's die ik mij niet kan herrineren. Zeker een aantal connecties naar ip-adressen en .ro domeinen niet. Dus direct offline gezet. Heb alleen de komende dagen nog geen tijd om te analyseren, zal een update geven als ik meer weet. In elk geval opgelucht dat ik geen geld aan nieuwe hardware hoef uit te geven

Ook al zou je dat allemaal niet zien sluit het een hack helemaal niet uit. Als je binaries vervangen zijn hiden die dan gewoon alle sporen die jij probeert te zien.
Maar goed dat je de bak offline hebt gehaald.. het is weer een spamserver minder waarschijnlijk