Server hangt (nachtelijke hulp gevraagd)

[SnoW]

Ik heb dringend hulp nodig. Per ongeluk is op onze webserver een OPTIMIZE-table opdracht gegeven voor een hele grote MySQL-database. De load schoot omhoog en er kwam geen eind aan.

Toen dacht ik (misschien wel dom??) "ik doe een 'service mysql stop'", maar dat hielp niet. Er draaien nog steeds diverse mysqld-processen. Maar de databases zijn niet meer te benaderen.

Mijn vraag: wat moet ik doen? "kill [pid]" helpt ook niet. Kan iemand me (zo midden in de nacht) een goede tip geven? Ben een beetje ten einde raad.....

[SnoW]

Oh ja, in alle stress vergeet ik te vermelden dat het om een RedHat 7.3-server gaat.

[spone]

misschien kan een reboot helpen --> systeem weer helemaal clean

ben geen linux man maar het helpt onder windows

[SnoW]

Thnx, maar da's het rare: hij reboot niet. Commando gegeven, maar vervolgens gebeurt er niks.....Kan wel een harde reboot doen (stroom er even af), maar ik hoop toch eerst een andere oplossing te vinden (ben bang anders belangrijke data kwijt te raken).

[scorpie]

download lsof en run dan lsof | grep mysqld

lsof laat _alle_ draaiende pids zien, en daarmee kun je het stoppen

[smokalot]

je kunt natuurlijk kill -9 gebruiken.

geeft dmesg geen rare output? misschien is er wel een process vastgelopen door een kernel-bug ofzo.

[Kees]

mysaqladmin -uroot -p shutdown
wait 60 secs
killlall -9 safe_mysqld; killlall -9 mysqld
soft reboot
hard reboot

en dan hopen dat er iets van je db heel is

[Tyrian]

Ik heb geen verstand van MySQL, maar krijg je geen corrupte database als je hem afschiet terwijl er een optimalisatie plaatsvindt?

[Kees]

Tyrian schreef op 25 juni 2004 @ 03:40:
Ik heb geen verstand van MySQL, maar krijg je geen corrupte database als je hem afschiet terwijl er een optimalisatie plaatsvindt?

je krijgt zowiezo last van je db als je hem afschiet.. tis mysql he

[SnoW]

Bedankt voor alle snelle reacties op dit tijdstip! Heb 'm weer aan de praat! Database is helaas wel (zoals door jullie al voorspeld) corrupt.

Ga nu aan de slag met "REPAIR TABLE" (alhoewel ik net ergens lees dat je mysqld daar ook van kan gaan hangen bij een grote database....).

[ Voor 4% gewijzigd door SnoW op 25-06-2004 03:59 ]

[Kees]

beter db uitzetten en myisamchk gebruiken (bij niet-innodb tables)

[kmf]

Kees schreef op 25 juni 2004 @ 03:40:
mysaqladmin -uroot -p shutdown
wait 60 secs
killlall -9 safe_mysqld; killlall -9 mysqld
soft reboot
hard reboot

en dan hopen dat er iets van je db heel is

waarom niet gewoon een /etc/init.d/mysql stop

in de init.d script wordt mysqladmin ook aangeroepen om het een veilige stop te geven.

In dit geval bij hoge load, zal ik eerder eerst een nice opgeven voor alle mysql-processen en dan mysql restarten. eventueel ook een reboot.

[Papillon]

Zomaar een vraag.. Hoe staat het met de backups ?

[igmar]

athlonkmf schreef op 25 juni 2004 @ 17:24:
waarom niet gewoon een /etc/init.d/mysql stop

service mysql stop == /etc/init.d/mysql stop

in de init.d script wordt mysqladmin ook aangeroepen om het een veilige stop te geven.

In dit geval bij hoge load, zal ik eerder eerst een nice opgeven voor alle mysql-processen en dan mysql restarten. eventueel ook een reboot.

Als een kill -9 niet werkt is de kans groot dat er processen hangen op disk IO. Een reboot kun je dan vergeten, tenzij je de kernel daar rechstreeks opdracht toe geeft (aka de reboot() systemcall).

[Wilke]

Papillon schreef op 25 juni 2004 @ 17:43:
Zomaar een vraag.. Hoe staat het met de backups ?

Goeie vraag

MySQL kan inderdaad erg slecht tegen 'kill -9', dus ik hoop dat het gaat lukken om die tabel te fixen...als je een backup hebt is dat misschien makkelijker.

[Kees]

mysql kan slecht tegen dode disks, maar een kill -9 (als hij op diskio hangt) gaat meestal wel goed en is te repareren. Dit omdat hij op dat moment maar met een paar schrijf acties bezig is, en die kan hij wel repareren. Een dooie disk resulteert vaker in lost data