Virtual OS disk problemen, Windows 2008

[Verwijderd]

Ik draai XenServer 5.6 SP2, met hierop een Exchange 2010 server. (Windows 2008 R2 64Bits)
Hieraan heb ik een OS disk van 24GB en een Data disk van 550GB hangen.
De data disk werkt perfect. Echter het OS hangt wanneer een virusscanner draait of
Deze Computer wordt geopend.
Ook bij een sfc /SCANNOW blijft het systeem hangen.

Wat heb ik hier aan gedaan:

- Check van de harddisk health, deze was oké. (RAID5, 10K disks)
(local storage)
- Checkdisk vanuit windows, echter bij een herstart, begint de CHKDSK maar loopt
bij stap 2 op 59% vast en gaat niet meer verder.
- XenTools opnieuw geinstalleerd
- Elby Virtual Clone driver verwijderd
- Norman Antivirus verwijderd
- RKHunter op de XenServer geinstalleerd en deze alles laten scannen,
echter waren er geen rootkits gevonden.
- Last Good Know Configuration voor het opstarten gekozen.
- Geprobeerd om te defragmenteren, echter loopt het systeem dan ook vast.

Ik ben een beetje te einde raadt, heeft iemand hier ervaring mee?
Of kan ik de vhd file repairen, of makkelijk een nieuwe aanmaken.
(heel mijn exchange installatie staat er wel deels op (register, windows system files, etc.)

Het systeem heeft altijd goed gefunctioneerd, echter nu loopt het dus niet meer.
In de event viewer is overigens ook niets te zien, hier staan geen errors...

- Ook belangrijk om te vermelden. De systemstate wil hij sindsdien ook niet meer backuppen.
Niet vanuit het 3rd party backup tool, maar ook niet via Windows Backup.

[ Voor 9% gewijzigd door Verwijderd op 01-03-2012 11:02 ]

[johnkeates]

Hoe heb je je disks op hypervisor niveau geregeld? Gebruik je hardware raid? Software raid? Welke controller? LVM in gebruik?

Wat zegt dmesg / xm dmesg? Eerst XenServer nalopen, daarna pas in de DomU's kijken.

[Verwijderd]

Het is een HP DL380 G7 met P410 Raid controller en 1gb cache. Daaraan hangen twee disken 146gb raid 1 voor de hypervisor en 6 disken 300gb in raid 5 voor de vm's een andere vm de ad draait wel gewoon goed op dezelfde machine. Hoe kan ik dmesg hiervoor het beste gebruiken? Naar mijn idee is LVM trouwens in gebruik. Kan ik dat nog ergens checken?

[ Voor 19% gewijzigd door Verwijderd op 01-03-2012 02:56 ]

[johnkeates]

Dus:

[DL380] -> [P410] -> Dom0 -> [sdX/sgX] -> [ LVM ] -> Logical Volumes?

of

[DL380] -> [P410] -> Dom0 -> [sdX/sgX] -> [ EXT3/4 ] -> Files ?

Probeer anders:

sudo lvscan
sudo vgscan


dmesg gebruik je om de kernel ring log buffer te lezen, dus: dmesg (of soms: sudo dmesg)
en dan krijg je een bak informatie. Als daar dingen staan over schijven, reads, writes die niet lukken, dan heb je je probleem gevonden.

Kijk ook in:

/var/log/xen

Staat in wat Xen er van denkt.

[Jazzy]

Als je wel een gewone backup van de data kunt maken, kun je dat corrupte volume dan niet trashen en opnieuw aanmaken?

Off-topic, maar wat een extreem klein systeemvolume heb je. Minimale systeemeisen zijn 32 GB maar nog wat groter is een stuk handiger. Dat zou ook gelijk de oorzaak kunnen zijn dat je geen System State backup kunt maken, die is 10-15 GB groot en wordt standaard op C: gezet.

[Verwijderd]

Ik beschik over LVM storage.

dmesg heeft heel veel info gegeven. (ik post het hier einde van die log wat mij opviel)
@ Jazzy, ik heb gewoon de standaard XenServer template gebruikt deze geeft altijd 24GB.
Maar ik kan de disk toch gewoon meer ruimte geven.

frontend_changed: backend/vif/3/0: prepare for reconnect
device vif3.0 entered promiscuous mode
xenbr1: port 2(vif3.0) entering forwarding state
end_request: I/O error, dev tde, sector 75801704
end_request: I/O error, dev tde, sector 75801792
end_request: I/O error, dev tde, sector 75801616
end_request: I/O error, dev tde, sector 75801880
end_request: I/O error, dev tde, sector 75801968
end_request: I/O error, dev tde, sector 75802056
end_request: I/O error, dev tde, sector 5531112
end_request: I/O error, dev tde, sector 6078232
end_request: I/O error, dev tde, sector 109792
end_request: I/O error, dev tde, sector 410808
end_request: I/O error, dev tde, sector 75801704
end_request: I/O error, dev tde, sector 75801792
end_request: I/O error, dev tde, sector 75801616
end_request: I/O error, dev tde, sector 75801880
end_request: I/O error, dev tde, sector 75801968
end_request: I/O error, dev tde, sector 75802056
end_request: I/O error, dev tde, sector 6293664
end_request: I/O error, dev tde, sector 5531112
end_request: I/O error, dev tde, sector 6078232
end_request: I/O error, dev tde, sector 109792
end_request: I/O error, dev tde, sector 410808
end_request: I/O error, dev tde, sector 525438584
end_request: I/O error, dev tde, sector 524294776
end_request: I/O error, dev tde, sector 75801616
end_request: I/O error, dev tde, sector 75801704
end_request: I/O error, dev tde, sector 75801792
end_request: I/O error, dev tde, sector 75801880
end_request: I/O error, dev tde, sector 75801968
end_request: I/O error, dev tde, sector 75802056
end_request: I/O error, dev tde, sector 6293664
end_request: I/O error, dev tde, sector 5531112
end_request: I/O error, dev tde, sector 6078232
end_request: I/O error, dev tde, sector 109792
end_request: I/O error, dev tde, sector 410808
end_request: I/O error, dev tde, sector 525438584
end_request: I/O error, dev tde, sector 524294776
end_request: I/O error, dev tde, sector 75801616
end_request: I/O error, dev tde, sector 75801704
end_request: I/O error, dev tde, sector 75801792
end_request: I/O error, dev tde, sector 75801880
end_request: I/O error, dev tde, sector 75801968
end_request: I/O error, dev tde, sector 75802056
end_request: I/O error, dev tde, sector 6293664
end_request: I/O error, dev tde, sector 5531112
end_request: I/O error, dev tde, sector 6078232
end_request: I/O error, dev tde, sector 109792
end_request: I/O error, dev tde, sector 410808
end_request: I/O error, dev tde, sector 525438584
end_request: I/O error, dev tde, sector 524294776

Dit is overigens mijn uitkomst van lvscan:

inactive '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/MGT' [4.00 MB] inherit
inactive '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-dd470da8-ca74-4a21-bc80-c7ed7f8c192c' [16.00 MB] inherit
ACTIVE '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-612e6bd8-b80e-465d-85ad-5e735874f1b8' [229.34 GB] inherit
ACTIVE '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-4d6009b7-5253-438a-8e89-c8441c50acc9' [24.05 GB] inherit
ACTIVE '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-28700b81-1d0a-4b03-bdd2-5643b2b7ebb8' [150.30 GB] inherit
ACTIVE '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-bd47e94a-6fef-407e-a56f-5e45b1be5bee' [24.05 GB] inherit
ACTIVE '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-b735dba0-c839-44a1-9c14-09c375d68127' [234.36 GB] inherit
ACTIVE '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-aeeb9772-4e74-44d5-9fa6-56363a4bf7d6' [99.81 GB] inherit
ACTIVE '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-613b9589-af27-4388-a48e-4950679c799b' [551.08 GB] inherit
ACTIVE '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-08d005c6-3239-486c-a6c8-81d5898cf733' [8.02 GB] inherit
ACTIVE '/dev/VG_XenStorage-a8b8c7d8-24f6-acad-553b-a1125c8c6e27/VHD-bea88e03-0a83-48fc-8569-83ec153a9e55' [300.59 GB] inherit

Het gaat om de 24.05 storage.

De storage die ik naar mijn idee zou moeten hebben is:

2x 24 GB voor OS (AD + Exchange)
1x 150GB Install disk
1x 300GB Data disk
1x 550GB Data disk
En 8GB voor PHD Virtual Backup

Echter zie ik hier boven volgens mij meer storage staan.

Uitkomst, fdisk -l

Disk /dev/cciss/c0d0: 299.9 GB, 299966445568 bytes
255 heads, 32 sectors/track, 71798 cylinders
Units = cylinders of 8160 * 512 = 4177920 bytes

Device Boot Start End Blocks Id System
/dev/cciss/c0d0p1 * 1 1029 4194304 83 Linux
/dev/cciss/c0d0p2 1029 2057 4194304 83 Linux
/dev/cciss/c0d0p3 2057 71798 284547200+ 8e Linux LVM

Disk /dev/cciss/c0d1: 2250.3 GB, 2250322796544 bytes
255 heads, 32 sectors/track, 538622 cylinders
Units = cylinders of 8160 * 512 = 4177920 bytes

Disk /dev/cciss/c0d1 doesn't contain a valid partition table

Uitkomst mount:

/dev/sda1 on / type ext3 (rw)
none on /proc type proc (rw)
none on /sys type sysfs (rw)
none on /dev/pts type devpts (rw)
none on /dev/shm type tmpfs (rw)
/opt/xensource/packages/iso/XenCenter.iso on /var/xen/xc-install type iso9660 (ro,loop=/dev/loop0)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)

[ Voor 34% gewijzigd door Verwijderd op 01-03-2012 11:11 ]

[Verwijderd]

Heeft iemand een idee wat ik nog zou kunnen proberen?
Het is waarschijnlijk ergens een fout in het NTFS file system.
Ik zou toch niet de complete Exchange server moeten herinstalleren?

[Jazzy]

Wat je heb je nu precies voor backup achter dan hand?

[Verwijderd]

Alleen van de data disk. Maar in principe draait de Exchange server nog wel, we maken er nog gewoon gebruik van. Maar zou ik gewoon deze VM kunnen uitzetten en een nieuwe kunnen aanmaken en dan opnieuw installeren? (met de volgende optie: Setup /m:RecoverServer en dan de stores terug zetten)

Eventueel kan ik ook nog een export draaien van de VM voor de zekerheid.
Maar ik heb nog wel een paar maanden oude image van de C drive.
(dit komt omdat de server begon met kleine kuren, CA Backup wilde de system state niet meer backuppen hier heeft erg lang een engineer van CA naar gekeken, uiteindelijk wilde hij met Windows backup een system state backup maken, maar dit lukte ook niet, het lag dus volgens hem aan de server. En inderdaad daar lag het aan, echter heb ik om die reden ook al een tijdje nu geen backup van mijn server. (wel van de Exchange installatie + stores)

[ Voor 4% gewijzigd door Verwijderd op 02-03-2012 00:23 ]

[Jazzy]

Op zich is dat een prima route. Zie http://technet.microsoft.com/en-us/library/dd876880.aspx

[Verwijderd]

Zijn er dan verder nog dingen waar ik op moet letten? Het is dus echt gewoon, nieuwe VM (met meer ruimte voor het OS deze keer, op advies van Jazzy) Exchange setup draaien met dat commando. Stores terug plaatsen. (gewoon de files, en dan moet hij ze zien?)
En dan zou alles weer moeten draaien?

[Verwijderd]

Ongeloofelijk, alles is weer gered dankzij de recovery switch.
Hoe dit ontstaan is blijft voor mij een vraag.
Zou het kunnen doordat er een disk in de RAID 5 set is uitgevallen, en er bij
het rebuilden naar de nieuwe disk er iets mis is gegaan.
(eigenlijk zou dit toch niet moeten kunnen?)