Kernel 2.6.14.3, debian, allemaal segmentation faults

[kmf]

Ik heb net een nieuwe opteron-machine gekregen, hierop had ik kernel2.6.14.3 geinstalleerd.
Hierop draait debian sarge
Vooraf had ik de kerneltrap.org howto gevolgd om te kijken of al mijn pakketten up-to-date waren, de config had ik in eerste instantie van de standaard 2.4 van de server (dedicated) geladen en zelf alles nog doorgelopen.

Nu is SSH gecrasht tijdens het overpompen van files van de ne hdd naar de andere. (segmentation fault)

Ik kan er niet meer op komen dus. Gelukkig draait apache nog en kan ik op de phpsysinfo pagina het volgende krijgen:

de lange lijst met pci-devices lijkt me helemaal niet lekker.

Iemand enig idee waar het aan kan liggen?

Processors 2
Model AMD Opteron(tm) Processor 242
Chip MHz 1592.45 MHz
Cache Size 1024 KB
System Bogomips 6375.54
PCI Devices PCI device 1022:7460
PCI device 1022:7468
PCI device 1022:7469
PCI device 1022:746a
PCI device 1022:746b
PCI device 1022:7450
PCI device 1022:7450
PCI device 1022:7451
PCI device 1022:7451
PCI device 1022:1100
PCI device 1022:1100
PCI device 1022:1101
PCI device 1022:1101
PCI device 1022:1102
PCI device 1022:1102
PCI device 1022:1103
PCI device 1022:1103
PCI device 1022:7464
PCI device 1022:7464
PCI device 1002:4752
PCI device 14e4:1648
PCI device 14e4:1648

[daft_dutch]

ssh kan niet sterven door een normale client transactie
dit doordat het altijd een child proces van de sshd is.
als dit proces sterft is er voor de sshd niks aan de hand.
ook als sshd gestopt wordt.
blijven de child proccessen draaien.

Ik denk dat het probleem wat groter is
wat heb je gekopieerd?

[zomertje]

Is je harddisk wel in orde?
En inderdaad, wat heb je gekopieerd?

[kmf]

als ik het zo bekijk crasht sshd (en andere services) als ik grote bestanden leest.

Toen ik een db-backup.tar.gz ter grootte van 300MB uitpakte en een 1GB bestand uit krijgt, dan crasht alles.

Het probleem is dat ik niet kan uitsluiten wat nou het probleem was.

Het systeem is geupgrade naar dual opteron ipv 1.
Er is 1GB extra RAM toegevoegd, zodat het systeem 3GB heeft ipv 2.

In eerste instantie werd de oude hdd overgezet, met de kernel die al een half jaartje z'n best deed.

Maar opeens zulke problemen.
Van de hoster kreeg ik een nieuwe hdd.

Nieuwe kernel gebakken.

Bestanden overpompen: crash
Bestand uitpakken: werkte ok. Toen mysql proberen te openen met mysql -p (mysql: error while loading shared libraries: libncurses.s: cannot open shared object file: No such file or directory)

nu schopt ssh me eruit direct, zo ook apache.

Ik had nog een paar ssh-vensters open, en voerde hier nog een reboot-command op. input/output error
En shutdown -r now segmentation fault.


-------------


Ik had op internet rondgekeken en zag dat dual opterons wel eens probleem met apic kunnen hebben, dus heb ik een noapic toegevoegd aan grub. Hielp dus niet helaas...

In de syslog, met de nieuw gecompileerde kernel staat het volgende "BIOS"bug, APIC version is 0"

[kmf]

zomertje schreef op vrijdag 02 december 2005 @ 11:01:
Is je harddisk wel in orde?
En inderdaad, wat heb je gekopieerd?

de oude hdd had het altijd goed gedaan, tot de upgrade. Kan gebeuren dat ie dood is gegaan. Dus had ik van de host een nieuwe gekregen en de kans om bestanden over te pompen.
Crash.

Daarna oude hdd eruit gehaald, ik haalde de backupbestand van mijn replicatieserver.
Uitpakken. crash.

als ik het nu zo bekijk, lijkt het erop dat als het geheugen gebruik meer dan 1GB wordt, alles eruit knalt. misschien toch een geheugenprobleempje, maar testen gaat zo moeizaam als je server 10.000km van je vandaan staat...

[sampoo]

athlonkmf schreef op vrijdag 02 december 2005 @ 11:10:
Ik had op internet rondgekeken en zag dat dual opterons wel eens probleem met apic kunnen hebben, dus heb ik een noapic toegevoegd aan grub. Hielp dus niet helaas...

In de syslog, met de nieuw gecompileerde kernel staat het volgende "BIOS"bug, APIC version is 0"

Probeer het in de bios uit te zetten en test het dan met noapic in grub en zonder noapic in grub.

[kmf]

Tja, ik kan niet zo makkelijk in de bios komen. Server staat namelijk in amerika....

en het is momenteel weer gecrasht. Gelukkig had ik de log-dir kunnen tarren en overpompen, net voordat ssh weer down is.

dit is de syslog van de bootup

Dec 2 08:26:54 debian kernel: klogd 1.4.1#17, log source = /proc/kmsg started.
Dec 2 08:26:54 debian kernel: Inspecting /boot/System.map-2.6.14.3
Dec 2 08:26:54 debian kernel: Loaded 23313 symbols from /boot/System.map-2.6.14.3.
Dec 2 08:26:54 debian kernel: Symbols match kernel version 2.6.14.
Dec 2 08:26:54 debian kernel: No module symbols loaded - kernel modules not enabled.
Dec 2 08:26:54 debian kernel: Linux version 2.6.14.3 (root@debian) (gcc version 3.3.5 (Debian 1:3.3.5-13)) #2 SMP Fri Dec 2 08:15:15 PST 2005
Dec 2 08:26:54 debian kernel: BIOS-provided physical RAM map:
Dec 2 08:26:54 debian kernel: BIOS-e820: 0000000000000000 - 000000000009fc00 (usable)
Dec 2 08:26:54 debian kernel: BIOS-e820: 000000000009fc00 - 00000000000a0000 (reserved)
Dec 2 08:26:54 debian kernel: BIOS-e820: 00000000000e0000 - 0000000000100000 (reserved)
Dec 2 08:26:54 debian kernel: BIOS-e820: 0000000000100000 - 00000000c0000000 (usable)
Dec 2 08:26:54 debian kernel: BIOS-e820: 00000000ff7c0000 - 0000000100000000 (reserved)
Dec 2 08:26:54 debian kernel: 2176MB HIGHMEM available.
Dec 2 08:26:54 debian kernel: 896MB LOWMEM available.
Dec 2 08:26:54 debian kernel: found SMP MP-table at 000ff780
Dec 2 08:26:54 debian kernel: On node 0 totalpages: 786432
Dec 2 08:26:54 debian kernel: DMA zone: 4096 pages, LIFO batch:1
Dec 2 08:26:54 debian kernel: Normal zone: 225280 pages, LIFO batch:31
Dec 2 08:26:54 debian kernel: HighMem zone: 557056 pages, LIFO batch:31
Dec 2 08:26:54 debian kernel: DMI 2.3 present.
Dec 2 08:26:54 debian kernel: ACPI: Unable to locate RSDP
Dec 2 08:26:54 debian kernel: Intel MultiProcessor Specification v1.4
Dec 2 08:26:54 debian kernel: Virtual Wire compatibility mode.
Dec 2 08:26:54 debian kernel: OEM ID: TYAN Product ID: S2880 APIC at: 0xFEE00000
Dec 2 08:26:54 debian kernel: Processor #0 0:0 APIC version 0
Dec 2 08:26:54 debian kernel: BIOS bug, APIC version is 0 for CPU#0! fixing up to 0x10. (tell your hw vendor)
Dec 2 08:26:54 debian kernel: Processor #1 0:0 APIC version 0
Dec 2 08:26:54 debian kernel: BIOS bug, APIC version is 0 for CPU#1! fixing up to 0x10. (tell your hw vendor)
Dec 2 08:26:54 debian kernel: I/O APIC #2 Version 17 at 0xFEC00000.
Dec 2 08:26:54 debian kernel: I/O APIC #3 Version 17 at 0xFEBFE000.
Dec 2 08:26:54 debian kernel: I/O APIC #4 Version 17 at 0xFEBFF000.
Dec 2 08:26:54 debian kernel: Enabling APIC mode: Flat. Using 3 I/O APICs
Dec 2 08:26:54 debian kernel: Processors: 2
Dec 2 08:26:54 debian kernel: Allocating PCI resources starting at c4000000 (gap: c0000000:3f7c0000)
Dec 2 08:26:54 debian kernel: Built 1 zonelists
Dec 2 08:26:54 debian kernel: Kernel command line: root=/dev/hda2 noapic ro
Dec 2 08:26:54 debian kernel: mapped APIC to ffffd000 (fee00000)
Dec 2 08:26:54 debian kernel: mapped IOAPIC to ffffc000 (fec00000)
Dec 2 08:26:54 debian kernel: mapped IOAPIC to ffffb000 (febfe000)
Dec 2 08:26:54 debian kernel: mapped IOAPIC to ffffa000 (febff000)
Dec 2 08:26:54 debian kernel: Initializing CPU#0
Dec 2 08:26:54 debian kernel: PID hash table entries: 4096 (order: 12, 65536 bytes)
Dec 2 08:26:54 debian kernel: Detected 1592.948 MHz processor.
Dec 2 08:26:54 debian kernel: Using tsc for high-res timesource
Dec 2 08:26:54 debian kernel: Console: colour VGA+ 80x25
Dec 2 08:26:54 debian kernel: Dentry cache hash table entries: 131072 (order: 7, 524288 bytes)
Dec 2 08:26:54 debian kernel: Inode-cache hash table entries: 65536 (order: 6, 262144 bytes)
Dec 2 08:26:54 debian kernel: Memory: 3115828k/3145728k available (2015k kernel code, 28748k reserved, 665k data, 276k init, 2228224k highmem)
Dec 2 08:26:54 debian kernel: Checking if this processor honours the WP bit even in supervisor mode... Ok.
Dec 2 08:26:54 debian kernel: Calibrating delay using timer specific routine.. 3192.12 BogoMIPS (lpj=6384246)
Dec 2 08:26:54 debian kernel: Mount-cache hash table entries: 512
Dec 2 08:26:54 debian kernel: CPU: After generic identify, caps: 078bfbff e1d3fbff 00000000 00000000 00000000 00000000 00000000
Dec 2 08:26:54 debian kernel: CPU: After vendor identify, caps: 078bfbff e1d3fbff 00000000 00000000 00000000 00000000 00000000
Dec 2 08:26:54 debian kernel: CPU: L1 I Cache: 64K (64 bytes/line), D cache 64K (64 bytes/line)
Dec 2 08:26:54 debian kernel: CPU: L2 Cache: 1024K (64 bytes/line)
Dec 2 08:26:54 debian kernel: CPU: After all inits, caps: 078bfbff e1d3fbff 00000000 00000010 00000000 00000000 00000000
Dec 2 08:26:54 debian kernel: Intel machine check architecture supported.
Dec 2 08:26:54 debian kernel: Intel machine check reporting enabled on CPU#0.
Dec 2 08:26:54 debian kernel: mtrr: v2.0 (20020519)
Dec 2 08:26:54 debian kernel: Enabling fast FPU save and restore... done.
Dec 2 08:26:54 debian kernel: Enabling unmasked SIMD FPU exception support... done.
Dec 2 08:26:54 debian kernel: Checking 'hlt' instruction... OK.
Dec 2 08:26:54 debian kernel: CPU0: AMD Opteron(tm) Processor 242 stepping 01
Dec 2 08:26:54 debian kernel: Booting processor 1/1 eip 2000
Dec 2 08:26:54 debian kernel: Initializing CPU#1
Dec 2 08:26:54 debian kernel: Calibrating delay using timer specific routine.. 3185.92 BogoMIPS (lpj=6371842)
Dec 2 08:26:54 debian kernel: CPU: After generic identify, caps: 078bfbff e1d3fbff 00000000 00000000 00000000 00000000 00000000
Dec 2 08:26:54 debian kernel: CPU: After vendor identify, caps: 078bfbff e1d3fbff 00000000 00000000 00000000 00000000 00000000
Dec 2 08:26:54 debian kernel: CPU: L1 I Cache: 64K (64 bytes/line), D cache 64K (64 bytes/line)
Dec 2 08:26:54 debian kernel: CPU: L2 Cache: 1024K (64 bytes/line)
Dec 2 08:26:54 debian kernel: CPU: After all inits, caps: 078bfbff e1d3fbff 00000000 00000010 00000000 00000000 00000000
Dec 2 08:26:54 debian kernel: Intel machine check architecture supported.
Dec 2 08:26:54 debian kernel: Intel machine check reporting enabled on CPU#1.
Dec 2 08:26:54 debian kernel: CPU1: AMD Opteron(tm) Processor 242 stepping 01
Dec 2 08:26:54 debian kernel: Total of 2 processors activated (6378.04 BogoMIPS).
Dec 2 08:26:54 debian kernel: checking TSC synchronization across 2 CPUs: passed.
Dec 2 08:26:54 debian kernel: softlockup thread 0 started up.
Dec 2 08:26:54 debian kernel: Brought up 2 CPUs
Dec 2 08:26:54 debian kernel: softlockup thread 1 started up.
Dec 2 08:26:54 debian kernel: NET: Registered protocol family 16
Dec 2 08:26:54 debian kernel: EISA bus registered
Dec 2 08:26:54 debian kernel: PCI: PCI BIOS revision 2.10 entry at 0xf0031, last bus=3
Dec 2 08:26:54 debian kernel: PCI: Using configuration type 1
Dec 2 08:26:54 debian kernel: ACPI: Subsystem revision 20050902
Dec 2 08:26:54 debian kernel: ACPI: Interpreter disabled.
Dec 2 08:26:54 debian kernel: PCI: Probing PCI hardware
Dec 2 08:26:54 debian kernel: PCI: Probing PCI hardware (bus 00)
Dec 2 08:26:54 debian kernel: Boot video device is 0000:03:06.0
Dec 2 08:26:54 debian kernel: PCI: Using IRQ router default [1022/746b] at 0000:00:07.3
Dec 2 08:26:54 debian kernel: PCI: Bridge: 0000:00:06.0
Dec 2 08:26:54 debian kernel: IO window: b000-bfff
Dec 2 08:26:54 debian kernel: MEM window: fca00000-feafffff
Dec 2 08:26:54 debian kernel: PREFETCH window: ff500000-ff5fffff
Dec 2 08:26:54 debian kernel: PCI: Bridge: 0000:00:0a.0
Dec 2 08:26:54 debian kernel: IO window: disabled.
Dec 2 08:26:54 debian kernel: MEM window: fc900000-fc9fffff
Dec 2 08:26:54 debian kernel: PREFETCH window: ff400000-ff4fffff
Dec 2 08:26:54 debian kernel: PCI: Bridge: 0000:00:0b.0
Dec 2 08:26:54 debian kernel: IO window: disabled.
Dec 2 08:26:54 debian kernel: MEM window: fc800000-fc8fffff
Dec 2 08:26:54 debian kernel: PREFETCH window: ff300000-ff3fffff
Dec 2 08:26:54 debian kernel: apm: BIOS not found.
Dec 2 08:26:54 debian kernel: highmem bounce pool size: 64 pages
Dec 2 08:26:54 debian kernel: Initializing Cryptographic API
Dec 2 08:26:54 debian kernel: PCI: MSI quirk detected. pci_msi_quirk set.
Dec 2 08:26:54 debian kernel: PCI: MSI quirk detected. pci_msi_quirk set.
Dec 2 08:26:54 debian kernel: serio: i8042 AUX port at 0x60,0x64 irq 12
Dec 2 08:26:54 debian kernel: serio: i8042 KBD port at 0x60,0x64 irq 1
Dec 2 08:26:54 debian kernel: io scheduler noop registered

Dec 2 08:26:54 debian kernel: io scheduler anticipatory registered
Dec 2 08:26:54 debian kernel: io scheduler deadline registered
Dec 2 08:26:54 debian kernel: io scheduler cfq registered
Dec 2 08:26:54 debian kernel: tg3.c:v3.42 (Oct 3, 2005)
Dec 2 08:26:54 debian kernel: eth0: Tigon3 [partno(BCM95704A7) rev 2003 PHY(5704)] (PCIX:100MHz:64-bit) 10/100/1000BaseT Ethernet 00:e0:81:52:ba:87
Dec 2 08:26:54 debian kernel: eth0: RXcsums[1] LinkChgREG[0] MIirq[0] ASF[0] Split[0] WireSpeed[1] TSOcap[1]
Dec 2 08:26:54 debian kernel: eth0: dma_rwctrl[769f4000]
Dec 2 08:26:54 debian kernel: eth1: Tigon3 [partno(BCM95704A7) rev 2003 PHY(5704)] (PCIX:100MHz:64-bit) 10/100/1000BaseT Ethernet 00:e0:81:52:ba:88
Dec 2 08:26:54 debian kernel: eth1: RXcsums[1] LinkChgREG[0] MIirq[0] ASF[0] Split[0] WireSpeed[1] TSOcap[1]
Dec 2 08:26:54 debian kernel: eth1: dma_rwctrl[769f4000]
Dec 2 08:26:54 debian kernel: Uniform Multi-Platform E-IDE driver Revision: 7.00alpha2
Dec 2 08:26:54 debian kernel: ide: Assuming 33MHz system bus speed for PIO modes; override with idebus=xx
Dec 2 08:26:54 debian kernel: AMD8111: IDE controller at PCI slot 0000:00:07.1
Dec 2 08:26:54 debian kernel: AMD8111: chipset revision 3
Dec 2 08:26:54 debian kernel: AMD8111: not 100%% native mode: will probe irqs later
Dec 2 08:26:54 debian kernel: AMD8111: 0000:00:07.1 (rev 03) UDMA133 controller
Dec 2 08:26:54 debian kernel: ide0: BM-DMA at 0xffa0-0xffa7, BIOS settings: hda:DMA, hdb:pio
Dec 2 08:26:54 debian kernel: ide1: BM-DMA at 0xffa8-0xffaf, BIOS settings: hdc:pio, hdd:pio
Dec 2 08:26:54 debian kernel: Probing IDE interface ide0...
Dec 2 08:26:54 debian kernel: hda: WDC WD1600BB-00DWA0, ATA DISK drive
Dec 2 08:26:54 debian kernel: ide0 at 0x1f0-0x1f7,0x3f6 on irq 14
Dec 2 08:26:54 debian kernel: Probing IDE interface ide1...
Dec 2 08:26:54 debian kernel: Probing IDE interface ide1...
Dec 2 08:26:54 debian kernel: hda: max request size: 1024KiB
Dec 2 08:26:54 debian kernel: hda: 312581808 sectors (160041 MB) w/2048KiB Cache, CHS=19457/255/63, UDMA(100)
Dec 2 08:26:54 debian kernel: hda: cache flushes supported
Dec 2 08:26:54 debian kernel: hda: hda1 hda2 hda3 hda4 < hda5 hda6 hda7 hda8 >
Dec 2 08:26:54 debian kernel: mice: PS/2 mouse device common for all mice
Dec 2 08:26:54 debian kernel: i2c /dev entries driver
Dec 2 08:26:54 debian kernel: Enabling SMBus multiplexing for Tyan S4882
Dec 2 08:26:54 debian kernel: i2c_adapter i2c-0: PCA9556 configuration failed
Dec 2 08:26:54 debian kernel: i2c-sis96x version 1.0.0
Dec 2 08:26:54 debian kernel: input: AT Translated Set 2 keyboard on isa0060/serio0
Dec 2 08:26:54 debian kernel: EISA: Probing bus 0 at eisa.0
Dec 2 08:26:54 debian kernel: NET: Registered protocol family 2
Dec 2 08:26:54 debian kernel: IP route cache hash table entries: 131072 (order: 7, 524288 bytes)
Dec 2 08:26:54 debian kernel: TCP established hash table entries: 524288 (order: 10, 4194304 bytes)
Dec 2 08:26:54 debian kernel: TCP bind hash table entries: 65536 (order: 7, 524288 bytes)
Dec 2 08:26:54 debian kernel: TCP: Hash tables configured (established 524288 bind 65536)
Dec 2 08:26:54 debian kernel: TCP reno registered
Dec 2 08:26:54 debian kernel: TCP bic registered
Dec 2 08:26:54 debian kernel: Netfilter messages via NETLINK v0.30.
Dec 2 08:26:54 debian kernel: NET: Registered protocol family 1
Dec 2 08:26:54 debian kernel: Starting balanced_irq
Dec 2 08:26:54 debian kernel: Using IPI Shortcut mode
Dec 2 08:26:54 debian kernel: kjournald starting. Commit interval 5 seconds
Dec 2 08:26:54 debian kernel: EXT3-fs: mounted filesystem with ordered data mode.
Dec 2 08:26:54 debian kernel: VFS: Mounted root (ext3 filesystem) readonly.
Dec 2 08:26:54 debian kernel: Freeing unused kernel memory: 276k freed
Dec 2 08:26:54 debian kernel: Adding 1951888k swap on /dev/hda3. Priority:-1 extents:1 across:1951888k

nu ben ik bezig alle niet standaard foutmeldingen op te zoeken op inet.. wat een klus zeg...

[alx]

athlonkmf schreef op vrijdag 02 december 2005 @ 22:38:
Tja, ik kan niet zo makkelijk in de bios komen. Server staat namelijk in amerika....

en het is momenteel weer gecrasht.
[...]

Ik neem aan dat je daar iemand hebt die dat soort dingen (op zijn voorkeurstijd) voor je kan doen. Hoe kun je anders volledig beheer doen? (e.g. rebooten van een systeem dat echt vast zit)

Anyway, het kan idd een BIOS setting zijn. Aan dmesg en de Tyan site te zien, denk ik echter dat de BIOS niet lekker is. Ik zie dat je een Tyan Thunder K8S (S2880) hebt. Op http://www.tyan.com/support/html/bios_support.html staat de laatste BIOS en ook een beta BIOS. Klaarblijkelijk is Tyan op de hoogte van (deze?) problemen.

Ik weet niet welke BIOS versie je hebt en zo te zien is de beta BIOS not "production worthy", maar mij lijkt het een goed idee om de dmesg naar Tyan mailen en te vragen of een nieuwere BIOS versie dit oplost. Wellicht ten overvloedde; als je gaat flashen, zorg dan in ieder geval voor een betrouwbaar software env.