[Fedora Server 21] AMD FX-6100 CPU issue

[iZi]

Een paar jaar geleden had ik problemen met het installeren van mijn, inmiddels oude installatie met Fedora 19. Installeren via EFI werkte niet. De installatie hing na het eerste installatie scherm waar ik kan selecteren wat ik wilde doen. Alleen een zwart scherm met knipperende witte cursor was te zien.
In "non-EFI" mode hing de installatie op hetzelfde punt, maar nu in een grijze scherm met knipperende witte cursor.
Na dagen onderzoek doen op internet krijg ik de installatie aan de praat door de optie "acpi=off" toe te voegen aan de installatie.
Na de installatie was het systeem erg instabiel, maar ik heb er mee kunnen werken voor ongeveer 1,5 jaar.

Tot de nieuwe release van Fedora 21. Ik besloot om mijn server opnieuw te installeren met F21.
Wederom kwam ik dezelfde problemen tegen als destijds met de F19 installatie.
Maar nu na een dag opnieuw Google raadplegen vond ik een optie waardoor ik niet meer de optie "acpi=off" hoef te gebruiken, maar de optie "maxcpus=1". Wel nog steeds in "non-EFI" mode.

Na de installatie van F21 werkte ACPI en Video drivers perfect. Het systeem is erg stabiel, dus ik ben erg blij.
Maar helaas direct na de installatie wilde Fedora niet meer booten en bleef na GRUB hangen in een zwart scherm met een knipperende witte cursor.
Alleen bij het toevoegen van de "maxcpus=1" optie wilde Fedora weer booten.

Omdat ik een CPU (AMD FX-6100 Black Edition) gebruik met meerdere cores (6), is dit geen optie. Daarom heb ik geprobeerd om het aantal CPU's in deze optie op te hogen. Zowel bij "maxcpus=2" en maxcpus=4" wilde Fedora booten.
Maar bij "maxcpus=6" ging het weer mis.

Gelukkig wil het systeem in ieder geval werken met 4 van de 6 cores.

Op de een of de andere manier lijkt het er op dat Fedora niet goed overweg kan 6-core CPU's. Of in ieder geval niet die van mij.

Natuurlijk wil ik graag alle cores kunnen gebruiken, ook omdat ik ze allemaal nodig heb.

Heeft iemand dezelfde problemen gehad? Of heeft iemand een idee hoe ik dit probleem kan oplossen?

Mijn Fedora Server hardware:
AMD FX-6100 Black Edition
Gigabyte GA-870A-UD3
2x 4GB Corsair Vengeance DDR3 1600mhz
MSI NX8500GT videokaart (GeForce)
Kingston V300 60GB SSD (OS)
4x Seagate Barracuda 3TB
600watt OCZ voeding

[iZi]

in /var/log/messages zie ik de volgende boodschap:

code:

Dec 30 00:49:32 metatron mcelog: mcelog: AMD Processor family 21: Please load edac_mce_amd module.
Dec 30 00:49:32 metatron mcelog: : Success
Dec 30 00:49:32 metatron mcelog: CPU is unsupported

Betekent dit dat Fedora geen AMD FX processoren ondersteunt? Of is dit alleen van toepassing op MCE?

[Hero of Time]

Heb je een BIOS update beschikbaar voor je moederbord? Pas die dan toe en kijk hoe het gaat. Heb je nog meer gezocht op het Fedora forum over je problemen? Je is vreemd dat je de enige bent die met een FX-6100 hier tegenaan loopt. Ik heb even snel gezocht en krijg alleen een topic over andere errors in de logs en algemene instabiliteit met Fedora 16.

Als dat nog steeds niet helpt, is het misschien tijd om verder te kijken naar een andere distro. Ik heb de FX-8150 en draai Debian Unstable zonder problemen. Je hoeft geen Debian te draaien, Ubuntu doet 't vast ook wel.

[iZi]

Voor wat betreft BIOS update heb ik de laatste stable version geinstalleerd (FEe), daarnaast is er wel een beta versie (FEf) uitgebracht die zal ik ook eens proberen.

Los van de BIOS versie heb ik ook een vermoeden dat dit kan liggen aan mijn BIOS instellingen, maar de vraag is welke...

Voor wat betreft dit probleem, Ik heb uiteraard de Fedora Forum uitgebreid gezocht naar dit probleem. Ik heb daar zelfs een topic gestart met dit specifieke probleem.
Toch lees ik op meerdere fora dat er mensen zijn met FX-8-serie processoren die ook dergelijke problemen hebben.

Voor wat betreft distro, dit probleem doet zich ook voor bij Ubuntu Server.

zie mijn vorige topic Fedora installatie hangt

Nu ben ik een stap verder, omdat ik acpi=off niet meer hoef te gebruiken, maar met maxcpus verder kom.

[Thralas]

Hoe ziet de kernel command line van Fedora er standaard uit? Boot eens zonder 'quiet' en eventueel met 'nomodeset' om te zien of dat output oplevert?

Met enkel 'hij doet het niet' is het lastig debuggen

En werkt het ook met 5 cores?

EDIT: Ik lees nu pas dat je ook issues hebt met Ubuntu. Dan had je je TS wel wat generieker kunnen beschrijven, maakt het natuurlijk nog waarschijnlijker dat je een hardware/BIOS/UEFI-probleem hebt ipv. een issue met specifiek Fedora.

Dan zou je ook eventueel een compleet andere kernel kunnen proberen, bijvoorbeeld een BSD distro of Windows..

[ Voor 42% gewijzigd door Thralas op 01-01-2015 15:14 ]

[iZi]

code:

BOOT_IMAGE=/vmlinuz-3.17.7-300.fc21.x86_64 root=/dev/mapper/fedora--server-root ro rd.lvm.lv=fedora-server/root rd.lvm.lv=fedora-server/swap rhgb quiet LANG=en_US.UTF-8 maxcpus=4

Ik zal eens kijken wat er gebeurd als ik zonder "quiet" en met "nomodeset" boot.

Met 5 cores moet ik ook nog proberen. Kom ik op terug.

Klopt het probleem ontstaat ook bij Ubuntu, maar niet bij Windows (7 en 8.1).
BSD heb ik niet geprobeerd.

Ik neig ook naar een hardware probleem. Alleen de vraag is wat...
Ik heb memtest uitgebreid laten testen op de memory, zonder errors. Dus memory kunnen we uitsluiten.
Videokaart heb ik al eens vervangen voor een Asus Radeon HD2400 videokaart, zonder resultaat.
Het enige waar mogelijk hardware issues mee zouden kunnen zijn, zijn:
1. CPU
2. Voeding?
3. Moederbord

Dit type moederbord ondersteunt alleen AM3+ CPU's na de laatste beta BIOS update.
Maar het vreemde blijft dat Windows hier geen probleem mee heeft, alleen Linux heeft problemen.

[Hero of Time]

Zoals ik in je andere topic had aangegeven, ik heb geen andere distro met mijn hardware geprobeerd, maar direct Debian genomen. Hardware problemen kunnen we in zekere zin wel uitsluiten, want Windows doet 't wel. En op mijn hardware doet Debian 't prima, maar Windows 7 weer niet.

Kan je eens proberen met de Debian installer? En je zegt dat 't bij Ubuntu Server gebeurt, heb je ook Desktop getest? Theoretisch dezelfde kernel voor de installer enzo, maar je weet 't nooit. Probeer zo veel mogelijk uit te sluiten en te testen.

[iZi]

Oke probleem gevonden.

Na wat spelen met de BIOS instellingen en de boot opties.

maxcpus=5 (werkt!)
maxcpus=6 (werkt niet)
nomodeset (werkt niet)

Iemand met een dergelijk probleem kreeg het advies om nouveau.runpm=0 te gebruiken. Ook dat werkte niet bij mij.

Upgrade van de BIOS van FEE naar FEF met Fail safe instellingen (werkt niet)

In de BIOS opties uitgeschakeld als:
Core Boost (werkt niet)
Power Management van S1POS naar S3STR gezet (werkt niet)
AMD Virtualization mode (werkt niet)
AMD C6 State (werkt niet)
AMD C1e State (werkt!)

Conclusie: Linux installaties hebben waarschijnlijk problemen met AMD C1e State in combinatie met de desbetreffende BIOS/moederbord.
Dit blijkt ook een veel voorkomend probleem te zijn bij Gigabyte moederborden lees ik.

Als ik het goed begrijp betreft de AMD C1e optie de mogelijkheid om cores uit te schakelen bij idle om zo stroom te besparen.

Ik blijf het vreemd vinden dat Linux geen problemen heeft met deze optie als er max 5 van de 6 cores gebruikt worden.

Ik zal nu een afweging moeten maken wat ik belangrijker vindt. Stroom verbruik versus 5 van de 6 cores kunnen gebruiken.

[ Voor 5% gewijzigd door iZi op 02-01-2015 01:32 ]

[jbhc]

Ik zou me ook nog voor kunnen stellen dat 1 core niet helemaal stabiel is.

[Blokker_1999]

doubt it, dan zou het systeem ook nu onstabiel moeten werken lijkt mij. Het feit dat bij de installatie ACPI moest uitgeschakeld worden duid erop dat ACPI niet helemaal goed werkt icm de kernel. En C1e vereist een correct werkende ACPI, het kan ermee te maken hebben.

[Hero of Time]

Ik heb vaker C1E issues gezien met Linux. Op m'n vorige werk hadden we XenServer draaien en de eerste van de pool die ik had gemaakt klapte er om onverklaarbare redenen wel eens uit. Als in, VM dood, Host reageert niet en staat op een splash screen. Door de power management eigenschappen in het BIOS aan te passen naar max performance en C1E uit, bleef de machine stabiel draaien en geen probleem meer gehad. Nog leuker voor je, dit was met een Intel Xeon CPU, geen AMD. En BIOS of andere firmware updates hadden geen effect.

Ik weet eigenlijk niet eens of ik C1E in mijn BIOS aan of uit heb. Volgens mij, door eerdere ervaringen ermee, heb ik 't uit staan.

[Thralas]

iZi schreef op vrijdag 02 januari 2015 @ 01:30:
nomodeset (werkt niet)

Dat was dan ook enkel bedoeld om wat output op je scherm te krijgen - maar als het goed is, is enkel verwijderen van 'quiet' voldoende.

Levert dat nu output op? Zoja, waar gaat het mis?

Tenzij er stiekem nog een kernel commandline workaround is die je problemen geheel verhelpt lijkt me dit iets voor de kernel.org bugzilla als je het ook kunt reproduceren op de meest recente vanilla stable kernels...

jbhc schreef op vrijdag 02 januari 2015 @ 09:44:
Ik zou me ook nog voor kunnen stellen dat 1 core niet helemaal stabiel is.

Dat wilde ik ook roepen, zij het niet dat Windows blijkbaar wel werkt. En hierbij is een belangrijke vraag of maxcpus altijd dezelfde cores 'kiest'. Je zou zeggen van wel, maar ik kan het niet vinden in de documentatie.

[jbhc]

Thralas schreef op vrijdag 02 januari 2015 @ 13:36:


Dat wilde ik ook roepen, zij het niet dat Windows blijkbaar wel werkt. En hierbij is een belangrijke vraag of maxcpus altijd dezelfde cores 'kiest'. Je zou zeggen van wel, maar ik kan het niet vinden in de documentatie.

Uiteindelijk blijft het natuurlijk giswerk. Het zou mij ook niks verbazen als het gewoon een "bekende" bug is in de processor en windows hier een fix voor heeft. Windows is natuurlijk veruit het grootste os voor x86 processors dus de kans dat ze tijdens de ontwikkeling dit soort dingen én tegenkomen én oplossen is een stuk groter dan bij linux.

Ik zat laatst een stukje te lezen over een antieke cyrix 5x86 en die draaide ook niet altijd even stabiel. Maar dat is te veroorzaken of op te lossen (het is maar hoe je het bekijkt) door bepaalde instellingen in de processor zelf. Ik neem aan dat dat soort instellingen nu nog steeds te doen is en waarschijnlijk een stuk meer uitgebreid.


/edit:

Een simpele google vraag bevestigd zelfs mijn verhaal. Er bestaat zoiets als microcode zowel voor Intel als AMD processors.

/edit2:

Als je hier kijkt: http://forums.fedoraforum.org/showthread.php?t=278903 zie je dat je niet de enige bent met problemen. Wat ik daar lees is dat tijdens het draaien van Mprime er geen problemen zijn. Ook zeg je zelf dat als je gebruik maakt van C1E dat er problemen optreden. Dit doet mij vermoeden dat er iets niet lekker gaat zodra de CPU terugklokt. (Timing problemen?)

Een log van de crash zou wel handig zijn. Een van de echt fantastische dingen aan Linux vind ik zelf dat je altijd perfect terug kan zien wat er op de achtergrond gebeurt (is).


/edit3:

Ook in windows hebben mensen er last van:

http://www.overclock.net/...6-cores-have-to-disable-2

/edit4:

Kennelijk heeft het echt iets te maken met de C1E. Linux had er ook al eerder last van:

http://lwn.net/Articles/286432/

[ Voor 34% gewijzigd door jbhc op 02-01-2015 15:17 ]

[iZi]

Thralas schreef op vrijdag 02 januari 2015 @ 13:36:
[...]
Dat was dan ook enkel bedoeld om wat output op je scherm te krijgen - maar als het goed is, is enkel verwijderen van 'quiet' voldoende.

Levert dat nu output op? Zoja, waar gaat het mis?

Ja helemaal, de nomodeset incl verwijderen van quiet levert een output op, waarbij hij hangt op:

code:

[   0.417104] NET: Registered protocol family 2
[   0.417422] TCP established has table entries: 65536 (order: 7, 524288 bytes)
[   0.417749] TCP bind hash table entires: 65536 (order: 8, 1048576 bytes)
[   0.418017] TCP: Has tables configured (established 65536 bind 65536)
[   0.418118] TCP: reno registered
[   0.418204] UDP has table entries: 4096 (order 5, 31072 bytes)
[   0.418319] UDP-Lite has table entries: 4096 (order 5, 31072 bytes)
[   0.418474] NET: Registered protocol family 1

[...]
Dat wilde ik ook roepen, zij het niet dat Windows blijkbaar wel werkt. En hierbij is een belangrijke vraag of maxcpus altijd dezelfde cores 'kiest'. Je zou zeggen van wel, maar ik kan het niet vinden in de documentatie.

Klopt inderdaad. Ik draai nu al een aantal dagen met 6 cores zonder enige vorm van instabiliteit. Dus een instabiele core lijkt niet het probleem te zijn. Ook niet als ik Windows installeer.

maxcpus gebruikt altijd dezelfde core adressing. Bij maxcpus=2 worden cores 0 en 1 gebruikt, bij maxcpus=4 worden cores 0,1,2,3 gebruikt, etc..

De adressering veranderd ook niet lijkt mij, omdat ik regelmatig met optie maxcpus=4 en maxcpus=5 het systeem gereboot had. Dan zou een instabiele core direct opvallen.

jbhc schreef op vrijdag 02 januari 2015 @ 13:44:
[...]
/edit:

Een simpele google vraag bevestigd zelfs mijn verhaal. Er bestaat zoiets als microcode zowel voor Intel als AMD processors.

Klopt ik lees ook verscheidene artikelen op internet die dit probleem bevestigen.
Een probleem wat zich al enige jaren voordoet.

/edit2:

Als je hier kijkt: http://forums.fedoraforum.org/showthread.php?t=278903 zie je dat je niet de enige bent met problemen. Wat ik daar lees is dat tijdens het draaien van Mprime er geen problemen zijn. Ook zeg je zelf dat als je gebruik maakt van C1E dat er problemen optreden. Dit doet mij vermoeden dat er iets niet lekker gaat zodra de CPU terugklokt. (Timing problemen?)

Een log van de crash zou wel handig zijn. Een van de echt fantastische dingen aan Linux vind ik zelf dat je altijd perfect terug kan zien wat er op de achtergrond gebeurt (is).

Er vindt geen crash plaats. Fedora of een andere distro willen niet booten. Of het nu vanaf een installatie medium is of na een installatie vanaf de harddisk.

/edit4:

Kennelijk heeft het echt iets te maken met de C1E. Linux had er ook al eerder last van:

http://lwn.net/Articles/286432/

Ja dat is mij wel duidelijk.
Toch blijf ik het vreemd vinden dat een maxcpus=5 wel werkt in combinatie met AMD C1E, maar niet bij gebruik van alle 6 de cores.

Het verschil is duidelijk zichtbaar in de laatste dagen.
Bij maxcpus=5 en AMD C1E enabled gebruikt mijn systeem in de nachtelijke uren slechts 60-70watt
Bij AMD C1E disabled gebruikt mijn systeem in de nachtelijke uren standaard 110-120watt

Toch wel een aardig verschil als je na gaat dat mijn systeem 24/7 draait.

[Hero of Time]

Wat doet je systeem dat je 'm 24/7 aan hebt? Ik heb de mijne in principe ook 24/7 aan, maar als ik 'm niet meer nodig heb, zet ik 'm in slaapstand. Als het iets lichts is, wat geen zware CPU nodig heeft, kan je misschien beter kijken naar een tweede systeem dat standaard al standaard onder de 100 Watt aan energie nodig heeft. De FX-6100 is nou niet echt bepaald een energiezuinige CPU.

[iZi]

Ik heb ownCloud en Crashplan draaien op mijn systeem/server.
Beide worden gebruikt door een twee stichtingen en twee bedrijven naast de standaard familie accounts.
Ik heb zelf geen invloed op wanneer deze "diensten" gebruikt worden. Daarom heb ik mijn systeem altijd 24/7 aan staan.

Daarnaast draai ik Plex Media Server voor het streamen van alle audio en video content naar diverse devices. En uiteraard SABnzbd en Sickbeard. Maar deze applicaties zijn niet 's nachts nodig.

Een tweede systeem is een optie, maar wel weer een extra systeem erbij.
Voor data bescherming en performance gebruik ik in princpe altijd een RAID5 over minimaal 3 schijven wat ook minimaal hoeveelheid watt gebruikt.

Op zich vind ik 60watt in de nachtelijke uren acceptabel.

[Hero of Time]

Als stichtingen en bedrijven er gebruik van maken, kan je beter een VPS huren hiervoor. Waarom zou jij iets moeten laten draaien, wat je afschrijving e.d. kost van je eigen hardware voor anderen? Nu ben je ook nog eens afhankelijk van je ISP. Wat als ze nou een grote storing hebben, of je modem fikt uit oid? Dan hebben ze ook niets. Wat krijg je dan te horen? Vast een hoop geklaag en weinig begrip 'want het werkte altijd'.

Uiteraard heb je met een VPS ook de kans dat ze een storing hebben, maar dat blijft gewoon doordraaien als er wordt ingebroken thuis of als er brand uit breekt. Backup regel je dan naar je eigen systeem en nog een andere locatie buiten je huis.

[iZi]

Uiteraard heb ik overal voor geregeld
Daarom gebruik ik Crashplan. Alle data wordt veilig gesteld buitenshuis.

Een VPS is een oplossing, maar erg dure oplossing zeker als je het hebt over 1 a 2 TB aan data.
Deze stichtingen hebben hier geen geld voor en daarom biedt ik deze dienst aan op best effort niveau volledig kosteloos.

Als een ISP uit valt is er geen probleem, want data is daarmee niet weg. Alleen tijdelijk verbinding om te synchroniseren. Vanwege de reinstall van dit systeem hebben deze diensten er 3 dagen uit gelegen afgelopen week, zonder dat iemand daar last van had, maar dat was dan ook gecontroleerd down.

Maar goed we wijken een beetje van de topic af

[Thc_Nbl]

je hebt zel de amd64-microcode firmware geinstalleerd staan trouwens?

Description-en: Processor microcode firmware for AMD CPUs
This package contains microcode patches for all AMD AMD64
processors. AMD releases microcode patches to correct
processor behavior as documented in the respective processor
revision guides.