[FreeNAS] CPU load loopt uit de hand

[egonolieux]

Beste tweakers,

Al een tweetal jaren gebruik ik FreeNAS op mijn thuisserver en ik ben er dan ook zeer tevreden over. Een aantal weken geleden heb ik wat lopen experimenteren met VMware ESXi op deze zelfde server, maar vandaag heb ik echter besloten om er weer FreeNAS op te zetten. Ondertussen is de 8.0 Release versie uit, en besloot ik deze dus maar eens te proberen; alles verliep zonder problemen.

Omdat FreeNAS 8.0 Release blijkbaar nog geen DAAP, uPnP, Bittorrent en dergelijke zaken bevat (die voor mij cruciaal zijn), heb ik dan maar besloten opnieuw de 0.7.2 AMD64 Stable versie te gebruiken (volledige installatie). Ook hier verliep de installatie zonder problemen, buiten het feit dat mijn Realtek RTL8111E NIC niet ondersteund wordt en dat ik deze met een tweak zelf moet installeren, maar dit heeft al altijd goed gewerkt.

Eens ik FreeNAS begon te configureren viel me plots iets op. De 3e "core" (of eerder thread) van mijn i3 2100 stond op een constante load schommelend rond 80%, terwijl de andere cores (threads) op 0% load waren. Bij mijn processen of logs kan ik niets bijzonder opmerken wat deze zware load zou kunnen veroorzaken. Tenslotte heb ik dan maar eens de i386 versie geinstalleerd om te kijken of het probleem zich hier ook zou voordoen, en dat bleek dus ook zo te zijn.

Achteraf is me dan opgevallen, dat de 0.7.2 release van nu verschilt met degene die ik in maart geinstalleerd heb (versie 0.7.2.6694 t.o.v. 0.7.2.5543). Daarom heb ik de 5543 release geinstalleerd, omdat ik bij deze release eerder geen problemen had. Maar tot mijn verbazing deed het probleem zich hier ook voor, zowel bij de AMD64 als i386 versie.

Na wat verder onderzoek lijkt me dat dit probleem optreed nadat ik mijn harde schijven toevoeg in FreeNAS (ik kan ook verkeerd zijn). Verder zie ik in mijn logboek een aantal errors die mij niet bepaald bekend voorkomen.
Misschien is het beter dat ik mijn log hier even post; ik zal het morgen zelf ook eens grondig onderzoeken.

code:

Jul 25 05:27:28 freenas root: syslogd service restarted
Jul 25 05:27:28 freenas syslogd: kernel boot file is /boot/kernel/kernel
Jul 25 05:27:28 freenas syslogd: exiting on signal 15
Jul 25 05:16:53 freenas last message repeated 2 times
Jul 25 05:01:18 freenas lighttpd[1793]: (connections.c.137) (warning) close: 6 Connection reset by peer
Jul 25 04:58:28 freenas lighttpd[1793]: (connections.c.137) (warning) close: 6 Connection reset by peer
Jul 25 04:42:53 freenas last message repeated 2 times
Jul 25 04:38:38 freenas last message repeated 2 times
Jul 25 04:28:43 freenas lighttpd[1793]: (connections.c.137) (warning) close: 6 Connection reset by peer
Jul 25 04:17:23 freenas lighttpd[1793]: (connections.c.137) (warning) close: 6 Connection reset by peer
Jul 25 04:08:53 freenas lighttpd[1793]: (connections.c.137) (warning) close: 6 Connection reset by peer
Jul 25 03:58:58 freenas lighttpd[1793]: (connections.c.137) (warning) close: 6 Connection reset by peer
Jul 25 03:41:44 freenas kernel: ata2: [ITHREAD]
Jul 25 03:41:39 freenas root: ataidle service restarted
Jul 25 03:35:47 freenas lighttpd[1793]: (connections.c.137) (warning) close: 7 Connection reset by peer
Jul 25 03:31:34 freenas root: ataidle service restarted
Jul 25 03:26:57 freenas lighttpd[1793]: (connections.c.137) (warning) close: 6 Connection reset by peer
Jul 25 03:19:31 freenas kernel: ZFS storage pool version 13
Jul 25 03:19:31 freenas kernel: ZFS filesystem version 3
Jul 25 03:19:31 freenas kernel: WARNING: ZFS is considered to be an experimental feature in FreeBSD.
Jul 25 03:19:31 freenas kernel: see http://opensolaris.org/os/licensing/opensolaris_license/
Jul 25 03:19:31 freenas kernel: Common Development and Distribution License (CDDL)
Jul 25 03:19:31 freenas kernel: This module (opensolaris) contains code covered by the
Jul 25 03:19:22 freenas login: login on ttyv0 as root
Jul 25 03:19:22 freenas lighttpd[1793]: (log.c.166) server started
Jul 25 03:19:21 freenas kernel: Trying to mount root from ufs:/dev/ad3s1a
Jul 25 03:19:21 freenas kernel: SMP: AP CPU #2 Launched!
Jul 25 03:19:21 freenas kernel: SMP: AP CPU #3 Launched!
Jul 25 03:19:21 freenas kernel: SMP: AP CPU #1 Launched!
Jul 25 03:19:21 freenas kernel: ad6: 1907729MB <SAMSUNG HD204UI 1AQ10001> at ata3-master UDMA33
Jul 25 03:19:21 freenas kernel: ad3: 476940MB <WDC WD5000AADS-00M2B0 01.00A01> at ata1-slave UDMA33
Jul 25 03:19:21 freenas kernel: GEOM: ad2: using the primary only -- recovery suggested.
Jul 25 03:19:21 freenas kernel: GEOM: ad2: the secondary GPT table is corrupt or invalid.
Jul 25 03:19:21 freenas kernel: ad2: 1907729MB <SAMSUNG HD204UI 1AQ10001> at ata1-master UDMA33
Jul 25 03:19:21 freenas kernel: acd0: DVDR <TSSTcorp CDDVDW SH-S223B/SB00> at ata0-slave UDMA33
Jul 25 03:19:21 freenas kernel: GEOM: ad0: using the primary only -- recovery suggested.
Jul 25 03:19:21 freenas kernel: GEOM: ad0: the secondary GPT table is corrupt or invalid.
Jul 25 03:19:21 freenas kernel: ad0: 1907729MB <SAMSUNG HD204UI 1AQ10001> at ata0-master UDMA33
Jul 25 03:19:21 freenas kernel: firewire0: bus manager 0 (me)
Jul 25 03:19:21 freenas kernel: firewire0: 1 nodes, maxhop <= 0, cable IRM = 0 (me)
Jul 25 03:19:21 freenas kernel: ipfw2 (+ipv6) initialized, divert loadable, nat loadable, rule-based forwarding disabled, default to accept, logging limited to 5 packets/entry by default
Jul 25 03:19:21 freenas kernel: Timecounters tick every 10.000 msec
Jul 25 03:19:21 freenas kernel: vga0: <Generic ISA VGA> at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
Jul 25 03:19:21 freenas kernel: sio1: port may not be enabled
Jul 25 03:19:21 freenas kernel: sio1: configured irq 3 not in bitmap of probed irqs 0
Jul 25 03:19:21 freenas kernel: sio0: [FILTER]
Jul 25 03:19:21 freenas kernel: sio0: type 8250 or not responding
Jul 25 03:19:21 freenas kernel: sio0 at port 0x3f8-0x3ff irq 4 flags 0x10 on isa0
Jul 25 03:19:21 freenas kernel: sio0: port may not be enabled
Jul 25 03:19:21 freenas kernel: sio0: configured irq 4 not in bitmap of probed irqs 0
Jul 25 03:19:21 freenas kernel: sio0: port may not be enabled
Jul 25 03:19:21 freenas kernel: sio0: configured irq 4 not in bitmap of probed irqs 0
Jul 25 03:19:21 freenas kernel: sc0: VGA <16 virtual consoles, flags=0x300>
Jul 25 03:19:21 freenas kernel: sc0: <System console> at flags 0x100 on isa0
Jul 25 03:19:21 freenas kernel: ppc0: cannot reserve I/O port range
Jul 25 03:19:21 freenas kernel: atkbd0: [ITHREAD]
Jul 25 03:19:21 freenas kernel: atkbd0: [GIANT-LOCKED]
Jul 25 03:19:21 freenas kernel: kbd0 at atkbd0
Jul 25 03:19:21 freenas kernel: atkbd0: <AT Keyboard> irq 1 on atkbdc0
Jul 25 03:19:21 freenas kernel: atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
Jul 25 03:19:21 freenas kernel: orm0: <ISA Option ROM> at iomem 0xc0000-0xcd7ff on isa0
Jul 25 03:19:21 freenas kernel: p4tcc3: <CPU Frequency Thermal Control> on cpu3
Jul 25 03:19:21 freenas kernel: est3: <Enhanced SpeedStep Frequency Control> on cpu3
Jul 25 03:19:21 freenas kernel: coretemp3: <CPU On-Die Thermal Sensors> on cpu3
Jul 25 03:19:21 freenas kernel: cpu3: <ACPI CPU> on acpi0
Jul 25 03:19:21 freenas kernel: p4tcc2: <CPU Frequency Thermal Control> on cpu2
Jul 25 03:19:21 freenas kernel: est2: <Enhanced SpeedStep Frequency Control> on cpu2
Jul 25 03:19:21 freenas kernel: coretemp2: <CPU On-Die Thermal Sensors> on cpu2
Jul 25 03:19:21 freenas kernel: cpu2: <ACPI CPU> on acpi0
Jul 25 03:19:21 freenas kernel: p4tcc1: <CPU Frequency Thermal Control> on cpu1
Jul 25 03:19:21 freenas kernel: est1: <Enhanced SpeedStep Frequency Control> on cpu1
Jul 25 03:19:21 freenas kernel: coretemp1: <CPU On-Die Thermal Sensors> on cpu1
Jul 25 03:19:21 freenas kernel: cpu1: <ACPI CPU> on acpi0
Jul 25 03:19:21 freenas kernel: p4tcc0: <CPU Frequency Thermal Control> on cpu0
Jul 25 03:19:21 freenas kernel: est0: <Enhanced SpeedStep Frequency Control> on cpu0
Jul 25 03:19:21 freenas kernel: coretemp0: <CPU On-Die Thermal Sensors> on cpu0
Jul 25 03:19:21 freenas kernel: cpu0: <ACPI CPU> on acpi0
Jul 25 03:19:21 freenas kernel: speaker0: <PC speaker> port 0x61 on acpi0
Jul 25 03:19:21 freenas kernel: acpi_button0: <Power Button> on acpi0
Jul 25 03:19:21 freenas kernel: ata3: [ITHREAD]
Jul 25 03:19:21 freenas kernel: ata3: <ATA channel 1> on atapci1
Jul 25 03:19:21 freenas kernel: ata2: [ITHREAD]
Jul 25 03:19:21 freenas kernel: ata2: <ATA channel 0> on atapci1
Jul 25 03:19:21 freenas kernel: atapci1: [ITHREAD]
Jul 25 03:19:21 freenas kernel: atapci1: <Intel ATA controller> port 0xf0b0-0xf0b7,0xf0a0-0xf0a3,0xf090-0xf097,0xf080-0xf083,0xf070-0xf07f,0xf060-0xf06f irq 19 at device 31.5 on pci0
Jul 25 03:19:21 freenas kernel: pci0: <serial bus, SMBus> at device 31.3 (no driver attached)
Jul 25 03:19:21 freenas kernel: ata1: [ITHREAD]
Jul 25 03:19:21 freenas kernel: ata1: <ATA channel 1> on atapci0
Jul 25 03:19:21 freenas kernel: ata0: [ITHREAD]
Jul 25 03:19:21 freenas kernel: ata0: <ATA channel 0> on atapci0
Jul 25 03:19:21 freenas kernel: atapci0: <Intel ATA controller> port 0x1f0-0x1f7,0x3f6,0x170-0x177,0x376,0xf0d0-0xf0df,0xf0c0-0xf0cf irq 19 at device 31.2 on pci0
Jul 25 03:19:21 freenas kernel: isa0: <ISA bus> on isab0
Jul 25 03:19:21 freenas kernel: isab0: <PCI-ISA bridge> at device 31.0 on pci0
Jul 25 03:19:21 freenas kernel: uhub4: 8 ports with 8 removable, self powered
Jul 25 03:19:21 freenas kernel: uhub4: single transaction translator
Jul 25 03:19:21 freenas kernel: uhub4: <vendor 0x8087 product 0x0024, class 9/0, rev 2.00/0.00, addr 2> on uhub3
Jul 25 03:19:21 freenas kernel: uhub3: 2 ports with 2 removable, self powered
Jul 25 03:19:21 freenas kernel: uhub3: <Intel EHCI root hub, class 9/0, rev 2.00/1.00, addr 1> on usb1
Jul 25 03:19:21 freenas kernel: usb1: USB revision 2.0
Jul 25 03:19:21 freenas kernel: usb1: <EHCI (generic) USB 2.0 controller> on ehci1

Verder mijn volledige systeemspecs:

- Intel Core i3 2100
- MSI H67MA-E45 (B3)
- Corsair XMS3 1x 4GB
- Samsung Spinpoint F4EG HD204UI x3
- Western Digital Caviar green 500GB x1

[Voor 68% gewijzigd door egonolieux op 25-07-2011 05:34]

[Joseph]

Probeer eens alle schijven eruit te halen, en begin dan met telkens weer één schijf toe te voegen, om te zien of het probleem voorkomt. Voer ook elke keer een herstart uit. Laat het ding eens 10 minuten van de stroom?

Maar nu even het echte werk: er zijn problemen met ProFTPd bekend. Die zorgt in veel gevallen ook voor een onverklaarbare CPU load, waarbij de logs -uiteraard- ook niets aangeven.

Verder heb je er ESXi op gehad. Heb je alle disks compleet gewiped? Het gesloten VMFS zorgt nogal eens voor problemen op een ander systeem. Zijn er hardware wijzigingen geweest voor ESXi? Breng het systeem eens exact terug als toen je voor ESXi installeerde.

Let verder op dat je hier over een thread praat, en niet over een core.

[egonolieux]

Misschien moet ik inderdaad met Linux knoppix even alle schijven volledig wissen (nulletjes schrijven). Eens zien wat dat geeft.

[egonolieux]

Het wissen van de schijven heeft het probleem niet opgelost; nog steeds schiet het CPU gebruik de hoogte in na herinstallatie.

Vervolgens heb ik alles nog eens geherinstalleerd en het systeem even een uur idle laten staan om te zien of er dan iets gebeurt (zonder iets van de instellingen te veranderen); het CPU verbruik bleef normaal. Dan heb ik alle andere instellingen veranderd, behalve de schijven toevoegen, dit een uur laten draaien en ook hier bleef het CPU verbruik normaal.
Tenslotte heb ik zoals jij zei, één per één de schijven toegevoegd en gereboot. Hieruit heb ik uiteindelijk afgeleid dat mijn derde Samsung schijf het hoge CPU verbruik veroorzaakt.

In de eerste plaats denk ik dat het aan de firmware van de schijf ligt. De Samsung F4EG reeks heeft in het verleden al firmware problemen gehad, bij vroege modellen dan. Oorspronkelijk had ik 2 schijven in mijn server die ik reeds van nieuw firmware voorzien heb om risicos te vermijden. Dat is al een tijdje geleden en toen ik mij een derde schijf kocht (enkele dagen voor ik ESXi ging installeren), heb ik deze niet geflasht omdat ik er van uitging dat deze "slechte firmwareschijven" al lang uit de markt zouden zijn.

Om mijn schijf te flashen moet ik wel eerst mijn server weer opengooien (de schijf moet op het primair SATA kanaal zitten). Wegens tijdgebrek zal ik het waarschijnlijk pas later deze week kunnen doen. Ik zal de resultaten weten te vermelden.

[Voor 37% gewijzigd door egonolieux op 25-07-2011 21:48]

[egonolieux]

Deze middag heb ik de betreffende schijf uit mijn server gehaald, en deze op mijn Windows PC aangesloten (via USB-SATA adapter). Vervolgens heb ik er met HDtune wat tests op uitgevoerd, maar telkens ik een test wou starten krijg ik de foutmelding "read error". Omdat de schijf nieuw is zou ik het nogal vreemd vinden dat hij defect zou zijn. Ook kon ik geen abnormale geluiden detecteren die konden wijzen op het falen van de schijf.
Daarom heb ik de firmware eens geupdate, en vervolgens nog eens HDtune laten draaien. Het resultaat was toen wel positief bij alle tests.

Tenslotte heb ik de schijf terug in mijn server gestoken en FreeNAS geherinstalleerd. Tot mijn grote verbazing dook het "CPU probleem" opnieuw op bij het toevoegen van de schijf. Toen ik deze echter formatteerde was het probleem verholpen. Dan heb ik hem met Samba gedeeld over het netwerk, en er vanuit Windows 50 GB aan films op gezet en een paar van deze afgespeeld. Dit leek zonder problemen te verlopen.

UPDATE: Ik heb zojuist ontdekt dat de hoge CPU load NIET afkomstig is van deze schijf, maar wel geboden is aan hetzelfde SATA kanaal.

[Voor 6% gewijzigd door egonolieux op 30-07-2011 00:22]

[Joseph]

Wellicht zit er op dat SATA kanaal een andere (RAID-) controller. Je ziet vaak bij moederborden dat er 2 andere SATA poorten zijn die over een andere controller lopen.

[chronoz]

Screenshot van top?

[CAPSLOCK2000]

en ook graag /proc/interrupts

[egonolieux]

Ondertusse heb ik het probleem volledig kunnen achterhalen. Sata poort 5 en 6 zitten op "een blok" en het zijn telkens deze 2 poorten die het hoge CPU verbruik geven. Dit geldt niet alleen voor de Samsung schijven, maar ook voor mijn solid state drive & andere harde schijven.

Om zeker te weten dat er niets mis is met deze 2 sata poorten, heb ik reeds een paar verschillende besturingsystemen op mijn server geinstalleerd, met dezelfde schijfconfiguratie. Deze besturingssystemen zijn: Windows 7 32-bit, Debian 6.0.2.1 i386, Ubuntu 11.04 i386 en FreeNAS 8.0 Release. Bij geen enkel van deze besturingsystemen doet hetzelfde probleem zich voor.

In Ubuntu heb ik inderdaad (zoals sef24 reeds opmerkte) gemerkt dat er een onderscheid werd gemaakt tussen Sata kanaal 1,2,3,4 en 5,6. Hieruit valt misschien af te leiden dat FreeNAS 7.2 als enige problemen blijkt te hebben met deze SATA controller die gebruikt wordt voor poort 5 & 6. Nochtans kan ik hierover geen verdere informatie vinden van mijn moederbord.

Verder, wat moet ik verstaan onder "Schreenshot van "top"?". Wat /proc/interrupts betreft, moet ik even opnieuw FreeNAS 7.2 installeren aangezien FreeNAS 8 er nog opstaat op dit moment.

[Voor 9% gewijzigd door egonolieux op 30-07-2011 16:13]

[chronoz]

code:

#cat /proc/interupts
#top

Het typen van top + enter in terminal opent een venster zoals deze. Hieraan kun je zien welke processen veel cpu% gebruiken. Je kunt sorteren met shift-p en shift-m op processor en memory.

Eventueel helpt

code:

vmstat 1

bij het vinden van I/O problemen, al moet ik me ook nog altijd eens verdiepen in vmstat en welke getallen nu wat precies voorstellen.

[egonolieux]

Hier is de uitkomst van #top; FreeNAS blijkt de andere 2 commands niet te herkennen.
Uit het resultaat kan ik afleiden dat het CPU verbruik van interrupts komt. Dit wijst waarschijnlijk op een I/O error? Het rare is dat de schijven die op SATA 5 of 6 zitten perfect functioneren, zelfs met het hoge CPU verbruik. Het CPU verbruik verdwijnt zodra deze schijven geformatteerd zijn.

Misschien moet ik eens de SATA modus naar ACHI of RAID zetten i.p.v. SATA. Een minpunt is dat FreeNAS dan opnieuw geinstalleerd moet worden, en eerlijk gezegd ben ik dat nogal beu aangezien ik telkens dat FreeNAS geherinstalleerd wordt, mijn aangepaste netwerk drivers opnieuw moet installeren.

De vraag is natuurlijk, is dit effectief een hardwarefout of ligt dit aan FreeNAS 7.2 zelf? Zoals reeds vermeld heb ik het uitgetest met verschillende besturingssystemen, en het enige besturingsysteem waar het probleem optreed is FreeNAS 7.2.

[Voor 111% gewijzigd door egonolieux op 30-07-2011 20:35]

[CAPSLOCK2000]

egon088 schreef op zaterdag 30 juli 2011 @ 16:11:
Wat /proc/interrupts betreft, moet ik even opnieuw FreeNAS 7.2 installeren aangezien FreeNAS 8 er nog opstaat op dit moment.

Sorry, dit gaat niet werken, ik was even vergeten dat FreeNAS op FreeBSD is gebaseerd. Bovenstaande file bestaat alleen op Linux. Onder FreeBSD weet ik niet hoe je dat doet. "sysstat vm" geeft wel wat informatie over welke IRQs gebruikt worden.

[egonolieux]

#systat vm lijkt ook niet te werken; ik heb al vaak ondervonden dat zelfs sommige FreeBSD commando's niet werken in FreeNAS. Maakt ook niets meer uit, want ik denk dat we het probleem gelocaliseerd hebben, namelijk IRQ 19:

(Zie regel 4 bij CPU2)
http://imageshack.us/photo/my-images/190/tweakersnet002.png/

En blijkbaar ben ik niet de enige met dit probleem:
http://sourceforge.net/ap...=38&p=8412&st=0&sk=t&sd=a

Nu is de vraag echter hoe we dit kunnen verhelpen, want met IRQ's beginnen prutsen vind ik persoonlijk nogal delicaat.

EDIT: blijkbaar is het niet mogelijk deze te veranderen in BIOS. Ik ben er bijna zeker van overtuigd dat dit puur een probleem te wijten is aan FreeNAS zelf, en dat er met mijn hardware niets mis is. Indien ik morgen geen oplossing vind (of van jullie iets te horen krijg) ga ik gewoon mijn systeem weer samengooien en er mee leren leven. Tenslotte lost het probleem zich zelf op eens een schijf op het betreffende SATA kanaal geformatteerd wordt. Het enige waar ik me momenteel eigenlijk zorgen over maak is dus of mijn hardware wel 100% in orde is. Indien dit het geval is hoef ik me geen zorgen meer te maken.

[Voor 61% gewijzigd door egonolieux op 31-07-2011 01:55]

[T.E.C.H.N.O]

koop anders bij alternate.nl een sata controller van 18 euro

[chronoz]

Je kunt kijken bij dmesg of er nog iets tussen staat. Maar gebruik je nu wel of niet een USB->SATA adapter? Dat is met Windows al geen gewenste oplossing, zeker niet met Linux/FreeBSD, gezien deze van nature al wat minder plug-and-play zijn en in de ergste gevallen gewoon niet draaiend zijn te krijgen, omdat er geen goede drivers voor zijn.

Ik heb niet gisteren gereageerd, omdat ik geen idee heb hoe ik je kan helpen. Met IRQ waarden zou ik ook niet gaan kloten, maar indien je harde schijven niet rechtstreeks zijn aangesloten op de SATA poorten van het moederbord, dan gaat het sowieso niet opschieten.

Ik zou sowieso voor een bios-reset gaan en dan even controleren of de SATA-mode nog goed staat ingesteld. Verder kan ik je ook niet helpen, hier gaat gewoon wat tijd in zitten qua troubleshooting en mijn kennis schiet ook wat tekort. Je hebt wellicht meer succes in #freenas, #freebsd (irc.freenode.net) en op FreeNAS/FreeBSD forums.

[egonolieux]

Al mijn schijven en andere media zijn rechtstreeks aangesloten op het moederbord, geen converters of adapters.
Zoals eerder vermeld heb is FreeNAS 0.7.2 het enige besturingsysteem die dit probleem geeft. De Bios waarden naar default zetten & de bios resetten (batterij er uit doen) hebben beiden het probleem niet verholpen.

10 minuten geleden heb ik FreeNAS nog eens geherinstalleerd met als SATA instellingen RAID, en tot mijn verbazing lijkt het probleem nu verholpen te zijn . Stom dat we daar niet eerder aan gedacht hebben, maar uiteindelijk is het dan toch opgelost geraakt .

[Voor 10% gewijzigd door egonolieux op 31-07-2011 13:44]