QNAP TVS-1271U-RP - Na BIOS update LAN adapters niet werkend

[Hoicks]

Vorige week hadden wij het plan om in ons archief opslagsysteem QNAP TVS-1271U-RP met 12 bays slots 9/12 te vullen met 4 1TB SSD's in RAID 5. Echter werden de SSD's niet herkend en gingen er ook geen led's branden.

Na onderzoek kwam ik op artikel https://www.qnap.com/en/h...in-order-to-detect-it-why

Hierop bleek dat er een BIOS update nodig was van de QNAP en ik heb de stappen in dat artikel netjes gevolgd.

Echter bleek dat ik het MAC adres van adapter 0 niet kon terugschrijven. Deze blijft op 88:88:88:88:88:98 staan en vervolgens lukt het niet om er een ip adres op te configureren en daarmee is onze NAS onbruikbaar geworden. Ook lijkt de adapter van ETH0 bij reboots van naam te wisselen tussen ETH 0, ETH5 en ETH6.

In dat artikel wordt er wel iets over genoemd en heb ik ook de instructie gevolgd om die e1000e.ko te gerbuiken, maar dat wordt geweigerd. (Uit mijn onderzoek lijkt dat iets te maken te kunnen hebben met incompatibiliteit van de Linux Kernel i.c.m. deze driver).

insmod e1000e.ko it returns with inmsod: can't insert 'e1000e': invalid module format.

Network reset van de QNAP doet ook niet. (Had ik eigenlijk ook niet verwacht)

Inmiddels is er een support ticket ingeschoten bij QNAP waar ik tot op heden nog geen reactie op heb gehad. Verder is er geen sprake van een supportcontract of anderszijds.

Wel heb ik gezien dat er een nieuwere BIOS update beschikbaar is (ik ging ervan uit dat de versie die ik heb ingespoeld de laatste was, maar ik ben bang om nogmaals een BIOS update uit te voeren omdat ik niet weet wat voor effect dat gaat hebben op de adapters.

Is er iemand die mij meer kan vertellen welke richting ik op moet werken? Op dit moment kan ik de NAS alleen nog managen middels HDMI poort en USB toetsenbord/muis.

Ik vind het sowieso opmerkelijk dat de LAN Adapters bij een BIOS update hun mac adressen verliezen, maar dat terzijde.

[ Voor 7% gewijzigd door Hoicks op 14-03-2022 10:58 ]

[nelizmastr]

BIOS en netwerkkaart hebben idd niets met elkaar te maken. Dan zat er ook firmware in voor de NIC.

Wat zeggen de release notes van de nieuwste BIOS? Staat daar iets in over de netwerkkaart?

[Hoicks]

Nee. Release notes geven - zoals te lezen is op de pagina van die link - aan dat de adapters hun mac adres kwijt raken met de daarbij behorende oplossing. Alleen werken de commando's met die e1000e adapter settings niet bij mij en loop ik dus vast.

Release notes zijn erg summier. Dus daar kan je niet zoveel mee. Zou het kwaad kunnen om een BIOS update te doen naar QW10IR14. Daar zit wel een LAN1 link item in.

Model : TS-X71U SATA
Version : QW10IR14
Build Date : 2020/03/13
CheckSum : D258EA47h
Arthur : Claudius Lin
-----------------------------------------------------------------------------
-Bug Fixes
1.[TS-471U]LAN1無法Link

-Newly Implemented Items

-Changes/Updates

=============================================================================
Model : TS-X71U SATA
Version : QW10IR13
Build Date : 2020/03/09
CheckSum : D25B86CDh
Arthur : Claudius Lin
-----------------------------------------------------------------------------
-Bug Fixes
1.[TS-471U]搭配QXP-400eS/QXP-800eS,會導致機台無法正常開機

-Newly Implemented Items

-Changes/Updates

Model : TS-X71U SATA
Version : QW10IR12 Nu actief
Build Date : 2016/01/30
CheckSum : D259319Ch
Arthur : Claudius Lin
-----------------------------------------------------------------------------
-Bug Fixes
1.Fix bug "Bug 73079 - [Mantis #7103] With 12G SAS JBOD connected, some HDD drives can not be recognized after rebooting NAS multiple times"

-Newly Implemented Items

-Changes/Updates

[Mijzelf]

Volgens modinfo is die module voor kernel 4.2.8:

$ modinfo ./e1000e.ko | grep magic
vermagic:       4.2.8 SMP mod_unload

Als jij een oudere kernel hebt (uname -r) moet je mogelijk eerst een firmware update doen.

[Hoicks]

Ik denk dan eerder dat ik een nieuwere driver nodig heb. Zit al op de laatste QTS versie. Ik zal eens kijken. Thanks

Kan ik ook ergens een e1000e.ko voor nieuwere kernels ergens vinden?

[ Voor 23% gewijzigd door Hoicks op 14-03-2022 20:42 ]

[Thralas]

nelizmastr schreef op maandag 14 maart 2022 @ 12:46:
BIOS en netwerkkaart hebben idd niets met elkaar te maken. Dan zat er ook firmware in voor de NIC.

Het daadwerkelijke BIOS/UEFI is slechts een onderdeel van de inhoud van het flash op je moederbord. Er zitten altijd nog boardspecifieke parameters, serienummers en andere blobs in verstopt.

Meestal als je je BIOS flasht schrijft de flasher maar een gedeelte. De instructies van QNAP gebruiken echter flashrom om de hele chip te beschrijven. Als die e1000e onboard zit dan zou het zelfs zo kunnen zijn dat de MAC-adressen daar toch ook onderdeel van uitmaken (naast, zoals je zegt, eventuele firmware).

Hoicks schreef op maandag 14 maart 2022 @ 20:39:
Ik denk dan eerder dat ik een nieuwere driver nodig heb. Zit al op de laatste QTS versie. Ik zal eens kijken. Thanks

Kan ik ook ergens een e1000e.ko voor nieuwere kernels ergens vinden?

Het zou me verbazen als dat helpt.

QNAP heeft er een zooitje van gemaakt door je met allerlei puzzelstukjes op te zadelen in plaats van een all-in-one flasher. Redelijk schandalig voor een apparaat van €2000 als je het mij vraagt.

De reden dat je de kernelmodule moet unloaden en opnieuw loaden, waarbij e1000e.ko is bijgevoegd doet vermoeden dat je daar niet te maken hebt met de originele e1000e driver, maar dat ze het één en ander gewijzigd hebben zodat ze het MAC kunnen overschrijven. Deze is dus 'speciaal'.

De wijziging zal klein zijn, maar ze vertellen er niet bij wat ze precies hebben gedaan, dus dat maakt reproduceren iets lastiger. Het makkelijkste is om de bijpassende kernel te booten zodat je de driver wel kunt laden.

Ook lijkt de adapter van ETH0 bij reboots van naam te wisselen tussen ETH 0, ETH5 en ETH6.

Veel drivers randomiseren het MAC-adres van een adapter als er geen statisch adres beschikbaar is. En Linux zonder persistent network device naming laat de naam afhangen van het MAC-adres, dus ja..

[Hoicks]

Op dit moment staat QTS versie 5 erop. Hoe zou ik dan moeten booten naar een oudere versie (4?) om de kernel wel goed te krijgen om vervolgens het juiste mac adres terug te kunnen schrijven naar de LAN0 adapter?

[Thralas]

Hoicks schreef op dinsdag 15 maart 2022 @ 10:00:
Op dit moment staat QTS versie 5 erop. Hoe zou ik dan moeten booten naar een oudere versie (4?) om de kernel wel goed te krijgen om vervolgens het juiste mac adres terug te kunnen schrijven naar de LAN0 adapter?

Ik ken QNAP niet, maar staat het OS niet op een removable harddisk? Dan lijkt het me het simpelste om inderdaad die versie te installeren.

Anders: welk resultaat geeft het uitvoeren van hal_app conform de beschrijving van QNAP?

Kun je dat eens uitvoeren met strace, zodat je misschien kunt zien wáárnaar het probeert te schrijven?

Ook: volgens de e1000e driver in mainline Linux is de eeprom (waar vaak het MAC inzit) standaard niet writable. Met een optie kun je dat aanzetten. Het kan zijn dat de gewijzigde driver zoiets realiseert.

Het interessante is wel: de e1000e driver van QNAP is heel anders dan de mainline driver, en die optie zie ik in de QNAP driver niet eens terug. Welke kernelversie heb je nu, en kun je eens de output van modinfo e1000e posten?

Als uit de strace blijkt dat hij iets met de NIC probeert te doen, en de output van modinfo die Write-protect NVM-optie wel laat zien, dan kan ik me voorstellen dat het de moeite waard is om de module eens opnieuw te inserten met die optie op 0..

[Hoicks]

Ik heb een artikel gevonden om de firmware handmatig terug te zetten naar een voorgaande versie. In dit geval draaien wij nu QTS5 en ik kan handmatig terug naar QTS 4.5.4.1892 build 20211223

Stappen:

• Download 4.5.4.1892 build 20211223 naar USB Stick
• Kopieer de .img file van USB stick naar een Share op de NAS
• Start downgrade proces volgens: https://wiki.qnap.com/wiki/Manually_Updating_Firmware
• Reboot
• Middels de e1000e.ko driver het mac adres goed zetten
• Hopen dat dit werkt.

Volgens mij zou daarmee de storage pool onaangetast moeten blijven (die storage pool is al veel ouder dan recente firmware updates, hoewel als data verloren gaat hebben we nog backups).

Zien jullie problemen als ik dit zou gaan doen? De kernel zou dan goed moeten zijn om die e1000e.ko werkend te krijgen.

[ Voor 4% gewijzigd door Hoicks op 16-03-2022 11:29 ]

[Thralas]

Het zou heel slordig zijn als het impact heeft op je data, maar merk op dat het artikel gaat over updates - niet over downgrades. Ik denk dat niemand je garanties kan geven anders dan de fabrikant zelf.

De rest van het plan ziet er wel uit alsof het zou moeten werken, mits die versie 4 met kernel v4.2.8 komt.

[Hoicks]

Downgrade uitgevoerd naar de laatste versie voor wat betreft niet versie 5 van QTS. 20211223 4.5.4.1892 echter daar krijg ik als kernel 4.14.24-qnap terug en ook daar krijg ik dezelfde melding met die e1000e.ko driver. Ben dus netto niets opgeschoten.

QNAP support reageerde wel op mijn ticket (maar hebben het qua inhoudelijke reactie niet eens gelezen zo lijkt het, maar na mijn reactie terug, blijft het doodstil aan die kant.

Slecht dit. Het lijkt er bijna op dat ik een storage systeem moet afschrijven door een fout van de eigen fabrikant.

[Thralas]

Hoicks schreef op vrijdag 18 maart 2022 @ 10:59:
Downgrade uitgevoerd naar de laatste versie voor wat betreft niet versie 5 van QTS. 20211223 4.5.4.1892 echter daar krijg ik als kernel 4.14.24-qnap terug en ook daar krijg ik dezelfde melding met die e1000e.ko driver. Ben dus netto niets opgeschoten.

Post eens de output van achtereenvolgens modinfo e1000e en modinfo e1000e.ko (dwz. de file die meegeleverd wordt met de update)?

EDIT: Nevermind, we zochten kernel v4.2.8 - als je kernel na de downgrade v4.14.24 is, dan is dat inderdaad niet compatible.

Je hebt een andere firmwareversie nodig.

EDIT2: De oudste firmwareversie hier heb ik voor je gecontroleerd: die bevat in ieder geval v4.2.8

[ Voor 25% gewijzigd door Thralas op 18-03-2022 11:22 ]

[Hoicks]

Thralas schreef op vrijdag 18 maart 2022 @ 11:05:
[...]


EDIT2: De oudste firmwareversie hier heb ik voor je gecontroleerd: die bevat in ieder geval v4.2.8

Welke firmware doel je dan precies op? Hoe zie jij welke kernel er in welke firmware wordt meegeleverd?

[Thralas]

Hoicks schreef op vrijdag 18 maart 2022 @ 11:26:
Welke firmware doel je dan precies op? Hoe zie jij welke kernel er in welke firmware wordt meegeleverd?

Ik heb de firmware uitgepakt, gedecrypt, de kernel eruitgevist en daar het versienummer van bekeken. Als je dat in een scriptje zet, is dit het overzicht:

code:

TVS-X71U_20190328-4.3.6.0895.img.out.dir: Linux version 4.2.8
TVS-X71U_20190425-4.3.6.0923.img.out.dir: Linux version 4.2.8
TVS-X71U_20190531-4.3.6.0959.img.out.dir: Linux version 4.2.8
TVS-X71U_20190620-4.3.6.0979.img.out.dir: Linux version 4.2.8
TVS-X71U_20190704-4.3.6.0993.img.out.dir: Linux version 4.2.8
TVS-X71U_20190918-4.4.1.1064.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20190919-4.3.6.1070.img.out.dir: Linux version 4.2.8
TVS-X71U_20191005-4.4.1.1081.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20191010-4.4.1.1086.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20191025-4.4.1.1101.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20191109-4.4.1.1117.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20191206-4.4.1.1146.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20200214-4.4.1.1216.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20210515-4.5.3.1670.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20210611-4.5.3.1697.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20210708-4.5.4.1723.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20211221-5.0.0.1891.img.out.dir:
TVS-X71U_20211223-4.5.4.1892.img.out.dir: Linux version 4.14.24-qnap
TVS-X71U_20220129-5.0.0.1932.img.out.dir:

Één van die 4.3.6-versies moet dus werken. Waarschijnlijk maakt het niet uit welke, dus dan zou ik de laatste pakken.

[Hoicks]

Top! Zover had ik nog niet gedacht! Ga ik een van die firmwares proberen die wel de juiste kernel heeft.

Ik hou je op de hoogte!

[Hoicks]

We hebben geprobeerd om een andere firmware erop te knallen die wel voldoet aan de juiste kernel. Waarschijnlijk komt het door een voorgaande downgrade naar de QTS versie die nu draait, dat wij geen toegang meer hebben tot alle mappen onder /share.

We dachten dat te kunnen fixen door een factory reset te doen. Wat er dan echter gebeurt (en was voor ons onvoorzien) is dat het admin wachtwoord wordt gereset naar het macadres van de eerste adapter. En laat daar nu net een issue mee zijn. Ik heb nog een screenshot waarin het mac adres van LAN0 888888888788 maar dat wordt niet geslikt als admin wachtwoord. Ook het originele als het door ons eerder gebruikte admin wachtwoord wordt niet geaccepteerd. Ofwel. We zijn locked out.

Een collega van mij opperde of er een mogelijkheid is om de adapter aan een switch te hangen om te kijken of het macadres uit te lezen is, zodat we mogelijk het wachtwoord daaruit kunnen halen. Geen idee of dit kan. Of kijken of we kunnen booten van een Linux livecd om te kijken of we daar wat kunnen zien.

Wat een gekloot dit.


Na het booten van een USB stick met Freedos en het bijwerken van de BIOS naar de laatste versie hebben we kunnen rebooten zonder disken en kunen we er weer in met wachtwoord van het macadres 888888888788.

We kunnen er dus gelukkig weer in. Maandag kijken we nog wel even verder weer. De uitdaging zit hem nu in het feit dat ik ergens de .img file neer moet kunnen zetten om de update in te kunnen starten. Doordat alles onder /share niet toegankelijk was, lukt het niet via die weg.

[ Voor 18% gewijzigd door Hoicks op 21-03-2022 09:08 ]

[Thralas]

Hoe staat het ermee?

[Hoicks]

Ik heb een consultant ingehuurd die meer Linux kennis heeft om te bepalen of we andere firmware zouden kunnen installeren. Die zou gisteren komen, maar zit nu in isolatie. Dus nog even geduld.

[Thralas]

Hoicks schreef op zaterdag 26 maart 2022 @ 13:00:
Ik heb een consultant ingehuurd die meer Linux kennis heeft om te bepalen of we andere firmware zouden kunnen installeren. Die zou gisteren komen, maar zit nu in isolatie. Dus nog even geduld.

Welke versie draait 'ie nu? Het MAC-adres is nog niet gerepareerd, toch?

Ik heb je een linkje gestuurd naar een disk image. Uncompressen (!), dan heb je een image van 128 MB die je raw naar een USB stick kunt schrijven.

Als het goed is kun je daarvan booten, dat geeft je op de console een shell. In de root staat de e1000e.ko die bruikbaar is met de rest van de instructies van QNAP om het MAC-adres te repareren.

Ik heb geen QNAP, dus kan het niet voor je testen, maar in een VM boot het hier. Garantie tot de deur.

[Hoicks]

Thralas schreef op zondag 27 maart 2022 @ 23:05:
[...]


Welke versie draait 'ie nu? Het MAC-adres is nog niet gerepareerd, toch?

Ik heb je een linkje gestuurd naar een disk image. Uncompressen (!), dan heb je een image van 128 MB die je raw naar een USB stick kunt schrijven.

Als het goed is kun je daarvan booten, dat geeft je op de console een shell. In de root staat de e1000e.ko die bruikbaar is met de rest van de instructies van QNAP om het MAC-adres te repareren.

Ik heb geen QNAP, dus kan het niet voor je testen, maar in een VM boot het hier. Garantie tot de deur.

Ik heb net even teruggelezen, maar een image waar ik middels een USB stick kan booten, is mij in jouw posts niet opgevallen. Waar refereer jij precies naar? Dat zou namelijk een hele goede oplossing zijn. Bootable USB stick met die e1000e.ko driver erin en dan inderdaad proberen het mac adres terug te schrijven.

Ik was namelijk in de veronderstelling om eerst de firmware van de QNAP naar een bepaalde versie te brengen die de juiste kernel heeft om vervolgens de e1000e.ko driver te te passen. Maar booten vanaf USB omhetzelfde te bereiken is gemakkelijker en mooier.

Edit. Ah. Link kwam via PM. Got it. EVen kijken wanneer ik weer op kantoor ben om ermee verder te gaan. Thanks!

[ Voor 4% gewijzigd door Hoicks op 28-03-2022 08:08 ]

[Hoicks]

De image van @Thralas bootte wel, maar gaf een error:"Can't access tty: job control turned off 1488K". Na deze melding was het niet mogelijk om iets met de NAS te doen.

Via de firmware die erop staat heb ik gepoogd om nogmaals een firmware downgrade uit te voeren naar de 4.3.6 firmware, maar dat staat de QNAP niet toe omdat de signature niet kan worden gevalideerd.

Wel heb ik nogmaals een netwerk reset uitgevoerd en ik kan zowaar via eth0 een netwerkverbinding tot stand brengen.

Ook als ik de firmware probeer te downgraden, blijft het probleem dat de signature van de oude firmware niet wordt toegestaan. Mogelijk is hier omheen te werken.

De NAS is nu in ieder geval weer remote benaderbaar.

Op dit moment draait de configuratie als volgt:
Firmware 4.5.4.1892
ETH0:
Vendor name :Intel Corporation
NIC model :Intel Ethernet Connection I217-LM
MAC Address : 88:88:88:88:87:88
Speed :1 Gbps
MTU : 1500
Smart Offload :--
SR-IOV :Unmapped
PCIe :Onboard

De vraag is:
a) kan het kwaad als ik dit mac adres 88:88:88:88:87:88 zou blijven gebruiken? (Liever niet want ik hou niet van unexpected behaviour) en ik weet niet wat het doet als ik de interfaces wil teamen.
b). is er een mogelijkheid om het checken van de signaturs uit te schakelen zodat een downgrade naar 4.3.6 mogelijk wordt en we de e1000e.ko wel kunnen gebruiken om het mac adres terug te flashen?)

Edit:
Interessant. Als ik de firmware in de zip laat zitten en ik pas hem dan toe in de webconsole krijg ik wel de vraag of ik de failed signature wil laten zitten en terug kan laten flashen na 4.3.6 (wel met de nodige waarschuwingen dat er bepaalde zaken niet meer zouden kunnen werken).

Ik heb nu de firmware toegepast en het ding staat nu in een reboot. Ben benieuwd.

[ Voor 12% gewijzigd door Hoicks op 31-03-2022 15:56 ]

[Thralas]

Hoicks schreef op donderdag 31 maart 2022 @ 15:44:
De image van @Thralas bootte wel, maar gaf een error:"Can't access tty: job control turned off 1488K". Na deze melding was het niet mogelijk om iets met de NAS te doen.

Dan werkt het juist zoals verwacht. Kijk eens goed of je een / # geoutput ziet? Precies na de job control-regel als het goed is. Er staat waarschijnlijk wel kernel output doorheen.

Als een paar keer op enter drukken niets doet, dan is er iets mis met de keyboard driver - ik neem aan dat je een USB keyboard gebruikt, en geen mogelijkheid tot PS/2 hebt?

[ Voor 4% gewijzigd door Thralas op 04-04-2022 00:00 ]

[Hoicks]

Vanmorgen kon ik eindelijk verder. Ik heb het commando hal_app --se_sys_get_mac obj_index=0
24:5E:BE:03:7D:3E gebruikt om het Mac adres terug te schrijven naar de 1e adapter. Wat wel weer vaag is, is dat de NAS01 eth0 heeft hernoemd naar eth5. In de console van de NAS01 zie ik dat adapter 1 nu adaper 5 heet. Ik heb de e1000e driver uiteindelijk ook niet hoeven aan te spreken.

In de basis is dus eigenlijk alles wel weer goed. RAID set bleek wel kapot. Daarom de NAS maar even helemaal teruggezet naar fabrieksinstellingen met het verwijderen van storagepools etc. Hierbij kwam de eerste LAN poort ook weer als Netwerkadapter 1 in de lucht.

Na de reboot van bovenstaande zag ik echter de 4 SSD's nog steeds niet (waar het issue in principe allemaal mee begon.

Ineens zag ik een post om eens gewoon helemaal de voedingskabels te ontkoppelen en het moederbord zoveel mogelijk spanningsvrij te maken. Nadat ik deze actie heb voltooid kwamen ook de SSD's in de lucht. (Achteraf gezien kan ik mij wel voor mijn kop slaan dat ik zo'n simpele stap niet eerder heb bedacht).

UIteindelijk is de NAS dus nu helemaal bij qua BIOS, Firmware. Nu maar eens helemaal opnieuw inrichten.

@Thralas bedankt voor je uitgebreide hulp.

[Renault]

Ben blij voor je dat het na deze lange zoektocht weer werkt!