Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie
Toon posts:

Tesla Model S/X raken 'bricked' door worn-out SSD

Pagina: 1
Acties:

Onderwerpen


  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
Alle Tesla Model S/X met MCU 1 (Media Control Unit) hebben last van een 8GB eMMC/SSD die defect raakt. Dit komt doordat de software (Linux) in de MCU te veel schrijft naar deze eMMC.

Dit zijn alle auto's van voor Februari 2018!

eMMC (SSD / flash geheugen) heeft een maximaal aantal keer dat het beschreven kan worden en zodra dit te vaak gebeurd begint het geheugen onbetrouwbaar te worden.

Zodra de eMMC op de MCU door zijn schrijf cycli heen is krijg je te maken met een scherm wat zwart blijft, Bluetooth welke slecht werkt en diverse kwaaltjes.

Op een gegeven moment stopt de auto helemaal met functioneren en zal deze ook niet meer opladen.

(Ubuntu) Linux
Op de MCU van Tesla draait een zwaar aangepaste versie van Ubuntu Linux. Ooit begonnen als Ubuntu 10.10 (uit 2010) en sindsdien door Tesla flink aangepast.

De eMMC is opgedeeld in 4 partities:

- p1: Primaire firmware
- p2: Secundair firmware
- p3: /var
- p4: /home

Nu is p3 vooral het probleem. Tesla heeft syslog aan staan naar /var/log en daar wordt flink naar geschreven.

Ook zijn de firmware updates inmiddels al erg groot en deze overschrijven steeds p1 en p2. Dit zorgt voor weer extra cycli op de slechts 8GB grote eMMC.

Meer informatie over het OS van de MCU vind je ook hier: https://github.com/Lunars/tesla

Nieuwsberichten
Internationaal heeft dit de laatste tijd al wat aandacht gekregen, maar recentelijk komt er steeds meer aandacht:

- https://insideevs.com/new...la-mcu-emmc-memory-issue/
- https://www.vice.com/en_u...denly-bricking-tesla-cars
- https://www.tomshardware....ssive-data-logging-report

Inmiddels zijn er (ook in NL) ook al bezig met de eMMC zelf te vervangen. Tesla rekent namelijk EUR 3.500,00 voor het vervangen van de gehele MCU!

Dit terwijl slechts een kleine chip van rond de EUR 50,00 defect geraakt is. Inmiddels heb ik de eMMC van mijn auto (uit 2013) preventief vervangen door een 64GB chip (Swissbit 64GB eMMC)

Op Tesla Motors Club is hier ook een topic over: https://teslamotorsclub.c...placement-on-mcu1.152489/

eMMC chip





Tweakers zouden Tweakers niet zijn om dit stukje geheugen zelf te vervangen. Daarom heb ik het dus ook al zelf gedaan vóórdat mijn auto er mee stopt 8)

Op de foto hier boven zie je de 64GB Swissbit chip die ik inmiddels op mijn MCU heb gezet.

Tesla blijft dit probleem nog steeds ontkennen en het gaat alleen maar erger worden. Binnen een paar jaar stopt Model S/X vanwege deze 8GB chip die kapot gaat doordat hun software er gewoon té veel naar toe schrijft.

Zelf vervangen is met de juiste soldeer en Linux kennis goed mogelijk, maar het kost je wel een uur of 4.

[Voor 12% gewijzigd door Snow_King op 16-10-2019 09:35]


  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
BlakHawk schreef op woensdag 16 oktober 2019 @ 08:26:
Cool dat je dit zelf hebt opgelost!
Ik heb er ook over gelezen dat het bij andere modellen ook een probleem blijft. De architectuur zou niet veranderd zijn, maar het geheugen vergroot, waardoor het enkel uitstel van executie zou zijn.

Toch vervelend voor tweedehands markt, koop je een EV mede door laag onderhoud, koop je een Tesla van 12 jaar oud en krijg je opeens 3500 euro voor je kiezen...
Was wel een leuke oefening! Ik vond het ook bizar en wilde ook voorkomen dat ik ineens verrast werd.

De auto begon al kuren te krijgen. Scherm bleef lang zwart na instappen, Bluetooth deed raar. Alles wees er op dat het fout begon te gaan.
TheBrut3 schreef op woensdag 16 oktober 2019 @ 08:39:
Dit zou toch gewoon een terugroepactie moeten zijn? Ik bedoel, het is een grote productiefout waardoor de auto kan stoppen met werken. Riekt als PON praktijken.

Edit: Of waarom kan Tesla deze niet standaard leeg gooien bij onderhoud?
Geen idee óf dat zo moet zijn, ik weet niet of dit voor een terugroepactie nodig is.

Leeg gooien heeft geen nut, die cellen zijn al beschreven.
Cybje schreef op woensdag 16 oktober 2019 @ 08:53:
Heb het probleem ook gehad bij mijn Model S uit 2014, was toen onder garantie vervangen. Zat echt precies op het randje van wel/geen garantie nog.

Maar ik blijf het erg bijzonder vinden dat dit kan bij een tech bedrijf als Tesla en dat ze er dan niet in elk geval iets softwarematig aan doen (bijvoorbeeld domweg minder loggen, of naar RAM loggen).

Anyway, wel gaaf dat je het zelf hebt gefixt!
Het is ook bizar dat dit gebeurd en dat Tesla dit stil blijft houden en klanten zo'n bizar bedrag rekent.

Ze vervangen ook de hele computer terwijl ze zelfs een kleine PCB kunnen wisselen...
Intelligo schreef op woensdag 16 oktober 2019 @ 08:57:
Gaaf! Dit vind ik nou echt iets om in .Geek op de frontpage onder de aandacht te brengen :)

edit: ik heb inmiddels een topic aangemaakt in Geachte Redactie om dit onder de aandacht te brengen. Ik ging er een beetje vanuit dat je het daar wel mee eens zou zijn @Snow_King maar als dat niet zo is haal ik hem natuurlijk direct weg O-)
Leuk! Prima Frontpage artikel denk ik zo :)
CyBeRSPiN schreef op woensdag 16 oktober 2019 @ 09:07:
@Snow_King stel dat die eMMC wel kapot zou zijn al, is er dan nog aan de inhoud te komen die erop geflasht moet?
En is het niet verstandig om voor een sdcard module te gaan zodat je deze zonder solderen kunt swappen de volgende keer?
Je hebt 2 bestanden nodig, de rest is allemaal gelijk per auto.

Deze 2 VPN certificaten staan op partitie 3 en met de juiste chiplezers en andere recovery tools zijn deze er vaak wel uit te halen.

Zonder deze certificaten werkt de auto wel, maar werkt de Tesla app niet meer.

Een SD-Card er op zetten gaat niet zo maar. Fysiek past dat slot niet.

  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
BlakHawk schreef op woensdag 16 oktober 2019 @ 09:21:
[...]


En na de aanpassing werkt het weer naar behoren?
Perfect! Auto start snel op en alles werkt naar behoren.

De nieuwe chip is ook sneller en dat lijkt wel positieve invloed te hebben.
Sissors schreef op woensdag 16 oktober 2019 @ 09:22:
[...]

Ik weet niet hoeveel Linux kennis nodig is, maar qua solderen: Als je je afvraagt of je dit zelf kan solderen, dan is het antwoord "nee". Een 153 pins BGA met 0.5mm pitch moet je niet aan beginnen als je niet echt weet wat je aan het doen bent.
Klopt. Ik heb het (de)solderen door een 'telefoonshop' laten doen.

De copy van de data gedaan met een AllSocket eMMC programmer op mijn Linux laptop.

  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
The Zep Man schreef op woensdag 16 oktober 2019 @ 09:47:
@Snow_King Waarom heb je geen (micro)SD kaartlezer erop gesoldeerd? Dan kan je het geheugen later nog veel makkelijker vervangen.
In theorie zou het kunnen, maar ik heb geen mogelijkheid gevonden die er op te zetten.

Daarom nu een 64GB chip die het wel een hele tijd gaat uithouden.
KNed schreef op woensdag 16 oktober 2019 @ 09:52:
Cool dat je dit zelf gedaan hebt.

Wat kost dit nu voor jou qua tijd en geld?
Ongeveer 4 uur qua tijd.

De eMMC chip was zo'n EUR 50 en ik heb EUR 250 betaald aan iemand om het soldeerwerk te doen.

Met nog een eMMC reader van AllSocket er bij in totaal iets van EUR 500.
Erapaz schreef op woensdag 16 oktober 2019 @ 10:19:
[...]


Je koopt een auto van 100k en na een aantal jaar heb je een onderhoudsbeurt van 3500 euro (voor 50 euro aan onderdelen). Voor de consument maakt het helemaal niks uit of er een SSD in zit of niet, dit is het probleem van Tesla en zij moeten het netjes oplossen. Buiten garantie zouden de onderdeelkosten van 50 euro voldoende moeten zijn.
Het bizarre is dat het stukje printplaat waar de chip op zit een aparte print is met CPU+RAM+eMMC. Ook alleen die al swappen zou voldoende zijn. Maar Tesla vervangt de HELE computer. Bizar.
Hij verdiend oa credits hier voor! Wereldwijd zijn hier veel mensen mee bezig.
arsimo schreef op woensdag 16 oktober 2019 @ 13:39:
[...]


Het genante is dat ze bij de software development van Tesla hier hoogstwaarschijnlijk gewoon niet eens aan gedacht hebben. Die betreffende logs gebruiken ze tijdens ontwikkeling voor debugging e.d., maar van in productie rijdende auto's kijken ze er niet eens naar heb ik begrepen. En van die fysieke write cycle limieten zullen mogelijk sommige van de software ontwikkelaars niet eens gehoord hebben, laat staan om die logs in een productie built simpelweg uit te schakelen. Ze maken mooie software maar ze laten meer van dit soort steekjes vallen is mijn indruk - zoals niet (altijd?) clearen van buffers na een software upgrade. Al twee keer had ik daardoor problemen na een upgrade - ik doe nu altijd meteen een reset na een upgrade en dan geen problemen. Overkomenlijk, maar het zou niet nodig moeten zijn.
Oh, dat denk ik ook. Die ontwikkelaars testen denk ik in VM's en hebben geen idee van zulke zaken.

Die hebben geen idee dat ze voorzichtig moeten zijn met die eMMC.

Overigens staan de navigatie kaarten wel weer op een losse 16GB SD-Card op de computer. Waarom de rest ook niet een SD-Card is? Geen idee.
dehardstyler schreef op woensdag 16 oktober 2019 @ 14:37:
Tesla heeft een erg hoog Apple gehalte lijkt het wel. Je mag absoluut nergens bij, geen onderdelen te krijgen en €3500 rekenen voor een voor Tesla relatief simpele ingreep. En als klap op de vuurpijl alles eerst ontkennen, totdat iemand hiervoor een clash action lawsuit opzet. Jammer.
Ik ben heel blij met mijn twee Model S, maar dit is gewoon erg jammer.

Tesla wil ook gelijk je auto niet meer aanraken als ze hier achter komen. Wat ook bizar is. Gelukkig weten ze het van mijn auto niet.
dehardstyler schreef op woensdag 16 oktober 2019 @ 16:53:
Goed bezig @Snow_King! Hij staat op de frontpage. :)
En uiteraard ook @Intelligo voor het onder de aandacht brengen van het probleem!
Ik zag het. Leuk!

  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
likewise schreef op woensdag 16 oktober 2019 @ 17:10:
[...]

Alle hulde voor je soldeer en recover actie. Maar het is voor Tesla een kleine moeite om de vendor ID van een eMMC chip via telemetrie door te sturen als ze willen weten of jij zelf de vervanging hebt gedaan.

Ik zou er ontzettend van balen als je dan als consument de dupe wordt / in een juridische strijd komt omdat je het zelf gefixed hebt.
Zou kunnen ja, maar Tesla lijkt dat niet te doen.

Mijn vrouw rijd in deze auto en die moet het gewoon doen. Ik weiger ook EUR 3500 te betalen voor een nieuwe MCU omdat hun developers die eMMC kapot schrijven.
likewise schreef op woensdag 16 oktober 2019 @ 17:12:
Hoeveel data was er eigenlijk naar die derde partitie geschreven? Was het een ext4 fs en heb je het image nog? ext4 houdt het nl. bij. Ik ben erg benieuwd hoe vaak de eMMC rond geschreven is.
Het is ext4 inderdaad. Maar ik heb die data zo niet. Zou ik echt moeten gaan zoeken.

Dit is de partitie tabel:

code:
1
2
3
4
5
6
7
8
9
10
11
12
Disk okmmcblk0: 7.3 GiB, 7818182656 bytes, 15269888 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x00000000

Device      Boot   Start      End  Sectors  Size Id Type
okmmcblk0p1         4096  2101247  2097152    1G 83 Linux
okmmcblk0p2      2101248  4198399  2097152    1G 83 Linux
okmmcblk0p3      4198400  4460543   262144  128M 83 Linux
okmmcblk0p4      4460544 15155199 10694656  5.1G 83 Linux


p3 (/var) en p4 (/home) zijn beide ext4. MCU draait kernel 4.4

  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
timberleek schreef op woensdag 16 oktober 2019 @ 17:17:
[...]


Op zich niet heel gek. SD kaarten zijn trager, duurder, vereisen een duur mechanisch sd slot, moeten achteraf handmatig geplaatst worden in plaats van via de pick-and-place machine en zijn mechanisch zwakker. Een navigatiekaart die een onbetrouwbare verbinding krijgt door een gat in de weg is niet zo erg, maar voor een kritisch systeem wil je dat niet.
Logische uitleg :)
timberleek schreef op woensdag 16 oktober 2019 @ 17:17:
[...]
Is nog wel een dure fix geweest als die 50+250 euro kosten. We kopen hier onze emmc (weliswaar 4GB) in voor ca 3 euro. Maar voor enkel stuks is het natuurlijk altijd lastig.
Klopt. Ik heb een enkele 64GB Swissbit eMMC gekocht bij Mouser en daar betaalde ik met alles bij elkaar rond de EUR 50.

Die EUR 250 was ook met de PCB opsturen naar iemand, zijn uurloon voor het solderen, etc. Het kan allemaal goedkoper, maar dit was vele malen goedkoper dan het door Tesla laten doen.

  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
likewise schreef op woensdag 16 oktober 2019 @ 17:26:
[...]


Kun je het filesystem (image) nog read-only mounten?

sudo mount /dev/sda3 /tmp/tesla -o ro

en dan zou je zoiets kunnen zien:

cat /sys/fs/ext4/sda3/lifetime_write_kbytes
1915628269

Als we dat delen op de eMMC size weten we hoe vaak de eMMC rond is geschreven, we kunnen de write amplication factor zelf ongeveer raden.
Moet ik gaan proberen. Ik heb die image nu niet zo bij de hand.

Image was ook al behoorlijk verrot en heb van alles moeten doen om hem nog levende moeten krijgen,

  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
likewise schreef op woensdag 16 oktober 2019 @ 17:26:
[...]


Kun je het filesystem (image) nog read-only mounten?

sudo mount /dev/sda3 /tmp/tesla -o ro

en dan zou je zoiets kunnen zien:

cat /sys/fs/ext4/sda3/lifetime_write_kbytes
1915628269

Als we dat delen op de eMMC size weten we hoe vaak de eMMC rond is geschreven, we kunnen de write amplication factor zelf ongeveer raden.
Ik ben met dumpe2fs gaan kijken, maar de waardes die er uit komen lijken niet te kloppen.

Staat 1888kB bij, dus dat lijkt mij niet te kloppen.
Thralas schreef op woensdag 16 oktober 2019 @ 18:45:
[...]


Hoeft niet. dumpe2fs laat 't ook zien.

# dumpe2fs -h /dev/sda1 | grep wri
dumpe2fs 1.43.4 (31-Jan-2017)
Last write time:          Fri Nov 10 22:49:24 2017
Lifetime writes:          129 GB


(Geen Tesla, enkel illustratie)
Dank! Zie dus hier boven. Ik krijg er maar weinig uit.

Image staat als loop device op mijn laptop:

code:
1
2
3
4
$ sudo dumpe2fs /dev/mapper/loop14p3|grep -i write
dumpe2fs 1.44.1 (24-Mar-2018)
Last write time:          Wed Oct 16 17:41:41 2019
Lifetime writes:          1888 kB
MikeyMan schreef op woensdag 16 oktober 2019 @ 21:34:
Hoe zeker ben je van de kwaliteit van de nieuwe soldeerverbindingen? Heb je een inschatting van de nieuwe verwachte levensduur? 8x zo groot dus 8x zo lang?
Ik heb daar wel aardig vertrouwen in. Mocht het écht kapot gaan dan kan ik altijd nog een nieuwe MCU bij Tesla kopen. Maar liever niet eigenlijk.

Het vervelende is ook dat er een levendige handel is in MCU's die je helemaal kan wipen. Maar Tesla weigert mee te werken deze weer te voorzien van de juiste software. Hun Service Centers hebben hier wel alle mogelijkheden voor, maar ze weigeren het.
dmantione schreef op donderdag 17 oktober 2019 @ 21:05:
[...]


Wablief?! 8)7

EMMC is flashgeheugen zonder controller die de levensduur maximaliseert. Dat betekent dat het maximaliseren van de levensduur in software moet gebeuren. Ext4 is geen bestandssysteem die dat soort intelligentie ingebouwd heeft. Linux heeft voor flasgeheugen zonder controller speciale bestandssystemen zoals Jffs2 en Ubifs die de wear-leveling afhandelen.

Heb je specificaties van die EMMC-chip ergens? Om te dubbelchecken dat die EMMC-chip geen wear-leveling heeft?

Ander is dit wel een JOEKEL van een ontwerpfout.
Ik vergiste mij even. Het is ext3 en niet ext4. Maar dat komt op het zelfde neer wat dat betreft.

De betreffende chip is een Hynix H26M42001FMR 8GB. Deze heb ik vervangen door een Swissbit SFEM064GB1EA1TO 64GB eMMC. Partitie laytout heb ik het zelfde gehouden.
jesselioce schreef op donderdag 17 oktober 2019 @ 21:18:
Kan er iemand mij uitleggen waarom ze bij zo een high tech auto het nodig vinden om te besparen door cheape emmc te gebruiken ipv een volwaardige ssd? En dan nog 1 die zo klein is plus het feit dat er langs de software kant geen maatregelen zijn om de levensduur te maximaliseren gezien er geen controller chip is.
Onwetendheid? Het kan zijn dat ze hier gewoon nooit aan gedacht hebben. |:(

  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
TwOkkie schreef op vrijdag 18 oktober 2019 @ 10:46:
Zijn de partities op die chip te benaderen zonder soldeerwerk?

Zou het dan niet mogelijk zijn om preventief de syslogconfig aan te passen of die hele /var/log naar een tmpfs te laten wijzen?
Inmiddels wel, maar dat is pas een paar weken bekend. Deze 'jailbreak' methode ga ik hier niet bekend maken omdat Tesla daar anders weer een stokje voor gaat steken.

Maar het is wel te gebruiken om eerst veilig een backup te maken van je eMMC alvorens je hem vervangt.
TwOkkie schreef op vrijdag 18 oktober 2019 @ 10:46:
En als wij dat niet kunnen, kan Tesla dat dan niet regelen bij een update? Of is dat nou precies wat Musk bedoelt met zijn "should be better now"?
Ik zie in de huidige firmware nog geen verbetering. Kan zijn dat ze nu een iets betere chip er op zetten, maar syslog staat nog steeds aan.

  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
Dutchneon schreef op dinsdag 22 oktober 2019 @ 23:33:
[...]


ja op zich wel ja, mijn 6 jaar oude S met 260k op de teller heeft nog een werkend scherm en ik heb dit jaar enkel een handgreep moeten reparen en een set achterbanden vervangen.
De auto die ik voor de Tesla had, was ik voor enkel de brandstof al 4500 euro duurder uit geweest, en hadden drie kleine beurten voor de kleine 60.000km die ik gereden heb toch zeker 1500 euro gekost...

Als ik dus de MCU gewoon bij tesla laat vervangen als hij kapot gaat, ben ik nogsteeds voordeliger uit dan blijven rijden met mijn oude diesel.....
Ik zou je wel aanraden de eMMC nu te vervangen. In Eindhoven zit iemand die dit zo voor je kan doen: https://www.laadkabelwink...-emmc-vervangen-reparatie

  • Snow_King
  • Registratie: april 2001
  • Laatst online: 09:54

Snow_King

Konijn is stoer!

Topicstarter
Om een update te geven. Mijn situatie was dat vóór we wisten hoe we de VPN certificaten konden lezen van de chip die van mij overleed.

Ik heb toen wel een nieuwe eMMC geplaatst met daar op de juiste firmware, maar mijn auto was zijn VPN credentials kwijt. De Tesla app deed het dus niet meer.

Sinds 5 September 2019 was mijn auto niet meer online omdat er geen VPN verbinding was.

Mijn oude 8GB Hynix chip heb ik toen gestuurd naar: https://multi-com.eu/

Zij hebben vervolgens maandenlang geprobeerd data van deze chip af te krijgen. Uiteindelijk hebben ze een donor chip (exact zelfde type) besteld en mijn oude chip naar -30C gekoeld.

Door direct het NAND uit te lezen en ECC correctie met de nieuwe chip toe te passen hebben ze de volgende files kunnen lezen:

- car.crt
- car.key
- ta.key
- ca.crt

Via SSH heb ik deze files weer terug geplaatst in mijn auto en daarna een reboot gegeven. De VPN tunnel met Tesla is weer online!

Tesla weigerde op elke manier mee te werken aan mijn verzoek tot herstel van de VPN certificaten. Ze wilden alleen de gehele MCU vervangen voor EUR 2500. Mails, brieven, telefoontjes, Tesla weigerde mee te werken.

Deze data recovery ging voor een flat-fee van EUR 250 en nog een donor chip van EUR 30. Een stuk goedkoper (en ook leuker!) dan bij Tesla een nieuwe MCU kopen.

Mijn auto heeft nu een 64GB Swissbit chip en de MCU is ook merkbaar sneller.

Mocht je ooit voor een chip datarecovery nodig hebben, dan raad ik deze partij in Polen echt aan: https://multi-com.eu/
Pagina: 1


Apple iPhone 12 Microsoft Xbox Series X LG CX Google Pixel 5 Sony XH90 / XH92 Samsung Galaxy S21 5G Sony PlayStation 5 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True