Kan Debian Buster overweg met een exFAT harde schijf?

[Copitano]

Ik heb een Raspberry PI 3B+ draaien met daarop Domoticz, Influxdb en Grafana. Op een van de USB poorten hangt een USB hub met eigen stroomvoorziening. Ik heb een goedkope 2TB harde schijf gekocht. Die wil ik via de USB hub aan de Pi hangen.

Het ding was standaard exFAT geformatteerd. Toen ik daar vanaf mijn Windows laptop als proef een image van een 64GB eMMC naartoe kopieerde stopte die er mee op 90% en bleef verder hangen. Ik heb daarna met zowel Windows 10 als EaseUS Partition Master 15.0 geprobeerd de schijf te formateren op NTSF en FAT32. (EXT2 t/m EXT4 niet geprobeerd.) Dat ging met horten en stoten. Toen FAT32 uiteindelijk gelukt was kreeg ik een foutmelding (iets van te weinig ruimte) toen ik het 64GB bestand naar de schijf wilde schrijven (had ik kunnen weten). Formateren naar NTSF was een groter probleem en bleeft uiteindelijk steeds hangen op ca. 60%. Uiteindelijk maar weer terug naar exFAT met EaseUS Partition Master 15.0 ook dat leek uiteindelijk ook te lukken, maar gaf toch nog wat probleempjes. Toen nog eens met Windows 10 formatter met exFAT er overheen. De schijf lijkt nu stabiel. Ik heb er al verschillende flinke bestanden naartoe kunnen kopiëren. De schijf lijkt dus alleen FAT32 exFAT te accepteren.

Nu wil ik de schijf dus aan de Pi hangen om er zo nu en dan een image van de eMMC (ik gebruik geen SD kaartje meer voor de Pi) naar toe te schrijven met de in Buster ingebakken functie 'SD card copier'. Dat werkte perfect met de SD kaartjes. Het laatste image van de SD card heb ik overgezet op de eMMC en dat werkt mooi stabiel op de Pi.

Nu de concrete vraag: Kan Debian Buster inmiddels overweg met exFAT of moet ik dan nog steeds een exFAT fuse installeren?
En welke dan?
Nog een aanvullende vraag: 64 GB kopiëren via USB 3.1 in ca. 20 min. Is dat snel?
Ik dacht 5120 Mbps is 0,625 GB/s. Dat zou betekenen 64/0,625=102,4 seconden ofwel iets minder dan 2 min. Of begrijp ik er helemaal niets van?

[ Voor 8% gewijzigd door Copitano op 05-01-2021 19:10 ]

[Mijzelf]

exFAT is ondersteund sinds kernel 5.4. Dus als jouw kernel ouder is, heb je de fuse versie nodig.

Overigens klinkt jouw verhaal niet erg vertrouwenwekkend. Een harde schijf zou zonder meer ieder bestandssysteem moeten kunnen hebben. Als hij vastloopt tijdens het schrijven van een grote file is de schijf defect, of krijgt hij misschien niet voldoende stroom.
Is het een mechanische schijf, of een SSD? Wat kost hij? Ik kan jouw linkje niet volgen, dan moet ik eerst inloggen.

[Copitano]

Mijzelf schreef op dinsdag 5 januari 2021 @ 22:03:
exFAT is ondersteund sinds kernel 5.4. Dus als jouw kernel ouder is, heb je de fuse versie nodig.

Overigens klinkt jouw verhaal niet erg vertrouwenwekkend. Een harde schijf zou zonder meer ieder bestandssysteem moeten kunnen hebben. Als hij vastloopt tijdens het schrijven van een grote file is de schijf defect, of krijgt hij misschien niet voldoende stroom.
Is het een mechanische schijf, of een SSD? Wat kost hij? Ik kan jouw linkje niet volgen, dan moet ik eerst inloggen.

Oh, niet aan gedacht dat je moet inloggen. Dit is de schijf:
Deze omschrijving hoor er bij:

De schijf is nu aangesloten op de USB 3 poort van mijn laptop en gebruikt 5 volt bij 0,235 A in rust en 0,620 A bij een schrijfsnelheid van rond 36 MB/s
Kernelversie is 5.4.79-v7+ . Dus dat zou dan moeten kunnen.
Is mijn benadering van de berekening van de snelheid juist?

[CaPuT]

Ik denk dat de schijf die je hebt, geen 2tb is..
Ik verwacht zelfs dat als je hem open maakt, je zaken vind welke je niet verwacht.

Dit gebeurd wel vaker bij wish/ali/mininthebox etc

[CodeCaster]

Copitano schreef op dinsdag 5 januari 2021 @ 23:01:
[...]

Oh, niet aan gedacht dat je moet inloggen. Dit is de schijf:[Afbeelding]
Deze omschrijving hoor er bij:
[Afbeelding]
De schijf is nu aangesloten op de USB 3 poort van mijn laptop en gebruikt 5 volt bij 0,235 A in rust en 0,620 A bij een schrijfsnelheid van rond 36 MB/s[Afbeelding]
Kernelversie is 5.4.79-v7+ . Dus dat zou dan moeten kunnen.
Is mijn benadering van de berekening van de snelheid juist?

Een béétje externe harddisk van 2 TB kost 60 euro. Dit nepding, dat een kwart daarvan kostte en vastloopt als je er grote bestanden naar schrijft of als je hem formatteert, en dat kan schrijven met 20~40 MB/s, is géén harde schijf.

Je hebt een USB-stick van 128 GB gekocht, waarschijnlijk zelfs nog minder, in een mooie behuizing, waarbij er iets is gemod om hem groter te laten lijken.

Zie ook: https://holostik.com/blog...ake-external-hard-drives/ en dit:

[ Voor 10% gewijzigd door CodeCaster op 05-01-2021 23:27 ]

[rlkz]

Ik sluit mij aan bij @CaPuT en @CodeCaster. If it looks good to be true, it usually is.

Kans is groot, dat het een 'fake' 2TB disk is, waarbij na het schrijven van bijvoorbeeld je disk image van 64GB deze ploft. Categorie, hij stopt ermee of overschrijft gewoon de vorige dataset tot oneindigheid. Helaas, maar ik zou in dit geval toch een USB-schijf halen van een gerenommeerd merk. Deze 'Wish HDD' valt onder de categorie prullenbak. Sorry

[Copitano]

CaPuT schreef op dinsdag 5 januari 2021 @ 23:10:
Ik denk dat de schijf die je hebt, geen 2tb is..
Ik verwacht zelfs dat als je hem open maakt, je zaken vind welke je niet verwacht.

Dit gebeurd wel vaker bij wish/ali/mininthebox etc

Tja, zou kunnen. Maar voor dat geld kun je eens een gokje wagen. Windows vindt overigens wel 2TB, nou ja 1,81 om precies te zijn.

[Copitano]

CodeCaster schreef op dinsdag 5 januari 2021 @ 23:15:
[...]

Een béétje externe harddisk van 2 TB kost 60 euro. Dit nepding, dat een kwart daarvan kostte en vastloopt als je er grote bestanden naar schrijft of als je hem formatteert, en dat kan schrijven met 20~40 MB/s, is géén harde schijf.

Je hebt een USB-stick van 128 GB gekocht, waarschijnlijk zelfs nog minder, in een mooie behuizing, waarbij er iets is gemod om hem groter te laten lijken.

Zie ook: https://holostik.com/blog...ake-external-hard-drives/ en dit:

[YouTube: Fake external hard disk. Bogus warning po sa bibili this is 2tera]

Dat ziet er inderdaad ernstig uit. Verzwaard met oud ijzer. Ik ga eens wat verder testen en eens 500 GB naar de schijf zetten en dan terug. Kijken wat er dan van de bestanden over blijft. Snelheid gaat inderdaad niet boven de 40 MB/s.

[Copitano]

rlkz schreef op dinsdag 5 januari 2021 @ 23:20:
Ik sluit mij aan bij @CaPuT en @CodeCaster. If it looks good to be true, it usually is.

Kans is groot, dat het een 'fake' 2TB disk is, waarbij na het schrijven van bijvoorbeeld je disk image van 64GB deze ploft. Categorie, hij stopt ermee of overschrijft gewoon de vorige dataset tot oneindigheid. Helaas, maar ik zou in dit geval toch een USB-schijf halen van een gerenommeerd merk. Deze 'Wish HDD' valt onder de categorie prullenbak. Sorry

Ja die heb ik wel. Maar heb het ding eigenlijk gekocht uit nieuwsgierigheid. Ga eens flink vol schrijven en dan kijken wat er van de bestanden overblijft als ik ze terug schrijf.

[aawe mwan]

Copitano schreef op dinsdag 5 januari 2021 @ 23:22:
[...]
Maar voor dat geld kun je eens een gokje wagen.

Het is geen "gokje" als je gegarandeerd verliest. Een beetje computernerd hoort en voelt toch wel verschil?

Je nieuwschierigheid had je ook kunnen bevredigen door op internet te kijken,
bijvoorbeeld hier: YouTube: Fake Flash Devices Are Everywhere!

[CodeCaster]

Het is wel treurig dat ik met één zoekactie op het web tig van dit soort schijven vind bij de beruchte sites. Het verschil tussen 500 GB en 2 TB is een handvol euro's. Ik wist dat het bestond, maar niet dat er zó veel aanbieders waren.

Stuk voor stuk zullen ze een USB-stick bevatten waarvan de firmware is gemod (o.i.d.) waardoor 'ie braaf aan het OS rapporteert dat 'ie 500/1000/2000 GB aankan, terwijl de capaciteit van de chip hooguit een fractie daarvan is, laat het 32 GB zijn, net welke sticks de oplichters goedkoop op de kop konden tikken.

Helemaal sneu als je je dan bedenkt dat mensen dit te goeder trouw kopen, hun foto's erop zetten, en na twee jaar ontdekken dat die foto's helemaal niet zijn bewaard gebleven.

[aawe mwan]

Misschien heb je geluk en bevat de case die je hebt een gemanipuleerde tweedehands 80GB harddisk, want in de beschrijving staat "80GB". Als je dit kunt repareren, dan heb je maar een paar euro te veel betaald.

Een Raspberry Pi 3 heeft trouwens geen USB 3 en daarom is storage daarop sowieso traag. Een Raspberry Pi 4 heeft dat wel, voor een paar tientjes heb je een nieuwe 128GB SSD, die haalt tot zo'n 300 MB per seconde.

[johnkeates]

Windows laat ook alleen maar zien wat de schijf vertelt. Je kan een schijf ook 100PB laten rapporteren. Dat FAT of exFAT 'werkt' komt waarschijnlijk vooral door dat het een onbetrouwbaar bestandssysteem is dat niet merkt dat de onderliggende schijf nep is, en ext3/4 en NTFS moeten wel een 'echte' schijf hebben om te kunnen formatteren.

Maak voor de lol de schijf open en post een foto.

[Copitano]

johnkeates schreef op woensdag 6 januari 2021 @ 00:12:
Windows laat ook alleen maar zien wat de schijf vertelt. Je kan een schijf ook 100PB laten rapporteren. Dat FAT of exFAT 'werkt' komt waarschijnlijk vooral door dat het een onbetrouwbaar bestandssysteem is dat niet merkt dat de onderliggende schijf nep is, en ext3/4 en NTFS moeten wel een 'echte' schijf hebben om te kunnen formatteren.

Maak voor de lol de schijf open en post een foto.

Dat zal niet mee vallen. De behuizing is volledig gesloten. Ben er inmiddels wel achter dat er geen USB stick in zit, maar daadwerkelijk een schijf. Als ik hem tegen mijn oog houd hoor ik het gezoem van de schijf. Ga eerst eens wat testjes doen.

[DukeBox]

Is je oor niet makkelijker ?

[Copitano]

DukeBox schreef op woensdag 6 januari 2021 @ 00:59:
Is je oor niet makkelijker ?

typo

[rikadoo]

Gebruik dit tooltje maar eens, schrijft de disk/ssd vol en als het niet meer kan gaat deze errors gooien en dan weet je genoeg.

https://3ds.hacks.guide/h2testw-(windows).html

[Copitano]

Schijf lijkt inderdaad crap. Er naar toe schrijven lukt wel, maar verwijder ik dan bestanden dan komen ze gewoon weer terug. Check programmatjes lopen soms vast. Als ik wat meer tijd heb ga ik nog eens nader onderzoeken. Inmiddels een klacht ingediend bij de helpdesk ban Wish. Ben benieuwd of dat serieus iets gaat opleveren.

[418O2]

nooit, nooit, nooit opslag kopen op zulke sites.

Er zit gewoon een geflashte controller voor die doet alsof hij 2Tb kan wegschrijven, maar dat gaat niet zoals je zou willen.

[Kilomeester]

Ik zou 'm toch gewoon eens fysiek openwrikken en kijken wat erin zit... Dat is nog het interessantste en leerzaamste wat je van deze drive kunt verwachten

/edit: en dat zoemen zegt ook niks... Een PWM vibrator-elementje (zo'n dingetje wat ook in je telefoon zit) kunnen ze voor een paar cent bij hun collega's kopen.

[ Voor 34% gewijzigd door Kilomeester op 06-01-2021 14:04 ]

[Copitano]

Kilomeester schreef op woensdag 6 januari 2021 @ 14:00:
Ik zou 'm toch gewoon eens fysiek openwrikken en kijken wat erin zit... Dat is nog het interessantste en leerzaamste wat je van deze drive kunt verwachten

/edit: en dat zoemen zegt ook niks... Een PWM vibrator-elementje (zo'n dingetje wat ook in je telefoon zit) kunnen ze voor een paar cent bij hun collega's kopen.

Ze zijn wel vindingrijk moet ik zeggen

[Kilomeester]

Copitano schreef op woensdag 6 januari 2021 @ 15:18:
Ze zijn wel vindingrijk moet ik zeggen

Nou, dat was zo maar het eerste wat mij te binnen schoot bij de gedachte "hoe zou ik faken dat ik een draaiende schijf lever met de goedkoopst mogelijke middelen". Of zij dat ook bedacht hebben weet ik niet, dus "voor hetzelfde geld" (lol) zit er wel degelijk een draaiend schijfje in.

[johnkeates]

Kilomeester schreef op woensdag 6 januari 2021 @ 15:45:
[...]

Nou, dat was zo maar het eerste wat mij te binnen schoot bij de gedachte "hoe zou ik faken dat ik een draaiende schijf lever met de goedkoopst mogelijke middelen". Of zij dat ook bedacht hebben weet ik niet, dus "voor hetzelfde geld" (lol) zit er wel degelijk een draaiend schijfje in.

USB-stick er in, end een oude PATA laptop schijf. Kan je met je USB stick makkelijk je storage scam programmeren en de PATA schijf als simulatie gebruiken die alleen aan/uit gaat

[Kilomeester]

Moet je wel nog steeds een daadwerkelijke PATA schijf hebben. Zo'n vibratie-elementje lijkt me veel goedkoper en makkelijker.

[Copitano]

Hoewel we lekker afdrijven van de oorspronkelijke vraag hier nog een tussenstandje:

Dit is de aanwinst
Dit vind ik op het www. Zoek de verschillen
Maar daar zitten twee minuscule schroefje aan de onderkant om de schijf er uit te kunnen halen. Die zijn er bij mij niet. Dat wordt dus een hamer.....


Verwarrend, maar ziet er in ieder geval niet goed uit.

Ik gok dat er een schijfje in zit van ca. 120 GB. Dat verklaart ook misschien waarom ik er flinke Excel bestanden (tot bijna 300 MB) naar toe kon schrijven en vanaf de schijf ook gewoon kon openen.
EDIT: Kon mezelf niet inhouden, scherp mes en:

Er zit in ieder geval een schijf in zoals ik al vermoede en..

Ik meen hier toch echt 120 of 128 GB te zien staan, al hebben ze hun best gedaan om dat weg te poetsen. Bruikbaar is 120 GB in deze tijd natuurlijk niet echt meer, zeker niet als geknoeid is met het systeem.
@CodeCaster

Je hebt een USB-stick van 128 GB gekocht, waarschijnlijk zelfs nog minder, in een mooie behuizing, waarbij er iets is gemod om hem groter te laten lijken.

Bijna goed dus Geen USB Stick van 128 GB maar een harde schijf van 120 GB.
@aawe mwan

Misschien heb je geluk en bevat de case die je hebt een gemanipuleerde tweedehands 80GB harddisk, want in de beschrijving staat "80GB". Als je dit kunt repareren, dan heb je maar een paar euro te veel betaald.

Suggesties hoe ik dat kan aanpakken?
Tis wel een fancy doosje. Kan er natuurlijk ook een ander schijfje in stoppen. Heb hier nog een oude laptop liggen met een redelijk grote schijf er in, maar hoe groot is te kans dat de chips op de connector gemanipuleerd zijn en dat dus ook niet gaat werkten?
EDIT2: Dit is dus het schijfje wat er in zit. Koopje toch

[ Voor 48% gewijzigd door Copitano op 07-01-2021 01:58 ]

[Djarum]

@Copitano Heb zijdelings je topic gevolgd, dit is mij een aantal jaar geleden ook een keer overkomen, vandaar mijn interesse. Dank je wel voor je update, ik was erg nieuwsgierig wat het uiteindelijk ging worden!

[CodeCaster]

Ik had nog "of een oude laptopschijf" in m'n post staan, maar dat weggeëdit, want ik dacht "dat zal toch niet".

[CodeCaster]

Copitano schreef op donderdag 7 januari 2021 @ 00:06:

Suggesties hoe ik dat kan aanpakken?
Tis wel een fancy doosje. Kan er natuurlijk ook een ander schijfje in stoppen. Heb hier nog een oude laptop liggen met een redelijk grote schijf er in, maar hoe groot is te kans dat de chips op de connector gemanipuleerd zijn en dat dus ook niet gaat werkten?

Zie dat filmpje dat door @aawe mwan is gepost, @05:30:

Waarschijnlijk is de controller (dat chipje op dat reepje printplaat, wat USB-commando's vertaalt naar ATA-commando's) zo gemanipuleerd dat 'ie, ongeacht wat voor schijf erin zit, aan het OS rapporteert dat er 2 TB aan opslag achter hangt. Daarom is deze enclosure dus hoogstwaarschijnlijk onbruikbaar, tenzij je er echt een 2 TB-schijf in schroeft, maar die manipulatie zal echt niet zorgvuldig zijn gegaan, dus heb je nog steeds kans op dataverlies.

[ Voor 15% gewijzigd door CodeCaster op 07-01-2021 09:37 ]

[Kilomeester]

Als je het wilt weten, uitproberen. Schijfje direct aansluiten via een normale SATA poort en kijken of hij het dan wel normaal doet (formatteren, benchmarken, volschrijven en uitlezen). Als je er dan normaal mee kunt werken is de controller gefuckt, zo niet dan is de schijf gefuckt, kan ook allebei natuurlijk.

Ik zou persoonlijk gewoon zowel de schijf als de controller lekker in de kerstboom hangen of zo.

[Copitano]

Kilomeester schreef op donderdag 7 januari 2021 @ 12:26:
Ik zou persoonlijk gewoon zowel de schijf als de controller lekker in de kerstboom hangen of zo.

Dat wordt dan volgend jaar. De kerstboom ligt al buiten. Wel even goed nadenken aan wie ik hem dan ga schenken
Nog een jaar de tijd om risicoloos te experimenteren. En wat denk je........ ik krijg mijn geld terug van wish

[Kilomeester]

O, dat is dan toch wel weer aardig van ze. Het zou beter zijn als ze niet zo "willfully ignorant" zouden zijn over het open platform dat ze vormen voor schaamteloze scammers, maar goed, ze zijn niet voor niks zo goedkoop. Buyer beware

[Copitano]

Update:
Van hier

Naar hier

Resultaat

Met de controller is dus kennelijk niet geknoeid, dan moet het dus de schijf zijn. Geeft nu netjes de capaciteit weer van de harde schijf die ik uit m'n gesneuvelde laptop uit 2007 heb gesloopt ....ehhh gedemonteerd.

Volgende stap en waar het allemaal om begonnen was........ aansluiten als backup medium aan de Pi

EDIT: Het werkt! Met de interne SD card copier van de Pi kon ik een image van de EMMC naar de externe harde schijf (NTFS geformatteerd) schrijven, die vervolgens aan mijn laptop koppelen het het bestand met Win32DiskImager kopiëren naar een map waar ik de images bewaar voor als er eens iets mis gaat. Tis wel heel traag. Een SD kaartje van 64GB schijf ik in 20 min. naar de map die oude schijf doet er op z'n gemak anderhalf uur over als het zo blijft gaan.
Het schrijven van de Pi naar de schijf ging overigens wel ongeveer net zo snel als naar een 64GB SD card in een USB converter.
Morgen de schijf eens formateren naar exFAT en kijken hoe dat gaat. @MijzelfDebian Buster is hoger dan 5.4 dus dat moet kunnen
Iedereen reuze bedankt voor het meedenken in dit reuze leerzame experiment , ehhh nou ja, voor mij dan hé

[ Voor 25% gewijzigd door Copitano op 08-01-2021 00:26 ]

[Mijzelf]

Copitano schreef op donderdag 7 januari 2021 @ 21:27:
Tis wel heel traag.

Die 25.4MB/sec in het screenshot is een typische USB2 snelheid. Ik heb nog nooit een USB2 Mass Storage ding de 30MB/sec zien halen.

[Oon]

Mijzelf schreef op vrijdag 8 januari 2021 @ 08:52:
[...]

Die 25.4MB/sec in het screenshot is een typische USB2 snelheid. Ik heb nog nooit een USB2 Mass Storage ding de 30MB/sec zien halen.

Maarja, een 5400RPM HDD die dmv een of andere Chinese controller op USB2 is aangesloten zal ook zeker de maximale throughput van USB2 alleen in bursts halen.

Vraag me af hoe bruikbaar dit is voor alles behalve een proof of concept waar je daarna gewoon een goedkope SSD inzet

[ResuCigam]

Copitano schreef op donderdag 7 januari 2021 @ 00:06:
EDIT2: Dit is dus het schijfje wat er in zit. Koopje toch

Maar dan wel een exemplaar van 13 jaar oud:

[418O2]

ResuCigam schreef op vrijdag 8 januari 2021 @ 09:14:
[...]


Maar dan wel een exemplaar van 13 jaar oud:

[Afbeelding]

Die ook nog eens 2 jaar op eBay heeft gestaan, want een beetje gek is natuurlijk

[CodeCaster]

418O2 schreef op vrijdag 8 januari 2021 @ 11:20:
[...]

Die ook nog eens 2 jaar op eBay heeft gestaan, want een beetje gek is natuurlijk

Mjah, we sturen massaal onze hardware naar China om het daar uit elkaar te laten halen. Niet gek dat die proberen om de nog enigszins bruikbare onderdelen eruit te halen en weer te verkopen, en als dat niet lukt, te verwerken in troep die weer onze kant op komt.

Ik weet ook niet of TS linkt naar toevallig hetzelfde model, of exact hetzelfde exemplaar?

[ Voor 9% gewijzigd door CodeCaster op 08-01-2021 11:30 ]

[Copitano]

ResuCigam schreef op vrijdag 8 januari 2021 @ 09:14:
[...]


Maar dan wel een exemplaar van 13 jaar oud:

[Afbeelding]

Als die het ooit gaat doen. Zit inmiddels een ander schijfje in. Ook heel oud

[Copitano]

CodeCaster schreef op vrijdag 8 januari 2021 @ 11:27:
[...]

Mjah, we sturen massaal onze hardware naar China om het daar uit elkaar te laten halen. Niet gek dat die proberen om de nog enigszins bruikbare onderdelen eruit te halen en weer te verkopen, en als dat niet lukt, te verwerken in troep die weer onze kant op komt.

Ik weet ook niet of TS linkt naar toevallig hetzelfde model, of exact hetzelfde exemplaar?

Zelfde model, niet hetzelfde exemplaar.