Is meerdere schijven tegelijk formatteren trager dan 1?

[Tijgert]

Ik moet een stapel van 8 harde schijven (16TB per stuk) formatteren om te testen, dus GEEN quick format.

Ik kan dat per stuk doen in een USB3 dock, of per 4 stuks in een 4 bay USB3 dock of in een storage box met 8 bays, ook via USB3. Allen hebben fans dus schijven worden gekoeld.

Mijn vraag is of een enkele schijf formatteren sneller gaat dan 4 tegelijk in de 4 bay dock of zelfs 8 tegelijk in de 8 bay storage box? Of... gaat het (bijna) even snel want het kost amper bandbreedte en/of CPU cycles?

De hoofdreden voor deze vraag is omdat ik het vervelend zou vinden als ik 8 schijven tegelijk formatteer en het volgende week nog steeds bezig is. (lichte overdrijving).

Iemand ervaring of waterdichte redenaties? (nee, Google was geen hulp).

[Room42]

Ik denk: Als je elke sector gaat schrijven (dus geen quick format) dan gaat het wél veel bandbreedte kosten. En omdat het sequentiële data betreft, zal de latency ook niet hoog zijn en dus is minder tijd om ondertussen de andere disks aan te sturen. Maar benchmark het, zou ik zeggen.

[sig69]

Wat wil je precies testen dan? Hoe lang het duurt om een schijf te formatteren? Mooie test dan toch hoe lang het duurt met 1, 2, 4 of 8 schijven tegelijk?

[DukeBox]

USB3 gaat echt zoveel langzamer dan gewoon via SATA.. met 8 HDD's van 16TB ben je weken bezig.

[dcm360]

Met USB3 kan de snelheid wisselen, dus welke variant je hebt maakt nog wel uit. Grootste kans heb je op 5Gbit/s, 10Gbit/s is ook nog wel gebruikelijk, en 20Gbit's is nog een optie maar vereist wel USB-C-stekkers (en altijd ook controllers aan beide kanten die geschikt zijn voor die snelheid).

Afhankelijk van welke schijven je precies hebt, duurt het formatteren van een enkele schijf grofweg een dag. Met de bovengenoemde snelheden zou je in theorie bandbreedte hebben voor 2 (5Gb), 4 (10Gb) of 8 (20Gb) schijven tegelijkertijd, met de kanttekening dat je met meer schijven ook meer overhead zal hebben en je de maximale snelheid waarschijnlijk niet haalt.

Geen waterdichte redenatie dus, want daarvoor ontbreekt de informatie, maar wel een duwtje de juiste kant uit hoop ik.

[Tijgert]

Het doel is gewoon de schijven te formatteren om ze dan te gebruiken.
Voor een eerste gebruik wil ik voor garantie test de hele schijf formatteren, als dat goed gaat zullen ze wel ok zijn.

Het gaat mij dus om of alle 8 tegelijk formatteren (bijna) even snel is als 1 tegelijk, dan doe ik ze alle 8 wel tegelijk. Als dat significant trager is en mijn systeem mag dan niet resetten/vastlopen etc., dan doe ik er wel 1 per keer. Vandaar.

Ik begrijp dat formatteren per USB3 flink trager is dan via SATA?

[Tijgert]

dcm360 schreef op maandag 22 april 2024 @ 10:47:
Met USB3 kan de snelheid wisselen, dus welke variant je hebt maakt nog wel uit. Grootste kans heb je op 5Gbit/s, 10Gbit/s is ook nog wel gebruikelijk, en 20Gbit's is nog een optie maar vereist wel USB-C-stekkers (en altijd ook controllers aan beide kanten die geschikt zijn voor die snelheid).

Afhankelijk van welke schijven je precies hebt, duurt het formatteren van een enkele schijf grofweg een dag. Met de bovengenoemde snelheden zou je in theorie bandbreedte hebben voor 2 (5Gb), 4 (10Gb) of 8 (20Gb) schijven tegelijkertijd, met de kanttekening dat je met meer schijven ook meer overhead zal hebben en je de maximale snelheid waarschijnlijk niet haalt.

Geen waterdichte redenatie dus, want daarvoor ontbreekt de informatie, maar wel een duwtje de juiste kant uit hoop ik.

Goede info. Het is een 5Gb voor zover ik weet (geen USB-C) dus dan zal 8 schijven waarschijnlijk dus echt flink trager zijn dan 1 of zelfs 4 tegelijk. Ik kan dan 4 in de 8 bay box doen en 4 in de Sata dock, dat zal dan al helpen denk ik.

De 4 bay dock heeft ook Sata, maar dan moet ik even een Sata dongle regelen want ik doe het op een NUC en/of laptop.

[GarBaGe]

Waar ga je de schijven gebruiken?
In een Synology NAS kan je de schijven in gebruik nemen, zonder alles te formatteren.
Je kan dan parallel een extensive SMART test doen, welke een complete oppervlakte scan doet.
Dit duurt doorgaans rond de 20-24uur.
Maar je hoeft hier dus niet op te wachten EN je kan meerdere disks simultaan doen. (en in gebruik nemen tegelijkertijd)

[Orion84]

Tijgert schreef op maandag 22 april 2024 @ 10:53:
[...]
De 4 bay dock heeft ook Sata, maar dan moet ik even een Sata dongle regelen want ik doe het op een NUC en/of laptop.

Dat lijkt me alleen de moeite waard als de USB poort in je NUC/laptop hogere snelheden aankan dan de USB aansluiting van je dock (mits je dus een dongle neemt die ook gebruik maakt van die hogere snelheden). Of die dongle een significant snellere controller aan boord heeft dan dat dock en op die manier een bottleneck wegneemt.

In basis is een USB->SATA dongle natuurlijk exact hetzelfde als dat dock via USB aansluiten (waarbij dat dock de 'omzetting' naar SATA doet).

[Tijgert]

GarBaGe schreef op maandag 22 april 2024 @ 10:59:
Waar ga je de schijven gebruiken?
In een Synology NAS kan je de schijven in gebruik nemen, zonder alles te formatteren.
Je kan dan parallel een extensive SMART test doen, welke een complete oppervlakte scan doet.
Dit duurt doorgaans rond de 20-24uur.
Maar je hoeft hier dus niet op te wachten EN je kan meerdere disks simultaan doen. (en in gebruik nemen tegelijkertijd)

De schijven zullen een filmarchief in mirror gaan upgraden. Offline.
Ze komen dus niet in een NAS te zitten, dan was het wel makkelijk geweest.

Echter... ik bedenk mij nu, ik heb wel een 8-Bay Synology staan hier...
Ik zou dus de nieuwe schijven even daarin kunnen stoppen en dan de NAS zijn werk laten doen, surface scan en al. Als de surface scan dan klaar is en alles is in orde kan ik ze er weer uit halen, quick format en klaar is Clara. Toch?

Ik bedoel, als de NAS slechte sectoren zou tegen komen worden die toch ook gemarkeerd zodat bij een QF in Windows diezelfde sectoren nog steeds geflagged zijn?
Ik neem aan dat de schijven die al in de NAS zaten daar het OS en de config op hebben en dat tijdelijk swappen gewoon kan.

[ Voor 5% gewijzigd door Tijgert op 22-04-2024 11:07 ]

[Tijgert]

Orion84 schreef op maandag 22 april 2024 @ 11:02:
[...]
Dat lijkt me alleen de moeite waard als de USB poort in je NUC/laptop hogere snelheden aankan dan de USB aansluiting van je dock (mits je dus een dongle neemt die ook gebruik maakt van die hogere snelheden). Of die dongle een significant snellere controller aan boord heeft dan dat dock en op die manier een bottleneck wegneemt.

In basis is een USB->SATA dongle natuurlijk exact hetzelfde als dat dock via USB aansluiten (waarbij dat dock de 'omzetting' naar SATA doet).

Ja, dat klinkt wel logisch. Dat was niet een al te slimme opmerking van mij dan. Gewist

[Orion84]

Tijgert schreef op maandag 22 april 2024 @ 11:06:
[...]

Ja, dat klinkt wel logisch. Dat was niet een al te slimme opmerking van mij dan. Gewist

Nou, het is helemaal geen gek idee, maar dan moet je laptop/NUC dus wel over snelle USB poorten beschikken, anders gaat het denk ik weinig verschil maken

[Tijgert]

Orion84 schreef op maandag 22 april 2024 @ 11:07:
[...]

Nou, het is helemaal geen gek idee, maar dan moet je laptop/NUC dus wel over snelle USB poorten beschikken, anders gaat het denk ik weinig verschil maken

Ik dacht ik zoek het even op.
De NUC heeft toch 10Gbit, maar de dock heeft helaas 5Gb. Ik moet dan even zien of die Sata dongle wel echt de volle Sata snelheid kan hebben, als ik die route op wil.

[GarBaGe]

Tijgert schreef op maandag 22 april 2024 @ 11:05:
[...]

De schijven zullen een filmarchief in mirror gaan upgraden. Offline.
Ze komen dus niet in een NAS te zitten, dan was het wel makkelijk geweest.

Echter... ik bedenk mij nu, ik heb wel een 8-Bay Synology staan hier...
Ik zou dus de nieuwe schijven even daarin kunnen stoppen en dan de NAS zijn werk laten doen, surface scan en al. Als de surface scan dan klaar is en alles is in orde kan ik ze er weer uit halen, quick format en klaar is Clara. Toch?

Ik bedoel, als de NAS slechte sectoren zou tegen komen worden die toch ook gemarkeerd zodat bij een QF in Windows diezelfde sectoren nog steeds geflagged zijn?
Ik neem aan dat de schijven die al in de NAS zaten daar het OS en de config op hebben en dat tijdelijk swappen gewoon kan.

Correct.
Slechte sectoren worden op de disk bijgehouden.
In principe kan de disk zelf bijhouden of het aantal slechte sectoren binnen de marge valt of niet.
Indien niet, dan wordt dit zichtbaar in de SMART waardes van de disk.
Ook deze SMART waardes staan OP de disk.

[Tijgert]

Is het dan redelijk om aan te nemen dat een NAS die 8 schijven tegerlijk test sneller is dan 2x4 schijven via 5Gb USB3?

[DukeBox]

Tijgert schreef op maandag 22 april 2024 @ 11:39:
Is het dan redelijk om aan te nemen dat een NAS die 8 schijven tegerlijk test sneller is dan 2x4 schijven via 5Gb USB3?

Ja, die syno zal dat aanzienlijk sneller doen.

[The_Doman]

Tijgert schreef op zondag 21 april 2024 @ 23:54:
Ik moet een stapel van 8 harde schijven (16TB per stuk) formatteren om te testen, dus GEEN quick format.

Ik kan dat per stuk doen in een USB3 dock, of per 4 stuks in een 4 bay USB3 dock of in een storage box met 8 bays, ook via USB3. Allen hebben fans dus schijven worden gekoeld.

Als je toch al 2 USB docks hebt zou ik deze dan apart aansluiten op verschillende USB3 poorten.
Poorten die ook echt onafhankelijk van elkaar werken dus en niet op dezelfde (interne) USB hub zitten.
Hoeveel disks je dan tegelijk kan formatteren/verifiëren zonder (teveel) snelheidsverslies kan je dan zelf uittesten?

Om zeker te zijn moet je natuurlijk wel een format en verify uitvoeren.
Om tijd te besparen zou je ook alleen een sectorscan kunnen uitvoeren.
Er zijn diverse tools om een HDD te scannen op bad sectors en eventueel te formatteren/verifieeren.

[Jazco2nd]

Wat @The_Doman zegt en ik denk ook dat er een soort initialisatie aan het begin en herinitialisatie aan het einde (van formatteren of andere aanpassingen zoals nieuwe partitietabel aanmaken etc) plaats vind, wat een soort "hold" op de USB interface zet. Deze hold kan langer duren bij USB dan bij een opslag-specifieke verbinding zoals SATA. Dat is tenminste mijn ervaring met exact dezelfde drives (zelfs SSDs) die ik tijdelijk uit een systeem haal en in een USB-SATA behuizing zet: via USB duurt dit proces echt aanzienlijk langer, dan via SATA. Niet altijd gek genoeg.

Dus als je meerdere schijven aan het formatteren zet via USB, kan er een soort pauze optreden die alle format acties vertraagd.

[Tijgert]

Jazco2nd schreef op maandag 22 april 2024 @ 13:06:
Wat @The_Doman zegt en ik denk ook dat er een soort initialisatie aan het begin en herinitialisatie aan het einde (van formatteren of andere aanpassingen zoals nieuwe partitietabel aanmaken etc) plaats vind, wat een soort "hold" op de USB interface zet. Deze hold kan langer duren bij USB dan bij een opslag-specifieke verbinding zoals SATA. Dat is tenminste mijn ervaring met exact dezelfde drives (zelfs SSDs) die ik tijdelijk uit een systeem haal en in een USB-SATA behuizing zet: via USB duurt dit proces echt aanzienlijk langer, dan via SATA. Niet altijd gek genoeg.

Dus als je meerdere schijven aan het formatteren zet via USB, kan er een soort pauze optreden die alle format acties vertraagd.

Dus zelfs als zowel USB3 als Sata (eSata dan) beide 5Gb zijn dan kan/zal meestal de Sata variant alsnog sneller zijn dan USB ivm overhead/onvrijwillige USB pauze?
Als in echt merkbaar sneller?

[Terran]

Weet niet of je het in een raid 1 array kan zetten. Dan formatter je ze allemaal in een keer.

[DukeBox]

Tijgert schreef op maandag 22 april 2024 @ 13:08:
Dus zelfs als zowel USB3 als Sata (eSata dan) beide 5Gb zijn dan kan/zal meestal de Sata variant alsnog sneller zijn dan USB ivm overhead/onvrijwillige USB pauze?

Ja, helemaal als er geen UASP support is. Maar gezien je alle spullen hebt... doe de test zou ik zeggen, de tijd dat deze discussie loopt had je dat al lang kunnen doen.

[ Voor 17% gewijzigd door DukeBox op 22-04-2024 13:18 ]

[Tijgert]

DukeBox schreef op maandag 22 april 2024 @ 13:12:
[...]

Ja, helemaal als er geen UASP support is.

Ik lees dat UASP support niet vanzelfsprekend is met USB 3.1 Gen 1.
Mijn Sata dock is een Sharkoon Quattro van xx jaar oud waar ik niks kan vinden over UASP.

Mijn 8 bay storage box (Icy Box) heeft wel weer UASP.
Maar USB met UASP is dan alsnog flink langzamer dat eSata.

Klinkt als een uitdaging dan: 4x in de box op USB3 met UASP en 4x in de dock met eSata.
Kan ik wellicht nog wat toevoegen aan dit onderwerp.

[Stanton]

Je kunt ook extended self test doen, dit kost volgens mij helemaal geen bandbreedte. Met iets als HD Sentinel kun je de test op meerdere schijven tegelijk starten.

[ Voor 37% gewijzigd door Stanton op 22-04-2024 15:07 ]

[Hahn]

Wat ik zou doen: eerst 1 schijf formatteren, en noteren hoe lang dat duurt. Daarna 3 schijven tegelijk formatteren, en kijken hoe lang dat duurt.

Als 3 schijven 3x zo lang duurt of minder lang, dan weet je dat het óf niks uitmaakt óf dat het je tijd bespaart, en kan je de overige 4 tegelijk doen. Duren 3 schijven tegelijk meer dan 3x zo lang als 1 schijf, dan kan je de laatste 4 beter allemaal los van elkaar doen.

In de ~15 uur sinds de start van dit topic had je volgens mij al klaar kunnen zijn

[Tijgert]

Stanton schreef op maandag 22 april 2024 @ 15:04:
Je kunt ook extended self test doen, dit kost volgens mij helemaal geen bandbreedte. Met iets als HD Sentinel kun je de test op meerdere schijven tegelijk starten.

[Afbeelding]

Goed idee, die heb ik wel.
Formatteren was alvast geen succes. In de Disk manager op W10 lukte 2 tegelijk, maar bij de 3e liep hij vast, via de eSata dongle. Ze zitten nu in de NAS een Extended S.M.A.R.T. test te doen, kijken hoe lang dat duurt voor ik enige progressie zie want hij stond meteen op 10% en 10% increments is wel een hele lage resolutie als iets 24+ uur duurt.

[Tijgert]

Hahn schreef op maandag 22 april 2024 @ 15:10:
Wat ik zou doen: eerst 1 schijf formatteren, en noteren hoe lang dat duurt. Daarna 3 schijven tegelijk formatteren, en kijken hoe lang dat duurt.

Als 3 schijven 3x zo lang duurt of minder lang, dan weet je dat het óf niks uitmaakt óf dat het je tijd bespaart, en kan je de overige 4 tegelijk doen. Duren 3x schijven tegelijk meer dan 3x zo lang als 1 schijf, dan kan je de laatste 4 beter allemaal los van elkaar doen.

In de ~15 uur sinds de start van dit topic had je volgens mij al klaar kunnen zijn

Uitstekend idee, goed over nagedacht

(ik kreeg de schijven pas om 1400 vandaag binnen, dus toen kon ik pas starten

[Ben(V)]

Schijven formateren duurt helemaal niet lang, daarom is dat in een Nas ook zo snel, dat is in feite hetzelfde als de quick format van Windows.

Wat de uitgebreide format van Windows doet is alle sectoren beschrijven en weer leeg maken.
Dus als je wilt testen of de disken ok zijn is wat je nu doet met een s.m.a.r.t. test veel beter.

De vraag blijft of het zinvol is aangezien disken bij de fabrikant al getest worden.

Disk failure treden overigens volgens de zogenaamde "badkuip" kromme op, dat betekent dat ze in het begin van hun gebruik of aan het eind van hun levensduur problemen gaan geven.
Als je dus de betrouwbaarheid wilt verhogen zou je ze eerst een tijdje moeten gebruiken voor je ze als statische archivering gaat gebruiken.

[Tijgert]

Ben(V) schreef op dinsdag 23 april 2024 @ 08:07:
Schijven formateren duurt helemaal niet lang, daarom is dat in een Nas ook zo snel, dat is in feite hetzelfde als de quick format van Windows.

Wat de uitgebreide format van Windows doet is alle sectoren beschrijven en weer leeg maken.
Dus als je wilt testen of de disken ok zijn is wat je nu doet met een s.m.a.r.t. test veel beter.

De vraag blijft of het zinvol is aangezien disken bij de fabrikant al getest worden.

Disk failure treden overigens volgens de zogenaamde "badkuip" kromme op, dat betekent dat ze in het begin van hun gebruik of aan het eind van hun levensduur problemen gaan geven.
Als je dus de betrouwbaarheid wilt verhogen zou je ze eerst een tijdje moeten gebruiken voor je ze als statische archivering gaat gebruiken.

Exact wat je zegt, helemaal mee eens. Veel, zo niet bijna alle, electronica gaat volgens die curve stuk. Het gaat snel stuk of blijft heel lang werken.
Daarom is het belangrijk om ze in het begin even goed te testen als je van plan bent ze eigenlijk meteen vol te gaan schrijven en dan weg te leggen. Wie weet is de schijf rot maar zie je het niet in de eerste paar uur van gebruik. Ze kunnen daarna nog steeds snel stuk gaan, maar de eerste horde is dan alvast genomen.

Of ze echt allemaal uitvoerig getest zijn in de fabriek of steeksproefgewijs kan ik niet zeggen. Ik weet wel dat er DOA's bestaan dus 'nieuw en getest' is geen enkele garantie.

Edit:
Ik heb ze alle 8 in de Synology gedaan en na 23 uur zijn ze 90% getest. Een etmaal ongeveer dus om alles extended S.M.A.R.T. te testen. Best ok. Helaas springt de progress per 10% over... dus vrij lage resolutie om in te schatten wanneer het echt klaar is.

[ Voor 8% gewijzigd door Tijgert op 23-04-2024 15:37 ]