Data scrubbing automatiseren

[TomBE]

Hallo,

Ik heb een Synology NAS DS214+ in een SHR opstelling en zou graag periodiek data scrubbing willen uitvoeren.
Spijtig genoeg is mijn configuratie niet ondersteund om dit via DSM 6.2 UI te doen, maar in de volgende thread doen ze al iets soortgelijk dacht ik:
https://www.synology-foru...-algemeen/data-scrubbing/

Je zou 1 van deze 2 commando's kunnen schedulen:
> echo repair > /sys/block/md2/md/sync_action
of
> echo check > /sys/block/md2/md/sync_action

Klopt dit en kan ik dit op 1 of andere automatiseren ? Of een unofficial package ?

Bedankt,
Tom.

[Hero of Time]

Krijg je een melding dat dit nodig is? Zolang je het niet krijgt, lijkt het mij niet noodzakelijk dit uit te voeren.
Wat heb je zelf al geprobeerd om het te automatiseren? Waarom zou de ingebouwde taakplanner niet voldoen?

[Sandburd]

Je zou idd die check kunnen laten echo-en door middel van een scheduled task. Zo triggerede ik in het verleden de data scrub bij mijn synology's.
Het is dan een user-defined script binnen de task scheduler aanmaken.

Echter.... je zegt dat je DSM 6.2 hebt. Volgens mij kan het dan ook gewoon via de IU (althans bij mijn 6.2.1 zie ik de optie gewoon).
Zit bij je storage pool onder het tabje "Data scrubbing"

Als voorbeeldje mijn hele oude "user-defined" scriptje uit de task-scheduler: (zoals je ziet zijn het meerdere md volumes)

code:

#!/bin/sh
# Script to start a data scrub on all volumes
/bin/echo check > /sys/block/md0/md/sync_action
/bin/echo check > /sys/block/md1/md/sync_action
/bin/echo check > /sys/block/md2/md/sync_action

[TomBE]

Ik vrees dat dat bij mij ( met 2 schijven ) niet het geval is:

Data scrubbing is only supported on Btrfs volumes or storage pools of the following RAID types: SHR (consisting of three or more drives), RAID 5, RAID 6, or RAID F1

Ik heb in je script check vervangen door repair en dit lijkt wel te werken, maar heb nog enkele vragen:

- als het afgelopen is, krijg ik wel een mailtje, maar met de weinig zeggende tekst:
"diskstation has finished checking the consistency on system volume (Root). The system is now ready for use.".
Komen hier ook de fouten in te staan die hij heeft kunnen repareren ?
- is het slecht om dit elke nacht te laten draaien ?
- kan je tijdens de repair gewoon verder werken ?

Bedankt,
Tom.

[aawe mwan]

TomBE schreef op maandag 6 juni 2022 @ 16:37:
Komen hier ook de fouten in te staan die hij heeft kunnen repareren ?
- is het slecht om dit elke nacht te laten draaien ?

Dat hangt af van welke schijven die je gebruikt.

Sommige moderne schijven van 10+ Terabyte hebben een heel lage read-endurance; die kan best veel lager zijn dan de write-endurance van een goedkope Chinese SSD, dus zo'n schijf kan er echt niet tegen om elke dag een keer helemaal gelezen te worden. Maar dat kan je opzoeken op de website van de fabrikant.

Alleen harddisks met een sectorsize van 520 bytes controleren of de teruggelezen data gelijk is aan de weggeschreven data. Normale harddisks voor thuis hebben een sectorsize van 512 bytes en die doen dat niet meer. Data scrubben puur op driveniveau heeft tegenwoordig dus dus niet zoveel nut meer.

[TomBE]

@aawe mwan Het gaat hier over wd40efrx-68n32n0 WD RED schijven van 4 GB. Ik kan niet direct terugvinden wat de sectorsize is :-/


@Sandburd zou jij me kunnen helpen met de bovenstaande vragen ?

Bedankt.

[peter-rm]

sectorsize van WDred 40EFRX is 512

de totale grootte is 4Tbyte (geen 4G dus maar 1000x meer)

[ Voor 47% gewijzigd door peter-rm op 07-06-2022 22:01 ]

[TomBE]

Oei, foutje gemaakt. Begrijp ik het goed dat data scrubbing eigenlijk niks opbrengt ?

[biomass]

Automatisch scrubben is twijfelachtig als je maar twee drives hebt om de data op te bewaren.. Wat is de waarheid als er wel een verschil is op bitniveau, maar beide schijven de sector rapporteren als OK na een automatische sector recovery op een van je drives?

[TomBE]

Is er dan een betere manier om 100% veilig mijn data te bewaren ?
Graag wat advies.

Bedankt,
Tom.

[biomass]

Het begint met het besef dat RAID geen backup is. 99% veilig is niet heel moeilijk, maak regelmatig backups op media die niet in je huis staan, en controleer die backups ook. Kijk eens in Opslag en back-up bijvoorbeeld.

[CAPSLOCK2000]

Volgens mij lopen hier wat dingen door elkaar.
In de discussie loopt het scrubben van 'disks' en het scrubben van hele 'raid arrays' door elkaar.

Het scrubben van losse disks doe je alleen als je niet meer hebt dan één losse disk. Dan offer je een deel van de ruimte op om controlegetallen op te slaan zodat je kan zien of je data beschadigd is. Maar ja, weg is weg, zonder backups heb je dan nog niks. Maar als je wel een backup hebt dan weet je nu wat je terug moet halen.

Het scrubben van RAID arrays heeft ongeveer dezelfde functie maar de details zijn anders. Een pure raid-1 array van twee schijven is al beter dan één schijf maar eigenlijk nog niet genoeg. Met twee schijven kun je wel zien dat er verschil zit tussen die twee schijven maar weet je nog niet welk van die twee schijven gelijk heeft en welke stuk is. Dat komt pas als je drie schrijven hebt of ook nog checksums van je data bijhoudt.

Scrubben doe je vooral om te zorgen dat je problemen opmerkt als ze nog klein zijn en je ze eenvoudig kan aanpakken (lees: een nieuwe schijf kopen).

Zowel RAID als checksums kunnen niet garanderen dat je data veilig bewaard wordt, daar zijn ze niet voor gemaakt. Ze zijn er om te zorgen dat je door kan werken bij kleine problemen en tijd hebt om die op te lossen, niet om je data veilig te houden.

Om je data veilig te bewaren heb je backups nodig. Al is het maar voor het geval dat je kat op het toetsenbord springt en al je files weggooit. Liefst heb je (minstens) drie backups waarvan er eentje buiten de deur staat, voor het geval je huis afbrandt..

Dat gezegd hebben is het scrubben van je disks nog steeds een goed idee. RAID is geen backup en kan de veiligheid van je data niet garanderen, maar alle beetjes helpen. Backups terugzetten is ook niet altijd zonder problemen, zeker als je dat niet regelmatig test (hint!).

[Sandburd]

@TomBE zag dat je mij ook nog om een extra reactie vroeg.

Je kunt gewoon doorwerken op het moment dat de de Synology zijn MD-raid checkt. Hetgeen wat je eventueel merkt is dat de performance lager is (hij is immers druk bezig met zijn schijven)

En of het kwaad kan.... De schijven worden uiteraard wat meer belast aangezien zo'n "scrub" alles naloopt. Capslock legt het hierboven ook al netjes uit.
Bij mijn eigen synology wordt elke maand zo'n "Scrub" (eigenlijk is het een resync) uitgevoerd, maar dan wel via het "vinkje" bij het volume. Mijn servers doen dit zelfs ieder weekend (daar waar een RAID array actief is).
Daarnaast wordt elke nacht een short smart test gestart en 1x per week een long smart test. Dit om ook de schijf zichzelf na te laten lopen.

En ook dezelfde opmerking als capslock maakt, RAID is geen backup, het zorgt er alleen voor dat als er een schijf stuk gaat je niet gelijk alles kwijt bent. Maar als er meerdere schijven tegelijkertijd de geest geven (of bij het herbouwen van de array) dan ben je alsnog alles kwijt.