Het grote ZFS topic

[FireDrunk]

Dan maakt het inderdaad weinig uit wat je kiest qua disks en/of OS. Als het alleen maar om platte media/storage gaat zijn Red's en/of Green's prima, en is elk os toereikend.

[Berkeley]

FireDrunk schreef op donderdag 18 september 2014 @ 12:38:

De configuratie van de FreeBSD in-kernel iSCSI implementatie is net zo moeilijk als onder Linux, dus dat maakt het verschil niet.

Hier ben ik het totaal mee oneens..

Misschien omdat ik beter bekend ben met FreeBSD dan met Gnu/linux.. Maar als je het handboek(https://www.freebsd.org/doc/handbook/network-iscsi.html) gebruikt ben je er zo uit.. Dit is in mijn ervaring bij Debian(de rest weet ik niet) niet het geval..

[Compizfox]

Loekie schreef op donderdag 18 september 2014 @ 12:21:
Ik zit qua schijven te twijfelen tussen, de WD Red en Green. De langere garantie van de RED spreekt mij aan(heb paar greens buiten de 2 jaar moeten vervangen ). Zijn er buiten de prijs andere redenen om de green boven de red te verkiezen? Voor mij is het geen probleem om met WDIDLE wat settings aan te passen qua apm.

Nee, eigenlijk niet. Tot zover ik weet is het enige verschil tussen Reds en Greens de apm/aam parameters in de firmware.

EDIT: Oh, en TLER natuurlijk. Maar dat heb je met ZFS toch niet nodig.

[ Voor 6% gewijzigd door Compizfox op 18-09-2014 21:01 ]

[MikeVM]

blobber schreef op donderdag 18 september 2014 @ 00:13:
[...]
Gelukkig is er een tooltje van wd, genaamd wdidle3.exe.Dit is een dos tooltje, waarmee je de idle tijd kunt vergroten tot maximaal 300 seconden.
even googlen op wdidle3 en je vindt veel meer info

dat dos verhaal..
moet ik dan in DOS booten (via een CD ofzo?) om dan het deze ulility (die ik via het web download) uitvoeren?

[hansdegit]

FireDrunk schreef op donderdag 18 september 2014 @ 12:38:
ZFS + NFS en ESXi gaan niet zo lekker samen in mijn ervaring, en ik zou je van harte aanraden om iSCSI te gebruiken. De verschillen in performance (zelfs met een SLOG, of zelfs SYNC=Disabled) zijn fenomenaal.

Klinkt misschien een beetje raar uit mijn toetsenbord na de probleempjes van afgelopen week, maar wat precies zijn jouw ervaringen met die combi waardoor je niet zo enthousiast bent?

Ik ben er eigenlijk wel positief over: OS schijven allemaal op de SSD tier, datadisken op WD-red. Voor ESXi zijn dat natuurlijk gewoon files op een NFS volume. Ik vind de performance prima en ik acht de setup ook redelijk flexibel.

Ik sta open voor nieuwe leerervaringen

[blobber]

MikeVM schreef op donderdag 18 september 2014 @ 20:51:
[...]

dat dos verhaal..
moet ik dan in DOS booten (via een CD ofzo?) om dan het deze ulility (die ik via het web download) uitvoeren?

Kijk hier maar eens: https://superuser.com/que...te-bootable-dos-usb-stick

[FireDrunk]

Berkeley schreef op donderdag 18 september 2014 @ 16:26:
[...]

Hier ben ik het totaal mee oneens..

Misschien omdat ik beter bekend ben met FreeBSD dan met Gnu/linux.. Maar als je het handboek(https://www.freebsd.org/doc/handbook/network-iscsi.html) gebruikt ben je er zo uit.. Dit is in mijn ervaring bij Debian(de rest weet ik niet) niet het geval..

Bron: The ZFS Storage Blog! (mijn eigen blog )

apt-get install targetcli --no-install-recommends


targetcli [enter]


Nu zie je iets als: (Als je voor de eerste keer de targetcli start, krijg je wat groene meldingen van kernel modules die geladen worden, dat hoort zo)
root@NAS:~# targetcli
targetcli GIT_VERSION (rtslib GIT_VERSION)
Copyright (c) 2011-2013 by Datera, Inc.
All rights reserved.
/>


Nu is het eigenlijk heel simpel:
cd backstores/iblock
create lun0 /dev/zvol/jepoolnaam/jefilesystem/zvolnaam
cd /iscsi
create
cd iqn[tab]/tpgt1
set attribute authentication=0
cd portals
create [ip adres]
cd ..
cd acls
create [wwn van je guest]
cd ..
cd luns
create /backstores/iblock/lun0
cd /
saveconfig


En klaar!

Toch best makkelijk

hansdegit schreef op donderdag 18 september 2014 @ 22:37:
[...]

Klinkt misschien een beetje raar uit mijn toetsenbord na de probleempjes van afgelopen week, maar wat precies zijn jouw ervaringen met die combi waardoor je niet zo enthousiast bent?

Ik ben er eigenlijk wel positief over: OS schijven allemaal op de SSD tier, datadisken op WD-red. Voor ESXi zijn dat natuurlijk gewoon files op een NFS volume. Ik vind de performance prima en ik acht de setup ook redelijk flexibel.

Ik sta open voor nieuwe leerervaringen

NFS levert bij mij gewoon substantieel lagere performance. Ik heb wel ergens harde cijfers, maar die staan op mijn desktop... Je gaat het vooral merken in Random IO (wat altijd trager is bij NFS, zelfs op SSD's, en zelfs met Sync uit. Je gaat het nog meer merken bij multipathing. NFS doet (bij versie 2 en 3) gewoon geen Multipathing... Stapel je dus meerdere 1 Gbit verbindinge, haal je gewoon maximaal maar 1 Gbit.

Bovendien heb ik gewoon hele rare latency pieken gezien bij het gebruik van NFS (in de trant van 2000 ms) voor IO operaties... Dat is gewoon funest voor de snelheid van je VM...

Voorbeeld: Het booten van mijn vCenter VM op NFS duurt 5-8 minuten, op iSCSI 2-3.

[Tadream]

Heb ondertussen alweer een week of 3 zfs-on-linux op m'n Ubuntu desktop staan en het werkt uitstekend.
Daarvoor heb ik ZFSGuru en NAS4Free geprobeerd maar NFS gaf een slechte performance, geen idee waarom. Nu staat die desktop ook op zolder en zit ik via openwrt wds tussen die 2 access points een connectie te maken. Geen kabel dat weet ik maar het is super stabiel, 30/40Mbit down/up snelheid.
Gebruik het om media te streamen (muziek, films, series).
In ieder geval via Ubuntu en zfs-on-linux haal ik die snelheden wel. Wat de Freebsd versies wel hadden waren grafische interfaces om alles te doen, dat maakt het toch weer wat eenvoudiger om alles in te stellen.
Maar met wat leeswerk is het prima gelukt en ben tevreden.
3x 3TB WD Red schijven in raidz1

Maar waarom de freebsd versie nou niet lekker liepen, geen idee.

[Verwijderd]

Had je die slechte performance via gigabit ethernet (kabel) of via wireless?

[Tadream]

Ik heb beneden een WNDR3700 staan met Openwrt en boven een WNR3500Lv2 met Tomato, die via wireless ethernet brigde naar de desktop gaat.
Dus de desktop was wel aangesloten via een ethernet kabel. Maar de routers zijn onderling dan wel draadloos verbonden. Niet ideaal natuurlijk maar voor mijn toepassing tot nu toe prima.
Had even gekeken welke netwerkkaart erin zat via lspci:
Intel Corporation 82566DM-2 Gigabit Network Connection (rev 02)

[Joenuh]

Hallo mensen,

ik heb een waarschijnlijk knullige vraag. Na een tijd geleden Sabnzbd geinstalleerd te hebben op m'n Freenas 8 systeem wilde ik deze eens gaan instellen. Bij het instellen van mijn downloadfolders kwam ik een probleem tegen. Deze kunnen namelijk volgens mij alleen binnen de Jail directory gekozen worden? Nu las ik dat ik dan gebruik zou moeten maken van mount points, Wat dit zijn is me half duidelijk, misschien kan iemand me dat verduidelijken?

Het echte probleem zit hem in het volgende. Ik wil dus naar de web interface van mijn Freenas 8. Maar als ik daar inlog krijg ik niet het volledige menu te zien en ik kan er niks beginnen. Ik heb mijn Nas al meerdere keren gereboot maar dit mocht niet helpen. Ook verschillende browsers maken geen verschil(Chrome, Mozilla Firefox en Internet Explorer.. tja, je moet wat als je wanhopig bent). Heeft iemand een idee hoe dit probleem verholpen kan worden? Het ziet er als volgt uit:

http://i59.tinypic.com/3007f5k.jpg

Ook heb ik nog een vraag over het upgraden van Freenas 8 naar 9. Hoe gaat dat ivm mijn huidige RAIDZ gedeelte en de data daar op?

Bij voorbaat dank,

Joenuh

[Paul]

Je data blijft gewoon staan. Desnoods maak je een backup van je settings en installeer je 9 op een andere USB-stick, dan kun je het proberen. Zolang je het ZFS-level niet ophoogt (ik weet niet of er wijzigingen zijn op dat gebied tussen 8 en 9) kun je gewoon terug naar 8.

In de guidestaat een stuk over updaten.

Hoe dat in 8 zit weet ik niet, in 9 kun je gewoon in de webinterface aangeven welke storage je jail moet krijgen.

[DXaroth]

Nog wat interessant leesvoer, het meeste zal de doorgewinterde ZFSert al weten, maar hier en daar zal wellicht nog wat interessants tussen staan:

https://clusterhq.com/blog/file-systems-data-loss-zfs/

[FireDrunk]

Om maar weer eens een goede use case op tafel te smijten... Mijn array is zo goed als vol
Ik heb 4*4TB in RAIDZ 1, maar zou best 2 of 3 schijven bij willen plaatsen...

Lastige is nu, hoe doe je dat?

Mensen met ideeën?

[matty___]

FireDrunk schreef op maandag 29 september 2014 @ 12:00:
Om maar weer eens een goede use case op tafel te smijten... Mijn array is zo goed als vol
Ik heb 4*4TB in RAIDZ 1, maar zou best 2 of 3 schijven bij willen plaatsen...

Lastige is nu, hoe doe je dat?

Mensen met ideeën?

Je zou nog een 4x4TB vdev toe kunnen voegen of backup maken van je data een een nieuwe pool opbouwen.

Maar handig is allemaal anders

[FireDrunk]

2e vdev kan idd, maar dan word de redundancy wel weer matig... 8 schijven en eigenlijk maar 1 schijf redundancy...

Liefst zou ik denk ik naar 10 schijven in RAIDZ2 gaan, maar het migratie scenario is dan niet echt makkelijk

[Paul]

FireDrunk schreef op maandag 29 september 2014 @ 12:05:
2e vdev kan idd, maar dan word de redundancy wel weer matig... 8 schijven en eigenlijk maar 1 schijf redundancy...

Die vdev heeft weer zijn eigen redundancy, je hebt dan 2x 4 schijven waarvan ieder één schijf redundancy.

Liefst zou ik denk ik naar 10 schijven in RAIDZ2 gaan, maar het migratie scenario is dan niet echt makkelijk

Als je ergens één 4 TB schijf kunt lenen dan kan het wel. Of als je 4 TB vrij hebt (of kunt maken) op je array dmv wat USB-schijven of zo.

Sowieso zit je de hele migratie zonder redundancy, dus dan is 4 schijven lenen beter Ik heb een kleine 9 TB aan vrije ruimte, je bent welkom daar een deel te stallen... Als het 100MB/s vol kan houden dan is dat maar een kleine 27 uur kopiëren

[IceTeaGX]

Ik heb nog 4 * 4TB schijven liggen die ik (nog steeds) niet gebruik.
Het is alleen iets uit de richting om ze even langs te brengen.

[FireDrunk]

Mja, dan moet ik 6 schijven kopen, oude data kopieren naar tijdelijke schijven, nieuwe array maken en alles terugkopieren.

Dat word bij 200MB/s toch een 24-30 uur kopieren

[Paul]

Maar wel de hele tijd redundancy

[FireDrunk]

Mja, in 1 klap even 900 euro aan nieuwe schijven uitgeven

Misschien toch maar een keertje wat opschonen

[Paul]

Tja, jij zegt dat je naar een 10-disk RAID-Z2 wilt

Maar dit is dus precies waarom ik (ook) graag array capacity expansion of raid level migration zou willen bij ZFS, hoeft niet eens online... Ik bedoel, 'men' weet waar ieder blokje leeft, dan is het mijns inziens niet zo heel lastig om dat opnieuw te distribueren

[IceTeaGX]

Als je in stappen gaat upgraden, gaat het elke stap alleen maar moeilijker worden.
Inderdaad een van de nadelen van ZFS.

[FireDrunk]

Mja, ik zou best graag BTRFS willen gaan gebruiken, met zijn mixed raid level filesystems... Dat is wel uber relaxt...

[Joenuh]

Paul schreef op zondag 28 september 2014 @ 19:35:
Je data blijft gewoon staan. Desnoods maak je een backup van je settings en installeer je 9 op een andere USB-stick, dan kun je het proberen. Zolang je het ZFS-level niet ophoogt (ik weet niet of er wijzigingen zijn op dat gebied tussen 8 en 9) kun je gewoon terug naar 8.

In de guidestaat een stuk over updaten.

Hoe dat in 8 zit weet ik niet, in 9 kun je gewoon in de webinterface aangeven welke storage je jail moet krijgen.

Bedankt voor je reactie.

Iemand een idee hoe ik dat webinterface kan verhelpen of omzeilen? Ik draai nu vanaf een USB Freenas 8, dus als ik nu 9 op een stick zet zou ik dan zonder verdere consequenties kunnen testen of dat beter gaat?

[FireDrunk]

Ja hoor, je kan nadat FreeNAS geboot is via de Web Interface je oude pool importeren. Dat heeft geen consequenties voor je data.

[ Voor 20% gewijzigd door FireDrunk op 29-09-2014 15:21 ]

[Joenuh]

Ik dacht dat die pool data op de locatie van mijn OS opgeslagen zou worden? Dan zou hij namelijk die informatie niet kunnen importeren lijkt mij?

[FireDrunk]

Bedoel je de informatie *over* de pool? Want die staat gewoon op de schijven zelf...

[Pantagruel]

FireDrunk schreef op maandag 29 september 2014 @ 12:50:
Mja, in 1 klap even 900 euro aan nieuwe schijven uitgeven

Misschien toch maar een keertje wat opschonen

Ken 't dilemma en 't pijnlijke gevoel bij de gedachten aan t geld , pieker min of meer over 'tzelfde.
Van de 16 TiB array is op dit moment nog ca 1 TiB vrij, met wat opschonen krijg ik circa 2,5 TiB vrije ruimte, maar dat zal redelijk snel weer gebruikt zijn.

De vraag is, uitbreiding in de vorm van nu 6x 4 Gib en later weer 6x 4 Gib, of meteen 10x 4 GiB toevoegen. In t geval van de laatste actie is dat t zinnigst voor een RAIDZ2 array mbt ruimte verlies.
Feit blijft wel dat t op dit moment zo'n ca. €1300 zal kosten (auw) aan disks. De andere benodigdheden als kabels en SAS expander zijn via Ebay bemachtigd en onderweg. Wat rest is vier stuks 5 in 3 cages bestellen om 20 disks in de CM Stacker 101 te kunnen frotten. (Uitbreiding van deze opslag bak)

[Joenuh]

FireDrunk schreef op maandag 29 september 2014 @ 15:47:
Bedoel je de informatie *over* de pool? Want die staat gewoon op de schijven zelf...

Ja, de informatie over de pool die er voor zorgt dat ik de complete pool weer kan importeren alsof er niets aan de hand is . Als dat zo is, perfect!

[Plato112]

Na een tijd prima gedraaid te hebben zag ik pas dat één van mijn schijven wat reallocated sectors kreeg. Daarna redelijk in de gaten gehouden, maar nu werd ik afgelopen zaterdag toch verrast. Twee van mijn schijven hebben nu active bad sectors en één heeft veel bad sectors. Daar was ik natuurlijk onaangenaam door verrast en dus heb ik vandaag alvast een nieuwe schijf aangeschaft zodat ik in ieder geval de slechte schijf kan vervangen. Het gaat hier trouwens om drie Seagate 3TB's waarvan twee uit China (de falende) samen met een uit Thailand.
Smart van de twee slechte schijven:
https://www.dropbox.com/s...09-29%2019.08.41.png?dl=0
https://www.dropbox.com/s...09-29%2019.09.56.png?dl=0

zpool status van de desbetreffende pool

 pool: pool1
 state: ONLINE
  scan: resilvered 12K in 0h0m with 0 errors on Tue Feb  5 19:08:27 2013
config:

        NAME          STATE     READ WRITE CKSUM
        pool1         ONLINE       0     0     0
          raidz1-0    ONLINE       0     0     0
            gpt/ada0  ONLINE       0     0     0
            gpt/ada1  ONLINE       0     0     0
            gpt/ada2  ONLINE       0     0     0

errors: No known data errors

Ik ben dus nog geen data kwijt als ik het goed begrijp. Mijn vraag is nu wat ik het beste kan doen.
Eerst een scrub voordat ik de slechtste schijf vervang? Of juist niet en de slechtste schijf zsm eruit gooien en vervangen.

Ik heb een boel zitten lezen/zoeken in dit topic omdat ik een beetje roestig was geworden, maar deze situatie kon ik nergens vinden en het is de eerste keer dat ik zoiets meemaak.

Edit: OK, ik weet ondertussen dat ik sowieso niet eerst de slechte schijf eruit moet gooien voordat ik de nieuwe toevoeg, maar ik weet nog steeds niet of ik nu wel of niet eerst moet scrubben. Ben bang dat de slechtste schijf dan echt overlijdt of dat de andere slechte schijf plat gaat.
Gevoel zegt nieuwe schijf connecten en "replace" doen voor de slechtste schijf (dus niet eerst scrubben), maar ik durf het niet zo te doen. Ik hoop dat iemand mij over mij onzekerheid heen kan helpen.

[ Voor 12% gewijzigd door Plato112 op 29-09-2014 21:39 ]

[Kortfragje]

Ik ben absoluut geen expert, dus neem niet mijn advies aan. Kan je slechts vertellen wat ik zou doen. Ik zou wachten op advies v Firedrunk, Q, of Cipher..

Ik zou niet scrubben omdat dat veel stress op de schijven geeft, evenals een replace. Dus scrub + replace is erger dan alleen replace. In principe gebruiken replace en scrub dezelfde techniek en is je data in orde. DWZ een scrub voegt niets toe. Volgens mij kan je wel een replace doen waarbij je 4 schijven eraan hebt hangen en hij een falende door goede vervangt. Volgens mij was dat ook het snelst en minst stressvol omdat er dan geen parity reconstruction is, maar slechts kopieren van gebruikte sectoren.

Zie net, is je laatste scrub van Februari 2013? dat is wel lang terug..


Ik zou dus een 4e schijf toevoegen, replace, dan de gare eruit. Vervolgens weer nieuwe toevoegen en replace en laatste falende eruit. (en ik zou geen seagate meer gebruiken : https://www.backblaze.com...ty-update-september-2014/)

[ Voor 3% gewijzigd door Kortfragje op 29-09-2014 23:10 ]

[Verwijderd]

Plato112 schreef op maandag 29 september 2014 @ 20:32:
Twee van mijn schijven hebben nu active bad sectors en één heeft veel bad sectors.

13 duizend reallocated sectors is inderdaad kolere veel; maar ook de andere schijf heeft 1300+ omgewisselde sectoren. Dat is echt véél te hoog. Dus beide zou ik afschrijven. Een paar reallocated sectors is geen enkel probleem.

In sommige gevallen zijn er stofdeeltjes vrijgekomen in de afgeschermde behuizing, waar de platters met 7200rpm ronddraaien. Dit kan zorgen voor meer bad sectors. En zo zijn er vast nog veel meer oorzaken waardoor het aantal bad sectors kan blijven oplopen.

Daar was ik natuurlijk onaangenaam door verrast en dus heb ik vandaag alvast een nieuwe schijf aangeschaft zodat ik in ieder geval de slechte schijf kan vervangen. Het gaat hier trouwens om drie Seagate 3TB's waarvan twee uit China (de falende) samen met een uit Thailand.

Ik heb ook Seagate 7200.14 en die doen het tot nu toe vrij aardig. Mijn schijven komen wel allemaal uit Thailand.

Ik ben dus nog geen data kwijt als ik het goed begrijp. Mijn vraag is nu wat ik het beste kan doen.
Eerst een scrub voordat ik de slechtste schijf vervang? Of juist niet en de slechtste schijf zsm eruit gooien en vervangen.

Als je een nieuwe schijf hebt, plaats deze dan erbij terwijl je de bestaande schijven aangesloten laat. Dan opstarten en je systeem ziet je ZFS pool met drie schijven, plus de nieuw kersverse schijf die klaar is om gebruikt te worden. Je hebt je schijven niet geformatteerd via ZFSguru, dus dat zou ik nu dan ook niet doen. Nadeel is wel dat ze niet bootable zijn, maar daar kun je nu toch niets meer aan veranderen.

Wat je dan doet is de slechte schijf omwisselen (zpool replace) met de nieuwe schijf. Dit kan via de GUI van ZFSguru op de Pools pagina. Je kunt met een dropdown box bij de betreffende schijf kiezen voor 'Replace this disk with...'. Alleen weet ik niet of hij het slikt dat je ze niet geformatteerd hebt, want dat wil ZFSguru normaliter wel voordat je ze mag gebruiken. In dat geval zou je het op de command line moeten doen:

zpool replace <poolnaam> <oude disk> <nieuwe disk>
dus:
zpool replace pool1 ada1 ada4
(uitgaande dat ada4 de nieuw aangesloten schijf is)

Tijdens het replacen terwijl de oude schijf is aangesloten, heb je nog steeds je redundancy. Hierdoor kunnen bad sectors tijdens het replace/rebuild/scrub-proces geen problemen veroorzaken. Wel kan het zijn dat de rebuild wat langer duurt. Alleen is zeer uitzonderlijke gevallen waarbij je meerdere bad sectors op meerdere schijven op precies de verkeerde plek hebt, heb je een probleem. Dan gaat een file stuk. Filesystem metadata is nog extra beschermd met ditto blocks (extra kopiën). Je schijf heeft 7812500000 sectoren dus zelfs tienduizend bad sectors is nog steeds een héél kleine kans om precies de verkeerde bad sector op twee schijven te hebben. Ook kunnen bad sectors ontstaan op plekken die ZFS helemaal niet in gebruik heeft.

Kortom, je hoeft niet direct te vrezen voor je data. Maar wel zo snel mogelijk die schijf met meer dan tienduizend bad sectors replacen, dat lijkt me een goed plan.

[Plato112]

Kortfragje schreef op maandag 29 september 2014 @ 23:06:
Ik ben absoluut geen expert, dus neem niet mijn advies aan. Kan je slechts vertellen wat ik zou doen. Ik zou wachten op advies v Firedrunk, Q, of Cipher..

Ik zou niet scrubben omdat dat veel stress op de schijven geeft, evenals een replace. Dus scrub + replace is erger dan alleen replace. In principe gebruiken replace en scrub dezelfde techniek en is je data in orde. DWZ een scrub voegt niets toe. Volgens mij kan je wel een replace doen waarbij je 4 schijven eraan hebt hangen en hij een falende door goede vervangt. Volgens mij was dat ook het snelst en minst stressvol omdat er dan geen parity reconstruction is, maar slechts kopieren van gebruikte sectoren.

Zie net, is je laatste scrub van Februari 2013? dat is wel lang terug..


Ik zou dus een 4e schijf toevoegen, replace, dan de gare eruit. Vervolgens weer nieuwe toevoegen en replace en laatste falende eruit. (en ik zou geen seagate meer gebruiken : https://www.backblaze.com...ty-update-september-2014/)

Dat was uiteindelijk ook mijn beredenering, maar wist het niet zeker.
Volgens mij ben ik de scrubs een beetje uit het oog verloren

Dat ik geen Seagate meer moet kopen had ik al eerder begrepen, maar toen had ik ze al een tijdje in m'n systeem zitten en zomaar vervangen is me echt te duur (als ik geen raidz erop had zitten was het wellicht een ander verhaal). Op deze schijven zit nog garantie, dus ik zal toch nog een tijdje met dit type Seagate schijven moeten leven. Wel jammer van het merk, ik heb nog een paar oude 250GB schijven van Seagate die nog steeds prima werken.
Deze 3TB maken ook wel erg veel geluid vind ik. Was eerst altijd Samsungs gewend en dat was een stukje stiller.

In ieder geval bedankt voor je advies!

Verwijderd schreef op maandag 29 september 2014 @ 23:20:
[...]

13 duizend reallocated sectors is inderdaad kolere veel; maar ook de andere schijf heeft 1300+ omgewisselde sectoren. Dat is echt véél te hoog. Dus beide zou ik afschrijven. Een paar reallocated sectors is geen enkel probleem.

In sommige gevallen zijn er stofdeeltjes vrijgekomen in de afgeschermde behuizing, waar de platters met 7200rpm ronddraaien. Dit kan zorgen voor meer bad sectors. En zo zijn er vast nog veel meer oorzaken waardoor het aantal bad sectors kan blijven oplopen.

Ik hoopte al dat je zou reageren
Beide schijven gaan retour fabrikant, dat was mij meteen duidelijk. Was vooral bang voor de slechtste schijf, dat die helemaal zou falen in combinatie met de andere slechte schijf.

[...]

Ik heb ook Seagate 7200.14 en die doen het tot nu toe vrij aardig. Mijn schijven komen wel allemaal uit Thailand.


[...]

Als je een nieuwe schijf hebt, plaats deze dan erbij terwijl je de bestaande schijven aangesloten laat. Dan opstarten en je systeem ziet je ZFS pool met drie schijven, plus de nieuw kersverse schijf die klaar is om gebruikt te worden. Je hebt je schijven niet geformatteerd via ZFSguru, dus dat zou ik nu dan ook niet doen. Nadeel is wel dat ze niet bootable zijn, maar daar kun je nu toch niets meer aan veranderen.

Hmm, ben wel benieuwd waar je aan kunt zien of ze in ZFSguru geformatteerd zijn? Ik weet niet hoe ik ze dan geformatteerd heb destijds. Is natuurlijk niet erg belangrijk, maar toch. Bootable hoeven ze toch niet te zijn, dus dat maakt niet uit.

Wat je dan doet is de slechte schijf omwisselen (zpool replace) met de nieuwe schijf. Dit kan via de GUI van ZFSguru op de Pools pagina. Je kunt met een dropdown box bij de betreffende schijf kiezen voor 'Replace this disk with...'. Alleen weet ik niet of hij het slikt dat je ze niet geformatteerd hebt, want dat wil ZFSguru normaliter wel voordat je ze mag gebruiken. In dat geval zou je het op de command line moeten doen:

zpool replace <poolnaam> <oude disk> <nieuwe disk>
dus:
zpool replace pool1 ada1 ada4
(uitgaande dat ada4 de nieuw aangesloten schijf is)

Tijdens het replacen terwijl de oude schijf is aangesloten, heb je nog steeds je redundancy. Hierdoor kunnen bad sectors tijdens het replace/rebuild/scrub-proces geen problemen veroorzaken. Wel kan het zijn dat de rebuild wat langer duurt. Alleen is zeer uitzonderlijke gevallen waarbij je meerdere bad sectors op meerdere schijven op precies de verkeerde plek hebt, heb je een probleem. Dan gaat een file stuk. Filesystem metadata is nog extra beschermd met ditto blocks (extra kopiën). Je schijf heeft 7812500000 sectoren dus zelfs tienduizend bad sectors is nog steeds een héél kleine kans om precies de verkeerde bad sector op twee schijven te hebben. Ook kunnen bad sectors ontstaan op plekken die ZFS helemaal niet in gebruik heeft.

Kortom, je hoeft niet direct te vrezen voor je data. Maar wel zo snel mogelijk die schijf met meer dan tienduizend bad sectors replacen, dat lijkt me een goed plan.

Ok, duidelijke instructies daar ga ik morgen mee aan de slag. Had in eerste instantie niet overwogen dat de mogelijkheid bestond om de nieuwe schijf naast de andere schijven te plaatsen i.p.v. direct de defecte schijf vervangen.
Verhaal over dataverlies is ook duidelijk. Had het al ongeveer zo beredeneerd, maar als je eigen data eraan kan gaan voelt het toch ongemakkelijk . Het zijn alleen backups en wat films dus als ik daar iets van verlies is er geen man over boord maar toch.

Hoe vaak zou je eigenlijk moeten scrubben? Is volgens mij nogal een tijdrovende bezigheid als ik het me goed herinner. Maar als het verstandig is om te doen, ga ik het natuurlijk niet meer vergeten

Bedankt voor alle info.

[FireDrunk]

Een scrub draait met lagere prio, en je pool is gewoon beschikbaar, dus het kan nog zo tijdrovend zijn, veel last heb je er niet van.

Meest aan te raden is volgens mij 1x per week. (Maar als je een array hebt van 100TB en hij doet 3 dagen over een scrub, zou ik dat ook wat minder doen )

[ Voor 23% gewijzigd door FireDrunk op 30-09-2014 08:04 ]

[Plato112]

Hmm, heb schijf erbij gezet en replace gedaan. Ging eerst redelijk soepel, maar nu op zo'n 14% is de slechte schijf die ik wilde vervangen in eens "removed" en daarmee de pool degraded. Dat is niet de bedoeling of wel?

Ik ga er tenminste vanuit dat dit eigenlijk pas zou moeten gebeuren op het moment dat de nieuwe schijf klaar is met resilveren. Is de schijf er nu waarschijnlijk fysiek mee gekapt of is dit normaal? Moet/kan ik iets doen om mogelijke dataverlies tegen te gaan?

  pool: pool1
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Tue Sep 30 14:21:50 2014
        890G scanned out of 6.16T at 258M/s, 5h58m to go
        297G resilvered, 14.12% done
config:

        NAME                        STATE     READ WRITE CKSUM
        pool1                       DEGRADED     0     0     0
          raidz1-0                  DEGRADED     0     0     0
            replacing-0             DEGRADED     0     0 2.69K
              14284078106028188528  REMOVED      0     0     0  was /dev/gpt/ada                                 0  (resilvering)
              gpt/WD30EZRX1         ONLINE       0     0     0  (resilvering)
            gpt/ada1                ONLINE       0     0     0
            gpt/ada2                ONLINE       0     0     0

errors: No known data errors

Zie ook CKSUM errors.

[CurlyMo]

De schijf is er fysiek mee gekapt of onbeschikbaar geworden, zoals bijv. kan gebeuren bij een losgetrokken kabel. Als het goed is loopt de resilver wel door en als hij daarmee klaar is wordt de "removed" schijf uit je pool gegooid. Dit is alleen maar een teken dat je op tijd bent.

[ Voor 15% gewijzigd door CurlyMo op 30-09-2014 15:47 ]

[matty___]

En nu maar hopen dat de rest van de schijven het volhoudt

[Vuurvoske]

Ik heb effe een interessante vraag. Voor mijn servers thuis draai ik de zabbix monitoring service. (http://www.zabbix.com). Ik krijg dit op verschillende linux en windows servers (zelfs vcenter) draaiend. Echter bij ZFSGuru krijg ik het niet voor elkaar. Het probleem lijkt het hem te zitten in:

code:

[root@aristoteles /home/ssh]# netstat -an | grep 10050
tcp4       0      0 192.168.0.103.10050    192.168.1.153.59303    TIME_WAIT
tcp4       0      0 *.10050                *.*                    LISTEN

Mijn vermoeden is dat de zabbix server geen connectie kan opzetten met de zabbix_agentd op mijn ZFSGuru. Ik weet ook niet zo goed waar dit geconfigureerd moet worden.

Wel heb ik gechecked of de firewall aanstaat. Dit blijkt niet het geval te zijn.

code:

[root@aristoteles /home/ssh]# cat /etc/rc.conf | grep pf_enable
#pf_enable="YES"

code:

[root@aristoteles /home/ssh]# ps aux | grep pf
root     6   0.0  0.0      0   16  -  DL    4:57PM  0:00.19 [pf purge]
root    21   0.0  0.0      0   16  -  DL    4:57PM  0:00.00 [softdepflush]

Wellicht dat iemand mij de goede richting in kan wijzen?

[ Voor 10% gewijzigd door Vuurvoske op 30-09-2014 19:13 ]

[matty___]

Vuurvoske schreef op dinsdag 30 september 2014 @ 19:12:
Ik heb effe een interessante vraag. Voor mijn servers thuis draai ik de zabbix monitoring service. (http://www.zabbix.com). Ik krijg dit op verschillende linux en windows servers (zelfs vcenter) draaiend. Echter bij ZFSGuru krijg ik het niet voor elkaar. Het probleem lijkt het hem te zitten in:

code:

[root@aristoteles /home/ssh]# netstat -an | grep 10050
tcp4       0      0 192.168.0.103.10050    192.168.1.153.59303    TIME_WAIT
tcp4       0      0 *.10050                *.*                    LISTEN

Mijn vermoeden is dat de zabbix server geen connectie kan opzetten met de zabbix_agentd op mijn ZFSGuru. Ik weet ook niet zo goed waar dit geconfigureerd moet worden.

Wel heb ik gechecked of de firewall aanstaat. Dit blijkt niet het geval te zijn.

code:

[root@aristoteles /home/ssh]# cat /etc/rc.conf | grep pf_enable
#pf_enable="YES"

code:

[root@aristoteles /home/ssh]# ps aux | grep pf
root     6   0.0  0.0      0   16  -  DL    4:57PM  0:00.19 [pf purge]
root    21   0.0  0.0      0   16  -  DL    4:57PM  0:00.00 [softdepflush]

Wellicht dat iemand mij de goede richting in kan wijzen?

Kun je wel de poort openen via telnet vanaf de andere machine?

[Vuurvoske]

De connectie wordt meteen gesloten:

code:

[username@confucius ~]$ telnet aristoteles 10050
Trying 192.168.0.103...
Connected to aristoteles.domain.com (192.168.0.103).
Escape character is '^]'.
Connection closed by foreign host.

[ Voor 5% gewijzigd door RobIII op 25-06-2021 00:38 . Reden: Persoonlijke informatie verwijderd op verzoek. ]

[matty___]

Vuurvoske schreef op dinsdag 30 september 2014 @ 22:40:
De connectie wordt meteen gesloten:

code:

[username@confucius ~]$ telnet aristoteles 10050
Trying 192.168.0.103...
Connected to aristoteles.domain.com (192.168.0.103).
Escape character is '^]'.
Connection closed by foreign host.

Als PF uitstaat zou je nog kunnen kijken of er iets van inperking van iprange in zabbix zit (ken het product verder alleen van naam).

Misschien staat er ook iets in een van de /var/logs files

[ Voor 0% gewijzigd door RobIII op 25-06-2021 00:38 . Reden: Persoonlijke informatie verwijderd op verzoek. ]

[Kortfragje]

Plato112, hoe is het nu met je resilver, afgerond?

[guid0o]

Zojuist mijn WD RED 3TB op de post gedaan, omdat hij het had begeven onder ZFSGuru. Nu draait mijn RAIDZ pool dus degraded Iemand enig idee/ervaring hoelang het duurt voordat WD mij een nieuwe disk stuurt? Zit te twijfelen om vandaag nog een nieuwe te bestellen, maja dat kost weer flink wat geld....

[Paul]

-30 dagen? Je kunt ze eerst een schijf op laten sturen, en daarna heb je 30 dagen om de defecte schijf retour te zenden...

[matty___]

guid0o schreef op woensdag 01 oktober 2014 @ 15:52:
Zojuist mijn WD RED 3TB op de post gedaan, omdat hij het had begeven onder ZFSGuru. Nu draait mijn RAIDZ pool dus degraded Iemand enig idee/ervaring hoelang het duurt voordat WD mij een nieuwe disk stuurt? Zit te twijfelen om vandaag nog een nieuwe te bestellen, maja dat kost weer flink wat geld....

Zou gewoon een nieuwe kopen en zo snel mogelijk van de degraded af te komen. Komt een week later de andere terug heb je iig een spare liggen.

[guid0o]

Paul schreef op woensdag 01 oktober 2014 @ 15:58:
-30 dagen? Je kunt ze eerst een schijf op laten sturen, en daarna heb je 30 dagen om de defecte schijf retour te zenden...

Voor die optie heb je volgens mij een creditcard nodig en laat ik die als student nou niet hebben.

matty___ schreef op woensdag 01 oktober 2014 @ 15:58:
[...]

Zou gewoon een nieuwe kopen en zo snel mogelijk van de degraded af te komen. Komt een week later de andere terug heb je iig een spare liggen.

Jah daar heb je ook gelijk in, dan heb ik ook meteen een spare voor in de toekomst.

[Paul]

guid0o schreef op woensdag 01 oktober 2014 @ 16:09:
Voor die optie heb je volgens mij een creditcard nodig en laat ik die als student nou niet hebben.

Dat je geen CC hebt ok, maar wat heeft dat met 'als student' ermee te maken?

https://www.ing.nl/partic...rds/studenten-creditcard/
https://www.abnamro.nl/nl...ten-creditcard/index.html
https://www.rabobank.nl/p...etalen/studentenrekening/

[FireDrunk]

Een spare kost je 90 euro (ofzo?)
Online backup kost je 5 euro per maand ofzo? Dat is dus genoeg voor 1.5 jaar online backup...

Dan is doordraaien met een degraded array lang zo eng niet, gewoon elk uur/dagdeel syncen met je online backup...

(Ik doe het zelf ook niet hoor, ik moet er niet aan denken om 12TB naar een backup provider op te sturen )

[guid0o]

FireDrunk schreef op woensdag 01 oktober 2014 @ 16:35:
Een spare kost je 90 euro (ofzo?)
Online backup kost je 5 euro per maand ofzo? Dat is dus genoeg voor 1.5 jaar online backup...

Dan is doordraaien met een degraded array lang zo eng niet, gewoon elk uur/dagdeel syncen met je online backup...

(Ik doe het zelf ook niet hoor, ik moet er niet aan denken om 12TB naar een backup provider op te sturen )

Ik heb toch maar ervoor gekozen om een spare te bestellen, is toch makkelijk, ook voor in de toekomst, en mss wel als uitbreiding voor in de toekomst

Paul schreef op woensdag 01 oktober 2014 @ 16:30:
[...]
Dat je geen CC hebt ok, maar wat heeft dat met 'als student' ermee te maken?

https://www.ing.nl/partic...rds/studenten-creditcard/
https://www.abnamro.nl/nl...ten-creditcard/index.html
https://www.rabobank.nl/p...etalen/studentenrekening/

Ik weet dat het kan inderdaad, maar bedoelde meer dat de gemiddelde student die niet heeft

[CurlyMo]

Maak dan van de gelegenheid gebruik om te migreren naar RAIDZ2, ben je veel veiliger dan met een spare.

[syl765]

Voor de ZFS liefhebbers.

http://www.hgst.com/solid...sas-ssd/s840z-zil-sas-ssd

Begint er steeds meer op te lijken dat ZFS toch echt wel een enterprice filesystem gaat worden. Erg mooi om je ZIL op de SAS backplane te kunnen plaatsen.

[Bigs]

Ik weet niet wat die 'ZIL optimized SSD' kost, maar de prestaties zijn niet echt zo bijzonder (HGST's eigen SSD800MH is bijvoorbeeld al veel sneller). Als hij door z'n kleine opslagruimte echter ook een kleine prijs heeft is het natuurlijk wel interessant.

Verder zit mijn ZIL altijd al op een SAS backplane.. dat is niet zo nieuw

[FireDrunk]

~€ 1.000 euro zie ik online, en hij heeft een write latency van ~39 us. Niet super spectaculair volgens mij.

Lol, het is gewoon een STEC (die bestaan al veel langer).

HGST heeft blijkbaar STEC gekocht...

[ Voor 33% gewijzigd door FireDrunk op 03-10-2014 14:42 ]

[syl765]

Ze kosten wel wat inderdaad. 710 Dollar zag ik even ergens.
Bij mij zit de SATA ZIL ook op de SAS backplane, maar hij praat geen SAS.. En dat maakt wel degelijk verschil.

[Bigs]

syl765 schreef op vrijdag 03 oktober 2014 @ 14:41:
Ze kosten wel wat inderdaad. 710 Dollar zag ik even ergens.
Bij mij zit de SATA ZIL ook op de SAS backplane, maar hij praat geen SAS.. En dat maakt wel degelijk verschil.

Dan koop je toch een SAS SSD.. er voldoende aanbod hoor

[Extera]

Enterprise SSDs van bijvoorbeeld IBM zijn zwaar over-provisioned. Dat zal met deze ZIL drive ook zo zijn.
Dikke kans dat er 120GB (gokje!) aan flash op zit, maar de harde limiet op 16GB gezet is om veel meer writes kwijt te kunnen tijdens de levensduur.

Dat brengt me direct op een vraag:
Weet iemand of een 'heatmap' is uit te lezen van een SSD?
In de SMART kom ik hier niets over tegen, ik ben benieuwd of je zo een early warning kan gaan krijgen als de SSD alle flash bijna tot de gemiddelde MTBF heeft beschreven.

Ik heb wel eens gelezen over TRIM support in FreeNAS.De instellingen zijn aan te passen via tunables.
Ik wil er nog wel eens induiken om te kijken wat ze nou eigenlijk betekenen

code:

[root@claustofobia] ~# sysctl -a | grep vfs.zfs.\*trim
vfs.zfs.vdev.trim_on_init: 1
vfs.zfs.vdev.trim_max_pending: 64
vfs.zfs.vdev.trim_max_bytes: 2147483648
vfs.zfs.trim.enabled: 1
vfs.zfs.trim.max_interval: 1
vfs.zfs.trim.timeout: 30
vfs.zfs.trim.txg_delay: 32

[ Voor 31% gewijzigd door Extera op 03-10-2014 19:52 ]

[HyperBart]

FireDrunk schreef op dinsdag 30 september 2014 @ 08:03:

Meest aan te raden is volgens mij 1x per week. (Maar als je een array hebt van 100TB en hij doet 3 dagen over een scrub, zou ik dat ook wat minder doen )

Tut tut, twee keer per week, kwestie van ze 'in shape te houden'

[HyperBart]

Plato112 schreef op dinsdag 30 september 2014 @ 15:29:
Hmm, heb schijf erbij gezet en replace gedaan. Ging eerst redelijk soepel, maar nu op zo'n 14% is de slechte schijf die ik wilde vervangen in eens "removed" en daarmee de pool degraded. Dat is niet de bedoeling of wel?

Ik ga er tenminste vanuit dat dit eigenlijk pas zou moeten gebeuren op het moment dat de nieuwe schijf klaar is met resilveren. Is de schijf er nu waarschijnlijk fysiek mee gekapt of is dit normaal? Moet/kan ik iets doen om mogelijke dataverlies tegen te gaan?

  pool: pool1
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Tue Sep 30 14:21:50 2014
        890G scanned out of 6.16T at 258M/s, 5h58m to go
        297G resilvered, 14.12% done
config:

        NAME                        STATE     READ WRITE CKSUM
        pool1                       DEGRADED     0     0     0
          raidz1-0                  DEGRADED     0     0     0
            replacing-0             DEGRADED     0     0 2.69K
              14284078106028188528  REMOVED      0     0     0  was /dev/gpt/ada                                 0  (resilvering)
              gpt/WD30EZRX1         ONLINE       0     0     0  (resilvering)
            gpt/ada1                ONLINE       0     0     0
            gpt/ada2                ONLINE       0     0     0

errors: No known data errors

Zie ook CKSUM errors.

Ja dit is dus gewoon stront stront stront en heel jammer.

Normaal heb je als je schijf nog ok-ish genoeg is dat je array nooit 'degraded' wordt als je een replace doet. Je kan dus prima al je disks online vervangen en je pool blijft groen/online.

Ik doe een gok wat er hier gebeurd is: je disk heeft te vaak staan bokken en mottig gedaan dus je OS heeft gezegd: tyf op, je vliegt er uit. Als je reboot dan komt ie volgens mij terug en doe je een veiligere resilver dan nu, MAAR je rotte disk is ondertussen al even offline geweest dus die gaat ook een deeltje terug moeten resilveren, als hij daar in slaaft zit je weer met een gezondere array, maar nog steeds met de shit. Je gaat dit ritje moeten uitzitten en in het slechtste geval een paar bestanden kwijt zijn.

Cipher, weet je nog dat FD en ik ooit de discussie met je hadden of het OS of ZFS verantwoordelijk is voor een disk er uit te trappen? Je hebt je real world case nu. Ik durf er om te wedden dat het OS em onder /dev/ heeft weggestampt voor een virtueel koekje!

Als je wil mag je dat bij mij eens testen want ik heb dezelfde symptomen met twee rotte testdisks.

Plato, ZFS heeft wel goed zijn werk gedaan getuige die checksum errors... Maar ik ben zie ik nu pas een heel stuk te laat, je resilver zal ondertussen al wel lang voltooid zijn

[ Voor 4% gewijzigd door HyperBart op 04-10-2014 00:49 ]

[Verwijderd]

Je kunt in de 'dmesg' (kernel log) terugvinden of en zo ja waarom je disk gedetached is. Dat kan komen doordat je een controller met eigen firmware gebruikt. Het kan ook zijn dat je timeout te hoog is ingesteld. Bij recente images van ZFSguru kun je het volgende vinden in de /boot/loader.conf:

# mimic TLER behavior
# note: error recovery is useful in cases where you lost your redundancy!
kern.cam.ada.default_timeout="7"
kern.cam.da.default_timeout="7"
kern.cam.ada.retry_count="2"
kern.cam.da.retry_count="2"

Als je dat overneemt, zou je weinig problemen moeten hebben; zodra de disk niet reageert gebeurt er een (ATA) channel reset. Bij het falen van de I/O (I/O error) zal ZFS van een redundante bron lezen. Het onzichtbaar worden cq. verdwijnen van de disk zou eigenlijk nooit mogen gebeuren. Energiebesparing (DIPM) kan overigens wel problemen veroorzaken met presence detection.

Maar ook al wordt je disk onzichtbaar gemaakt; een simpele reboot doet dat weer ongedaan. Je rebuild gaat dan ook weer vrolijk verder. Nog altijd beter dan de falende disk helemaal afkoppelen wat mij betreft.

[Xudonax]

Ik heb volgens mij ook weer een dooie schijf. Leuke is dat dit niet een schijf is uit de originele batch, maar een die als garantie is toegezonden. Originele aankoop is onderhand bijna 2 jaar geleden, garantieverzoek grofweg een jaar geleden vermoed ik. Volgens de Hitachi site heb ik dan ook nog gewoon garantie.

Echter, Hitachi geeft zo te zien enkel de optie om de schijf naar hun toe te zenden, en daarna pas een nieuwe terug te krijgen. Dan kan ik het dus net zo goed met de originele winkel opnemen. Weet iemand of Hitachi (net als WD) de optie bied om een nieuwe schijf toe te zenden, en daarna de oude terug te sturen?

Voor de geïnteresseerde, de SMART data:

code:

# smartctl -A /dev/sdk
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.14.17-100.fc19.x86_64] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   062    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   100   100   040    Pre-fail  Offline      -       0
  3 Spin_Up_Time            0x0007   166   166   033    Pre-fail  Always       -       1
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       41
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   100   100   040    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0012   089   089   000    Old_age   Always       -       4849
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       12
191 G-Sense_Error_Rate      0x000a   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       8
193 Load_Cycle_Count        0x0012   093   093   000    Old_age   Always       -       72228
194 Temperature_Celsius     0x0002   166   166   000    Old_age   Always       -       36 (Min/Max 19/46)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0
223 Load_Retry_Count        0x000a   007   007   000    Old_age   Always       -       2818098

[Verwijderd]

Dooie schijf maar hij doet het nog? Wat versta je precies onder 'dood' dan?

En met 2,8 miljoen load cycles ben je ook niet zo netjes met je schijven omgesprongen. Waarom de headpark-timer niet wat rustiger ingesteld? Normaliter is de spec tussen de 300.000 en 600.000 en daar zit jij dus bijna factor 5 tot factor 10 boven.

[Xudonax]

De spindown staat op 30 minuten, en de load cycle count zit op slechts 72.228, het is de load retry count die op 2.818.098 staat. Als ik dit vergelijk met een andere schijf dan is de load cycle count wel flink hoog, net boven de 400.000, maar de load retry count is nog netjes 0.

De schijf werkt nog wel (half), maar word door het OS/ZFS regelmatig eruit geschopt. Net de schijf opnieuw aangesloten nadat deze 124 checksum errors had, zie de output van zpool status hieronder.

code:

NAME                                         STATE     READ WRITE CKSUM
tank                                         DEGRADED     0     0     0
  raidz2-0                                   DEGRADED     0     0     0
    ata-HGST_HTS541010A9E680_J810001VJ1Y3XA  UNAVAIL      1     5   124
    ata-HGST_HTS541010A9E680_JB100013J3ST5B  ONLINE       0     0     0
    ata-HGST_HTS541010A9E680_JB100013J3TXGB  ONLINE       0     0     0
    ata-HGST_HTS541010A9E680_JB40001MGG3MJC  ONLINE       0     0     0
    ata-HGST_HTS541010A9E680_JB100013J4HGNB  ONLINE       0     0     0
    ata-HGST_HTS541010A9E680_JB100013J4J15B  ONLINE       0     0     0

EDIT: Ik denk wel dat ik de spindown uit ga zetten aangezien er op het moment constant een Windows VM draait, en ik merk dat deze de schijven toch wel graag actief houd. Die paar Watt die daardoor potentieel extra gebruikt worden kan niet zo'n enorm verschil maken lijkt me dan.

[ Voor 10% gewijzigd door Xudonax op 04-10-2014 01:14 ]

[Verwijderd]

Oh sorry dan heb ik verkeerd gekeken.

Dat je checksum errors hebt op die disk is dan wel vreemd. Maar dan nog noem ik dat niet 'dood' hooguit onbetrouwbaar. Een dode schijf is er één die helemaal niet meer herkend wordt, of niet opspint, etc.

[Blubber]

Volgens mij is dit al besproken in het topic, maar ik kan het niet terug vinden.

Ik heb een IBM m1015 in IT mode met 8 HDs eraan, ik wil graag dat de HDs down spinnen als ze idle zijn. Ik heb geprobeerd om camcontrol te gebruiken, maar volgens het internet ondersteund de m1015 dat niet:

code:

root@polaris:~ # camcontrol standby da5
(pass5:mps0:0:7:0): STANDBY_IMMEDIATE. ACB: e0 00 00 00 00 40 00 00 00 00 00 00
(pass5:mps0:0:7:0): CAM status: Function Not Available

Dat lijkt inderdaad niet te werken, vervolgens heb ik spindown geprobeerd, maar dat werkt ook niet. Ik krijg de volgende debug output:

code:

root@polaris:~ # spindown -d da0 -d da6 -D -i 10 -t 10
device: da0, max_idle_time: 600, rd: 160388187, wr: 62198646, frees: 0, other: 11, idle time: 0, state: Spinning
device: da6, max_idle_time: 600, rd: 310524907, wr: 69430396, frees: 0, other: 11, idle time: 0, state: Spinning
device: da0, max_idle_time: 600, rd: 160388187, wr: 62198646, frees: 0, other: 11, idle time: 10, state: Spinning
device: da6, max_idle_time: 600, rd: 310524907, wr: 69430396, frees: 0, other: 11, idle time: 10, state: Spinning
device: da0, max_idle_time: 600, rd: 160388187, wr: 62198646, frees: 0, other: 11, idle time: 21, state: Spinning
device: da6, max_idle_time: 600, rd: 310524907, wr: 69430396, frees: 0, other: 11, idle time: 21, state: Spinning

Beide schijven zijn 21s idle, de timeout staat op 10s maar ze draaien nog steeds. Verbaasd mij niets, want ik neem aan dat dit in principe hetzelfde doet als camcontrol. Is er iemand die dit wel aan de praat gekregen heeft?

Edit: ok ik faal. Nog een paar keer goed de -h van spindown gelezen, heb er blijkbaar een aantal keer overheen gelezen. Je moet de -t voor de -d zetten. Het werkt nu goed voor alle schijven met het volgende commando:

code:

spindown -t 10 -d da0 -d da1 -d da2 -d da3 -d da4 -d da5 -d da6 -d da7 -D -i 10

[ Voor 9% gewijzigd door Blubber op 04-10-2014 12:52 ]

[Verwijderd]

Ik heb op mijn ZFSonLinux systeem een auto shutdown script lopen dat het systeem uitschakelt wanneer mijn werk-pc uitstaat en wanneer de zfs pool voor een bepaalde tijd idle is (moest iemand geïnteresseerd zijn dan kan ik deze wel posten). Mijn idee is nu om een wekelijkse scrub aan dit script te koppelen. Hiervoor zoek ik een manier om in een script aan te geven dat wanneer het maandag is dat hij dan een scrub uitvoert, wanneer niet schakelt hij het systeem gewoon uit. Weet iemand hoe je dit kan doen?

Ik weet dat een periodieke scrub meestal via cron ingesteld wordt maar dan kijkt hij niet of het systeem ook idle is vooraleer hij de scrub start.

Nog geavanceerder zou zijn dat hij in plaats van de dag de zfs status zou opvragen en wanneer er dan 7 dagen verlopen zouden zijn t.o.v. de laatste scrub hij dan een nieuwe zou uitvoeren.

[CurlyMo]

Verwijderd schreef op donderdag 09 oktober 2014 @ 16:36:
geavanceerder zou zijn dat hij in plaats van de dag de zfs status zou opvragen en wanneer er dan 7 dagen verlopen zouden zijn t.o.v. de laatste scrub hij dan een nieuwe zou uitvoeren.

Een quick and dirty oplossing:

FreeBSD

code:

[ $(echo "$(date "+%s")-$(date -j -f "%a %b %d %T %Y" "$(zpool status tank | grep "scan: scrub" | awk '{print $11" "$12" "$13" "$14" "$15}')" +"%s")" | bc) -gt 604800 ] && echo "scrub" || echo "geen scrub"

Linux

code:

[ $(echo "$(date "+%s")-$(date --date="$(zpool status tank | grep "scan: scrub" | awk '{print $11" "$12" "$13" "$14" "$15}')" +"%s")" | bc) -gt 604800 ] && echo "scrub" || echo "geen scrub"

[Verwijderd]

Hey CurlyMo, bedankt voor je reactie! Mijn script kennis is jammer genoeg vrijwel onbestaand. Hoe zou ik dit nu in een volledig werkend script gieten?

Opzet:
Is er 7 dagen geleden een scrub uitgevoerd?
-> ja: shutdown -h now
-> nee: scrub

[CurlyMo]

- echo "scrub", vervangen door je scrub code.
- echo "geen scrub", vervangen door je shutdown code.

[Verwijderd]

Ik krijg het volgende als ik 'm uitprobeer:

[code]
./weeklyscrub.sh: 1: ./weeklyscrub.sh: bc: not found
./weeklyscrub.sh: 1: [: -gt: unexpected operator
geen scrub
[/code]

Ook echoed ie dus geen scrub terwijl op het systeem waarop ik test meer dan een week geen scrub is uitgevoerd. Heb je een pm gestuurd.

was op te lossen met een simpele sudo apt-get install bc. Nu doet ie het. Bedankt!

[ Voor 13% gewijzigd door Verwijderd op 09-10-2014 19:37 ]

[Durandal]

Hoi allemaal. Ik loop tegen het volgende probleem aan (sinds ong een week, wegens geen tijd even uit gezet).

Ubuntu Server 12.04, ZFS on Linux, 10 disks in RaidZ2

Na een herstart is de zpool niet meer zichtbaar (>zpool list vindt niets), en wordt niet meer gemount.
In het filesysteem zijn alle disks nog zichtbaar, daar niets vreemds.


Voordat ik iets doe waar ik spijt van krijg graag even advies wat te doen. Ben er een beetje uit.

[matty___]

Durandal schreef op donderdag 09 oktober 2014 @ 21:35:
Hoi allemaal. Ik loop tegen het volgende probleem aan (sinds ong een week, wegens geen tijd even uit gezet).

Ubuntu Server 12.04, ZFS on Linux, 10 disks in RaidZ2

Na een herstart is de zpool niet meer zichtbaar (>zpool list vindt niets), en wordt niet meer gemount.
In het filesysteem zijn alle disks nog zichtbaar, daar niets vreemds.


Voordat ik iets doe waar ik spijt van krijg graag even advies wat te doen. Ben er een beetje uit.

Probeer eens een Freebsd install disc/usb te booten en kijk of die nog wat vind. Je hoeft niets te importeren maar puur om te kijken of hij wat ziet.

Maar je kunt natuurlijk ook even een zpool import in Linux doen om te kijken of je wat te zien krijgt.

[ Voor 7% gewijzigd door matty___ op 09-10-2014 21:53 ]

[Pantagruel]

OMGAKAWTF#BBQ

De ZFS data pool is een beetje vol aan t worden en de gevolgen laten zich merken

ZFSguru 0.2.0-beta9 (unknown) pool benchmark
Pool : Vault (18.1T, 93% full)
Test size : 64 GiB
normal read : 348 MB/s
normal write : 281 MB/s
I/O bandwidth : 31 GB/s


In December 2012 zag het er met een minder volle pool beter uit

ZFSguru 0.2.0-beta7 (9.1-003) pool benchmark
Pool : Vault (18.1T, 63% full)
Test size : 64 GiB
normal read : 487 MB/s
normal write : 399 MB/s
lzjb read : 4 GB/s
lzjb write : 2 GB/s
gzip read : 4 GB/s
gzip write : 2 GB/s
I/O bandwidth : 30 GB/s

En toen de pool in oktober 2011 nog onbezoedeld was:

Virgin pool:

Pool : Vault
Read throughput : 671.8 MB/s
Read throughput : 640.6 MiB/s
Write throughput: 493.8 MB/s
Write throughput: 470.9 MiB/s

Maar.............

Oh kom maar es kijken (oeps een beetje vroeg



Oh the suspense



Een ESD zakje met inhoud



De inhoud op t ESD zakje.



Yeah baby de SAS expander card is binnen gekomen een echte:

New 6Gbps 16-Port SAS Expander PCI-E Card for 9240-8i 9261-8i M5015 and more
Lenovo FRU PN: 03X3834
2x SFF-8087 input ports and 4x SFF-8087 output ports



En de andere benodigdheden om een regenachtige dag door te komen ook.
4x 5 Bay Mobile Rack Module, HDR-5-v13
1x SFF-8087 to SFF-8087 Internal Multilane SAS Cable 50 cm
4x Scythe SY1225SL12SL 500rpm 120mm "Slipstream" Case Fan

Inmiddels heeft de SAS expander zijn 4x slotje gevonden en is de M1015 (IT mode) verbonden met de expander middels de SFF-8087->SFF8087 kabel. ZFSguru is al weer opgestart en het geheel werkt gewoon, wat een anti-climax geen problemen

[Extera]

Nice!
Goed om te lezen dat het zo soepel werkt, ik ben ook aan het oriënteren voor een expander.
Heb je de IBM dual linked aangesloten?

[Paul]

Misschien mis ik iets, maar die expander kost $130, een PCIe-slot en een m1015 van 100$ en 2 kabels. Met andere woorden, 30 dollar en 2 kabels meer dan een tweede m1015?

Aan een m5015 snap ik het, maar waarom ben je voor deze opstelling gegaan in plaats van een tweede m1015? Sluit je de expander maar met één kabel aan voor een totaal van 20 SAS-poorten?

[GioStyle]

Dan heb je er 24. Je houdt dan ook nog een SAS poort op de M1015 over.

Waar ga je die HDR-5-v13 modules inbouwen?

[ Voor 25% gewijzigd door GioStyle op 09-10-2014 23:45 ]

[Paul]

Waar sluit je dan de expander op aan? 16 op de expander + 8 op de m1015 = 24, alleen heeft de expander geen upstream poorten aangesloten dus zit je maar op 8

[ Voor 4% gewijzigd door Paul op 09-10-2014 23:46 ]

[GioStyle]

Ik ben denk ik in de war met een HP SAS expander. Ik had ergens gelezen dat je die bijvoorbeeld ook single/dual linked kon aan sluiten. Als je single linked deed hou je een SAS poort over waar je ook schijven op kan aansluiten. Maar dat is bij deze dus niet zo?

[FireDrunk]

Grote voordeel van een SAS Expander is dat hij geen PCIe lanes op slokt (ookal is het ding fysiek PCIe).
Je kan dus meerdere van die dingen aansluiten op een simpel systeempje wat maar 1* PCIe 2.0 x8 (over) heeft ofzo.

Met een PCIe x1 to x8 riser kan je prima een SAS Expander voeden
En als je een powered riser cable gebruikt, kan je zeer waarschijnlijk de hele kabel gewoon los van het moederbord laten

Wordt wel een bende in je chassis, maar het kan

[Paul]

GioStyle schreef op donderdag 09 oktober 2014 @ 23:52:
Maar dat is bij deze dus niet zo?

Volgens de advertentie op eBay kan dat inderdaad, maar dan zit je nog altijd maar op 4 + 1 stuks SFF-8087 = 5x SFF-8087 = 20 SAS poorten, want de andere SFF-8087 van je m1015 gebruikt je om de expander op aan te sluiten Ik denk dat we hetzelfde bedoelen maar dat een van ons verkeerd telt

Het ding gebruikt dus geen PCIe-lanes? Waarom dan de volledige (zo te zien) x8-connector en niet alleen de voedingslijnen?

[Extera]

@ Pantagruel, als je eens wilt testen of het werkt via een riser, dan heb ik er nog meer dan zat liggen waar ik niets voor hoef te hebben...

[FireDrunk]

Paul schreef op vrijdag 10 oktober 2014 @ 09:03:
[...]
Volgens de advertentie op eBay kan dat inderdaad, maar dan zit je nog altijd maar op 4 + 1 stuks SFF-8087 = 5x SFF-8087 = 20 SAS poorten, want de andere SFF-8087 van je m1015 gebruikt je om de expander op aan te sluiten Ik denk dat we hetzelfde bedoelen maar dat een van ons verkeerd telt

Het ding gebruikt dus geen PCIe-lanes? Waarom dan de volledige (zo te zien) x8-connector en niet alleen de voedingslijnen?

Voor de show , nee serieus, geen idee, er zijn zat expanders die dat wel 'goed' doen.

Zoals deze:


Die heeft zelfs geen voeding via PCIe, maar via een Molex stekker.

[Pantagruel]

Een rondje reacties/antwoorden

Extera schreef op donderdag 09 oktober 2014 @ 22:10:
Nice!
Goed om te lezen dat het zo soepel werkt, ik ben ook aan het oriënteren voor een expander.
Heb je de IBM dual linked aangesloten?

Op dit moment nog niet, 2e kabel is onderweg evt voor dual linked of als reserve kabel.

Paul schreef op donderdag 09 oktober 2014 @ 23:33:
Misschien mis ik iets, maar die expander kost $130, een PCIe-slot en een m1015 van 100$ en 2 kabels. Met andere woorden, 30 dollar en 2 kabels meer dan een tweede m1015?

Aan een m5015 snap ik het, maar waarom ben je voor deze opstelling gegaan in plaats van een tweede m1015? Sluit je de expander maar met één kabel aan voor een totaal van 20 SAS-poorten?

De expander is omdat er nog enkel 1x PCIe 4x slot (fysiek een 8x slot, maar slechts 4x lanes) over was, als ik daar een M1015 in zou steken dan beperk ik deze sowieso. In de andere slot's zitten resp. een IB HBA en een NIC.

2x M1015 is 16 poorten.
1x M1015 en expander is 20x SATA-2 via de expander en 4x SATA-3 vanaf de M1015, da's 24 poorten

GioStyle schreef op donderdag 09 oktober 2014 @ 23:44:
Dan heb je er 24. Je houdt dan ook nog een SAS poort op de M1015 over.

Waar ga je die HDR-5-v13 modules inbouwen?

In de CM Stacker STC-T01 waar de hardware nu in zit. 'T zou allemaal moeten passen, ben her en der deze combi van case en cage wel tegen gekomen FreeNAS forum o.a. .

GioStyle schreef op donderdag 09 oktober 2014 @ 23:52:
Ik ben denk ik in de war met een HP SAS expander. Ik had ergens gelezen dat je die bijvoorbeeld ook single/dual linked kon aan sluiten. Als je single linked deed hou je een SAS poort over waar je ook schijven op kan aansluiten. Maar dat is bij deze dus niet zo?

Single linked werkt, zo draait de boel nu. Het voordeel van dual linked is dat je 16x een SATA-2 poort ter beschikking hebt. Effectief een verdubbeling, iets wat je met een tweede M1015 ook zou bereiken (dit laatste zou net wat goedkoper zijn)

FireDrunk schreef op vrijdag 10 oktober 2014 @ 08:01:
Grote voordeel van een SAS Expander is dat hij geen PCIe lanes op slokt (ookal is het ding fysiek PCIe).
Je kan dus meerdere van die dingen aansluiten op een simpel systeempje wat maar 1* PCIe 2.0 x8 (over) heeft ofzo.

Met een PCIe x1 to x8 riser kan je prima een SAS Expander voeden
En als je een powered riser cable gebruikt, kan je zeer waarschijnlijk de hele kabel gewoon los van het moederbord laten

Wordt wel een bende in je chassis, maar het kan

Klopt, het enige wat t ding doet is zijn spanning betrekken via t PCIe slot. Ik heb nog even de SAS expander van Intel overwogen (RES2SV240) welke geen PCIe slot nodig heeft maar zijn spanning vanaf een molex stekker kan ontvangen, jammer genoeg is deze behoorlijk veel duurder.

Idd, een power riser zoals hier gebruikt is.
Ach kabel salade, kastje dicht en niemand ziet het

Extera schreef op vrijdag 10 oktober 2014 @ 09:24:
@ Pantagruel, als je eens wilt testen of het werkt via een riser, dan heb ik er nog meer dan zat liggen waar ik niets voor hoef te hebben...

Nice, thanks, daar heb ik wel oren naar, PCIe slotje sparen is nooit een slecht idee.

Kwam deze power PCIe riser tegen met een quick 'n dirty Google, ziet er bruikbaar uit.

Bij de gedachte aan het evt. ''maken'' van een externe drive cage (een bestaande ATX/mATX case aanpassen) en de expander gebruiken krijg ik een warm gevoel van binnen. Is natuurlijk wel een minder deftige optie dan deze, jummy .

Damn, mooie server btw

FireDrunk schreef op vrijdag 10 oktober 2014 @ 09:26:
[...]


Voor de show , nee serieus, geen idee, er zijn zat expanders die dat wel 'goed' doen.

Zoals deze:
[afbeelding]

Die heeft zelfs geen voeding via PCIe, maar via een Molex stekker.

Klopt, die kun je, mits goed geisoleerd (just in case) gewoon op een lege plek in de kast schroeven, zoals hier al is het niet even duidelijk op de foto lijkt de expander naast t mobo te steken.

[ Voor 4% gewijzigd door Pantagruel op 16-10-2014 11:01 ]

[Extera]

Thanks!

PM even je adres, dan stuur ik wel 1 op.
Met als voorwaarde dat je de resultaten post

[Pantagruel]

Extera schreef op vrijdag 10 oktober 2014 @ 10:00:
Thanks!

PM even je adres, dan stuur ik wel 1 op.
Met als voorwaarde dat je de resultaten post

PM on the way, altijd leuk om te prutsen , tuurlijk, pics or it didn't happen

Add.

Na aanleiding van de pm, zoiets als deze ??:

[ Voor 20% gewijzigd door Pantagruel op 10-10-2014 14:09 ]

[Verwijderd]

@Pantagruel

Leuke sas expander. Ik ben zelf ook een beetje aan het rondneuzen naar een leuke expander. Chenbro, Lenovo, HP, Intel. Genoeg keus maar de prijzen vallen een beetje tegen.

Mag ik vragen wat je voor deze betaald hebt?

[Pantagruel]

Verwijderd schreef op vrijdag 10 oktober 2014 @ 15:40:
@Pantagruel

Leuke sas expander. Ik ben zelf ook een beetje aan het rondneuzen naar een leuke expander. Chenbro, Lenovo, HP, Intel. Genoeg keus maar de prijzen vallen een beetje tegen.

Mag ik vragen wat je voor deze betaald hebt?

€90 all-in, kwam vanuit Taiwan en was nieuw uit den doos.

[Verwijderd]

Ik ben op zoek naar een health check script voor zfs. Ik zie dat calomel.org al een paar dagen down is. Heeft iemand nog een kopie liggen van het script en eventueel de gebruiksaanwijzing die op deze pagina te vinden waren?

[syl765]

@Freddy500

Volgens mij werkt de site weer.

[Q]

Verwijderd schreef op vrijdag 10 oktober 2014 @ 17:36:
Ik ben op zoek naar een health check script voor zfs. Ik zie dat calomel.org al een paar dagen down is. Heeft iemand nog een kopie liggen van het script en eventueel de gebruiksaanwijzing die op deze pagina te vinden waren?

Is dit misschien wat je wilt? ZFS Event Daemon?

http://louwrentius.com/the-zfs-event-daemon-on-linux.html

[Scooper]

Ik wil een wat rare RaidZ1 pool aanmaken van 7 schijven. Ik gebruik hiervoor ZFSGuru version 0.2.0-beta10
met system image 10.0-002.

Bij het aanmaken van de pool maakt het niet uit welke instelling ik bij 'Sector size override' instel, ik krijg altijd een pool met ashift=12. Ik zou ook de ashift=9 eens willen proberen, maar krijg dit via de command-line niet voor elkaar:

zfsguru.bsd$ zpool create -o ashift=9 -o version=28 -O version=5 -O atime=off Tank raidz gpt/Disk01 gpt/Disk02 gpt/Disk03 gpt/Disk04 gpt/Disk05 gpt/Disk06 gpt/Disk07
property 'ashift' is not a valid pool property

Waarom kan ik dit niet uitvoeren?

[edit]
Als ik mijn oude system image activeer (9.1-003), dan kan ik wel een pool met ashift 9 aanmaken. Als ik dan de nieuwe system image weer activeer is de pool weg. Hij is ook niet te importeren. Is er geen ondersteuning van ashift 9 meer in de nieuwe system image?

[edit2]
System image 10.1-002 laat mij de pool wel importeren. Maar wel met de nodige waarschuwingen:

code:

One or more devices are configured to use a non-native block size. Expect reduced performance.
Replace affected devices with devices that support the configured block size, or migrate data to a properly configured pool.

[ Voor 32% gewijzigd door Scooper op 11-10-2014 16:43 ]

[FireDrunk]

Je hebt voor atime -O ipv -o? Ah wacht, dat zijn filesystem properties.

Die kan je weglaten, die kan je toch altijd later instellen?

_{overigens lijkt zfsguru.bsd$ mij een non-root prompt, maar als je het op meerdere systemen getest hebt, zal je dat wel gemerkt hebben}

[ Voor 100% gewijzigd door FireDrunk op 11-10-2014 17:19 ]

[Scooper]

Ik heb als uitgangspunt de commando's gebruikt die de webinterface ook gebruikt. Een normale pool creeëren via de command-line gaat wel goed. Het zijn dus geen rechten-issues.

Met system-image 10.1-002 kon ik de pool dus wel importeren, maar helaas niet benchmarken. Op system-image 10.1-001 lukte het importeren ook en kan ik ook benchmarken. De benchmark is inderdaad lager dan bij ashift=12, maar ik denk nog steeds wel voldoende voor mij. Middels ashift=9 hou ik als het goed is wel meer ruimte over op mijn pool (zie discussie van paar pagina's terug).

Zijn er naast de performance-drop nog meer redenen om geen ashift=9 te gebruiken? Lijkt erop dat deze methode wel steeds meer obsolete wordt.

[Verwijderd]

Voer eens uit als root voordat je de pool aanmaakt:
sysctl vfs.zfs.min_auto_ashift=9
sysctl vfs.zfs.max_auto_ashift=9

Dan je pool aanmaken; lijkt een nieuwe feature van recente BSD images. Zal Jason er eens op aanspreken.

[Extera]

Pantagruel schreef op vrijdag 10 oktober 2014 @ 12:23:
[...]


PM on the way, altijd leuk om te prutsen , tuurlijk, pics or it didn't happen

Add.

Na aanleiding van de pm, zoiets als deze ??:

[afbeelding]

jep!
Riser is onderweg!

[Pantagruel]

Extera schreef op zaterdag 11 oktober 2014 @ 21:19:
[...]


jep!
Riser is onderweg!

Thanks!

De array die voorheen verdeeld was over 2 on-board SATA aansluitingen en de 8 stuks van de M1015 en nu dus volledig aan de M1015 hangt via de SAS expander, heeft de scrub run door staan. Tot zo ver dus geen problemen.

[ Voor 41% gewijzigd door Pantagruel op 11-10-2014 23:29 ]

[Scooper]

Verwijderd schreef op zaterdag 11 oktober 2014 @ 21:14:
Voer eens uit als root voordat je de pool aanmaakt:
sysctl vfs.zfs.min_auto_ashift=9
sysctl vfs.zfs.max_auto_ashift=9

Dan je pool aanmaken; lijkt een nieuwe feature van recente BSD images. Zal Jason er eens op aanspreken.

Ik ben vannacht begonnen met de datamigratie, ik kan de pool dus niet voor testdoeleinden weer opnieuw aanmaken.

Ik heb nog wel geprobeerd de commands uit te voeren, maar kreeg:
"sysctl: unknown oid 'vfs.zfs.min_auto_ashift': No such file or directory"

[Verwijderd]

10.0 en oudere 10.1-001 heeft die sysctl niet; 10.1-002 wel als het goed is. Welke systeemversie draai je nu?

[Compizfox]

Heeft ZFSGuru eigenlijk geen feature dat je een email-alert krijgt op het moment dat een disk failt?

Heel leuk dat ZFSGuru een webinterface heeft waarop de status van je pools en schijven te zien is, maar ik kijk daar niet dagelijks op dus als een schijf failt heb ik het waarschijnlijk niet eens door. Niet zo handig eigenlijk, bedacht ik me plotseling.

[CurlyMo]

De status van je pools:

code:

#!/usr/bin/env bash

MAILTO="[e-mail]";
MAILFROM="[e-mail]";
COMMAND=$(/sbin/zpool status -x);

if [[ $COMMAND =~ "all pools are healthy" ]]; then
        exit;
else
        echo -e "Subject: ZFS Alert\n$COMMAND" | /usr/sbin/sendmail -f $MAILFROM $MAILTO;
fi

SMART status controle:

Perl:

#!/usr/bin/perl
sub trim($);
my $zpool = `zpool status`;
my @lines = split/\n/,$zpool;
my @disks = ();
my @disks1 = ();
my %hash;
my $check = 0;
my $i = 0;
my $to = '[e-mail]';
my $glabel = `glabel status`;
my $mail = '';

#Loop through zpool status to retrieve used disks
foreach my $line (@lines) {
    if(length($line) > 1 && !($line =~ /errors/) && !($line =~ /raid/) && !($line =~ /mirror/) && !($line =~ /replacing/) && !($line =~ /spares/) && !($line =~ /logs/) && !($line =~ /cache/)) {
        if($line =~ /pool:/) {
            $i++;
            $check = 0;
        }
        if($check == 2) {
            ($start) = trim($line) =~ /\A([^:\s]+)/;
            $disk1 = $start;
            $z = 0;

            #Remove partition and slice information
            if($disk1 =~ /p/ && !($disk1 =~ /label/ || $disk1 =~ /gpt/)) {
                $disk1 = (split(/p/,$disk1))[0];
            }
            if($disk1 =~ /s/ && !($disk1 =~ /label/ || $disk1 =~ /gpt/)) {
                $disk1 = (split(/s/,$disk1))[0];
            }
            while($z <= $#disks1 && ($disks1[$z] ne $disk1)) {
                ++$z;
            }
            if(int($start) =~ /^[[:digit:]]$/) {
                if($z > $#disks1 || $#disks1 == -1) {
                    push @{$disks[$i]},$start;
                    push (@disks1,$disk1);
                }
            }
        }
         if($check == 1) {
            $check = 2;
        }
        if($line =~ /NAME/) {
            $check = 1;
        }
    }
}

@lines = split/\n/,$glabel;
#Loop through disks to check smart status
foreach $pool (@disks) {
    foreach $disk (@$pool) {
        #If the disks contains a label retrieve the physical address
        foreach $line (@lines) {
            ($fword) = trim($line) =~ /\A([^:\s]+)/;
            if($fword =~ /$disk/) {
                $line =~ s/.*\W(\w)/$1/;
                $disk = $line;
                break;
            }
        }
        #Remove partition or slice information
        if($disk =~ /p/) {
            $disk = (split(/p/,$disk))[0];
        }
        if($disk =~ /s/) {
            $disk = (split(/s/,$disk))[0];
        }
        if(!($disk eq "ada0")) {
                $smart = `/usr/local/sbin/smartctl -a /dev/$disk`;

                if($smart =~ /PASSED/ && $? == 0) {
                    print "No problems where found for /dev/$disk\n";
                } else {
                    if(!($smart =~ /Unknown USB bridge/)) {
                        print "!Certain problems have been found for /dev/$disk!\n";
                        $mail .= $smart;
                    } else {
                        print "Could not read smart status of /dev/$disk\n";
                    }
                }
        }
    }
}

if(length($mail) > 0) {
    `echo "$mail" | /usr/bin/mail -s "SMART Alert" $to`;
}

sub trim($)
{
    my $string = shift;
    $string =~ s/^\s+//;
    $string =~ s/\s+$//;
    return $string;
}